(57)【要約】【課題】悪天候のような状況においても向上したＴＯＦ値の測定が可能なピクセルを含むイメージセンサー及びその動作方法並びにシステムを提供する。【解決手段】イメージセンサーのピクセルであって、受信した光を電気信号に変換し閾値を満足する変換利得を有する少なくとも一つのフォトダイオード（ＰＤ）を含むＰＤユニット、ＰＤユニットと直列に接続されて電気信号を増幅し応答的に中間出力を生成するアンプユニット、アンプユニットと接続され中間出力を受信する時間電荷コンバーターユニット（ＴＣＣユニット）を有し、ＴＣＣユニットはアナログ電荷を貯蔵するデバイス、デバイスと接続される制御回路を含み、制御回路は、デバイスからアナログ電荷の第１部分の伝送を開始し所定の時間間隔内に中間出力の受信に応答して伝送を終了し伝送されるアナログ電荷の第１部分に基づいてピクセルに対する第１ピクセルスペシフィックアウトプットを生成する動作を実行する。【選択図】  図３
2019109240.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサーのピクセルであって、
受信した光を電気信号に変換し、閾値を満足する変換利得を有する少なくとも一つのフォトダイオードを含むフォトダイオードユニットと、
前記フォトダイオードユニットと直列に接続されて前記電気信号を増幅し、応答的に中間出力を生成するアンプユニットと、
前記アンプユニットと接続され、前記中間出力を受信する時間電荷コンバーターユニット（ＴＣＣユニット）と、を有し、
前期時間電荷コンバーターユニット（ＴＣＣユニット）は、アナログ電荷を貯蔵するデバイスと、
前記デバイスと接続される制御回路と、を含み、
前記制御回路は、前記デバイスからアナログ電荷の第１部分の伝送を開始し、
所定の時間間隔内に前記中間出力の受信に応答して前記伝送を終了し、
伝送される前記アナログ電荷の前記第１部分に基づいて、前記ピクセルに対する第１ピクセルスペシフィックアウトプット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ｏｕｔｐｕｔ）を生成する動作を実行することを特徴とするピクセル。
【請求項２】
前記フォトダイオードユニット、前記増幅器ユニット、及び前記時間電荷コンバーターユニットのそれぞれは、ＣＭＯＳ部を含むことを特徴とする請求項１に記載のピクセル。
【請求項３】
前記フォトダイオードユニットは、前記光を受信し、前記受信に応答して前記電気信号を生成し、前記閾値を満足する前記変換利得を有する第１フォトダイオードと、
前記第１フォトダイオードと並列に接続され、前記光に露出されずに、検出される暗度（ｄａｒｋｎｅｓｓ）のレベルに基づいて基準信号を生成する第２フォトダイオードと、を含むことを特徴とする請求項１に記載のピクセル。
【請求項４】
前記増幅器ユニットは、前記第１及び第２フォトダイオードに直列に接続され、前記基準信号に対する前記電気信号を感知するとき、前記電気信号を増幅し、受信される制御信号に応答して前記電気信号を増幅するとき、前記中間出力を生成するセンス（感知）アンプを含むことを特徴とする請求項３に記載のピクセル。
【請求項５】
前記センスアンプは、電流センスアンプであることを特徴とする請求項４に記載のピクセル。
【請求項６】
前記デバイスは、ピンフォトダイオード、フォトゲート、及びキャパシターの内のいずれか１つであることを特徴とする請求項１に記載のピクセル。
【請求項７】
前記制御回路は、出力端子を含み、
前記制御回路は、アナログ変調信号を受信し、
外部入力をさらに受信し、
前記外部入力に応答して、前記アナログ変調信号によって提供される変調に基づいて、前記出力端子を介して、前記アナログ電荷の前記第１部分を前記第１ピクセルスペシフィックアウトプットとして伝送し、
前記外部入力に応答して前記出力端子を介して、前記アナログ電荷の第２部分を第２ピクセルスペシフィックアウトプットとして伝送する動作をさらに実行し、
前記第２部分は、前記第１部分が伝送された後の前記アナログ電荷の残りの部分と実質的に同一であることを特徴とする請求項１に記載のピクセル。
【請求項８】
前記制御回路は、第１ノード及び第２ノードをさらに含み、
前記制御回路は、前記デバイスから前記第１ノードに、前記第１ノードから前記第２ノードに、前記第２ノードから前記出力端子に、前記アナログ電荷の前記第１部分を前記第１ピクセルスペシフィックアウトプットとして伝送し、
前記デバイスから前記第１ノードに、前記第１ノードから前記第２のノードに、前記第２のノードから前記出力端子に、前記アナログ電荷の前記第２部分を前記第２ピクセルスペシフィックアウトプットとして伝送する動作をさらに実行することを特徴とする請求項７に記載のピクセル。
【請求項９】
前記閾値は、光電子当たり少なくとも４００μＶであることを特徴とする請求項１に記載のピクセル。
【請求項１０】
イメージセンサーの動作方法であって、
３次元オブジェクトにレーザーパルスを照射するステップと、
アナログ電荷を貯蔵するピクセル内のデバイスにアナログ変調信号を印加するステップと、
前記アナログ変調信号から受信した変調に基づいて、前記デバイスから前記アナログ電荷の第１部分の伝送を開始するステップと、
前記３次元オブジェクトから反射され、前記照射されたレーザーパルスのリターンパルスから受信した光を電気信号に変換して、閾値を満足する変換利得を有する、少なくとも一つのフォトダイオードを含むフォトダイオードユニットを有する前記ピクセルを使用して、リターンパルスを検出するステップと、
前記ピクセル内のアンプユニットを使用して、応答的に中間出力を生成するように前記電気信号を処理するステップと、
所定の時間間隔内に前記中間出力の生成に応答して、前記アナログ電荷の前記第１部分の前記伝送を終了するステップと、
終了時に、伝送される前記アナログ電荷の第１部分に基づいて、前記リターンパルスのＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）の値を決定するステップと、有することを特徴とするイメージセンサーの動作方法。
【請求項１１】
前記デバイスから伝送される前記アナログ電荷の前記第１部分から前記ピクセルの第１ピクセルスペシフィックアウトプットを生成するステップと、
前記デバイスから前記アナログ電荷の第２部分を伝送するステップと、
前記デバイスから伝送される前記アナログ電荷の前記第２部分から前記ピクセルの第２ピクセルスペシフィックアウトプットを生成するステップと、
アナログデジタルコンバーターユニットを使用して、前記第１及び第２ピクセルスペシフィックアウトプットをサンプリングするステップと、
前記サンプリングに基づいて、前記アナログデジタルコンバーターユニットを使用して、前記第１ピクセルスペシフィックアウトプットに相当する第１信号値、及び前記第２ピクセルスペシフィックアウトプットに相当する第２信号値を生成するステップと、をさらに有し、
前記第２部分は、前記第１部分が伝送された後の前記アナログ電荷の残りの部分と実質的に同一であることを特徴とする請求項１０に記載のイメージセンサーの動作方法。
【請求項１２】
前記リターンパルスのＴＯＦ値を決定するステップは、前記第１信号値と第２信号値との合計に対する前記第１信号値の比率を使用して、前記リターンパルスのＴＯＦ値を決定するステップを含むことを特徴とする請求項１１に記載のイメージセンサーの動作方法。
【請求項１３】
前記ＴＯＦ値に基づいて前記３次元オブジェクトに対する距離を決定するステップをさらに有することを特徴とする請求項１２に記載のイメージセンサーの動作方法。
【請求項１４】
前記アンプユニットに、前記レーザーパルスを照射するステップの後、所定の時間区間の間に、シャッター信号をさらに印加するステップと、
前記アナログ変調信号及び前記シャッター信号が活性化している間、前記ピクセルを使用して、前記リターンパルスを検出するステップと、
前記シャッター信号が活性化している間、前記中間出力の生成時に、終了信号を提供するステップと、
前記終了信号に応答して前記アナログ電荷の前記第１部分の前記伝送を終了するステップと、をさらに有することを特徴とする請求項１０に記載のイメージセンサーの動作方法。
【請求項１５】
前記リターンパルスを検出するステップは、前記フォトダイオードユニット内で、前記閾値を満足する前記変換利得を有する第１フォトダイオードで光を受信するステップと、
前記第１フォトダイオードを使用して、前記電気信号を生成するステップと、
前記フォトダイオードユニット内で、第２フォトダイオードを使用して基準信号をさらに生成ステップと、を含み、
前記第２フォトダイオードは、前記第１フォトダイオードと並列に接続され、前記光に露出されず、検出される暗度（ｄａｒｋｎｅｓｓ）のレベルに基づいて、前記基準信号を生成することを特徴とする請求項１０に記載のイメージセンサーの動作方法。
【請求項１６】
前記アンプユニットは、前記第１及び第２フォトダイオードに直列に接続されるセンスアンプであって、
前記電気信号を処理するステップは、前記センスアンプにシャッター信号を提供するステップと、
前記シャッター信号が活性化している間、前記センスアンプを使用して、前記基準信号に対する前記電気信号を検出するステップと、
前記シャッター信号が活性化している間、前記センスアンプを使用して、前記電気信号を増幅することにより、前記中間出力を生成するステップと、をさらに含むことを特徴とする請求項１５に記載のイメージセンサーの動作方法。
【請求項１７】
前記レーザーパルスを照射するステップは、レーザー光源、可視スペクトルの光を生成する光源、非可視スペクトルの光を生成する光源、単色性光源、赤外線レーザー、ＸＹアドレサブル（Ｘ−Ｙ  ａｄｄｒｅｓｓａｂｌｅ）光源、２次元スキャニング可能な点光源、１次元スキャニング可能な面光源、及び拡散レーザーの内のいずれか１つの光源を使用して、前記レーザーパルスを照射するステップを含むことを特徴とする請求項１０に記載のイメージセンサーの動作方法。
【請求項１８】
前記閾値は、光電子当たり少なくとも４００μＶであることを特徴とする請求項１０に記載のイメージセンサーの動作方法。
【請求項１９】
レーザーパルスを３次元オブジェクトに照射する光源と、
複数のピクセルと、
プログラムコマンドを格納するためのメモリと、
前記メモリ及び前記複数のピクセルに接続され、前記プログラムコマンドを実行するプロセッサと、を有し、
前記複数のピクセルそれぞれは、前記３次元オブジェクトによる前記照射されたレーザーパルスの反射の結果であるリターンパルスとして受信した光を電気信号に変換し、閾値を満足する変換利得を有する少なくとも一つのフォトダイオードを含むピクセルスペシフィックフォトダイオードユニット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ＰＤ  ｕｎｉｔ）と、
前記ピクセルスペシフィックフォトダイオードユニットと直列に接続されて、前記電気信号を増幅し、応答的に中間出力を生成するピクセルスペシフィックアンプユニット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ａｍｐｌｉｆｉｅｒ  ｕｎｉｔ）と、
前記ピクセルスペシフィックアンプユニットと接続されて、前記中間出力を受信するピクセルスペシフィック時間電荷コンバーター（ＴＣＣ）ユニット（ｐｉｘｅｌ  ｓｐｅｃｉｆｉｃ  ＴＣＣ  ｕｎｉｔ）と、を含み、
前記ピクセルスペシフィック時間電荷コンバーター（ＴＣＣ）ユニットは、アナログ電荷を貯蔵するデバイスと、
前記デバイスと接続される制御回路と、を含み、
前記制御回路は、前記デバイスからアナログ電荷のピクセルスペシフィック（ｐｉｘｅｌ  ｓｐｅｃｉｆｉｃ）第１部分の伝送を開始し、
所定の時間間隔内に前記中間出力の受信時に前記ピクセルスペシフィック第１部分の前記伝送を終了し、
伝送される前記アナログ電荷の前記ピクセルスペシフィック第１部分に基づいて前記ピクセルに対する前記第１ピクセルスペシフィックアウトプットを生成し、
前記デバイスから前記アナログ電荷のピクセルスペシフィック第２部分を伝送し、
伝送される前記アナログ電荷の前記ピクセルスペシフィック第２部分に基づいて前記ピクセルに対する第２ピクセルスペシフィックアウトプットを生成する動作を実行し、
前記ピクセルスペシフィック第２部分は、前記ピクセルスペシフィック第１部分が伝送された後の前記アナログ電荷の残りの部分と実質的に同一であり、
前記プロセッサは、前記複数のピクセルのピクセルそれぞれについて、前記アナログ電荷の前記ピクセルスペシフィック第１部分及び前記ピクセルスペシフィック第２部分の伝送をそれぞれ実行し、
前記第１及び第２ピクセルスペシフィックアウトプットを受信し、
前記第１及び第２ピクセルスペシフィックアウトプットに基づいて、ピクセルスペシフィック第１信号値及びピクセルスペシフィック第２信号値を含むピクセルスペシフィックの信号値のペアをそれぞれ生成し、
前記ピクセルスペシフィック第１信号値及び前記ピクセルスペシフィック第２信号値を使用して、前記リターンパルスの対応するピクセルスペシフィックＴＯＦ値を決定し、
前記ピクセルスペシフィックＴＯＦ値に基づいて、前記３次元オブジェクトに対するピクセルスペシフィック距離を決定する動作を実行することを特徴とするシステム。
【請求項２０】
前記プロセッサは、ピクセルそれぞれの前記ピクセルスペシフィック時間電荷コンバーターユニットの前記制御回路にアナログ変調信号を提供し、
前記ピクセルスペシフィック時間電荷コンバーターユニットの前記制御回路は、前記アナログ変調信号によって提供される変調に基づいて伝送される前記アナログ電荷の前記ピクセルスペシフィック第１の部分の量を制御することを特徴とする請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサーに関し、特に、ピクセルが、非常に高い変換利得を有するフォトダイオードを使用して、ピンフォトダイオードのようなタイムトゥチャージ（ｔｉｍｅ−ｔｏ−ｃｈａｒｇｅ）コンバーターの動作を制御することにより、ＴＯＦ値及び３次元オブジェクトの範囲に対する記録を容易にするＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）イメージセンサーに関する。
【背景技術】
【０００２】
３次元（３Ｄ）イメージシステムは、例えば工業生産、ビデオゲーム、コンピュータ、グラフィックス、ロボット手術、消費者ディスプレイ、モニタリングビデオ、３次元モデリング、不動産販売、自律航法（走行）などのような広範囲のアプリケーションに益々使用されている。
既存の３次元イメージ技術は、例えば、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）ベースの範囲イメージング、ステレオビジョンシステム及び構造化ライト（Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ：ＳＬ）の方式を含む。
【０００３】
ＴＯＦ方式で、３次元オブジェクトまでの距離は、知られている光の速度に基づいて、光信号がイメージのそれぞれのポイントについて、カメラと３次元オブジェクトとの間を移動する往復時間を測定することにより解決される。
カメラでピクセルの出力は、特定のピクセルのＴＯＦ値に関する情報を提供して、オブジェクトの３次元の深さプロフィール（ｐｒｏｆｉｌｅ）を提供する。
ＴＯＦカメラは、それぞれのレーザー又は光パルス全体のシーンをキャプチャーする、スキャナーレス（Ｓｃａｎｎｅｒｌｅｓｓ）アプローチを使用することができる。
【０００４】
ダイレクトＴＯＦイメージャー（Ｄｉｒｅｃｔ  ＴＯＦ  ｉｍａｇｅｒ）で、単一のレーザーパルスは、時空間的なデータをキャプチャーして、３次元シーンを記録するのに使用することができる。
これはシーン情報の迅速な取得と迅速なリアルタイム処理を可能にする。
ＴＯＦ方式の一部の例示的アプリケーションは、自律航法（走行）及び活動的な歩行者の安全又はリアルタイムの距離イメージに基づいて衝突前の感知のような改善された自動車用アプリケーションを含むことができ、また、ビデオゲームコンソール上のゲームとともに相互作用する間のように人間の動きを追跡することができ、また、産業上のマシンビジョンでオブジェクトを分類して、ロボットがコンベアベルト上の物品のように物品を発見するのに役立つことができる。
【０００５】
ライダー（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）は、パルスレーザー光でターゲットを照光し、センサーに反射されたパルスを測定することにより、ターゲットまでの距離を測定するダイレクトＴＯＦ方式の例である。
レーザーリターン時間及び波長の差は、以後にターゲットのデジタル３次元表現を作るのに使用することができる。
ライダーは、地上、空中、及びモバイルアプリケーションを有する。
ライダーは、例えば、考古学、地理学、地質学、森林学、などのように、高解像度のマップを作るのに共通的に使用される。
ライダーはまた、例えば、任意の自律走行車両での制御及び走行のためのような自動車用のアプリケーションを有する。
【０００６】
立体イメージング又はステレオビジョンシステムにおいて、互いに水平方向に移動する２台のカメラは、シーン又は、シーンでの３次元オブジェクトに対する２つの異なる視野を取得するのに使用される。
斯かる２つのイメージを比較することにより、相対的な奥行き（深さ）情報が３次元オブジェクトに対して取得することができる。
ステレオビジョンは、自動システムの、あるいは、ロボットの、近くの３次元オブジェクトの相対的な位置に関する情報を抽出するロボット工学のような分野において非常に重要である。
ロボット工学に対する他のアプリケーションは、立体奥行き情報がロボットシステムにとって塞がれたイメージコンポーネントを分離するようにする、オブジェクトの認識を含む。
そうでなければ、ロボットは他のオブジェクトを部分的又は完全に隠すもう一つの前に一つのオブジェクトがあるように、２つの分離されたオブジェクトを区別することはできない。
３次元ステレオディスプレイは、エンターテイメント又は自動化システムにおいても、また使用される。
【０００７】
ＳＬ方式のアプローチで、オブジェクトの３次元形状は、照射された光のパターンとイメージングのためのカメラを用いて測定することができる。
ＳＬ方式で、格子又は水平バー又は平行なストライプパターンのように知られている光のパターンがシーン又はシーンでの３次元オブジェクトに照射される。
照射されたパターンは、３次元オブジェクトの表面にぶつかるとき、変形したり変化する。
このような変形は、ＳＬビジョンシステムをしてオブジェクトの深さ（奥行き）及び表面情報を計算するようにする。
したがって、３次元表面に狭帯域光を照射することは、プロジェクタによるものよりも、別の観点から歪曲されて現れる調光のラインを生成することができ、調光された表面の形状に対する幾何学的な復元に使用することができる。
ＳＬベースの３次元イメージングは、例えば、３次元シーンでの指紋を撮影するための警察力、生産工程中のコンポーネントのインライン検査、人体形状又は人体の皮膚の小さな構造のリアルタイム測定のためのヘルスケアなどのような多様なアプリケーションに使用することができる。
以上より、ＴＯＦ値及び３次元オブジェクトの範囲に対する記録を容易にするＴＯＦイメージセンサーの開発が課題となっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第２０１５０３３８２７０号明細書
【特許文献２】米国特許出願公開第２０１６０２６６２５３号明細書
【非特許文献】
【０００９】
【非特許文献１】ＢＥＣＫ  ｅｔ  ａｌ．，  “Ａ  ｈｉｇｈｌｙ  ｓｅｎｓｉｔｉｖｅ  ｍｕｌｔｉ−ｅｌｅｍｅｎｔ  ＨｇＣｄＴｅ  ｅ−ＡＰＤ  ｄｅｔｅｃｔｏｒ  ｆｏｒ  ＩＰＤＡ  ｌｉｄａｒ  ａｐｐｌｉｃａｔｉｏｎｓ”，  Ｓｅｎｓｏｒｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｓｐａｃｅ  Ａｐｐｌｉｃａｔｉｏｎｓ  ＶＩ，  Ｖｏｌ．  ８７３９，  ８７３９０Ｖ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は上記従来のイメージセンサーにおける課題に鑑みてなされたものであって、本発明の目的は、悪天候のような状況においても向上したＴＯＦ値の測定が可能なピクセルを含むイメージセンサー及びその動作方法、並びにシステムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するためになされた本発明によるピクセルは、イメージセンサーのピクセルであって、受信した光を電気信号に変換し、閾値を満足する変換利得を有する少なくとも一つのフォトダイオードを含むフォトダイオードユニットと、前記フォトダイオードユニットと直列に接続されて前記電気信号を増幅し、応答的に中間出力を生成するアンプユニットと、前記アンプユニットと接続され、前記中間出力を受信する時間電荷コンバーターユニット（ＴＣＣユニット）と、を有し、前期時間電荷コンバーターユニット（ＴＣＣユニット）は、アナログ電荷を貯蔵するデバイスと、前記デバイスと接続される制御回路と、を含み、前記制御回路は、前記デバイスからアナログ電荷の第１部分の伝送を開始し、所定の時間間隔内に前記中間出力の受信に応答して前記伝送を終了し、伝送される前記アナログ電荷の前記第１部分に基づいて、前記ピクセルに対する第１ピクセルスペシフィックアウトプット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ｏｕｔｐｕｔ）を生成する動作を実行することを特徴とする。
【００１２】
上記目的を達成するためになされた本発明によるイメージセンサーの動作方法は、３次元オブジェクトにレーザーパルスを照射するステップと、アナログ電荷を貯蔵するピクセル内のデバイスにアナログ変調信号を印加するステップと、前記アナログ変調信号から受信した変調に基づいて、前記デバイスから前記アナログ電荷の第１部分の伝送を開始するステップと、前記３次元オブジェクトから反射され、前記照射されたレーザーパルスのリターンパルスから受信した光を電気信号に変換して、閾値を満足する変換利得を有する、少なくとも一つのフォトダイオードを含むフォトダイオードユニットを有する前記ピクセルを使用して、リターンパルスを検出するステップと、前記ピクセル内のアンプユニットを使用して、応答的に中間出力を生成するように前記電気信号を処理するステップと、所定の時間間隔内に前記中間出力の生成に応答して、前記アナログ電荷の前記第１部分の前記伝送を終了するステップと、終了時に、伝送される前記アナログ電荷の第１部分に基づいて、前記リターンパルスのＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）の値を決定するステップと、有することを特徴とする。
【００１３】
上記目的を達成するためになされた本発明によるシステムは、レーザーパルスを３次元オブジェクトに照射する光源と、複数のピクセルと、プログラムコマンドを格納するためのメモリと、前記メモリ及び前記複数のピクセルに接続され、前記プログラムコマンドを実行するプロセッサと、を有し、前記複数のピクセルそれぞれは、前記３次元オブジェクトによる前記照射されたレーザーパルスの反射の結果であるリターンパルスとして受信した光を電気信号に変換し、閾値を満足する変換利得を有する少なくとも一つのフォトダイオードを含むピクセルスペシフィックフォトダイオードユニット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ＰＤ  ｕｎｉｔ）と、前記ピクセルスペシフィックフォトダイオードユニットと直列に接続されて、前記電気信号を増幅し、応答的に中間出力を生成するピクセルスペシフィックアンプユニット（ｐｉｘｅｌ−ｓｐｅｃｉｆｉｃ  ａｍｐｌｉｆｉｅｒ  ｕｎｉｔ）と、前記ピクセルスペシフィックアンプユニットと接続されて、前記中間出力を受信するピクセルスペシフィック時間電荷コンバーター（ＴＣＣ）ユニット（ｐｉｘｅｌ  ｓｐｅｃｉｆｉｃ  ＴＣＣ  ｕｎｉｔ）と、を含み、前記ピクセルスペシフィック時間電荷コンバーター（ＴＣＣ）ユニットは、アナログ電荷を貯蔵するデバイスと、前記デバイスと接続される制御回路と、を含み、前記制御回路は、前記デバイスからアナログ電荷のピクセルスペシフィック（ｐｉｘｅｌ  ｓｐｅｃｉｆｉｃ）第１部分の伝送を開始し、所定の時間間隔内に前記中間出力の受信時に前記ピクセルスペシフィック第１部分の前記伝送を終了し、伝送される前記アナログ電荷の前記ピクセルスペシフィック第１部分に基づいて前記ピクセルに対する前記第１ピクセルスペシフィックアウトプットを生成し、前記デバイスから前記アナログ電荷のピクセルスペシフィック第２部分を伝送し、伝送される前記アナログ電荷の前記ピクセルスペシフィック第２部分に基づいて前記ピクセルに対する第２ピクセルスペシフィックアウトプットを生成する動作を実行し、前記ピクセルスペシフィック第２部分は、前記ピクセルスペシフィック第１部分が伝送された後の前記アナログ電荷の残りの部分と実質的に同一であり、前記プロセッサは、前記複数のピクセルのピクセルそれぞれについて、前記アナログ電荷の前記ピクセルスペシフィック第１部分及び前記ピクセルスペシフィック第２部分の伝送をそれぞれ実行し、前記第１及び第２ピクセルスペシフィックアウトプットを受信し、前記第１及び第２ピクセルスペシフィックアウトプットに基づいて、ピクセルスペシフィック第１信号値及びピクセルスペシフィック第２信号値を含むピクセルスペシフィックの信号値のペアをそれぞれ生成し、前記ピクセルスペシフィック第１信号値及び前記ピクセルスペシフィック第２信号値を使用して、前記リターンパルスの対応するピクセルスペシフィックＴＯＦ値を決定し、前記ピクセルスペシフィックＴＯＦ値に基づいて、前記３次元オブジェクトに対するピクセルスペシフィック距離を決定する動作を実行することを特徴とする。
【発明の効果】
【００１４】
本発明に係るピクセル及びイメージセンサーの動作方法並びにシステムによれば、ピクセルそれぞれの変換利得と光子検出効率を向上させ、悪天候のような状況でも向上したＴＯＦ値の測定が可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態によるライダー（ＬｉＤＡＲ）イメージシステムの非常に単純化された部分的な構成を示すブロック図である。
【図２】本発明の一実施形態による図１のシステムの例示的な動作を説明するための図である。
【図３】本発明の一実施形態によるピクセルの例示的な回路の細部を示すブロック図である。
【図４】本発明の他の実施形態によるピクセルの例示的な回路の細部を示すブロック図である。
【図５】本発明の一実施形態によるピクセルの例示的なＴＣＣユニットに対する回路の細部的な説明をするための回路図である。
【図６】本発明の一実施形態による図５のＴＣＣユニットで変調された電荷伝送メカニズムを概略的に説明するための例示的なタイミング図である。
【図７】本発明の一実施形態による図５のＴＣＣユニットに使用されうる例示的な論理ユニットの概略構成を示すブロック図である。
【図８】本発明の一実施形態によるＴＯＦの値を測定するため、図５の実施形態のＴＣＣユニットがピクセルアレイの一部に使用される場合、図１及び図２のシステムの多様な信号の例示的なタイミングを示すタイミング図である。
【図９】本発明の他の実施形態による例示的なＴＣＣユニットの回路の細部的な説明をするための回路図である。
【図１０】本発明の一実施形態によるＴＯＦの値を測定するために、図９の実施形態のＴＣＣユニットがピクセルアレイの一部に使用される場合、図１及び図２のシステムの多様な信号の例示的なタイミングを示すタイミング図である。
【図１１】本発明の一実施形態による図１及び図２のシステムでＴＯＦの値が決定される方法を説明するための例示的なフローチャートである。
【図１２】本発明の一実施形態による図１及び図２のシステムの全般的な概略構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
次に、本発明に係るピクセル及びイメージセンサーの動作方法並びにシステムを実施するための形態の具体例を図面を参照しながら説明する。
【００１７】
以下の詳細な説明において、数多くの特定の細部事項が、本発明の完全な理解を提供するために説明する。
しかし、開示した本発明の実施形態は、斯かる特定の細部事項なしで実施することができるのは、当業者によって理解されるだろう。
他の例で、よく知られている方法、手順、コンポーネント及び回路は、本開示を曖昧にしないために詳細に説明しない。さらに、説明する本発明の実施形態は、例えば、コンピュータ、自動車ナビゲーションシステムなどを含む任意のイメージデバイス又はシステムにおいて低電力、距離測定、及び３次元イメージングを実行するように具現することができる。
【００１８】
「一実施形態」又は「実施形態」を通じた本明細書での言及は、このような実施形態と関連して説明される特定の特徴、構造、又は特性が本発明の少なくとも一つの実施形態に含まれることを意味する。
したがって、斯かる明細書を通じた多様な位置で「一実施形態で」、「実施形態で」、又は「一実施形態により」（又は他の類似の趣旨を有する他のフレーズ）のようなフレーズの表現は、必ずしも同じ実施形態のすべてを言及するのではない。
さらに、特定の特徴、構造、又は特性は、一以上の実施形態で任意の適切な方式で結合することができる。
なお、ここでの議論の文脈に応じて、単数はこれの複数形を包含でき、複数はこれの単数形を含み得る。
同様に、ハイフンで接続された用語（例えば、「３−次元」、「予め−定義された」、「ピクセル−スペシフィック」など）は、これのハイフンがない形態（例えば、「３次元」、「予め定義された」、「ピクセルスペシフィック」など）と共に、場合によって、相互交換的に使用することができ、大文字入力（例えば、「Ｐｒｏｊｅｃｔｏｒ  Ｍｏｄｕｌｅ」、「Ｉｍａｇｅ  Ｓｅｎｓｏｒ」、「ＰＩＸＯＵＴ」  ｏｒ「Ｐｉｘｏｕｔ」など）は、これの大文字で入力されていない形態（例えば、「ｐｒｏｊｅｃｔｏｒ  ｍｏｄｕｌｅ」、「ｉｍａｇｅ  ｓｅｎｓｏｒ」、「ｐｉｘｏｕｔ」など）と共に相互交換的に使用することができる。このような場合による相互交換的な使用は相互不一致するものと考慮されないだろう。
【００１９】
「結合された〜」、「動作可能に結合された〜」、「接続された〜」、「接続する〜」、「電気的に接続される〜」などの用語が動作方式で電気的／電気的に接続される状態に対して、一般的に言及するように、ここで相互交換的に使用することができるというのが、最初に述べられる。
同様に、第１エンティティ（ｅｎｔｉｔｙ）が電気的に情報信号（アドレス、データ、又は制御情報であろうとなかろうと）を、斯かる信号の形式（アナログ又はデジタル）に関係なく、第２エンティティと送信及び／又は受信（有線又は無線手段を通じるものであろうとなかろうと）するときに、第１エンティティは、第２エンティティ（又は複数のエンティティ）と通信することと考慮される。
さらに、ここに図に示して説明する多様な図面（コンポーネントダイヤグラムを含む）は、単に例示的な目的のためのものであり、規格に合わせて描かれたものではないことが言及される。同様に、様々な波形及びタイミング図は単に例示的な目的のために図示される。
【００２０】
ここで使用する「第１」、「第２」などの用語は、それらが先行する名詞のラベルに使用され、明示的に定義されない限り、任意に定められた（例えば、空間的、時間的、論理的など）形式を暗示しない。
さらに、同じ参照番号は、同一又は類似の機能を有する部分、コンポーネント、ブロック、回路、ユニット、又はモジュールと呼ばれる複数の図面に渡って使用することができる。
しかし、このような使用は、説明の単純化と説明の容易性のためであり、このようなコンポーネント又はユニットの構成や構造的な細部説明がすべての実施形態に渡って同一であるか、又はこのような共通的に参照される部分／モジュールが、本発明の特定の実施形態の教示を具現する唯一の方法であることを暗示するものではない。
【００２１】
前述した３次元技術が、多くの欠点を有するということが、ここで観察される。
例えば、レンジゲートＴＯＦイメージャー（ｒａｎｇｅ  ｇａｔｅｄ  ＴＯＦ  ｉｍａｇｅｒ）は、光を提供する複数のレーザーパルスと、光がただ所望する時間内にイメージャーに到達するようにする光学ゲートと、を使用する。
レンジゲートＴＯＦイメージャーは、霧を通して見えるように、特定された距離の範囲外のものを塞ぐように、２次元イメージングに使用することができる。
しかし、ゲートＴＯＦイメージャーは、ただ白黒（Ｂｌａｃｋ−ａｎｄ−Ｗｈｉｔｅ：Ｂ＆Ｗ）の出力を提供するのみであり、３次元イメージング機能を有しない可能性がある。
さらに、現在のＴＯＦシステムは、一般的に数メートルから数十メートルの範囲を超えて動作するが、それらの解像度は短い距離に対する測定において減少する可能性がある。
これにより、霧又は見えにくい状況でのように、短い距離以内で、３次元イメージングを作ることは非実用的である。
また、既存のＴＯＦセンサーのピクセルは、周辺光の影響を受けやすい可能性がある。
【００２２】
ダイレクトＴＯＦ（Ｄｉｒｅｃｔ  ＴＯＦ：以下、ＤＴＯＦ）ライダーセンサーは、典型的にＤＴＯＦ範囲の測定のためにそれらのピクセルアレイに単一光子アバランシェダイオード（Ｓｉｎｇｌｅ  Ｐｈｏｔｏｎ  Ａｖａｌａｎｃｈｅ  Ｄｉｏｄｅ（ｓ）：以下、ＳＰＡＤ（ｓ））又はアバランシェフォトダイオード（Ａｖａｌａｎｃｈｅ  Ｐｈｏｔｏ  Ｄｉｏｄｅ（ｓ）：以下、ＡＰＤ（ｓ））を使用する。
一般的に、ＳＰＡＤ及びＡＰＤの両方は、約２０Ｖ〜３０Ｖの範囲の高い動作電圧及びそれらを製作するための特殊な製造工程を必要とする。
さらに、ＳＰＡＤは、５％の範囲内の低い光子検出効率（Ｐｈｏｔｏｎ  Ｄｅｔｅｃｔｉｏｎ  Ｅｆｆｉｃｉｅｎｃｙ：ＰＤＥ）を有する。
したがって、ＳＰＡＤベースのイメージャーは、全天候自律走行のための高速の３次元イメージングシステムに最適化されない可能性がある。
【００２３】
立体撮像法（ｓｔｅｒｅｏｓｃｏｐｉｃ  ｉｍａｇｉｎｇ  ａｐｐｒｏａｃｈ）は、一般に、テクスチャ加工された表面でのみ機能する。
これは、オブジェクトの画像のステレオペア間の特徴を一致させ、対応関係を見つける必要があるため、計算の複雑さが高い。
これは高いシステム電力を要求する。
さらに、ステレオイメージングは、２つのレンズと共に２つの通常、高いビット分解能センサーを必要とし、例えば、自動車ベースの自律ナビゲーションシステムのような空間がプレミアムである場合、アセンブリ全体が不適切である。
さらに、ステレオ３Ｄカメラは、霧を通して見難く、モーションブラー（ｍｏｔｉｏｎ  ｂｌｕｒ）を扱いにくい。
【００２４】
一方、本発明の一実施形態は、全天候型の状況のための自動車においての低コスト、高効率の自動車用ライダーセンサー又はＤＴＯＦベースの３次元イメージングシステムの具現を提供する。
したがって、運転者についての向上された視野が、例えば、低光量、悪天候、霧、強い周辺光などの厳しい状況下において提供することができる。
本発明の一実施形態によるＤＴＯＦ範囲測定システムは、イメージングを含まない可能性があるが、代わりに可聴及び／又は可視警報を提供することができる。
【００２５】
測定された範囲は、例えば、他のオブジェクトとの衝突を避けるように、自動的に車両を停止するような車両の自律制御に使用することができる。
以下で、さらに詳細に説明するように、本発明の一実施形態による単一パルスベースのダイレクトＴＯＦシステムで、ＴＯＦ情報は、ピクセル自体の内部の制御された電荷伝送とアナログドメインベースのシングルエンドツーディファレンシャルコンバーター（ｓｉｎｇｌｅ−ｅｎｄｅｄ  ｔｏ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｃｏｎｖｅｒｔｅｒ）によって、受信した信号に追加される。
したがって、本発明は、それぞれのピクセルでの単一のピンフォトダイオード（Ｐｉｎｎｅｄ  Ｐｈｏｔｏ  Ｄｉｏｄｅ：以下、ＰＰＤ）（又は他のタイムツーチャージコンバーター）と接続した４５％以上の範囲のＰＤＥを有する高い変換フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ：以下、ＰＤ）を利用したピクセルアレイのそれぞれのピクセル内でアナログ振幅変調（Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ：ＡＭ）とＴＯＦを直接組み合わせる単一チップ・ソリューションを提供する。
【００２６】
高い変換ＰＤは、ＤＴＯＦ範囲測定のために、現在のライダーイメージャーのＳＰＡＤを取り替える。
ピクセルでＰＤの出力は、ＰＰＤの動作を制御してＴＯＦ値と３次元オブジェクトの範囲の記録を容易にするのに使用される。
その結果、短い範囲で悪天候を「見通す」ことができ、実質的低い動作電圧下において２次元グレースケールのイメージだけではなく、３次元イメージを生成できる向上した自律ナビゲーションシステムが提供することができる。
【００２７】
図１は、本発明の一実施形態による（ライダーＴＯＦイメージ）システム１５の非常に単純化された部分的な構成を示すブロック図である。
図に示すように、システム１５は、プロセッサ１９又はホストと接続され、通信するイメージモジュール１７を含む。
システム１５は、例えば、イメージモジュール１７から受信したイメージデータなどのような情報コンテンツを格納するように、プロセッサ１９に接続されるメモリモジュール２０を含む。
【００２８】
一実施形態において、全体のシステム１５は、単一の集積回路（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＩＣ）又はチップにカプセル化することができる。
又は、各モジュール又はプロセッサ（１７、１９、２０）は、別個のチップとして具現することができる。
さらに、メモリモジュール２０は、複数のメモリチップを含み得、プロセッサ１９も、また、複数のプロセシングチップを含み得る。
いずれにせよ、図１のモジュールのパッケージングに関する細部事項と、どのようにそれらが単一のチップ又は複数の分離されたチップを使用して製造したり具現したりするかについては、本発明と関連せず、以後、これらの細部内容はここで提供しない。
【００２９】
システム１５は、本発明の開示により２次元及び３次元イメージングアプリケーションに対し構成された任意の電子デバイスであり得る。
システム１５は、携帯可能又は携帯可能ではないことも有り得る。
システム１５の携帯可能なバージョンの一部の実施形態は、例えば、モバイルデバイス、携帯電話、スマートフォン、ユーザー端末（Ｕｓｅｒ  Ｅｑｕｉｐｏｍｅｎｔ：ＵＥ）、タブレット、デジタルカメラ、ラップトップ又はデスクトップコンピュータ、自動車ナビゲーションユニット、Ｍ２Ｍ（Ｍａｃｈｉｎｅ−ｔｏ−Ｍａｃｈｉｎｅ）通信ユニット、バーチャルリアリティ（ＶＲ）装置又はモジュール、ロボットなどの一般的な消費者電子ガジェットを含む。
【００３０】
一方、システム１５の携帯可能でないバージョンの一部の実施形態は、ビデオアーケードのゲームコンソール、相互作用するビデオ端末、自律走行が可能な自動車、マシンビジョンシステム、産業用ロボット、ＶＲ装置、などを含み得る。
本発明の開示により提供された３次元イメージ処理機能は、例えば、低い光量又は悪天候の状況においての全天候自律走行と運転支援のような自動車アプリゲーション、ヒューマンマシンインターフェースとゲームアプリケーション、マシンビジョンとロボット工学アプリケーションのような多くのアプリケーションに使用することができる。
【００３１】
本発明の一実施形態において、イメージモジュール１７は、プロジェクターモジュール２２（又は光源モジュール）及びイメージセンサーユニット２４を含む。
図２を参照して、より詳細に後述するように、一実施形態において、プロジェクターモジュール２２での光源は、例えば、近赤外線（Ｎｅａｒ  Ｉｎｆｒａｒｅｄ：ＮＩＲ）又は短波長赤外線（Ｓｈｏｒｔ  Ｗａｖｅ  Ｉｎｆｒａｒｅｄ：ＳＷＩＲ）レーザーのような照射光が目立たないようにする赤外線（ＩＲ）レーザーであり得る。
他の実施形態では、光源は、可視光線レーザーであり得る。
イメージセンサーユニット２４は、図２に示して後述するように、ピクセルアレイと補助処理回路を含み得る。
【００３２】
一実施形態において、プロセッサ１９は、汎用マイクロプロセッサである中央処理装置（ＣＰＵ）であり得る。
本文では、「プロセッサ」と「ＣＰＵ」の用語は、説明の便宜上相互交換して使用することができる。
しかし、ＣＰＵ以外に、又は代わりに、プロセッサ１９は、例えば、マイクロコントローラー、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）、専用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）プロセッサなどのような他のタイプのプロセッサを含み得る。
【００３３】
さらに、一実施形態において、プロセッサ１９／ホストは、複数のＣＰＵを含み得、分離された処理環境で動作することができる。
プロセッサ１９は、コマンドを実行して、例えば、ｘ８６命令語セットアーキテクチャ（３２ビット又は６４ビットバージョン）、ＰｏｗｅｒＰＣ（登録商標）ＩＳＡ、又はＲＩＳＣ（Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）ＩＳＡに依存するＭＩＰＳ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ  ｗｉｔｈｏｕｔ  Ｉｎｔｅｒｌｏｃｋｅｄ  Ｐｉｐｅｌｉｎｅ  Ｓｔａｇｅｓ）命令語セットアーキテクチャなどの特定の命令語セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）によるデータを処理するように構成することができる。
一実施形態で、プロセッサ１９は、ＣＰＵの機能以外の機能を有するシステムオンチップ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ：ＳｏＣ）であり得る。
【００３４】
一実施形態において、メモリモジュール２０は、例えば、同期式ＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ：ＳＤＲＡＭ）であるか、ＨＢＭ（Ｈｉｇｈ  Ｂａｎｄｗｉｄｔｈ  Ｍｅｍｏｒｙ）モジュール又はＨＭＣ（Ｈｙｂｒｉｄ  Ｍｅｍｏｒｙ  Ｃｕｂｅ）メモリモジュールのようなＤＲＡＭベースの３次元スタック（Ｔｈｒｅｅ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｓｔａｃｋ、３ＤＳ）メモリモジュールのようなＤＲＡＭであり得る。
他の実施形態において、メモリモジュール２０は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ｎｏｎ−３ＤＳ  ＤＲＡＭモジュール、又はＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、ＰＲＡＭ又はＰＣＲＡＭ（Ｐｈａｓｅ−Ｃｈａｎｇｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＲＡＭ（登録商標）又はＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ  ＲＡＭ）、ＣＢＲＡＭ（Ｃｏｎｄｕｃｔｉｖｅ−Ｂｒｉｄｇｉｎｇ  ＲＡＭ）、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ  ＲＡＭ）、ＳＴＴ−ＭＲＡＭ（Ｓｐｉｎ−Ｔｒａｎｓｆｅｒ  Ｔｏｒｑｕｅ  ＭＲＡＭ）などのような他の半導体ベースのストレージシステムであり得る。
【００３５】
図２は、本発明の一実施形態による図１のシステム１５の例示的な動作を説明するための図である。
システム１５は、３次元オブジェクト２６のように、個々のオブジェクト又は他のオブジェクトのグループ内のオブジェクトであり得る３次元オブジェクトに対する範囲の測定（及び、したがって、３次元イメージ）を取得するのに使用することができる。
一実施形態において、範囲及び３次元の深さ（奥行き）情報は、イメージセンサーユニット２４から受信する測定データに基づいて、プロセッサ１９によって計算することができる。
他の実施形態において、範囲／奥行き情報はイメージセンサーユニット２４自体によって計算することができる。
【００３６】
特定の実施形態で、範囲情報は、プロセッサ１９によって３次元ユーザーインターフェースの一部として使用することができる。
３次元ユーザーインターフェースは、システム１５のユーザーをオブジェクトの３次元イメージと相互作用できるようにしたり、オブジェクトの３次元イメージをシステム１５で動作するゲーム又は自律走行アプリケーションのような他のアプリケーションの一部として使用できるようにしたりすることができる。
本発明の開示による３次元イメージは、また、他の目的又はアプリケーションのために使用することができ、動いているか、又は動いていない任意の３次元オブジェクトに実質的に適用することができる。
【００３７】
プロジェクターモジュール２２（又は光源モジュール）は、光学的視野（Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ：ＦＯＶ）内の３次元オブジェクト２６に照射させるのに使用する光学的放射線又は光信号の照射経路に対応する点線３１と関連した例示的な矢印３０で示したような、短パルス２８を調査することにより、３次元オブジェクト２６を調光することができる。
システム１５は、単一パルスが（ピクセルアレイの）イメージフレーム当たり使用することのできるダイレクトＴＯＦイメージャーであり得る。
一実施形態において、複数の短パルスは、また、３次元オブジェクト２６に伝送することができる。
【００３８】
一実施形態において、レーザーコントローラー３４によって動作され制御されるレーザー光源３３であり得る光学的放射線源は、短パルス２８（ここでは、レーザーパルス）を３次元オブジェクト２６に照射させるのに使用する。
レーザー光源３３からの短パルス２８は、レーザーコントローラー３４の制御下において、照射光学系３５を通じて３次元オブジェクト２６の表面に照射される。
照射光学系３５は、フォーカシングレンズ、ガラス／プラスチックの表面、又は他の円筒状の光学構成要素であり得る。
図２の実施形態で、フォーカシングレンズのような凸構造を、照射光学系３５として図に示す。
しかし、任意の他の適切なレンズの設計又は外部の光学的カバーを照射光学系３５に選択することができる。
【００３９】
一実施形態において、レーザー光源３３（光源又は調光ソース）は、ダイオードレーザー又は可視光線を放出するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、非可視（ｎｏｎ−ｖｉｓｉｂｌｅ）スペクトルでの光を生成する光源、赤外線（ＩＲ）レーザー（例えば、ＮＩＲ又はＳＷＩＲレーザー）、点光源、可視光線スペクトルでの単色光源（例えば、ホワイトランプとモノクロメーター（ｍｏｎｏｃｈｒｏｍａｔｏｒ）の組み合わせ）、又は任意の他のタイプのレーザー光源であり得る。
自律走行アプリケーションで、更に目立たないＮＩＲ又はＳＷＩＲレーザーがパルスレーザー光源として選好され得る。
【００４０】
一実施形態において、レーザ光源３３は、例えば、２次元スキャニングが可能な点光源、１次元（１Ｄ）スキャニングが可能な面光源（ｓｈｅｅｔ  ｓｏｕｒｃｅ）、又はイメージセンサーユニット２４の視野（ＦＯＶ）をマッチングする拡散レーザーのような数多くの他のタイプのレーザー光源の中でいずれか一つであり得る。
一実施形態において、レーザ光源３３は、デバイス１５のハウジング内の一つの位置に固定され得るが、Ｘ−Ｙ方向に回転することもできる。
レーザー光源３３は、３次元オブジェクト２６のスキャンを実行するように、Ｘ−Ｙアドレサブル（ａｄｄｒｅｓｓａｂｌｅ）（例えば、レーザーコントローラー３４によって）である。
レーザーパルス２８は、ミラー（図示せず）を使用して、３次元オブジェクト２６の表面に照射することができる。
又は、照射を完全にミラーなしですることもできる。
特定の実施形態で、プロジェクターモジュール２２は、図２の例示的な実施形態で示したものよりも多いか、少ない構成要素を含み得る。
【００４１】
図２の実施形態で、オブジェクト２６から反射される、あるいは「リターンパルス」３７と呼ばれる、光／パルスは、点線４０に隣接する矢印３９で表される収集経路に沿って移動する。
光収集経路は、レーザー光源３３からの光を受信時に、３次元オブジェクト２６の表面で反射したり散乱した光子を運ぶ。
図２で、実線の矢印と点線を使用した多用な伝達経路の描写は、単に例示的な目的のためのものである。
このような描写は、任意の実質的な光信号伝達経路を図示するものと解釈してはならない。
実際での調光及び収集信号経路は、図２に示したものとは異なることができ、図２の図で明確に定義されたものではない可能性がある。
【００４２】
ＴＯＦイメージングで、調光された３次元オブジェクト２６から受信した光は、イメージセンサーユニット２４の収集光学系４４を通じて２次元ピクセルアレイ４２にフォーカシングされる。
２次元ピクセルアレイ４２は、一つ以上のピクセル４３を含む。
照射光学系３５のように、収集光学系４４は、３次元オブジェクト２６から受信した反射光を２次元ピクセルアレイ４２の一つ以上のピクセル４３に集中させるフォーカシングレンズ、ガラス／プラスチック表面、又は他の円筒状の光学構成要素であり得る。
広帯域通過フィルタ（図示せず）は、短パルス（レーザーパルス）２８での光の波長と同じ波長を有する光のみを通過させる収集光学系４４の一部として使用することができる。
これは関連性がない光収集／受信を防ぎ、ノイズを減らすことができる。
図２の実施形態で、フォーカシングレンズのような凸構造が収集光学系４４として示す。
しかし、任意の他の適切なレンズ設計又は光学カバーが収集光学系４４に選択することができる。
さらに、図示の容易性のために、単純に３×３ピクセルアレイを図２に示した。
しかし、現在のピクセルのアレイは、数千個、それにもまして何百万個のピクセルを含むものと理解されるであろう。
【００４３】
本発明の一実施形態によるＴＯＦベースの３次元イメージングは、２次元ピクセルアレイ４２とレーザー光源３３の他の数多くの組み合わせを使用して実行することができるが、例えば、
（ｉ）赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）光のレーザー、又はこのような光の組み合わせを生成するレーザ光源であり得る可視光線レーザー光源と２次元カラー（ＲＧＢ）センサー、
（ｉｉ）赤外線（ＩＲ）遮断フィルタを有する２次元ＲＧＢカラーセンサーと可視光レーザー、
（ｉｉｉ）２次元ＩＲセンサーと、ＮＩＲ又はＳＷＩＲレーザー、
（ｉｖ）２次元ＮＩＲセンサーとＮＩＲレーザー、
（ｖ）（ＩＲ遮断フィルタがない）２次元ＲＧＢセンサーとＮＩＲレーザー、
（ｖｉ）（ＮＩＲ遮断フィルタがない）２次元ＲＧＢセンサーとＮＩＲレーザー、
（ｖｉｉ）可視光線又は赤外線（ＩＲ）レーザーと、２次元ＲＧＢ−ＩＲセンサー、
（ｖｉｉｉ）可視光線又はＮＩＲのいずれか一つのレーザーと、
２次元ＲＧＢＷ（赤、緑、青、白）又はＲＷＢ（赤、白、青）センサーなどと同じものである。
【００４４】
ＮＩＲ又は他のＩＲレーザーの場合に、例えば、自律走行のアプリケーションで、２次元ピクセルアレイ４２は、３次元オブジェクト２６のグレースケールイメージを生成するように出力を提供する。
このようなピクセルの出力は、また、範囲の測定を取得するように処理することができ、これにより、更に詳細に後述するように、３次元オブジェクト２６の３次元イメージを生成することができる。
個々のピクセル４３に対する例示的な回路の細部内容は、図３〜５、７及び９を参照して後述する。
【００４５】
２次元ピクセルアレイ４２は、受信した光子を、相応する電気信号に変換することができ、以後に電気信号は、関連したイメージ処理ユニット４６によって処理され、３次元オブジェクト２６の範囲及び３次元の深さ（奥行き）情報を決定する。
一実施形態で、イメージ処理ユニット４６及び／又はプロセッサ１９は、範囲測定を行うことができる。
イメージ処理ユニット４６は、また、関連した処理回路及び２次元ピクセルアレイ４２の動作を制御するための回路を含み得る。
プロジェクターモジュール２２及び２次元ピクセルアレイ４２の両方は、高速信号によって制御されるべきであり、同期化されるべきである。
斯かる信号は、高い解像度を取得するように非常に正確でなければならない。
したがって、プロセッサ１９及びイメージ処理ユニット４６は、正確な時間と高い精度を関連信号に提供するように構成される。
【００４６】
図２の実施形態の（ＴＯＦ）システム１５で、イメージ処理ユニット４６は、それぞれのピクセル４３から一対のピクセルスペシフィックアウトプットを受信して、光がプロジェクターモジュール２２から３次元オブジェクト２６まで移動し、２次元ピクセルアレイ４２に戻って来るのにかかるピクセルスペシフィック時間（ピクセルスペシフィックＴＯＦ値）を測定する。
時間の計算は、後述するアプローチを使用することができる。
計算されたＴＯＦ値に基づいて、特定の実施形態で、３次元オブジェクト２６までのピクセルスペシフィック距離は、イメージセンサーユニット２４のイメージ処理ユニット４６によって直接計算され、プロセッサ１９が、例えば、ディスプレイスクリーン又はユーザーインターフェースのような一部のインターフェースを介して３次元オブジェクト２６の３次元距離イメージを提供できるようにする。
【００４７】
プロセッサ１９は、プロジェクターモジュール２２とイメージセンサーユニット２４の動作を制御する。
ユーザーの入力時に、又は自動的に（例えば、リアルタイム自律走行アプリケーションのように）、プロセッサ１９は、反復的にレーザーパルス２８を周りの３次元オブジェクト（複数のオブジェクト）に送信し、イメージセンサーユニット２４をトリガーとして、入射するリターンパルス３７を受信・処理する。
イメージ処理ユニット４６から受信される、処理されたイメージデータは、ＴＯＦベースの範囲の計算及び３次元イメージの生成（適用可能な場合）のために、プロセッサ１９によってメモリ２０に格納される。
【００４８】
プロセッサ１９は、また、２次元イメージ（例えば、グレースケールイメージ）及び／又は３次元のイメージをシステム１５のディスプレイスクリーン（図示せず）に表示することができる。
プロセッサ１９は、ソフトウェア又はファームウェアでプログラムされて、ここで説明した様々な処理作業を行う。
選択的に又は追加的に、プロセッサ１９は、斯かる機能の一部又は全部を遂行するためのプログラマブル（ｐｒｏｍｒａｍｍａｂｌｅ）ハードウェア論理回路を含み得る。
特定の実施形態で、メモリモジュール２０は、プログラムコード、ルックアップテーブル、及び／又は一時的な計算結果を格納して、プロセッサ１９が、このような機能を実行させる。
【００４９】
図３は、本発明の一実施形態によるピクセル５０の例示的な回路の細部を示すブロック図である。
ピクセル５０は、図２の２次元ピクセルアレイ４２でピクセル４３の例示である。
ピクセル５０は、図５〜１０を参照して、後述するように、ＴＯＦ測定のための時間分解センサー（ｔｉｍｅ−ｒｅｓｏｌｖｉｎｇ  ｓｅｎｓｏｒ）として動作する。
図３に示すように、ピクセル５０は、出力ユニット５３に電気的に接続されるフォトダイオード（ＰＤ）ユニット５２を含む。
【００５０】
ＰＤユニット５２は、第２ＰＤ５６と並列に接続される第１ＰＤ５５を含む。
第１ＰＤ５５は、符号「５７」にて実線で示す受信された光（又は入射光）を電気信号に変換するよう動作する、非常に高い変換利得を有するＰＤであり得、電気信号は、さらに処理するために、第１ＰＤスペシフィックアウトプット端子５８を介して出力ユニット５３に提供される。
一実施形態において、受信した光５７は、リターンパルス３７（図２）で受信した光であり得る。
一実施形態において、第１ＰＤ５５の変換利得は、光電子（又は光子）当たり少なくとも４００μＶであり得、また「４００μＶ／ｅ−」で相互交換的に言及することができる。
前述したように、伝統的なＰＤは、「２００μＶ／ｅ−」より低い変換利得を有する。
【００５１】
高い利得の第１ＰＤ５５は、また、４５％以上の範囲ではるかに高いＰＤＥを有することができ、それにより、低い光量の状況において光子検出を容易にする。
第１ＰＤ５５は、アバランシェ利点なしに光子カウンティングを行うことができるので、ＳＰＡＤをＤＴＯＦライダーセンサーに置き換えるのに使用することができる。
さらに、第１ＰＤ５５は、他の低電圧ＣＭＯＳ回路と互換することができ、約２．５Ｖ〜３Ｖの「伝統的な」供給電圧で動作することができ、それにより十分な電力節減を提供する。
【００５２】
一方、前述したように、ＳＰＡＤ（又はＡＰＤ）は、約２０Ｖ〜３０Ｖの高い動作電圧を必要とする。
したがって、高い変換利得、高にＰＤＥ、及び低い動作電圧を有する第１ＰＤ５５を含むピクセル５０は、例えば、図１及び２のシステム１５のようなＴＯＦベースの範囲の測定を要求する全天候自律走行と他のアプリケーションのための高速の３次元イメージングシステムで、図２の２次元ピクセルアレイ４２のようなピクセルアレイに有利に使用することができる。
【００５３】
一実施形態で、第２ＰＤ５６は、非常に高い利得及び高いＰＤＥを有する低電圧ＰＤであり得るという意味から、第１ＰＤ５５と近似する。
しかし、第１ＰＤ５５と対照的に、第２ＰＤ５６は、図３の第２ＰＤ５６の周囲の網掛けの円（ｃｉｒｃｌｅ）で示したように、光に露出され得ない。
したがって、第２ＰＤ５６は、例えば光５７の受信時に、暗度のレベルを検出することができ、暗度のレベルで表わされる基準信号（又はダーク（ｄａｒｋ）電流）を生成する。
基準信号は、第２ＰＤスペシフィックアウトプット端子５９を介して出力ユニット５３に提供される。単純に１つの高い利得の第１ＰＤ５５がＰＤユニット５２に光受容器として示すが、一部の実施形態で、ＰＤユニット５２は、第１ＰＤ５５と類似の１つ以上のＰＤを包含できることがここで言及され、このようなすべての高い利得のＰＤは、互いに（露出されない第２ＰＤ５６と）並列に接続することができ、受信した光に露出され得る。
【００５４】
説明の便宜上簡略に、そして斯かる文脈に応じて、同じ参照番号がライン／端子及び斯かるライン／端子と関連した信号を、場合によって、相互交換的に言及するのに図３〜１０の説明で使用されうることがここで言及される。
たとえば、参照符号「５８」は、第１ＰＤ５５によって生成される電気信号及び電気信号を運ぶライン／端子を相互交換的に言及するのに使用することができる。
同様に、参照符号「５９」は、第２ＰＤ５６によって生成される基準信号及び基準信号を運ぶライン／端子を言及するのに使用することができ、（後述する）参照符号「７４」は、ＰＤユニット６８（図４）によって出力される電気信号及び電気信号を運ぶライン／端子を言及するのに使用することができる。
【００５５】
出力ユニット５３のアンプ（増幅器）ユニットは、第１ＰＤ５５、第２ＰＤ５６と直列に接続することができ、電気信号５８を増幅するように動作することができる。
一部の実施形態で、増幅器ユニットは、センスアンプ（ｓｅｎｓｅ  ａｍｐｌｉｆｉｅｒ）６０であり得る。
このような増幅の前に、センスアンプ６０は、第１ＰＤ５５、第２ＰＤ５６をリセットすることができる。
以後に、第１ＰＤ５５は、入射光５７を受信することができ、電気信号５８を生成することができる。
センスアンプ６０は、電子シャッターがターンオンされた場合に限り、電気信号を増幅するように動作する。
例示的なシャッター信号は、図６、８、及び１０に示し、後述する。
【００５６】
図３の実施形態で、シャッター信号（又は、「電子シャッター」と呼ばれる）６１は、センスアンプ６０に入力され、外部から供給される「イネーブル（Ｅｎ）」として示される。
一実施形態で、第１ＰＤ５５、第２ＰＤ５６は、シャッター信号６１がターンオンされる前にリセットすることができる。
シャッター信号６１が活性化している間、センスアンプ６０は、基準信号（又はダーク電流）５９に対する（光子到達の検出に応答して生成される）電気信号５８を感知し、電気信号を増幅して、中間出力６２を生成する。
一実施形態で、センスアンプ６０は、伝統的な電流感知アンプであり得る。
中間出力６２は、実施形態に応じて、電圧信号又は電流信号であり得る。
【００５７】
時間電荷コンバーター（Ｔｉｍｅ−ｔｏ−Ｃｈａｒｇｅ  Ｃｏｎｖｅｒｔｅｒ：ＴＣＣ）ユニット６４に対する例示的な回路の詳細な説明を後述する図５、図７及び図９に示す。
ＴＣＣユニット６４は、アナログ電荷伝送（後述する）に基づいて光子到達時間を記録するのに使用することができる。
一般的に、一実施形態で、ＴＣＣユニット６４は、ピンフォトダイオード（ＰＰＤ）又はキャパシターのように、アナログ電荷を貯蔵するように動作するピクセルスペシフィックデバイス、及び前記デバイスと接続される制御回路を含み得る。
制御回路は、
（ｉ）（ピクセルスペシフィック）デバイスからアナログ電荷の一部の伝送を開始し、
（ｉｉ）所定の時間間隔内に中間出力６２の受信に応答して伝送を終了し、
（ｉｉｉ）伝送したアナログ電荷の一部に基づいて、ピクセルに対するピクセルスペシフィックのアナログアウトプット（ＰＩＸＯＵＴ）６５を生成するように動作する。
【００５８】
図２の実施形態で、２次元ピクセルアレイ４２の（図３のピクセル５０と類似した）様々なピクセル４３からのｐｉｘｏｕｔ信号は、イメージ処理ユニット４６（又はプロセッサ１９）によって、光子到達時間を記録してＴＯＦ値を決定するように処理することができる。
したがって、さらに詳細に後述するように、中間出力６２（及び、これによって、ＰＤ５５による光子検出）は、ピクセルスペシフィックアウトプット（ＰＩＸＯＵＴ）６５を生成するように、アナログストレージデバイス（例えば、ＰＰＤ又はキャパシター）からの電荷伝送を制御する。
なお、後述するように、電荷伝送は、ＴＯＦ値及び３次元オブジェクト２６の相応する範囲の記録を容易にすることができる。
つまり、第１ＰＤ５５からの出力は、ストレージデバイスの動作を決定するのに使用される。
さらに、ピクセル５０において、光感知機能は、第１ＰＤ５５によって行われ、一方、アナログストレージデバイスは、光感知構成要素の代わりに、時間電荷コンバーターに使用される。
【００５９】
図４は、本発明の他の実施形態によるピクセル６７の例示的な回路の細部を示すブロック図である。
ピクセル６７は、図２の２次元ピクセルアレイ４２においてピクセル４３の他の例示である。
図３のピクセル５０のように、ピクセル６７は、図５〜１０を参照して、後述するように、あるいは、ＴＯＦ測定のための時間分解センサーとして動作することができる。
図４に示すように、ピクセル６７は、出力ユニット６９に電気的に接続されるフォトダイオード（ＰＤ）ユニット６８を含む。
図４の実施形態で、ＰＤユニット６８は、非常に高い変換利得と高いＰＤＥを有するただ一つのＰＤ７０を含み、第２ＰＤ５６のように露出されないＰＤはＰＤユニット６８の一部として含まれない可能性がある。
【００６０】
しかし、ＰＤ７０は、第１ＰＤ５５（図３）と実質的に類似するので、第１ＰＤ５５の利得、動作電圧、及びＰＤＥに対する前の説明はＰＤ７０にも適用される。
従って、このような前述の説明は、説明の便宜上、ここでは反復しない。
ただ一つの高い利得を有するＰＤ７０が光受容器としてＰＤユニット６８を示したが、一部の実施形態で、ＰＤユニット６８は、ＰＤ７０と類似した複数のＰＤを含むことができ、このような高い利得を有するすべてのＰＤは、互いに並列に接続されることができ、受信する光に露出することができる。
【００６１】
図４に示すように、ＰＤ７０は、入射光７１を受信するように動作し、スイッチ７３を介して（２．５Ｖから３Ｖの範囲に有り得る）、一般的な電源電圧（ＶＤＤ）に接続される。
前述のように、入射光７１は、リターンパルス３７（図２）で受信した光を示す。
ＰＤユニット６８は、カップリングキャパシター７２を含み、受信した入射光７１から１つ以上の光子を検出する時に、ＰＤ７０によって生成された電気信号は、ライン／端子７４を介して出力ユニット６９に提供される。
図４の実施形態で、出力ユニット６９のゲインステージ（ｇａｉｎｓｔａｇｅ）回路は、アンプユニットで使用されて電気信号７４を増幅する。
図４の実施形態で、ゲインステージ回路は、図に示すように、バイパスキャパシター７６と並列に接続される反転増幅器（又はダイオードインバータ）７５を含み得る。
他の実施形態で、以後の信号処理に応じて、非反転増幅器を代わりに使用することができる。
【００６２】
スイッチ７７は、電気信号７４の増幅の前にゲインステージをリセットするように提供される。
スイッチ（７３、７７）は、前述の図３の文脈で述べた電子シャッター信号６１のように、外部から供給されるシャッター信号によって制御される。
例示的なシャッター信号は、図６、図８、及び図１０に示し、後述する。
シャッター信号６１がオフされた場合（又はターンオンされない場合）、スイッチ（７３、７７）は、閉ざされた状態であり得、そうすることでＰＤ７０及びゲインステージをリセットすることができる。
ゲインステージは、シャッター信号６１がターンオンされる場合に限り、電気信号７４を増幅するように動作する。
シャッター信号６１がターンオン（又は活性化）される場合は、スイッチ（７３、７７）は、開放される。
ＰＤ７０が入射光７１を受信し、シャッター６１が活性化される間、電気信号７４を生成すれば、ゲインステージは、電気信号７４を増幅して、中間出力７８を生成する。
中間出力７８は、実施形態に応じて電圧信号又は電流信号であり得る。
【００６３】
ＴＣＣユニット７９の例示的な回路の詳細な説明を後述する、図５、図７、及び図９にて示す。
図３のＴＣＣユニット６４のように、図４のＴＣＣユニット７９は、アナログ電荷伝送に基づいて光子到達時間を記録するのに使用することができる。
一実施形態において、ＴＣＣユニット（６４、７９）は、同一の構成であり得る。
一般的に、一実施形態において、ＴＣＣユニット７９は、ＰＰＤ又はキャパシターのように、アナログ電荷を貯蔵するように動作するピクセルスペシフィックデバイス、及び前記デバイスと接続される制御回路を含み得る。
制御回路は、
（ｉ）（ピクセルスペシフィックデバイス）デバイスからのアナログ電荷の一部の伝送を開始し、
（ｉｉ）所定の時間間隔内に中間出力７８の受信に応答して伝送を終了し、
（ｉｉｉ）伝送したアナログ電荷の一部に基づいて、ピクセルに対するピクセルスペシフィックアナログアウトプット（ＰＩＸＯＵＴ）８０を生成するように動作する。
【００６４】
図２の実施形態で、２次元ピクセルアレイ（イメージセンサーアレイ）４２の（図４のピクセル６７と類似した）様々なピクセル４３からｐｉｘｏｕｔ信号は、イメージ処理ユニット４６（又はプロセッサ１９）によって、光子到達時間秒を記録してＴＯＦ値を決定するように処理される。
したがって、さらに細部的に後述するように、中間出力７８（及び、これにより、ＰＤ７０による光子検出）は、ピクセルスペシフィックアウトプット（Ｐｉｘｏｕｔ）８０を生成するように、アナログストレージデバイス（例えば、ＰＰＤ又はキャパシター）からの電荷伝送を制御することができる。
なお、後述するように、電荷伝送は、ＴＯＦ値及び３次元オブジェクト２６の相応する範囲の記録を容易にすることができる。
つまり、高い利得のＰＤ７０からの出力は、アナログストレージデバイスの動作を決定するのに使用される。
さらに、ピクセル６７において、光感知機能は、ＰＤ７０によって行われ、一方、アナログストレージデバイスは、光感知構成要素の代わりに、時間電荷コンバーターに使用される。
【００６５】
図５は、本発明の一実施形態によるピクセルの例示的なＴＣＣユニット８４の回路に対する詳細な説明をするための回路図である。
ピクセルは（図２のさらに一般的なピクセル４３の例示）ピクセル（５０又は６７）のいずれかを含み、ＴＣＣユニット８４は、ＴＣＣユニット（６４又は７９）のいずれかであり得る。
図３及び４のシャッター信号６１のような電子シャッター信号は、（図６、図８、及び図１０のタイミング図を参照して、より詳細に後述するように）それぞれのピクセルに提供されて、ピクセルが受信した光ピクセルスペシフィック光電子をキャプチャーできるようにする。
さらに一般的にＴＣＣユニット８４は、電荷伝送トリガー部、電荷生成及び伝送部、及び、電荷収集及び出力部を有し得る。
電荷伝送トリガー部は、図３のピクセル５０の場合にセンスアンプ６０又は図４のピクセル６７の場合にゲインステージである、関連する増幅器ユニットからの信号８７を受信する論理ユニット８６を含む。
【００６６】
信号８７は、適用可能な場合、中間出力（６２及び７８）のいずれかを示す。
論理ユニット８６のような例示的な論理ユニットのブロック図は、図７に示し、後述する。
電荷生成及び伝送部は、ＰＰＤ８９、第１Ｎチャンネル金属酸化物半導体電界効果トランジスタ（ＮＭＯＳＦＥＴ又はＮＭＯＳトランジスタ）９０、第２ＮＭＯＳトランジスタ９１、第３ＮＭＯＳトランジスタ９２を含む。
電荷収集及び出力部は、第３ＮＭＯＳトランジスタ９２、第４ＮＭＯＳトランジスタ９３、及び第５ＮＭＯＳトランジスタ９４を含む。
一部の実施形態で、図５のＴＣＣユニット８４及び（後述する）図９のＴＣＣユニット１４０は、Ｐチャネル金属酸化物半導体電界効果トランジスタ（ＰＭＯＳＦＥＴｓ又はＰＭＯＳトランジスタ）又は他のタイプのトランジスタや電荷伝送デバイスで形成されうることを、ここで述べる。
さらに、前述したように、それぞれの部分でさまざまな回路構成要素の分離は、単純に例示的な説明の目的のためのものである。
一実施形態で、斯かる部分は、ここに羅列されているものよりも多かったり少なかったりする他の回路構成要素を含み得る。
【００６７】
ＰＰＤ８９は、キャパシターと同様に、アナログ電荷を貯蔵することができる。
一実施形態で、ＰＰＤ８９は、カバーされ得、光に応答しない。
したがって、ＰＰＤ８９は、光感知構成要素の代わりに、時間電荷コンバーターとして使用することができる。
しかし、前述したように、光感知機能は、高い利得のＰＤ（５５又は７０）を介して達成することができる。
他の実施形態で、適切な回路変更を有するフォトゲート、キャパシター、又は他の半導体デバイスは、図５及び９のＴＣＣユニットでＰＰＤの代わりに電荷ストレージデバイスとして使用することができる。
【００６８】
電気シャッター信号６１の動作の制御下で、論理ユニット８６のような電荷伝送トリガー部は、送信イネーブル（Ｔｒａｎｓｆｅｒ  Ｅｎａｂｌｅ：ＴＸＥＮ）信号９６を生成してＰＰＤ８９に貯蔵された電荷の伝送をトリガーする。
ＰＤ（５５、７０）は、図２のオブジェクト２６のようなオブジェクトに伝送され、反射された光パルスで（「光子検出イベント」と称することができる）光子を検出することができ、論理ユニット８６によってラッチすることのできる電気信号８７を出力することができる。
論理ユニット８６は、図７の文脈で後述するように、電気信号８７を処理してＴＸＥＮ信号９６を生成する論理回路を含み得る。
【００６９】
電荷生成及び伝送部では、ＰＰＤ８９は、第３トランジスタ９２とともにリセット（Ｒｅｓｅｔ：ＲＳＴ）信号９８を使用してフルウェルキャパシティ（Ｆｕｌｌ  ｗｅｌｌ  ｃａｐａｃｉｔｙ）に初期設定する。
第１トランジスタ９０は、ドレイン端子から伝送電圧（Ｔｒａｎｓｆｅｒ  Ｖｏｌｔａｇｅ：ＶＴＸ）信号９９を受信し、ゲート端子からＴＸＥＮ信号９６を受信する。
ＴＸ信号１００は、第１トランジスタ９０のソース端子から利用可能で、第２トランジスタ９１のゲート端子に印加される。
図に示したように、第１トランジスタ９０のソース端子は、第２トランジスタ９１のゲート端子に接続される。
【００７０】
後述するように、ＶＴＸ信号９９（又は、同じように、ＴＸ信号１００）は、アナログ電荷がＰＰＤ８９から伝送されることを制御するアナログ変調信号として使用することができ、ＰＰＤ８９は、図示された構成で、トランジスタ９１のソース端子に接続されることができる。
第２トランジスタ９１は、ＰＰＤ８９での電荷をソース端子からドレイン端子に伝送し、ドレイン端子は、第４トランジスタ９３のゲート端子と接続され、フローティング拡散（Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ：ＦＤ）ノード／接合１０２と称される電荷「コレクションサイト（Ｃｏｌｌｅｃｔｉｏｎ  ｓｉｔｅ）」を形成する。
一実施形態において、ＰＰＤ８９から伝送される電荷は、アナログ変調信号９９（又は、同様に、ＴＸ信号１００）によって提供される変調に依存する。
図５及び図１０の実施形態で、伝送される電荷は電子である。
しかし、本発明はこれに限定されない。
一実施形態で、伝送される電荷が、ホール（ｈｏｌｅ：正孔）であり得る、他の設計を有するＰＰＤが利用することができる。
【００７１】
電荷収集及び出力部では、第３トランジスタ９２は、ゲート端子でＲＳＴ信号９８を受信し、ドレイン端子からピクセル電圧（Ｐｉｘｅｌ  Ｖｏｌｔａｇｅ：ＶＰＩＸ）信号１０４を受信する。
第３トランジスタ９２のソース端子は、ＦＤノード１０２に接続される。
一実施形態で、ＶＰＩＸ信号１０４の電圧レベルは、一般的な電源電圧（ＶＤＤ）の電圧レベルと同じであり得、２．５Ｖ（ボルト）から３Ｖの範囲に有り得る。
なお、第４トランジスタ９３のドレイン端子は、図に示したように、ＶＰＩＸ信号１０４を受信する。
一実施形態で、第４トランジスタ９３は、ＮＭＯＳのソースフォロワー（ｓｏｕｒｃｅ  ｆｏｌｌｏｗｅｒ）として動作し、バッファアンプとしての機能を実行する。
【００７２】
第４トランジスタ９３のソース端子は、第５トランジスタ９４のドレイン端子と接続され、第５トランジスタ９４は、ソースフォロワー９３とカスコード構造であり得、ゲート端子から選択（Ｓｅｌｅｃｔ：ＳＥＬ）信号１０５を受信する。
ＰＰＤ８９から伝送されＦＤノード（１０２）で「収集される」電荷は、第５トランジスタ９４のソース端子でピクセルスペシフィックアウトプット１０７（ＰＩＸＯＵＴ）で表される。
ＰＩＸＯＵＴ（ライン／端子）１０７は、ＰＩＸＯＵＴライン（６５（図３）、又は８０（図４））の中の一つとして示すことができる。
【００７３】
簡単に、前述したように、ＰＰＤ８９からＦＤノード１０２に伝送される電荷は、ＶＴＸ信号９９（そして、これによる、ＴＸ信号１００）によって制御される。
ＦＤノード１０２に到達する電荷量は、ＴＸ信号１００によって変調される。
一実施形態で、電圧９９（ＶＴＸ）（そして、又はＴＸ１００）は、ランプ（ｒａｍｐ）されてＰＰＤ９９からＦＤノード１０２に電荷を漸進的に伝送する。
したがって、伝送される電荷量は、アナログ変調電圧（ＴＸ信号１００）の関数であり得るし、ＴＸ信号（電圧）１００のランピング（ｒａｍｐｉｎｇ）は、時間の関数であり得る。
したがって、ＰＰＤ８９からＦＤノード１０２に伝送される電荷は、なお時間の関数であり得る。
【００７４】
もし、ＰＰＤ８９からＦＤノード１０２への電荷の伝送のうちに、ＰＤ（５５又は７０）のフォト検出イベントの時に、論理ユニット８６によるＴＸＥＮ信号９６の生成に起因して、第２トランジスタ９１がターンオフされると（例えば、開放回路になると）、ＰＰＤ８９からＦＤノード１０２への電荷の伝送が中断される。
したがって、ＦＤノード１０２に伝送される電荷量及びＰＰＤ８９に残っている電荷量は、すべて入射光子のＴＯＦの関数である。
その結果は、時間電荷変換（ｔｉｍｅ−ｔｏ−ｃｈａｒｇｅ  ｃｏｎｖｅｒｓｉｏｎ）とシングルエンドディファレンシャル信号変換（ｓｉｎｇｌｅ−ｅｎｄｅｄ  ｔｏ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｓｉｇｎａｌ  ｃｏｎｖｅｒｓｉｏｎ）である。
したがって、ＰＰＤ８９は、時間電荷コンバーターとして動作する。
より多くの電荷がＦＤノード１０２に伝送されるほど、ＦＤノード１０２で、もっと多くの電圧が減少し、ＰＰＤ８９で、もっと多くの電圧が増加する。
オブジェクト２６（図２）は、もっと遠いほど、もっと多くの電荷がＦＤノード１０２に伝送されるものであることが観察される。
【００７５】
フローティング拡散（ＦＤ）ノード１０２で、電圧は、ＰＩＸＯＵＴ信号１０７としてアナログデジタル変換器（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ：ＡＤＣ）ユニット（図示せず）にトランジスタ９４を使用して以後に伝送され、その後続処理のために、適切なデジタル信号／値に変換される。
図５での、多様な信号のタイミング及び動作に対するもっと詳細な説明は、図８の説明を参照して、以後に提供する。
図５の実施形態で、第５トランジスタ９４は、相応するピクセル（５０又は６７）を選択するためのＳＥＬ信号１０５を受信して、電荷が完全にＦＤノード１０２に伝送された後、ＰＩＸＯＵＴ１（又は第１ピクセルの出力）電圧でフローティング拡散（ＦＤ）１０２）での電荷を読み出し、ＰＩＸＯＵＴ２（又は第２ピクセルの出力）電圧で、ＰＰＤ８９での残りの電荷を読み出す。
図８を参照して、後述するように、ＦＤノード１０２は、この電荷を電圧に変換し、ピクセル出力ライン（ＰＩＸＯＵＴ１０７）は、順次的にＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号を出力する。
他の実施形態で、ＰＩＸＯＵＴ１信号（電圧）又はＰＩＸＯＵＴ２信号（電圧）のいずれか１つ（しかし、全部ではない）は、読み出される。
【００７６】
一実施形態において、二つのピクセル出力の合計（ここで、ＰＩＸＯＵＴ１＋ＰＩＸＯＵＴ２）に対する１つのピクセルの出力（例えば、ＰＩＸＯＵＴ１）の割合は、「Ｔｔｏｆ」と「Ｔｄｌｙ」の値の時間差に比例し、これは、例えば、図８に示して、さらに詳細に後述する。
ピクセル（５０又は６７）の場合、例えば、「Ｔｔｏｆ」パラメータは、ＰＤ５５（又はＰＤ７０）によって受信される光信号のピクセルスペシフィックＴＯＦ値であり得、遅延時間パラメータ「Ｔｄｌｙ」は、光信号２８が最初に伝送されるときから、ＴＣＣユニット６４（又はＴＣＣユニット７９）でＶＴＸ信号９９がランプを開始するまでの時間であり得る。
遅延時間（Ｔｄｌｙ）はＶＴＸ９９がランプを開始した後（典型的には、電子シャッター６４が「開放」されるときに発生することができる。
光パルス２８が伝送されるときに負数でり得る。
上述された比例関係は、下記に示す数式１によって表される。
【数１】
2019109240.tif 000003
【００７７】
しかし、本発明は、数式１に示した関係に限られない。
後述するように、数式１での割合は、３次元オブジェクトの深さ（奥行き）又は距離を計算するのに使用することができ、「Ｐｉｘｏｕｔ１＋Ｐｉｘｏｕｔ２」が常に同じではない場合、斯かる比率は、ピクセルツーピクセル（ｐｉｘｅｌ−ｔｏ−ｐｉｘｅｌ）の変化にそれほど敏感ではない。
【００７８】
説明の便宜上、以下の説明で、「Ｐ１」の用語は、「Ｐｉｘｏｕｔ１」に言及するのに使用し、「Ｐ２」の用語は、「Ｐｉｘｏｕｔ２」に言及するのに使用する。
ピクセルスペシフィックＴＯＦ値は、ピクセルスペシフィックアウトプット値（Ｐ１及びＰ２）の割合で決定されるもので、数式１での関係から現れる。
一実施形態で、一旦、ピクセルスペシフィックＴＯＦ値が決定されると、（図２の３次元オブジェクト２６のような）オブジェクト又はオブジェクト上の特定の位置までのピクセルスペシフィック距離（「Ｄ」）又は範囲（「Ｒ」）が下記に示す数式２のように与えられる。
【数２】
2019109240.tif 000004
【００７９】
パラメータ「ｃ」は、光速度を示す。
又は、例えば、図５のＶＴＸ信号９９（又はＴＸ信号１００）のような変調信号がシャッターウィンドウ内で線形である一部の他の実施形態では、範囲／距離は、下記に示す数式３で計算することができる。
【数３】
2019109240.tif 000005
【００８０】
数式３で、パラメータ「Ｔｓｈｕｔｔｅｒ」は、シャッター持続期間又はシャッター「オン」の区間である。
パラメータ「Ｔｓｈｕｔｔｅｒ」は、図８及び図１０の実施形態でパラメータ「Ｔｓｈ」と呼ばれる。
したがって、オブジェクト２６のような、オブジェクトの３次元イメージは、前述したように決定されるピクセルスペシフィック範囲の値に基づいてＴＯＦシステム１５によって生成される。
【００８１】
本発明のピクセル自体内でＰＰＤ電荷分配に対するアナログ変調ベースの操作又は制御の観点から、範囲の測定と解像度も、また制御可能である。
ＰＰＤ電荷に対するピクセルレベルのアナログ振幅変調は、電子シャッターとして機能することができ、電子シャッターは、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーでのグローバルシャッターであり得る。
グローバルシャッターは、（車両のような）速い動きのオブジェクトのより良いイメージのキャプチャーを可能にし、運転支援システムや自律走行システムに役立つ。
さらに、たとえ、ここでの説明は、図１及び２のシステム１５のように、一つのパルスに対するＴＯＦイメージングシステムとして文脈で主に提供するが、ここで説明するピクセルレベルの内部のアナログ変調アプローチの原理は、持続波変調ＴＯＦイメージングシステム又はｎｏｎ−ＴＯＦシステムで、（必要に応じて）適切な変更と共に具現され得る。
【００８２】
図６は、本発明の一実施形態による図５のＴＣＣユニット８４で変調された電荷の伝送メカニズムを概略的に説明するための例示的なタイミング図１０９である。
図６（そして、又は、図８及び図１０）に示す波形は、本質的に単純化され、単に説明の目的のためのものであり、実際の波形は、回路の具現に伴う形状だけでなく、時間に応じて異なる場合がある。
図５及び図６の間での共通の信号は、比較の容易性のために、同じ参照符号を使用して識別する。
斯かる信号は、ＶＰＩＸ信号１０４、ＲＳＴ信号９８、電子シャッター信号６１、及びＶＴＸ変調信号９９を含む。
二つの付加的な波形（１１１、１１２）は、また、変調信号９９が電荷伝送のうちに印加される場合には、ＰＰＤ８９での電荷の状態とＦＤノード１０２での電荷の状態をそれぞれ説明するように、図６に示す。
【００８３】
図６の実施形態で、ＶＰＩＸ１０４は、ピクセル（５０又は６７）を初期化するように、低い論理電圧（例えば、０論理値又は０ボルト）で開始して、ピクセル（５０又は６７）の動作のうちに高い論理電圧（例えば、１論理値又は３ボルト）にスイッチングする。
ＲＳＴ９８は、ピクセル（５０又は６７）の初期化のうちに、高い論理電圧パルス（例えば、０論理値から１論理値に進行して再び０論理値に戻ってくるパルス）で開始して、ＰＰＤ８９からの電荷をフルウェルキャパシティに設定してＦＤノード１０２での電荷を０クーロン（０Ｃ）に設定する。
ＦＤノード１０２に対するリセット電圧レベルは、１論理値レベルであり得る。
【００８４】
範囲（ＴＯＦ）測定動作の間に、ＦＤノード１０２が、より多くの電子をＰＰＤ８９から受信すればするほど、ＦＤ１０２の電圧は、より低くなる。
シャッター信号（６１）は、ピクセル（５０又は６７）の初期化のうちに、低い論理電圧（例えば、０論理値又は０Ｖ）で開始し、ピクセル（５０又は６７）の動作のうちに最小測定範囲に相応する時間で１論理値レベル（例えば、３ボルト）にスイッチングして（図３の入射光信号５７に示され、図４の入射光信号（７１）に示される）リターン光パルス３７の光子を検出できるようにし、その後、最大測定範囲に相応する時間に０論理値レベル（例えば、０Ｖ）にスイッチングする。
したがって、シャッター信号６４の１論理値レベルの持続時間は、所定の時間間隔／ウィンドウを提供して、ＰＤ（５５又は７０）からの出力を受信する。
【００８５】
ＰＰＤ８９での電荷は、初期化中（ＶＰＩＸ１０４）は、ローレベルであり、ＲＳＴ９８は、ハイレベルであり、ＶＴＸ９９は、ＰＰＤ８９での電荷を満たすようにハイレベルである場合）に完全に充電され始めて、ＶＴＸ９９が０Ｖから、より高い電圧になるべく線形的な方式でランプ（ｒａｍｐ）されるにつれて、ＰＰＤ８９での電荷は減少する。
アナログ変調信号９９の制御下でＰＰＤ電荷レベルは、図６の参照符号「１１１」である波形で説明される。
ＰＰＤ電荷の減少は、ＶＴＸがランプする時間の関数であり得、これはＰＰＤ８９からＦＤノード１０２への特定の電荷量の伝送をもたらす。
したがって、図６の参照符号「１１２」である波形で示すように、ＦＤノード１０２での電荷は、低い電荷（例えば、０Ｃ）で開始し、ＶＴＸ９９が０Ｖから、より高い電圧にランプされるにつれて増加し、これはＰＰＤ８９からＦＤ１０２に、特定の電荷量を部分的に伝送する。
斯かる電荷伝送は、ＶＴＸ９９がランプする時間の関数である。
【００８６】
前述したように、図５のピクセルスペシフィックアウトプット（ＰＩＸＯＵＴ）（信号）１０７は、フローティング拡散（ＦＤ）ノード１０２に伝送されたＰＰＤ電荷から得られる。
したがって、ＰＩＸＯＵＴ信号１０７は、アナログ変調電圧ＶＴＸ９９（又は、同様に、ＴＸ電圧１００）によって時間をかけて振幅変調されるものと見なすことができる。
このような方式で、ＴＯＦ情報は、変調信号ＶＴＸ９９（又は、同様に、ＴＸ信号１００）を使用してピクセルスペシフィックアウトプット１０７の振幅変調（Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ：ＡＭ）を通じて提供される。
一実施形態において、ＶＴＸ信号９９を生成するための変調関数は、単調（ｍｏｎｏｔｏｎｉｃ）であり得る。
図６、図８、及び図１０の例示的な実施形態で、アナログ変調信号は、ランプ関数を使用して生成することができ、したがって、それらはランプ形式の波形を有するもので示される。
しかし、他の実施形態において、他の形態のアナログ波形／関数が変調信号として使用することができる。
【００８７】
図７は、本発明の一実施形態による図５のＴＣＣユニット８４に使用することのできる、例示的な論理ユニット８６の概略構成を示すブロック図である。
論理ユニット８６は、ラッチ１１５及び２入力ＯＲゲート１１６を含む。
シャッター信号６１が活性化又はターン「オン」しているうちに、ラッチ１１５は、関連した増幅器ユニットからの信号８７（例えば、感知アンプの中間出力６２又はゲインステージの中間出力７８）を受信し、１論理値から０の論理値に進んで０論理値として残っている信号を出力する。
つまり、ラッチ１１５は、適用可能であればＰＤ５５又はＰＤ７０による光子検出イベントの結果として生成される、増幅器から提供された信号８７を少なくともシャッターオン区間の間に１論理値から０論理値に進行して０論理値として残っている信号に変換する。
一実施形態において、ラッチ出力は、信号８７の第１エッジによってトリガーされ得る。
第１エッジは、回路設計に応じて正の方向に進んだり、負の方向に進んだりすることができる。
【００８８】
（入力論理）ＯＲゲート１１６は、ラッチ１１５の出力と接続される第１入力、信号（ＴＸＲＭＤ）１１７を受信するための第２入力、及びＴＸＥＮ信号９６を提供するための出力を含む。
一実施形態で、ＴＸＲＭＤ信号１１７は、関連したピクセル（５０又は６７）内で内部的に生成することができる。
ＯＲゲート１１６は、ＴＸＲＭＤ信号１１７とラッチ１１５の出力を論理的にＯＲ演算して、最終的ＴＸＥＮ信号９６を取得する。
このように内部的に生成した信号は、電子シャッターが「オン」している間、ローレベルに残ることができるが、（後述する図８のイベント１３５で）ＴＸＥＮ信号９６が１論理値に進行するように、「ハイレベル」にアサート（ａｓｓｅｒｔ）され、ＰＰＤ８９に残っている電荷の伝送を容易にすることができる。
いくつかの実施形態で、ＴＸＲＭＤ信号又は類似の信号は、外部から提供され得る。
【００８９】
図８は、本発明の一実施形態によるＴＯＦ値を測定するために、図５の実施形態のＴＣＣユニット８４が図２の２次元ピクセルアレイ４２のようなピクセルアレイの一部で、ピクセル５０又はピクセル６７のようなピクセルに使用される場合に、図１及び２のシステム１５の多様な信号の例示的なタイミングを示すタイミング図１２０である。
伝送されたパルス２８、ＶＰＩＸ入力１０４、ＴＸＥＮ入力９６などのように図２〜５の実施形態で示した多様な信号は、説明の一貫性と容易性のために、同じ参照符号を使用して、図８で識別する。
【００９０】
図８の説明に先立って、図８のコンテキスト（ｃｏｎｔｅｘｔ）で（又は、図１０の場合で）、参照符号「１２２」と表示されるパラメータ「Ｔｄｌｙ」は、照射されたパルス２８の立ち上がりエッジとＶＴＸ信号９９がランプを開始するときの時間インスタンス間の時間遅延を示し、参照符号「１２３」と表示されるパラメータ「Ｔｔｏｆ」は、照射されたパルス２８の立ち上がりエッジと受信された（リターン）パルス３７の立ち上がりエッジの間の遅延によって測定されるピクセルスペシフィックＴＯＦ値を示し、参照符号「１２４」と表示され、シャッター信号６１のアサーション（ａｓｓｅｒｔｉｏｎ）（例えば、論理値１又は「オン」）とディアサーション（ｄｅ−ａｓｓｅｒｔｉｏｎ）（又は非活性化）（例えば、論理値０又は「オフ」）によって与えられるパラメータ「Ｔｓｈ」は、電子シャッターの「開放」と「閉鎖」の間の時区間を示す。
【００９１】
したがって、（電子）シャッター信号６１は、「Ｔｓｈ」区間の間に「活性化」されるものとみなされ、また、参照符号「１２５」を使用して識別する。
いくつかの実施形態で、遅延「Ｔｄｌｙ」は、動作状況と関係なく予め決定され、固定され得る。
他の実施形態で、遅延「Ｔｄｌｙ」は、実行時間（ｒｕｎ−ｔｉｍｅ）に、例えば、外部の天候状況に応じて調節することができる。
「ハイ」又は「ロー」信号レベルは、（ピクセル５０又は６７で示す）ピクセル４３の設計に関連するもので、ここで述べる。
図８に示した信号の極性又はバイアスレベルは、例えば、使用されるトランジスタ又は他の回路構成の形式に基づいた他の形式のピクセル設計において相異され得る。
【００９２】
前述したように、図８（又は、図１０）に示した波形は、本質的に単純化され、単純に説明の目的のためのものであり、実際の波形は、回路の実装に応じて形状だけでなく、タイミングによって異なる場合がある。
図８に示したように、リターンパルス３７は、照射されたパルス２８の時間ごとに遅延されたバージョンであり得る。
一実施形態で、照射されたパルス２８は、例えば、５〜１０ナノ秒（ｎｓ）の範囲でのように、非常に短い持続時間を有し得る。
リターンパルス３７は、ピクセル５０でのＰＤ５５、又はピクセル６７でのＰＤ７０のようなピクセル４３の高い利得のＰＤを使用して感知することができる。
電子シャッター６１は、受信した光３７のピクセルスペシフィック光子のキャプチャーを「制御」する。
（電子）シャッター信号６１は、２次元ピクセルアレイ４２に到達する時の光散乱を避けるように、照射されたパルス２８について、ゲート遅延を有する。
照射されたパルス２８の光散乱は、例えば、悪天候により発生する可能性がある。
【００９３】
様々な外部信号（例えば、ＶＰＩＸ１０４、ＲＳＴ９８など）及び内部信号（例えば、ＴＸ１００、ＴＸＥＮ９６、及びＦＤノード１０２の電圧）に加えて、図８のタイミング図１２０はまた、下のイベント又は時区間、
（ｉ）ＲＳＴ、ＶＴＸ、ＴＸＥＮ、及びＴＸ信号がハイレベルであり、一方、ＶＰＩＸ及びＳＨＵＴＴＥＲ信号がローレベルのときのＰＰＤプリセット（ｐｒｅｓｅｔ）イベント１２７、
（ｉｉ）ＴＸがローレベルであるときから、ＲＳＴがハイレベルからローレベルに変化するまでの第１ＦＤリセットイベント１２８、
（ｉｉｉ）遅延時間（Ｔｄｌｙ）１２２、
（ｉｖ）ＴＯＦ（Ｔｔｏｆ）１２３、
（ｖ）電子シャッターの「オン」又は「有効」区間（Ｔｓｈ）（１２４）、及び
（ｖｉ）ＲＳＴが第２時間の間、１論理値を有するときの持続時間の間の第２ＦＤリセットイベント１３０を識別する。
【００９４】
なお、図８は、電子シャッターが最初に「閉鎖」又は「オフ」になるとき（参照符号「１３２」と表示される）、電子シャッターが「開放」又は「オン」になるとき（参照符号「１２５」に表示される）、ＦＤノード１０２に最初に伝送される電荷がＰＩＸＯＵＴ１０７を介して読み出されるとき（参照符号「１３４」と表示される）、ＦＤの電圧が、矢印１３０での第２時間の間にリセットされるとき、そしてＰＰＤ８９で残っている電荷がＦＤ１０２に伝送され、再びイベント１３５から読み出されるとき（例えば、ＰＩＸＯＵＴ１０７への出力）を図に示す。
一実施形態で、シャッター「オン」区間（Ｔｓｈ）は、ＶＴＸ７９のランプ時間以下であり得る。
【００９５】
図８を参照すると、図５のＴＣＣユニット８４の場合、ＰＰＤ８９は、初期化段階（例えば、ＰＰＤプリセットイベント１２７）でそのフルウェルキャパシティの電荷で満たされる。
ＰＰＤプリセット時間１２７の間に、図に示すように、ＲＳＴ、ＶＴＸ、ＴＸＥＮ、及びＴＸ信号は、ハイレベルであり得、一方でＶＰＩＸ、ＳＨＵＴＴＥＲ、及びＴＸＥＮ信号はローレベルであり得る。
以後、ＶＴＸ信号９９（そして、これによるＴＸ信号１００）は、ローレベルで進行し、第２トランジスタ９１をオフさせることができ、ＶＰＩＸ信号１０４は、ハイレベルで進行し、「完全に充電された」ＰＰＤ８９からの電荷伝送を開始することができる。
【００９６】
グローバルシャッターの電子シャッター６１の場合、一実施形態において、２次元ピクセルアレイ４２でのすべてのピクセルは、一度に全部選択することができ、すべての選択されたＰＰＤは、ＲＳＴ信号９８を使用して共にリセットされる。
それぞれのピクセルは、フレーム伝送ＣＣＤ又は内部ライン伝送ＣＣＤと同様の方法を使用して個別に読み込むことができる。
それぞれの（例えば、ＰＩＸＯＵＴ１とＰＩＸＯＵＴ２信号のような）ピクセルスペシフィックアナログＰＩＸＯＵＴ信号は、ＡＤＣユニット（図示せず）によって、例えば、前述した「Ｐ１」及び「Ｐ２」の値の対応するデジタル値にサンプリング及び変換される。
【００９７】
図８に示した実施形態において、ＴＸＥＮ信号９６を除くすべての信号は、図に示したように、０論理値又は「ロー」レベルで開始する。
最初に、前述したように、ＰＰＤ８９は、ＲＳＴ、ＶＴＸ、ＴＸＥＮ、及びＴＸが１論理値レベルに進行してＶＰＩＸがローレベルを維持するとき、プリセットされる。
以後、ＦＤノード１０２は、ＲＳＴが１論理値を有する間、ＶＴＸ及びＴＸが、０論理値に進み、ＶＰＩＸがハイレベル（又は１論理値）に進行すると、リセットされる。
説明の便宜上、同じ参照符号「１０２」が、図５のＦＤノードと図８のタイミング図で関連した電圧波形を示すのに使用する。
ＦＤがハイレベル（例えば、電荷ドメインから０Ｃ）にリセットされた後で、ＴＸＥＮが１論理値を有する間、ＶＴＸはランプされる。ＴＯＦ（Ｔｔｏｆ）の持続時間１２３は、レーザーパルス２８が伝送されるときからリターンパルス３７が受信されるまでであり、また、電荷がＰＰＤ８９からＦＤノード１０２に部分的に伝送される中の時間である。
【００９８】
ＶＴＸ入力９９（そして、これによるＴＸ入力１００）は、シャッター６１が「オン」又は「開放」されている間、ランプされる。
これはＰＰＤ８９での電荷量をＦＤノード１０２に送信されるようにし、ＶＴＸがランプする時間に対する関数であり得る。
しかし、伝送されたパルス２８がオブジェクト２６で反射し、ピクセルの構成に応じてＰＤ５５又はＰＤ７０のようなＰＤによって受信される場合、適用可能であれば、中間出力信号６２又は中間出力信号７８のように生成された増幅出力は、論理ユニット８６によって処理することができ、順次に、論理ユニット８６は、ＴＸＥＮ信号９６を固定された０論理値に落とすことができる。
したがって、時間的に相関される方式（ｔｅｍｐｏｒａｌｌｙ−ｃｏｒｒｅｌａｔｅｄ  ｍａｎｎｅｒ）で、つまり、シャッターが「オン」又は「活性化」になるとき、ＰＤ（５５又は７０）によるリターンパルス３７の検出は、ＴＸＥＮ信号９６について０論理値レベルで表示される。
【００９９】
ＴＸＥＮ入力９６のロー論理値レベルは、第１トランジスタ９０と第２トランジスタ９１をターンオフさせ、これはＰＰＤ８９からＦＤ１０２への電荷の伝送を中断させる。
ＳＨＵＴＴＥＲ入力６１が０論理値に進行してＳＥＬ入力１０５（図８に図示されず）が、１論理値に進行するとき、ＦＤノード１０２からの電荷は、ＰＩＸＯＵＴ１電圧でＰＩＸＯＵＴライン１０７に出力される。
以後、ＦＤノード１０２は、論理値ハイレベルであるＲＳＴパルス９８と共に再びリセットされる（参照符号「１３０」と表示される）。
以後、ＴＸＥＮ信号９６が１論理値に進行するとき、ＰＰＤ８９に残っている電荷は、実質的に完全にＦＤノード１０２に伝送され、ＰＩＸＯＵＴ２電圧でＰＩＸＯＵＴライン１０７に出力される。
前述したように、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号は、適切なＡＤＣユニット（図示せず）によって相応するデジタル値（Ｐ１及びＰ２）に変換され得る。
一実施形態において、斯かる値（Ｐ１及びＰ２）は、（例えば、ピクセル（５０又は６７）で示される）ピクセル４３と３次元オブジェクト２６との間のピクセルスペシフィック距離／範囲を決定するように前述した数式２又は数式３を使用することができる。
【０１００】
図９は、本発明の他の実施形態による例示的なＴＣＣユニット１４０の回路の細部的な説明をするための回路図である。
ＴＣＣユニット１４０は、ＴＣＣユニット（６４又は７９）のいずれかであり得る。
一部の実施形態で、ＴＣＣユニット１４０は、図５のＴＣＣユニット８４の代わりに使用することができる。
多くの信号及び回路構成要素がＴＣＣユニット（８４（図５）と１４０（図９））の間で類似するが、図５及び９のＴＣＣユニットが同一であるか、それらが同じ方式で動作することを暗示するものではない。
図５の先立つ説明の観点で、単純に図９のＴＣＣユニット１４０に対する簡略な説明がこれと区別される観点を強調するように提供する。
【０１０１】
図５のＴＣＣユニット８４のように、図９のＴＣＣユニット１４０は、ＰＰＤ１４２、論理ユニット１４４、第１ＮＭＯＳトランジスタ１４６、第２ＮＭＯＳトランジスタ１４７、第３ＮＭＯＳトランジスタ１４８、第４ＮＭＯＳトランジスタ１４９、第５ＮＭＯＳトランジスタ１５０を含み、内部の入力であるＴＸＥＮ１５２を生成し、外部の入力であるＲＳＴ１５４、ＶＴＸ１５６（そして、これによる、ＴＸ信号１５７）、ＶＰＩＸ１５９、及びＳＥＬ１６０を受信し、ＦＤノード１６２を有し、そしてＰＩＸＯＵＴ信号１６５を出力する。
しかし、図５のＴＣＣユニット８４と異なり、図９のＴＣＣユニット１４０は、また、第２ＴＸＥＮ信号（ＴＸＥＮＢ）１６７を生成し、ＴＸＥＮＢ信号１６７は、ＴＸＥＮ信号１５２と相補的であり得、第６ＮＭＯＳトランジスタ１６９のゲート端子に供給される。
第６ＮＭＯＳトランジスタ１６９は、トランジスタ１４６のソース端子に接続されたドレイン端子及びグラウンド（ＧＮＤ）電位１７０に接続されたソース端子を有し得る。
【０１０２】
ＴＸＥＮＢ信号１６７は、ＧＮＤ電位をＴＸトランジスタ１４７のゲート端子に持ってくるのに使用される。
ＴＸＥＮＢ信号１６７なしで、ＴＸＥＮ信号１５２がローレベルに進行するとき、ＴＸトランジスタ１４７のゲートは、フローティングされ得、ＰＰＤ１４２からの電荷の伝送が、完全に終了しない可能性がある。
このような状況は、ＴＸＥＮＢ信号１６７を使用して改善することができる。
追加的に、ＴＣＣユニット１４０は、ストレージ拡散（Ｓｔｏｒａｇｅ  Ｄｉｆｆｕｓｉｏｎ：ＳＤ）キャパシター１７２及び第７ＮＭＯＳトランジスタ１７４を含む。
ＳＤキャパシター１７２は、トランジスタ１４７のドレイン端子とトランジスタ１７４のソース端子の接合に接続され、前記接合からＳＤノード１７５を「形成」することができる。
第７ＮＭＯＳトランジスタ１７４は、このゲート端子から他の第２伝送信号（ＴＸ２、１７７）を入力として受信する。
トランジスタ１７４のドレインは、図に示すように、ＦＤノード１６２に接続される。
【０１０３】
ＲＳＴ、ＶＴＸ、ＶＰＩＸ、ＴＸ２、及びＳＥＬ信号は、例えば、図２のイメージ処理ユニット４６のような外部ユニットからＴＣＣユニット１４０に供給される。
さらに、一実施形態において、ＳＤキャパシター１７２は、追加キャパシターではなく、単純にＳＤノード１７５の接合（ｊｕｎｃｔｉｏｎ）キャパシターであり得る。
ＴＣＣユニット１４０において、電荷伝送トリガー部は、論理ユニット１４４を含み得る。
電荷生成及び伝送部は、ＰＰＤ１４２、ＮＭＯＳトランジスタ（１４６〜１４８、１６９、１７４）、及びＳＤキャパシター１７２を含む。
そして、電荷収集及び出力部は、ＮＭＯＳトランジスタ（１４８〜１５０）を含む。
多様な回路構成要素に対するそれぞれの部分への分離は、単に例示的な説明の目的のためのものであることを、ここで述べる。
一実施形態において、斯かる部分は、ここに羅列しているものよりも多かったり少なかったりし、他の回路素子を含むこともできる。
【０１０４】
図７の論理ユニット８６のように、論理ユニット１４４はまた、図３のピクセル５０の場合にセンスアンプ６０や図４のピクセル６７の場合にゲインステージのような関連したアンプユニットから信号８７を受信できる。
適用可能であれば、信号８７は、中間出力（６２及び７８）のいずれかを示す。
一実施形態において、論理ユニット１４４は、ＴＸＥＮ信号１５２及びＴＸＥＮＢ信号１６７の出力のすべてを提供するための、図７の論理ユニット８６の変更されたバージョンであり得る。
【０１０５】
図９のＴＣＣユニット１４０の構成は、実質的に図５のＴＣＣユニット８４の構成と類似したものである。
従って、説明の便宜上、トランジスタ（１４６〜１５０）、及びＲＳＴ、ＳＥＬ、ＶＰＩＸ信号などの関連した入力のように、図５及び９の実施形態の間の共通した回路の部分及び信号は、ここで説明しない。
図９のＴＣＣユニット１４０は、相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：ＣＤＳ）ベースの電荷伝送を可能にする。
ＣＤＳは、不要なオフセットを除去する方式で、ピクセル／センサー出力電圧（ｐｉｘｏｕｔ）のような電気的な値を測定するための、ノイズを低減させる技術として理解されるであろう。
【０１０６】
ＣＤＳでは、図９のＰＩＸＯＵＴ１６５のようなピクセルの出力は、二回測定することができ、一回は知られている状況で測定し、もう一回は知られていない状況で測定することができる。
知られた状況で、測定された値は、知られていない状況で測定された値から減算されて、測定された物理量との知られた関連性を有する値（ここでは受信した光のピクセルスペシフィック部分を示すＰＰＤ電荷）を生成する。
ＣＤＳを使用して、（例えば、リセットされた後のピクセルの電圧のような）ピクセルの基準電圧をそれぞれの電荷伝送の終了時にピクセルの信号電圧から除去することにより、ノイズを減少させることができる。
したがって、ＣＤＳで、ピクセルの電荷が出力として伝送される前に、リセット／基準値がサンプリングされ、リセット／基準値がピクセルの電荷が伝送された以後の値から減算される（「ｄｅｄｕｃｔｅｄ」）。
【０１０７】
図９の実施形態において、ＳＤキャパシター１７２（又は関連したＳＤノード１７５）は、ＰＰＤ電荷をＦＤノード１６２に伝送する前に貯蔵して、任意の電荷がＦＤノード１６２に伝送される前にＦＤノード１６２での適切なリセット値の設定（及びサンプリング）を可能にする。
その結果、ピクセルスペシフィックアウトプット（ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２）それぞれは、ワンペアのピクセルスペシフィックＣＤＳ出力を取得するように、イメージ処理ユニット４６（図２）のＣＤＳユニット（図示せず）で処理される。
【０１０８】
以後、ピクセルスペシフィックＣＤＳ出力は、イメージ処理ユニット４６（図２）のＡＤＣユニット（図示せず）によって、ここで前述したＰ１及びＰ２の値であるデジタル値に変換される。
図９のトランジスタ（１６９、１７４）、及びＴＸＥＮＢ信号１６７とＴＸ２信号１７７は、ＣＤＳベースの電荷伝送を容易にするのに必要な補助回路の構成要素を提供する。
一実施形態で、Ｐ１及びＰ２の値は、例えば、同一のＡＤＣ回路のペアを使用して並列に生成することができる。
したがって、リセットレベルとＰＩＸＯＵＴ１とＰＩＸＯＵＴ２信号の相応するＰＰＤ電荷レベルの間の差は、ＡＤＣユニット（図示せず）によってデジタル数字に変換され、ピクセルスペシフィック信号値（Ｐ１及びＰ２）で出力され、前述した数式１に基づいて（例えば、ピクセル（５０又は６７）で示される）ピクセル４３に対するリターンパルス３７のピクセルスペシフィックＴＯＦ値の計算を可能にする。
【０１０９】
前述したように、斯かる計算は、ピクセルアレイ処理ユニット４６自体又はシステム１５のプロセッサ１９によって実行することができる。
したがって、３次元オブジェクト２６（図２）へのピクセルスペシフィック距離は、例えば、数式２又は数式３を使用して決定することができる。
ピクセルバイピクセル（ｐｉｘｅｌ−ｂｙ−ｐｉｘｅｌ）電荷収集の動作は、ピクセルアレイ４２のすべてのピクセルに対して実行される。
ピクセルアレイ４２のピクセル４３のすべてのピクセルスペシフィック距離又は範囲の値に基づいて、オブジェクト２６の３次元イメージは、例えば、プロセッサ１９によって生成することができ、適切なディスプレイ又はシステム１５と関連したユーザーインターフェースで表示することができる。
さらに、３次元オブジェクト２６の２次元イメージは、例えば、どのような範囲の値も計算されないか、範囲の値が利用可能であるにもかかわらず、２次元イメージが要求される場合、Ｐ１及びＰ２の値を簡単に追加することにより、生成することができる。
一実施形態において、斯かる２次元イメージは、例えば、赤外線レーザーを使用する場合、単純にグレースケールイメージであり得る。
【０１１０】
図５及び図９で示したＴＣＣの構成だけでなく、図３及び図４に示したピクセル構成は、単純に例示的なものとしてここに示す。
前述したように、複数の高い利得のＰＤを有するピクセルは、また、本発明の実施形態を具現するのに使用することができる。
同様に、ｎｏｎ−ＰＰＤベースのＴＣＣユニットがまた、本発明の実施形態による（図２のピクセル４３のような）ピクセルに選択され得る。
さらに、一部の実施形態で、ＴＣＣユニットは、例えば、（図５及び図９の実施形態でＰＩＸＯＵＴライン（１０７、１６５）のそれぞれのような）単一の出力を有するか、又は他の実施形態で、ＴＣＣユニットは、ＰＩＸＯＵＴ１とＰＩＸＯＵＴ２の信号が他の出力ライン（図示せず）を介して出力されるデュアル（ｄｕａｌ）出力を有することができる。
ここで説明するピクセルの構成（５０、６７）は、ＣＭＯＳ構成であり得ることを、ここで述べる。
つまり、ピクセルスペシフィックＰＤユニット、アンプユニット、及びＴＣＣユニットそれぞれは、ＣＭＯＳ部であり得る。
その結果、ＤＴＯＦ測定及び範囲検出動作は存在するＳＰＡＤ又はＡＰＤベースのシステムよりも実質的により低い電圧及びより高いＰＤＥで実行することができる。
【０１１１】
図１０は、本発明の一実施形態によるＴＯＦ値を測定するために、図９の実施形態のＴＣＣユニット１４０が、図２のピクセルアレイ４２のようなピクセルアレイの一部としてピクセル５０又はピクセル６７のようなピクセルが使用される場合、図１及び図２のシステム１５の多様な信号の例示的なタイミングを示すタイミング図１８０である。
図１０のタイミング図１８０は、特に、ＶＴＸ、Ｓｈｕｔｔｅｒ、ＶＰＩＸ、及びＴＸ信号の波形、そして、例えば、ＰＰＤリセットイベント、シャッター「オン」区間、時間遅延区間（Ｔｄｌｙ）などのような時間間隔又はイベントの識別と関連して、図８のタイミング図１２０と類似する。
図８のタイミング図１２０に対する前の広範囲な説明に基づいて、単に図１０のタイミング図２０５に対する区別される特徴についての簡略な説明を簡潔性のため提供する。
【０１１２】
図１０において、説明の一貫性と容易性のために、ＶＰＩＸ信号１５９、ＲＳＴ信号１５４、電子シャッター信号６１、アナログ変調信号ＶＴＸ１５６、及びＴＸ２信号１７７のように、多様な外部から供給される信号、及び内部的に生成されるＴＸＥＮ信号１５２は、図９の、斯かる信号に使用されるのと同じ参照符号を使用して識別する。
同様に、説明の便宜上、同じ参照符号「１６２」は、図９のＦＤノードと図１０のタイミング図の関連した電圧波形を言及するのに使用する。
伝送モード（ＴＸＲＭＤ）信号１８２は、図１０に示すが（そして、類似の信号がまた、図７で言及されるが）、図９又は前の図８のタイミング図で示さなかった。
【０１１３】
一実施形態において、ＴＸＲＭＤ信号１８２は、論理ユニット１４４によって内部的に生成されるか、例えば、イメージ処理ユニット４６（図２）によって、論理ユニット１４４に外部から供給される。
図７の論理ユニット８６のように、一実施形態で、論理ユニット１４４は、出力を生成し、その後、例えば、ＴＸＲＭＤ信号１８２のように内部的に生成された信号と出力とを論理的にＯＲ演算して、最終的なＴＸＥＮ信号１５２を取得するための論理回路（図示せず）を含む。
図１０に示すように、一実施形態で、このような内部的に生成されたＴＸＲＭＤ信号１８２は、電子シャッターが「オン」している間、ローレベルに残れるが、（図１０のイベント１８３で）ＴＸＥＮ信号１５２が１論理値で進行してＰＰＤに残っている電荷の伝送を容易にするために、ＴＸＲＭＤ信号１８２は、以後に「ハイレベル」にアサートされる。
【０１１４】
図１０のＰＰＤリセットイベント１８４、遅延時間（Ｔｄｌｙ）１８５、ＴＯＦ区間（Ｔｔｏｆ）１８６、シャッター「オフ」区間１８７、及びシャッター「オン」又は「活性化」区間（Ｔｓｈ）（１８８又は１８９）、及びＦＤリセットイベント１９０は、図８に示した相応するイベント又は時区間と似ている。
従って、斯かるパラメータの追加的な説明は、便宜上提供しない。
初めに、ＦＤリセットイベント１９０は、図に示すように、「ハイレベル」に進行するＦＤ信号１６２を発生させる。
ＰＰＤ１４２が「ローレベル」にプリセットされた後、ＳＤノード１７５は、「ハイレベル」にリセットされる。
【０１１５】
より具体的には、ＰＰＤプリセットイベント１８４の間に、ＰＰＤ１４２に電子を満たし、これを０Ｖにプリセットさせるように、ＴＸ信号１５７は、「ハイレベル」であり得、ＴＸ２信号１７７は、「ハイレベル」であり得、ＲＳＴ信号１５４は、「ハイレベル」であり得、ＶＰＩＸ信号１５９は、「ローレベル」であり得る。
この後、ＴＸ信号１５７は、「ローレベル」に進行できるが、ＴＸ２信号１７７及びＲＳＴ信号１５４は、しばらく「ハイレベル」として残り、「ハイレベル」のＶＰＩＸ信号１５９により、ＳＤノード１７５を「ハイレベル」にリセットさせ、ＳＤキャパシター１７２から電子を除去する。
その間に、ＦＤノード１６２は、（下のＦＤリセットイベント１９０）と同様にリセットされる。
ＳＤノード１７５での電圧又はＳＤリセットイベントは、図１０に図示しない。
【０１１６】
図６及び８の実施形態と対照的に、ＴＸ波形１５７で述べたように、電子シャッター１６１が「活性化」されてＶＴＸ信号１５６がランプされるとき、ＰＰＤ電荷は振幅変調されて、最初、図９及び１０の実施形態で（ＳＤキャパシター１７２を介して）ＳＤノード１７５に伝送される。
シャッター「オン」の区間２８９の間に、適用可能であればＰＤ５５又はＰＤ７０のような高い利得のＰＤによる光子の検出時に、ＴＸＥＮ信号１５２は、「ローレベル」に進行し、ＰＰＤ１４２からＳＤノード１７５への初期の電荷伝送は中断される。
ＳＤノード１７５に貯蔵され、伝送された電荷は、第１読み取り区間１９１の間に、ＰＩＸＯＵＴライン１６５から（ＰＩＸＯＵＴ１出力で）読み出される。
【０１１７】
電子シャッター６１がＦＤノード１６２をリセットするように活性化又はターン「オフ」された後に、第１読み取り区間１９１において、ＲＳＴ信号１５４は、しばらく「ハイレベル」にアサートされる。
その後、ＴＸ２信号１７７は、「ハイレベル」にパルス化されて、ＴＸ２が「ハイレベル」の間に、ＳＤノード１７５からＦＤノード１６２に電荷を伝送させる。
ＦＤの電圧波形１６２は、このような電荷伝送動作を説明する。
伝送された電荷は、以後、第１読み取り区間１９１の間に、ＳＥＬ信号１６０（図１０に図示せず）を使用してＰＩＸＯＵＴライン１６５を介して（ＰＩＸＯＵＴ１電圧で）読み出される。
【０１１８】
第１読み取り区間１９１の間に、初期の電荷がＳＤノードからＦＤノードに移動され、ＴＸ２信号１７７が論理「ロー」レベルに戻った後に、ＴＸＥＮ入力１５２から「ハイレベル」のパルスを生成するように、ＴＸＲＭＤ信号８２は、「ハイレベル」にアサート（パルス化）され、順次に、図１０の参照符号「１８３」と表示されるように、ＴＸ入力１５７から「ハイレベル」のパルスを生成して、ＰＰＤ１４２に残っている電荷を（ＳＤキャパシター１７２を介して）介して）ＳＤノード１７５に伝送させる。
以後に、ＦＤノード１６２は、ＲＳＴ信号１５４が、しばらく「ハイレベル」に再びアサートされるとき、再びリセットされる。
第２ＲＳＴハイレベルのパルスは、ＴＸ２信号１７７が再び「ハイレベル」にパルス化されて、ＴＸ２が「ハイレベル」である間に、（イベント１８３での）ＰＰＤの残り電荷をＳＤノード１７５からＦＤノード１６２に伝送するようにする、第２読み取り区間１９２を定義する。
【０１１９】
ＦＤの電圧波形１６２は、第２電荷伝送動作を図に示す。
伝送された残りの電荷は、以後、第２読み取り区間１９２の間に、ＳＥＬ信号１６０（図１０で図示せず）を使用してＰＩＸＯＵＴライン１６５を介して（ＰＩＸＯＵＴ２電圧で）読み取る。
前述したように、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号は、適切なＡＤＣユニット（図示せず）によって相応するデジタル値（Ｐ１及びＰ２）に変換される。
一部の実施形態で、斯かるＰ１及びＰ２の値は、ピクセル４３と３次元オブジェクト２６との間のピクセルスペシフィック距離／範囲を決定するように、前述した数式２又は数式３を使用することができる。
図１０で説明したＳＤベースの電荷伝送は、図９の説明を参照して、上記で説明したように、ワンペアのピクセルスペシフィックＣＤＳ出力を生成するようにする。
ＣＤＳベースの信号処理は、やはり以前に言及したように、追加的なノイズの減少を提供する。
【０１２０】
要約すると、本発明の一実施形態によるピクセルの設計は、ＰＰＤ（又は類似のアナログ電荷ストレージデバイス）と接続した１つ以上の高い利得のＰＤを使用して、時間電荷コンバーターとして動作し、このＡＭベースの電荷伝送動作がピクセルで、１つ以上の高い利得のＰＤからの出力により制御されてＴＯＦを決定する。
本発明で、電子シャッターが「オン」であるときのように、非常に短い所定の時間間隔内に高い利得のＰＤからの出力がトリガーされるときに限り、ＰＰＤ電荷伝送はＴＯＦを記録するために中断される。
その結果、本発明の実施形態による全天候自律走行システムは、例えば、低い光量、霧、悪天候などの困難な運転状況の下で、運転者のための向上した視野を提供できる。
【０１２１】
図１１は、本発明の一実施形態による図１及び２のシステム（１５）でＴＯＦ値が決定される方法を説明するための例示的なフローチャート１９５である。
図１１に示す様々なステップは、システム１５の単一モジュール、複数のモジュール、又はシステム構成要素の組み合わせによって実行することができる。
ここでの説明では、単純に例示的な方式によって、特定の作業は、特定のモジュール又はシステム構成要素によって実行されるものと説明する。
他のモジュール又はシステム構成要素は、同様に、斯かる作業を実行するように適切に構成することができる。
【０１２２】
ステップＳ１９７において、最初に、システム１５（より具体的には、プロジェクターモジュール２２）は、図２のパルス２８のようなレーザーパルスを、図２のオブジェクト２６のような３次元オブジェクトに照射する。
ステップＳ１９８において、プロセッサ１９（又は、一実施形態で、イメージ処理ユニット４６）は、図６のＶＴＸ信号９９のようなアナログ変調信号を、（設計の選択による）ピクセル（５０又は６７）におけるＰＰＤ８９のようなピクセルでのデバイスに印加する。
前述したように、ピクセル（５０又は６７）は、図２のピクセルアレイ４２での任意のピクセル４３であり得る。
さらに、ステップＳ１９８では、ＰＰＤ８９のようなデバイスは、アナログ電荷を貯蔵するように動作する。
【０１２３】
ステップＳ１９９において、イメージ処理ユニット４６は、ＶＴＸ信号９９のようなアナログ変調信号から受信された変調に基づいて、（ＰＰＤ８９のような）デバイスからのアナログ電荷の一部の伝送を開始する。
斯かる電荷伝送を開始するために、イメージ処理ユニット４６は、シャッター信号６１、ＶＰＩＸ信号１０４、及びＲＳＴ信号９８のような様々な外部信号を、図６の例示的なタイミング図に示した論理レベルに関連したピクセル（５０又は６７）に提供する。
【０１２４】
ステップＳ２００において、リターンパルス３７のようなリターンパルスは、ピクセル（５０又は６７）を使用して検出する。
前述したように、リターンパルス３７は、３次元オブジェクト２６から反射される、照射されたレーザーパルス２８である。
ステップＳ２００では、ピクセル（５０又は６７）は、ＰＤユニット５２（又はＰＤユニット６８）のように、ＰＤ５５（又はＰＤ７０）のような少なくとも一つのＰＤを有するＰＤユニットを含み、少なくとも一つのＰＤはリターンパルス３７で受信した光を電気信号に変換して、閾値を満足する変換利得を有する。
一実施形態において、閾値は、前述したように、光子当たり少なくとも４００μＶであり得る。
【０１２５】
ステップＳ２０１において、このような電気信号は、応答的に中間出力を生成するように、ピクセル（５０又は６７）でのセンスアンプ６０（又は出力ユニット６９のゲインステージ）のようなアンプユニットを使用して処理する。
図３の実施形態で、このような中間出力は、ライン６２で示し、一方、図４の実施形態でライン７８で示す。
図５及び図９の説明を参照して、言及したように、（設計の選択による）関連した論理ユニット（８６（図５）又は１４４（図９））は、（適用可能であれば、ライン（６２又は７８）での出力であり得る）、中間出力８７を処理し、ＴＸＥＮ信号（９６（図５）又は１５２（図９））を０論理値（ロー）の状態に置かれるようにする。
ＴＸＥＮ信号（９６又は１５２）の０論理値レベルは、図５のＴＣＣユニット８４での第１トランジスタ９０及び第２トランジスタ９１（又は図９のＴＣＣユニット１４０での相応するトランジスタ１４６−１４７）をターンオフさせ、これはＰＰＤ（８９又は１４２）から相応するＦＤノード（１０２又は１６２）への電荷の伝送を中断させる。
【０１２６】
したがって、ステップＳ２０２において、関連したＴＣＣユニット（８４又は１４０）の回路は、例えば、図８のシャッターが「オン」している区間１２５（又は図１０の相応する区間１８９）内でのように、所定の時間間隔内に中間出力８７の生成に応答して（ステップＳ１９９で）先立って開始されたアナログ電荷の一部の伝送を終了させる。
図５及び１０を参照して、説明したように、（ステップＳ２０２で伝送が終了するまで）、それぞれのＦＤノード（１０２（図５）又は１６２（図９））に伝送された電荷の一部はＰＩＸＯＵＴ１信号として読み出され、適切なデジタル値「Ｐ１」に変換される。
デジタル値「Ｐ１」は、その後に生成された（ＰＩＸＯＵＴ２信号に対する）デジタル値「Ｐ２」と共に、前述したＰ１／（Ｐ１＋Ｐ２）の比率からＴＯＦ情報を取得するのに使用する。
【０１２７】
したがって、ステップＳ２０３において、システム１５でイメージ処理ユニット４６又はプロセッサ１９のいずれかは、終了（ステップＳ２０２）の際に伝送されたアナログ電荷の一部に基づいてリターンパルス３７のＴＯＦ値を決定する。
【０１２８】
図１２は、本発明の一実施形態による図１及び図２のシステム（１５）の全体的なの概略構成を示すブロック図である。
これにより、説明、及び参照の便宜上、同じ参照符号を共通のシステム構成要素／ユニットに対して図１、図２、及び図１２で使用する。
【０１２９】
前述したように、イメージモジュール１７は、適用可能であれば、図３〜図５、図７、及び図９の例示的な実施形態で示した所望のハードウェアを含んで、本発明の観点による２次元／３次元イメージング及びＴＯＦ測定を達成するように構成される。
プロセッサ１９は、複数の外部デバイスとインターフェースするように構成される。
一実施形態で、イメージモジュール１７は、データ入力を（例えば、Ｐ１及びＰ２の値のような処理されたピクセル出力の形式で）追加処理のためのプロセッサ１９に提供する入力装置として機能する。
なお、プロセッサ１９は、システム１５の一部であり得る他の入力デバイス（図示せず）からの入力を受信することができる。
このような入力デバイスの一部の例示は、コンピュータキーボード、タッチパッド、タッチスクリーン、ジョイスティック、物理的又は仮想の「クリック可能なボタン」、及び／又はコンピュータのマウス／ポインティングデバイスを含む。
【０１３０】
図１２において、プロセッサ１９は、システムメモリ２０、周辺ストレージユニット２０６は、１つ以上の出力デバイス２０７、及びネットワークインターフェースユニット２０８に接続されて図に示す。
図１２において、ディスプレイユニットは、出力デバイス２０７として示す。
一部の実施形態で、システム１５は、一つ以上の図に示した装置を含むことができる。
システム１５の一部の例示は、コンピュータシステム（デストトップ又はラップトップ）、タブレットコンピュータ、モバイルデバイス、携帯電話、ビデオゲームユニット又はコンソール、Ｍ２Ｍ（ｍａｃｈｉｎｅ−ｔｏ−ｍａｃｈｉｎｅ）通信ユニット、ロボット、自動車、バーチャルリアリティ装置、ステートレスシンクライアントシステム（ｓｔａｔｅｌｅｓｓ「ｔｈｉｎ」ｃｌｉｅｎｔ  ｓｙｓｔｅｍ）、車両のダッシュカム（ｄａｓｈ  ｃａｍ）又はリアカメラシステム、自律走行システム、又は任意の他の形式のコンピューティング又はデータ処理装置を含む。
【０１３１】
多様な実施形態で、図１２に示したすべての構成要素は、単一のハウジング内に収納され得る。
したがって、システム１５は、独立したシステム又は任意の他の適切なフォームファクタで構成することができる。
一部の実施形態で、システム１５は、サーバのシステムよりも、むしろクライアントシステムに構成され得る。
一実施形態において、システム１５は、一つ以上のプロセッサ（例えば、分散された処理構成で）を含み得る。
システム１５は、マルチプロセッサシステムであるときは、１つ以上のプロセッサ１９又はそれらのインターフェース（図示せず）のそれぞれを介してプロセッサ１９と接続される複数のプロセッサが有り得る。
プロセッサ１９は、システムオンチップ（ＳｏＣ）及び／又は一つ以上のＣＰＵを含み得る。
【０１３２】
前述したように、システムメモリ２０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＰＲＡＭ、ＲｅＲＡＭ、ＣＢＲＡＭ、ＭＲＡＭ、ＳＴＴ−ＭＲＡＭ、などのような任意の半導体ベースのストレージシステムであり得る。
一部の実施形態で、メモリユニット２０は、一つ以上のｎｏｎ−３ＤＳメモリモジュールと共に、少なくとも一つの３ＤＳメモリモジュールを含み得る。
ｎｏｎ−３ＤＳメモリは、ＤＤＲ／ＤＤＲ２／ＤＤＲ３／ＤＤＲ４  ＳＲＡＭ、又はＲａｍｂｕｓ（登録商標）ＤＲＡＭ、フラッシュメモリ、さまざまな形式のＲＯＭなどを含み得る。
また、一部の実施形態では、システムメモリ２０は、単一のタイプのメモリと反対に、複数の他の形態の半導体メモリを含み得る。
他の実施形態で、システムメモリ２０は、非一時的データ記憶媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｄａｔａ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）であり得る。
【０１３３】
周辺ストレージユニット２０６は、多様な実施形態で、ハードドライブ、（ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋｓ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋｓ）のような）光学ディスク、不揮発性ＲＡＭデバイス、フラッシュメモリのようなマグネティック（磁気）、オプティカル（光学）、磁気光学、又はソリッド・ステート・ストレージ媒体（ｓｏｌｉｄ−ｓｔａｔｅ  ｓｔｏｒａｇｅ  ｍｅｄｉａ）に対するサポート（支援）を含み得る。
一部の一実施形態で、周辺ストレージユニット２０６は、（適切なＲＡＩＤ構成であり得る）ディスクアレイ又はＳＡＮｓ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ）のような、より複雑なストレージデバイス／システムを含むことができ、周辺ストレージユニット２０６は、ＳＣＳＩインターフェース、Ｆｉｂｒｅ  Ｃｈａｎｎｅｌインターフェース、Ｆｉｒｅｗｉｒｅ（登録商標）（ＩＥＥＥ  １３９４）インターフェース、ＰＣＩ  Ｅｘｐｒｅｓｓ（登録商標）標準ベースのインターフェース、ＵＳＢプロトコルベースのインターフェース、又は他の適切なインターフェースのような標準の周辺インターフェースを介してプロセッサ１９に接続することができる。
このような多様なストレージデバイスは、非一時的データ記憶媒体であり得る。
【０１３４】
ディスプレイユニット２０７は、出力デバイスの例示であり得る。
他の出力デバイスの例示は、グラフィックス／ディスプレイデバイス、コンピュータスクリーン、アラームシステム、ＣＡＤ／ＣＡＭ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ／Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｍａｃｈｉｎｉｎｇ）システム、ビデオゲームステーション、スマートフォンのディスプレイスクリーン、自動車でダッシュボードが搭載されたディスプレイスクリーン、又は任意の他の形式のデータ出力デバイスを含む。
一部の実施形態で、イメージモジュール１７のような入力装置、及びディスプレイユニット２０７のような出力デバイスは、Ｉ／Ｏ又は周辺インターフェースを介してプロセッサ１９と接続され得る。
【０１３５】
一実施形態において、ネットワークインターフェース２０８は、プロセッサ１９と通信して、システム１５は、ネットワーク（図示せず）と接続できるようにすることができる。
他の実施形態で、ネットワークインターフェース２０８は、全部ない可能性がある。
ネットワークインターフェース２０８は、任意の適切なデバイス、媒体及び／又は有線／無線でシステム１５をネットワークに接続するためのプロトコルのコンテンツを含み得る。
多様な実施形態で、ネットワークは、ＬＡＮ、ＷＡＮ、有／無線イーサネット（登録商標）、インターネット、通信ネットワーク、衛星リンク、又は他の適切な形式のネットワークを含み得る。
【０１３６】
システム１５は、オンボードの電力ユニット２１０を含み、電力を図１２に示した多様なシステム構成要素に提供する。
電力ユニット２１０は、バッテリから受電したり、ＡＣ電力放出手段又は自動車ベースの電力放出手段と接続され得る。
一実施形態で、電力供給ユニット２１０は、太陽エネルギー又は他の再生可能エネルギーを電気的電力に変換することができる。
【０１３７】
一実施形態において、イメージモジュール１７は、例えば、ＵＳＢ（２．０ｏｒ３．０）インターフェース、又は前述したような高速のインターフェースと統合され得る。
これは、任意のパーソナルコンピュータ（ＰＣ）又はラップトップに接続することができる。
たとえば、システムメモリ２０のような非一時的でコンピュータ読み取り可能なデータストレージ媒体又はＣＤ／ＤＶＤなどの周辺のデータストレージユニットは、プログラムコード又はソフトウェアを格納することができる。
プロセッサ１９及び／又はイメージモジュール１７のイメージ処理ユニット４６（図２）は、プログラムコードを実行するように構成することができ、例えば、図１〜１１を参照して、前述した動作で述べたように、デバイス１５は、ピクセルスペシフィック距離／範囲の値を利用した２次元イメージング（例えば、３次元オブジェクトのグレースケールイメージ）、ＴＯＦと範囲の測定及びオブジェクトの３次元イメージの生成を実行するように動作することができる。
【０１３８】
例えば、一実施形態において、プログラムコードの実行時に、プロセッサ１９及び／又はイメージ処理ユニット４６は、関連した回路構成要素を適切に構成（又は活性化）して、Ｓｈｕｔｔｅｒ、ＲＳＴ、ＶＴＸ、ＳＥＬ信号などのような適切な入力信号をピクセルアレイ４２のピクセル４３に印加し、リターンレーザーパルスから光をキャプチャーさせることができ、ＴＯＦと範囲の測定に必要なピクセルスペシフィックＰ１及びＰ２値に対するピクセルの出力を以後に処理することができる。
プログラムコード又はソフトウェアは、プロプライエタリな（ｐｒｏｐｒｉｅｔａｒｙ）ソフトウェア又はオープンソースソフトウェアであり得、このようなソフトウェアは、プロセッサ１９及び／又はイメージ処理ユニット４６のような適切な処理エンティティによる実行時に、処理エンティティ（ｅｎｔｉｔｙ）が多様なピクセルスペシフィックＡＤＣ出力（Ｐ１及びＰ２の値）を処理し、範囲の値を決定し、例えば、ＴＯＦベースの範囲の測定に基づいた遠く離れたオブジェクトの３次元イメージを表示することを含む多様なフォーマットに対する結果をレンダリング（ｒｅｎｄｅｒｉｎｇ）することを可能にすることができる。
【０１３９】
一実施形態において、イメージモジュール１７のイメージ処理ユニット４６は、ピクセル出力データが追加処理のためのプロセッサ１９とディスプレイに伝送される前に、ピクセル出力の処理の一部を実行することができる。
他の実施形態において、プロセッサ１９はまた、イメージ処理ユニット４６の機能の一部又は全部を実行することができ、このような場合に、イメージ処理ユニット４６は、イメージモジュール１７の一部ではない可能性がある。
【０１４０】
前述の説明において、制限ではなく、説明の目的のために、具体的な詳細な説明（特定の構造、波形、インターフェースに、テクノロジー（技術）などのような）が開示した技術の完全な理解を提供するために記述した。
しかし、開示した技術が、斯かる具体的な詳細な説明から外れた他の実施形態で行われうることが当業者に自明のはずである。
つまり、当業者は、たとえ明らかに、ここで説明したり、図に示さなかったりしても、開示された技術の原理を具体化する多様な配列を考案できるだろう。
一部の例示において、よく知られているデバイス、回路、及び方法の詳細な説明は、不必要な詳細な説明で開示された技術の説明が曖昧にならないように省略した。
特定の例示だけでなく、ここで開示した技術の原理、態様、及び実施形態を述べるすべてのステートメント（陳述）は、構造的で機能的な均等物の全てを含むものと意図される。
追加的に、このような均等物（ｅｑｕｉｖａｌｅｎｔｓ）は、現在の既知の均等物及び、例えば、構造に関係なしに同じ機能を遂行するように開発されている任意の素子のように、将来の開発された均等物の全てを含む。
追加的に、このような均等物は、例えば構造に関係なしに同じ機能を実行する、開発された任意の要素のような、将来に開発される均等物だけでなく、現在の既知の均等物を含むものである。
【０１４１】
したがって、例えば、ここでのブロック図（例えば、図１〜２と図１２）が技術の原理を具体化する図解的な回路又は他の機能的なユニットの概念的な観点を示すもので、当業者に理解されるだろう。
同様に、図１１のフローチャートは、例えば、プロジェクターモジュール２２、２次元ピクセルアレイ４２などのような、多様なシステム構成要素と一共に、プロセッサ（例えば、図２のプロセッサ１９お及び／又はイメージ処理ユニット４６）によって実質的に実行することのできる多様なプロセスを示すものと理解されるだろう。
斯かるプロセッサは、例として、一般的な目的のプロセッサ、特殊目的のプロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連された一つ以上のマイクロプロセッサ、コントローラー、マイクロコントローラー、ＡＳＩＣ、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙｓ）回路、任意の他の形式の集積回路、及び／又はステートマシン（ｓｔａｔｅ  ｍａｃｈｉｎｅ）を含みえる。
図１〜１２で前述した処理機能の一部又はすべては、また、このようなプロセッサによってハードウェア及び／又はソフトウェアで提供することができる。
【０１４２】
特定の発明の観点がソフトウェアベースの処理を要求するとき、斯かるソフトウェア又はプログラムコードは、コンピュータ読み取り可能なデータストレージ媒体に存在することができる。
前述したように、斯かるデータストレージ媒体は、周辺のストレージ２０６の一部であり得、システムメモリ２０又はイメージセンサーユニット２４の任意の内部メモリ（図示せず）、又はプロセッサ１９の内部メモリ（図示せず）の一部であり得る。
一実施形態で、プロセッサ１９及び／又はイメージ処理ユニット４６は、このような媒体に格納されたコマンドを実行して、ソフトウェアベースの処理を実行する。
コンピュータ読み取り可能なデータストレージ媒体は、前述した一般的な目的のコンピュータ又はプロセッサによる実行のためのコンピュータプログラム、ソフトウェア、ファームウェア、又はマイクロコードを含む非一時的なデータストレージ媒体であり得る。
コンピュータ読み取り可能なストレージ媒体は、例として、ＲＯＭ、ＲＡＭ、デジタルレジスター、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクのようなマグネティック媒体、マグネティックテープ、及び消去可能なディスク、マグネティックオプティカル媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光学媒体を含む。
【０１４３】
本発明の実施形態によるイメージモジュール１７、又はこのようなイメージモジュールを含むシステム１５の選択的な実施形態は、前述した任意の機能及び／又は本発明の実施形態によるソリューションをサポートするために必要な任意の機能を含む追加的な機能を提供するために、追加の構成要素を含むことができる。
特徴及び要素が特定の組み合わせとして前述したが、特徴又は要素それぞれが、他の特徴及び要素なしで単独で、又は他の特徴との多様な組み合わせ又は他の特徴のない多様な組み合わせで使用することができる。
前述したように、ここで説明した多様な２次元及び３次元のイメージ機能は、（ハードウェア回路のような）ハードウェア及び／又は（前述した）コンピュータ読み取り可能なデータストレージ媒体に格納された、コーディングされたコマンド又はマイクロコードの形式でソフトウェア／ファームウェアを実行させるハードウェアの使用を通じて提供することができる。
したがって、このような機能及び図に示した機能ブロックは、ハードウェアで具現したり、コンピュータで具現したりするものと理解されることができ、機械で具現することのできるものと理解され得る。
【０１４４】
前述したのは、ＤＴＯＦ技術がピクセルアレイのピクセルそれぞれにおいてアナログ振幅変調（ＡＭ）と組み合わせられるシステム及び方法を説明する。
いかなるＳＰＡＤ又はＡＰＤもピクセルに使用されない。
代わりに、それぞれのピクセルは、「４００μＶ／ｅ−」以上の変換利得及び４５％よりも大きいＰＤＥを有し、ＰＰＤ（又は類似のアナログストレージデバイス）と共に動作するＰＤを有する。
ＴＯＦ情報は、ピクセル自体の内部のアナログドメインベースのシングルディファレンシャルコンバーターによって受信した光信号に追加される。
ピクセルのＰＤの出力は、ＰＰＤの動作を制御するのに使用される。
ピクセルのＰＤからの出力が所定の時間間隔内にトリガーされる場合、ＰＰＤからの電荷の伝送は中断され、これにより、ＴＯＦ値及びオブジェクトの範囲は記録される。
このようなピクセルは、例えば、低い光量、霧、悪天候などの困難な運転状況の下で運転者のため、ＡＭベースのＤＴＯＦセンサーと共に向上した自律走行システムを可能にする。
【０１４５】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【０１４６】
本発明は、ＴＯＦの測定が困難な状況でも向上した測定を可能にするピクセルを含むイメージセンサーシステム及びこれを含む電子装置に好適に使用される。
【符号の説明】
【０１４７】
１５    （ＴＯＦイメージ）システム
１７    イメージモジュール
１９    プロセッサ
２０    メモリモジュール
２２    プロジェクターモジュール
２４    イメージセンサーユニット
２６    ３次元オブジェクト
２８    短パルス（レーザーパルス）
３７    リターンパルス
３３    レーザー光源
３４    レーザーコントローラー
３５    照射光学系
４２    ２次元ピクセルアレイ
４３、５０、６７    ピクセル
４４    収集光学系
４６    イメージ処理ユニット
５２、６８    ＰＤ（フォトダイオード）ユニット
５３、６９    出力ユニット
５５、５６    （第１、第２）ＰＤ（フォトダイオード）
５７、７１    入射光
６０    センスアンプ
６１    （電子）シャッター信号
６４、７９、８４、１４０    ＴＣＣ（時間電荷コンバーター）ユニット
６５    ピクセルスペシフィックアウトプット（ＰＩＸＯＵＴ）
７０    ＰＤ（フォトダイオード）
７２    カップリングキャパシター
７３、７７    スイッチ
７５    反転増幅器
７６    バイパスキャパシター
８６、１４４    論理ユニット
【図１】
2019109240.tif 000006
【図２】
2019109240.tif 000007
【図３】
2019109240.tif 000008
【図４】
2019109240.tif 000009
【図５】
2019109240.tif 000010
【図６】
2019109240.tif 000011
【図７】
2019109240.tif 000012
【図８】
2019109240.tif 000013
【図９】
2019109240.tif 000014
【図１０】
2019109240.tif 000015
【図１１】
2019109240.tif 000016
【図１２】
2019109240.tif 000017