(57)【要約】【課題】小面積、低消費電力で、ヒストグラム生成回路を実現する。【解決手段】受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の時間情報を記憶する記憶部と、計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。本技術は、例えば、例えば、被写体までの奥行き方向の距離を検出する測距システム等に適用できる。【選択図】図７
2020134170.tif 000002
【特許請求の範囲】
【請求項１】
光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
複数の前記時間情報を記憶する記憶部と、
前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
を備える受光装置。
【請求項２】
前記マージ回路は、前記記憶部に記憶されている複数の前記時間情報に含まれる同一の時間情報を１つの時間情報にマージして、前記ヒストグラム生成回路に出力する
請求項１に記載の受光装置。
【請求項３】
前記マージ回路は、マージ後の複数種類の前記時間情報をまとめて１回で前記ヒストグラム生成回路に出力する
請求項１に記載の受光装置。
【請求項４】
前記マージ回路は、複数のOR回路を配置したORセル列で構成される
請求項１に記載の受光装置。
【請求項５】
前記記憶部は、第１記憶領域と第２記憶領域を備え、
前記計測部から入力された前記時間情報の前記第１記憶領域への記憶と、前記第２記憶領域に記憶された１種類以上の前記時間情報の前記マージ回路への出力とが、同時に実行される
請求項１に記載の受光装置。
【請求項６】
前記マージ回路は、前記計測部から入力された前記時間情報が前記記憶部に記憶されているかを判定し、前記記憶部に記憶されていない場合に、前記計測部から入力された前記時間情報を前記記憶部に記憶させる
請求項１に記載の受光装置。
【請求項７】
前記マージ回路は、
前記計測部から入力された前記時間情報と、前記記憶部に記憶されている前記時間情報とを比較する比較器と、
前記計測部から入力された前記時間情報を選択して前記記憶部に出力する選択部と
を有する
請求項１に記載の受光装置。
【請求項８】
２枚または３枚の基板の積層構造による１チップで構成される
請求項１に記載の受光装置。
【請求項９】
照射光を照射する光源を有する照明装置と、
前記照射光に対する反射光を受光する受光装置と
を備え、
前記受光装置は、
前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
複数の前記時間情報を記憶する記憶部と、
前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
を備える
測距システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、受光装置および測距システムに関し、特に、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにした受光装置および測距システムに関する。
【背景技術】
【０００２】
被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある（例えば、特許文献１参照）。Direct ToFセンサ（以下、単にToFセンサと称する。）は、被写体に向けて光を投射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
【０００３】
ToFセンサでは、光を投射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離データ（以下、ToFデータと称する。）に変換されるが、外乱光やマルチパスの影響を除去するために、光の投射と受信が複数回に渡って実施される。そして、複数回分のToFデータのヒストグラムが生成され、頻度値が最も大きいToFデータが、最終的なToFデータとして出力される。
【０００４】
ToFセンサでは、外乱光やマルチパス光、または、ノイズによる偽の受光反応の影響により、TDCから高レートでToFデータが出力されるが、データの取りこぼしなくヒストグラムを生成するためには、ヒストグラム生成回路も、TDCからの出力レートと同じ高レートで動作させる必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９１３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ヒストグラム生成回路を、TDCからの出力レートに対応する高レートで動作させる場合、ヒストグラム生成回路の面積および動作電力が増大する。この問題は、今後、ToFセンサの解像度が向上していくと、より顕著になる。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の前記時間情報を記憶する記憶部と、前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。
【０００９】
本技術の第２の側面の測距システムは、照射光を照射する光源を有する照明装置と、前記照射光に対する反射光を受光する受光装置とを備え、前記受光装置は、前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の前記時間情報を記憶する記憶部と、前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。
【００１０】
本技術の第１および第２の側面においては、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報が計測され、複数の前記時間情報が記憶され、計測された同一の時間情報が１つの時間情報にマージされ、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムが生成される。
【００１１】
受光装置及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
【図２】図１の受光装置の構成例を示すブロック図である。
【図３】画素の回路構成例を示す図である。
【図４】図３の画素の動作を説明する図である。
【図５】比較例としての信号処理部の構成例を示すブロック図である。
【図６】ヒストグラム生成回路によって生成されたヒストグラムの例を示す図である。
【図７】図２の信号処理部の第１構成例を示すブロック図である。
【図８】図５の信号処理部によるヒストグラムの生成動作を示すタイミングチャートである。
【図９】図７の信号処理部によるヒストグラムの生成動作を示すタイミングチャートである。
【図１０】図２の信号処理部の第２構成例を示すブロック図である。
【図１１】図２の信号処理部の第３構成例を示すブロック図である。
【図１２】２枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。
【図１３】３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。
【図１４】測距システムの使用例を説明する図である。
【図１５】車両制御システムの概略的な構成の一例を示すブロック図である。
【図１６】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距システムの構成例
２．受光装置の構成例
３．画素回路の構成例
４．比較例としての信号処理部の構成例
５．本技術の信号処理部の第１構成例
６．ヒストグラムの生成動作の比較
７．本技術の信号処理部の第２構成例
８．本技術の信号処理部の第３構成例
９．チップ構成例
１０．測距システムの使用例
１１．移動体への応用例
【００１４】
＜１．測距システムの構成例＞
図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
【００１５】
測距システム１１は、例えば、ToF法を用いて距離画像の撮影を行うシステムである。ここで、距離画像とは、測距システム１１から被写体までの奥行き方向の距離を画素単位で検出し、各画素の信号が、検出した距離に基づく距離画素信号からなる画像のことである。
【００１６】
測距システム１１は、照明装置２１及び撮像装置２２を備える。
【００１７】
照明装置２１は、照明制御部３１及び光源３２を備える。
【００１８】
照明制御部３１は、撮像装置２２の制御部４２の制御の下に、光源３２が光を照射するパターンを制御する。具体的には、照明制御部３１は、制御部４２から供給される照射信号に含まれる照射コードに従って、光源３２が光を照射するパターンを制御する。例えば、照射コードは、１（High）と０（Low）の２値からなり、照明制御部３１は、照射コードの値が１のとき光源３２を点灯させ、照射コードの値が０のとき光源３２を消灯させる。
【００１９】
光源３２は、照明制御部３１の制御の下に、所定の波長域の光を発する。光源３２は、例えば、赤外線レーザダイオードからなる。なお、光源３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。
【００２０】
撮像装置２２は、照明装置２１から照射された光（照射光）が被写体１２及び被写体１３等により反射された反射光を受光する装置である。撮像装置２２は、撮像部４１、制御部４２、表示部４３、及び、記憶部４４を備える。
【００２１】
撮像部４１は、レンズ５１、及び、受光装置５２を備える。
【００２２】
レンズ５１は、入射光を受光装置５２の受光面に結像させる。なお、レンズ５１の構成は任意であり、例えば、複数のレンズ群によりレンズ５１を構成することも可能である。
【００２３】
受光装置５２は、例えば、各画素に受光素子としてSPAD（Single Photon Avalanche Diode）を用いたセンサからなる。受光装置５２は、制御部４２の制御の下に、被写体１２及び被写体１３等からの反射光を受光し、その結果得られた画素信号を距離情報に変換して制御部４２に出力する。受光装置５２は、行方向及び列方向の行列状に画素が２次元配置された画素アレイの各画素の画素値（距離画素信号）として、照明装置２１が照射光を照射してから受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が格納された距離画像を、制御部４２に供給する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
【００２４】
なお、測距システム１１は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、撮像部４１が、外乱光やマルチパス等の影響を除去した距離画像を生成し、制御部４２に供給する。
【００２５】
制御部４２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部４２は、照明制御部３１、及び、受光装置５２の制御を行う。具体的には、制御部４２は、照明制御部３１に照射信号を供給するとともに、発光タイミング信号を受光装置５２に供給する。光源３２は、照射信号に応じて照射光を発光する。発光タイミング信号は、照明制御部３１に供給される照射信号でもよい。また、制御部４２は、撮像部４１から取得した距離画像を表示部４３に供給し、表示部４３に表示させる。さらに、制御部４２は、撮像部４１から取得した距離画像を記憶部４４に記憶させる。また、制御部４２は、撮像部４１から取得した距離画像を外部に出力する。
【００２６】
表示部４３は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。
【００２７】
記憶部４４は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。
【００２８】
＜２．受光装置の構成例＞
図２は、受光装置５２の構成例を示すブロック図である。
【００２９】
受光装置５２は、画素駆動部７１、画素アレイ７２、MUX(マルチプレクサ)７３、時間計測部７４、信号処理部７５、および、入出力部７６を備える。
【００３０】
画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置された構成となっている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。
【００３１】
画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７６を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素８１の詳細構成については後述する。
【００３２】
なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。画素駆動線８２の一端は、画素駆動部７１の各画素行に対応した出力端に接続されている。
【００３３】
MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えにしたがい、アクティブ画素からの出力を選択する。そして、MUX７３は、選択したアクティブ画素から入力される画素信号を時間計測部７４へ出力する。
【００３４】
時間計測部７４は、MUX７３から供給されるアクティブ画素の画素信号と、光源３２の発光タイミングを示す発光タイミング信号とに基づいて、光源３２が光を発光してからアクティブ画素が光を受光するまでの時間（光の飛行時間）に対応するカウント値を生成する。発光タイミング信号は、入出力部７６を介して外部（撮像装置２２の制御部４２）から供給される。
【００３５】
信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間（カウント値）のヒストグラムを画素ごとに生成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、光源３２から照射された光が被写体１２または被写体１３で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
【００３６】
入出力部７６は、信号処理部７５から供給される距離画像の信号（距離画像信号）を、外部（制御部４２）に出力する。また、入出力部７６は、制御部４２から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７４に供給する。
【００３７】
＜３．画素回路の構成例＞
図３は、画素アレイ７２に行列状に複数配置された画素８１の回路構成例を示している。
【００３８】
図３の画素８１は、SPAD１０１、トランジスタ１０２、スイッチ１０３、及び、インバータ１０４を備える。また、画素８１は、ラッチ回路１０５とインバータ１０６も備える。トランジスタ１０２は、P型のMOSトランジスタで構成される。
【００３９】
SPAD１０１のカソードは、トランジスタ１０２のドレインに接続されるとともに、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。SPAD１０１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。
【００４０】
SPAD１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１０１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。
【００４１】
トランジスタ１０２は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１０２のソースは電源電圧VEに接続され、ドレインがSPAD１０１のカソード、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。これにより、SPAD１０１のカソードにも、電源電圧VEが供給される。SPAD１０１と直列に接続されたトランジスタ１０２の代わりに、プルアップ抵抗を用いることもできる。
【００４２】
SPAD１０１には、十分な効率で光（フォトン）を検出するため、SPAD１０１の降伏電圧VBDよりも大きな電圧（以下、過剰バイアス（ExcessBias）と称する。）が印加される。例えば、SPAD１０１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１０２のソースに供給される電源電圧VEは、３Vとされる。
【００４３】
なお、SPAD１０１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１０１に印加する印加電圧が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。
【００４４】
スイッチ１０３は、両端の一端がSPAD１０１のカソード、インバータ１０４の入力端子、および、トランジスタ１０２のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１０７に接続されている。スイッチ１０３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１０５の出力であるゲーティング制御信号VGを、インバータ１０６で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
【００４５】
ラッチ回路１０５は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１０６に供給する。インバータ１０６は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１０３に供給する。
【００４６】
トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。
【００４７】
ラッチ回路１０５は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１０５は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0)のゲーティング制御信号VGを出力する。これにより、画素８１がアクティブ画素とされる場合には、インバータ１０６によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。したがって、スイッチ１０３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。
【００４８】
インバータ１０４は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１０４は、SPAD１０１への光子の入射を検出信号PFoutとして出力する出力部である。
【００４９】
次に、図４を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。
【００５０】
図４は、光子の入射に応じたSPAD１０１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
【００５１】
まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１０３はオフに設定される。
【００５２】
SPAD１０１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、−２０V）が供給されることから、SPAD１０１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１０１がガイガーモードに設定される。この状態では、SPAD１０１のカソード電圧VSは、例えば図４の時刻t0のように、電源電圧VEと同じである。
【００５３】
ガイガーモードに設定されたSPAD１０１に光子が入射すると、アバランシェ増倍が発生し、SPAD１０１に電流が流れる。
【００５４】
図４の時刻t1において、アバランシェ増倍が発生し、SPAD１０１に電流が流れたとすると、時刻t1以降、SPAD１０１に電流が流れることにより、トランジスタ１０２にも電流が流れ、トランジスタ１０２の抵抗成分により電圧降下が発生する。
【００５５】
時刻t2において、SPAD１０１のカソード電圧VSが0Vよりも低くなると、SPAD１０１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１０２に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
【００５６】
アバランシェ増幅が停止するとトランジスタ１０２の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
【００５７】
インバータ１０４は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１０１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１０１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
【００５８】
なお、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給され、スイッチ１０３がオンされる。スイッチ１０３がオンされると、SPAD１０１のカソード電圧VSが０Vとなる。その結果、SPAD１０１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１０１に光子が入ってきても反応しない状態となる。
【００５９】
＜４．比較例としての信号処理部の構成例＞
上述したように、信号処理部７５は、所定の回数繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間に対応するカウント値のヒストグラムを画素ごとに生成する。このヒストグラムを生成するヒストグラム生成回路の回路面積は、測距システムの解像度（空間解像度や時間解像度）を上げようとすると、増大する。
【００６０】
そこで、以下では、受光装置５２の信号処理部７５に適用された、ヒストグラム生成回路の回路面積を抑制することが可能な信号処理部の構成について説明する。ただし、以下では、初めに、本技術を適用した信号処理部７５と比較するための比較例である、信号処理部３０１の構成例について説明し、その後、受光装置５２の信号処理部７５の構成について説明する。
【００６１】
図５は、比較例としての信号処理部３０１の構成例を示すブロック図である。
【００６２】
図５の信号処理部３０１は、時間計測部７４に設けられた１つのTDC(time to digital converter)９１に対応して１つのヒストグラム生成回路３２１を備え、ヒストグラム生成回路３２１は、デコーダ３３１とヒストグラム保持回路３３２とを備える。時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対応して設けられる。
【００６３】
なお、図５の画素アレイ７２と時間計測部７４については、ヒストグラム生成回路３２１との対応関係を説明するために示している。
【００６４】
すなわち、時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対して設けられる。例えば、行列状に２次元配置された全ての画素８１を同時にアクティブ画素として動作させる場合には、画素８１とTDC９１が１対１に設けられ、時間計測部７４は、画素アレイ７２の画素数と同数のTDC９１を備える。また例えば、画素アレイ７２の１行を構成する複数の画素８１に対して１個のTDC９１が設けられる場合には、時間計測部７４は、画素アレイ７２の画素行と同数のTDC９１を備える。したがって、時間計測部７４に含まれるTDC９１の個数は、１回の受光で同時にアクティブ画素に設定する画素数などの要求に応じて決定される。
【００６５】
MUX７３において、アクティブ画素に設定された画素８１の出力が適切に選択されたとして、アクティブ画素に設定された画素８１の画素信号、即ち、上述した検出信号PFoutが、TDC９１に入力される。TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値を、ToFデータとして、ヒストグラム生成回路３２１に出力する。TDC９１は、光源３２の発光タイミングから画素８１が受光した受光タイミングまでの時間情報を計測する計測部に相当する。
【００６６】
ヒストグラム生成回路３２１に入力されるToFデータは、デコーダ３３１によってデコードされ、ヒストグラム保持回路３３２のヒストグラムのビンに記憶される。換言すれば、デコーダ３３１は、入力されるToFデータに応じて、ヒストグラム保持回路３３２のヒストグラムのビンを選択し、選択したビンのヒストグラムの頻度値を更新する。
【００６７】
図６は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、ヒストグラム生成回路３２１によって生成されたヒストグラムの例を示している。
【００６８】
図６に示されるヒストグラムの例では、D1で示されるビンがヒストグラムのピークを示しており、D1で示されるビンのToFデータ（カウント値）が、画素８１のToFデータとして、出力される。
【００６９】
＜５．本技術の信号処理部の第１構成例＞
図７は、本技術を適用した信号処理部であって、図２の信号処理部７５の第１構成例を示すブロック図である。
【００７０】
なお、図７においても、図５と同様に、画素アレイ７２と時間計測部７４の対応する構成も示されている。
【００７１】
図７の信号処理部７５は、時間計測部７４に設けられた１つのTDC９１に対応して１つのヒストグラム前段回路１２１と、ヒストグラム生成回路１２２とを備える。画素アレイ７２の画素８１と、時間計測部７４のTDC９１との関係は、図５における場合と同様である。
【００７２】
ヒストグラム前段回路１２１は、複数のToFデータを記憶するバッファBを備える記憶部１３１と、複数のデコーダ１３２と、マージ回路１３３とで構成される。ヒストグラム生成回路１２２は、ヒストグラム保持回路１５１で構成される。ヒストグラム保持回路１５１は、例えば、FF(Flip-Flop)アレイや、SRAM(Static RAM)等で構成することができる。
【００７３】
記憶部１３１は、１回の測距期間中に、TDC９１から入力される１種類以上のToFデータをバッファBに記憶する。バッファBは、外乱光やマルチパス光、ノイズによる偽の受光反応など、１回の測距期間中に発生する複数回のアバランシェ増幅に対応して、複数個のToFデータを記憶できるように構成されている。そして、デコーダ１３２は、バッファBが記憶可能なToFデータの個数に応じた数だけ用意されている。例えば、バッファBが５個のToFデータを記憶可能であるとすると、ヒストグラム前段回路１２１に設けられるデコーダ１３２の個数は５個となる。
【００７４】
複数のデコーダ１３２それぞれは、バッファBに記憶されたToFデータの１つを取得し、マージ回路１３３に出力する。マージ回路１３３は、複数のOR回路を配置したORセル列で構成される。各OR回路は、複数のデコーダ１３２の同一のToFデータの出力端子に接続されており、マージ回路１３３は、取り得るToFデータのデータ数のOR回路を有する。マージ回路１３３は、バッファBに記憶された複数のToFデータのうち、同一のToFデータを１つのToFデータにマージして、ヒストグラム生成回路１２２のヒストグラム保持回路１５１に出力する。
【００７５】
ヒストグラム保持回路１５１は、マージ回路１３３によってマージされた後の１種類以上のToFデータに基づいて、ToFデータに対応するビンのヒストグラムの頻度値を更新して記憶する。そして、ヒストグラム保持回路１５１は、複数回（例えば、数千乃至数万回）の光源３２の反射光の受光に応じてヒストグラムの頻度値を更新することにより、ToFデータのヒストグラムを生成する。
【００７６】
信号処理部７５は、画素アレイ７２の各画素８１のヒストグラムのピークに対応するToFデータが各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算まで行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
【００７７】
＜６．ヒストグラムの生成動作の比較＞
図８および図９を参照して、図７の信号処理部７５と、比較例である図５の信号処理部３０１とによるヒストグラムの生成動作を比較する。
【００７８】
図８は、比較例である図５の信号処理部３０１によるヒストグラムの生成動作を示すタイミングチャートである。
【００７９】
図９は、図７の信号処理部７５によるヒストグラムの生成動作を示すタイミングチャートである。
【００８０】
図８および図９のいずれにおいても、時刻t1から時刻t2までの期間Tが１回の測距期間に相当し、この１回の測距期間Tに、25, 25, 50, 120, 120の５個のToFデータが、TDC９１から出力されたと仮定する。この測距期間Tの測定を複数回（例えば、数千乃至数万回）繰り返すことで、最終的なヒストグラムが生成される。なお、１回の測距期間を識別する信号は、発光タイミング信号として、撮像装置２２の制御部４２から受光装置５２に供給される。
【００８１】
比較例である図５の信号処理部３０１のヒストグラム生成回路３２１は、図８に示されるように、TDC９１からToFデータが入力される毎に、ヒストグラム保持回路３３２のヒストグラムを更新する。具体的には、{25}、{25}、{50}、{120}、{120}のToFデータが入力される度に更新される。ヒストグラム生成回路３２１は、順次入力されるToFデータを全て処理できる速度で動作させる必要がある。
【００８２】
一方、図７の信号処理部７５は、図９に示されるように、TDC９１から順次入力される５個のToFデータは、ヒストグラム前段回路１２１の記憶部１３１のバッファBに記憶される。そして、１回の測距期間Tが終了したタイミングで、マージ回路１３３によって同一のToFデータが１つのToFデータにマージされ、マージ後の１種類以上のToFデータが、まとめて１回で、ヒストグラム生成回路１２２のヒストグラム保持回路１５１に供給される。具体的には、{25}、{50}、および、{120}のToFデータが、まとめて１回で、ヒストグラム生成回路１２２に供給され、ヒストグラムが更新される。
【００８３】
したがって、信号処理部７５では、ヒストグラム保持回路１５１に供給される１種類以上のToFデータは、カウント値がすべて異なる。また、ヒストグラムを更新するタイミングが、ToFデータが入力されるごとのタイミングである必要はなく、測距期間Tごとのタイミングでよい。
【００８４】
１回の測距期間Tに、25, 25, 50, 120, 120の５個のToFデータが、TDC９１から出力された場合において、比較例のヒストグラム生成回路３２１では、{25}のToFデータの頻度値が２、{120}のToFデータの頻度値が２、{50}のToFデータの頻度値が１だけ積算されるのに対して、ヒストグラム保持回路１５１では、{25}、{50}、および、{120}のToFデータの頻度値が、それぞれ１だけ積算されるのみである。
【００８５】
したがって、受光装置５２の信号処理部７５によれば、正しいヒストグラム、換言すれば、TDC９１が出力するToFデータの出力数と同じ頻度値のヒストグラムを作成することはできない。
【００８６】
しかしながら、Direct ToF法による測距システムに限っては、正しいヒストグラムを作成する必要はない。その理由は、以下の通りである。
【００８７】
Direct ToF法では、時間計測部７４のTDC９１は、１回の測距期間Tの開始時刻（図９では時刻t1）においてカウント値＝０からカウントを開始し、測距期間Tの終了時刻（図９では時刻t2）までカウント値をカウントアップさせるカウント動作を行う。したがって、本来、同一のToFデータがTDC９１から出力されることはなく、同一のToFデータがTDC９１から出力された場合、そのToFデータは画素８１のノイズ動作と考えられる。したがって、１回の測距期間Tに対して、複数個の同一のToFデータを積算する必要はなく、むしろ、マージ回路１３３がToFデータのノイズを除去していると言うことができる。すなわち、マージ回路１３３は、ローパスフィルタ動作によるノイズ除去機能を兼ねている。
【００８８】
したがって、上述の動作でも、１回の測距期間Tを複数回（例えば、数千乃至数万回）繰り返した結果に基づくヒストグラムを生成することによって、距離画像を正確に生成することができる。
【００８９】
以上より、図７の信号処理部７５によれば、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
【００９０】
＜７．本技術の信号処理部の第２構成例＞
図１０は、図２の信号処理部７５の第２構成例を示すブロック図である。
【００９１】
図１０において、図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
【００９２】
図１０の第２構成例は、ヒストグラム前段回路１２１の一部が、第１構成例と異なる。具体的には、第２構成例の記憶部１３１は、第１構成例の記憶部１３１が備えるバッファBを２個備える。第２構成例の記憶部１３１が備える２個のバッファBを、バッファB1（第１記憶領域）とバッファB２（第２記憶領域）と呼ぶことにする。
【００９３】
また、第２構成例のヒストグラム前段回路１２１は、第１構成例と同様に複数のデコーダ１３２とマージ回路１３３とを備えるとともに、セレクタ１７１および１７２と、制御部１７３とをさらに備える。
【００９４】
セレクタ１７１は、１回の測距期間Tに、TDC９１から入力される１個以上のToFデータを、制御部１７３の制御に従い、バッファB1またはB2のいずれかに記憶させる。セレクタ１７２は、制御部１７３の制御に従い、バッファB1またはB2のいずれか一方から、そこに記憶されている１個以上のToFデータを読み出し、複数のデコーダ１３２に出力する。
【００９５】
制御部１７３は、セレクタ１７１のToFデータの出力先、および、セレクタ１７２のToFデータの読み出し先を制御する。より具体的には、制御部１７３は、TDC９１からのToFデータをセレクタ１７１がバッファB1へ出力する場合、セレクタ１７２がバッファB2からToFデータを読み出すように制御し、TDC９１からのToFデータをセレクタ１７１がバッファB2へ出力する場合、セレクタ１７２がバッファB1からToFデータを読み出すように制御する。これにより、ToFデータのバッファB1への記憶と、バッファB2に記憶されたToFデータのマージ回路１３３への出力とが、同時に実行される。すなわち、TDC９１からのToFデータの出力とヒストグラム更新とを並列に動作させることができるので、処理を高速化することができる。
【００９６】
図１０の信号処理部７５においても、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
【００９７】
＜８．本技術の信号処理部の第３構成例＞
図１１は、図２の信号処理部７５の第３構成例を示すブロック図である。
【００９８】
図１１において、図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
【００９９】
図１１の第３構成例は、ヒストグラム前段回路１２１の一部が、第１構成例と異なる。具体的には、第３構成例のヒストグラム前段回路１２１は、第１構成例のマージ回路１３３に代えて、マージ回路１８１が設けられている。また、第１構成例では、デコーダ１３２がバッファBが記憶可能なToFデータの個数に応じた数だけ設けられていたが、第３構成例では、デコーダ１３２は１個である。
【０１００】
マージ回路１８１は、記憶部１３１（バッファB）の前段に設けられ、セレクタ１８２（選択部）と比較器１８３とを有している。
【０１０１】
セレクタ１８２は、比較器１８３の制御に従い、TDC９１からの入力か、または、無効（invalid）のいずれか一方を選択する。セレクタ１８２は、TDC９１からの入力を選択した場合には、TDC９１からのToFデータを、記憶部１３１のバッファBに記憶させ、無効を選択した場合には、TDC９１からのToFデータを、記憶部１３１のバッファBに記憶させない。
【０１０２】
比較器１８３は、TDC９１から供給されるToFデータと、記憶部１３１のバッファBに記憶されているToFデータとを比較し、TDC９１から供給されたToFデータが、既にバッファBに記憶されているデータである場合には、セレクタ１８２が、TDC９１からのToFデータをバッファBに出力しないように制御する。一方、TDC９１から供給されたToFデータが、バッファBに記憶されていないデータである場合には、比較器１８３は、TDC９１からのToFデータをバッファBに出力させるように、セレクタ１８２を制御する。
【０１０３】
したがって、マージ回路１８１は、TDC９１から入力されたToFデータが、記憶部１３１のバッファBに記憶されているかを判定し、バッファBに記憶されていない場合に、TDC９１から入力されたToFデータをバッファBに記憶させる。
【０１０４】
図１１の信号処理部７５においても、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
【０１０５】
なお、第３構成例では、マージ回路１８１はTDC９１の出力レート以上の速度で動作させる必要がある。
【０１０６】
＜９．チップ構成例＞
受光装置５２は、２枚または３枚の基板（ダイ）を積層した積層構造による１チップ（半導体チップ）で構成することができる。
【０１０７】
図１２は、受光装置５２が２枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
【０１０８】
受光装置５２は、第１基板１９１Aと第２基板１９１Bとを積層して構成される。第１基板１９１Aと第２基板１９１Bとは、例えば、貫通ビアやCu-Cuの金属接合により電気的に接続される。
【０１０９】
反射光を受光する受光面が第１基板１９１Aに設けられ、第１基板１９１Aには、画素アレイ７２が形成される。第２基板１９１Bには、MUX７３、時間計測部７４、および、信号処理部７５などが配置される。入出力部７６の一部である、はんだボール等の入出力端子は、例えば、第２基板１９１Bの第１基板１９１Aの接合面と反対側の面に形成される。不図示の画素駆動部７１は、第１基板１９１Aまたは第２基板１９１Bのどちらに形成してもよい。
【０１１０】
図１３は、受光装置５２が３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
【０１１１】
受光装置５２は、第１基板１９２A、第２基板１９２B、および、第３基板１９２Cを積層して構成される。第１基板１９２Aと第２基板１９２Bは、貫通ビアやCu-Cuの金属接合により電気的に接続され、第２基板１９２Bと第３基板１９２Cは、貫通ビアやCu-Cuの金属接合により電気的に接続される。
【０１１２】
第１基板１９２Aには、画素アレイ７２が形成される。第２基板１９２Bには、MUX７３、時間計測部７４、および、信号処理部７５の一部である複数のヒストグラム前段回路１２１が配置される。
【０１１３】
第３基板１９２Cには、第２基板１９２Bに配置されない残りの信号処理部７５、例えば、複数のヒストグラム生成回路１２２と、入出力部７６などが配置される。例えば、複数のヒストグラム生成回路１２２としてのSRAMが、第２基板１９２Bの各ヒストグラム前段回路１２１の出力端子と、TSV（Through Silicon Via）などで接続される。
【０１１４】
＜１０．測距システムの使用例＞
本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の撮像部４１は、レンズ５１及び受光装置５２がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ５１と受光装置５２とが別に構成され、受光装置５２のみをワンチップとして構成してもよい。
【０１１５】
図１４は、上述の測距システム１１または受光装置５２の使用例を示す図である。
【０１１６】
上述した測距システム１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
【０１１７】
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１１８】
＜１１．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１１９】
図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１２０】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１２１】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１２２】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１２３】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１２４】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１２５】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１２６】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１２７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１２８】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１２９】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１３０】
図１６は、撮像部１２０３１の設置位置の例を示す図である。
【０１３１】
図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１３２】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１３３】
なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１３４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１３５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３６】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１３７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１３８】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距システム１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
【０１３９】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１４０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４１】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１４２】
なお、本技術は、以下の構成を取ることができる。
（１）
光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
複数の前記時間情報を記憶する記憶部と、
前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
を備える受光装置。
（２）
前記マージ回路は、前記記憶部に記憶されている複数の前記時間情報に含まれる同一の時間情報を１つの時間情報にマージして、前記ヒストグラム生成回路に出力する
前記（１）に記載の受光装置。
（３）
前記マージ回路は、マージ後の複数種類の前記時間情報をまとめて１回で前記ヒストグラム生成回路に出力する
前記（１）または（２）に記載の受光装置。
（４）
前記マージ回路は、複数のOR回路を配置したORセル列で構成される
前記（１）乃至（３）のいずれかに記載の受光装置。
（５）
前記記憶部は、第１記憶領域と第２記憶領域を備え、
前記計測部から入力された前記時間情報の前記第１記憶領域への記憶と、前記第２記憶領域に記憶された１種類以上の前記時間情報の前記マージ回路への出力とが、同時に実行される
前記（１）乃至（４）のいずれかに記載の受光装置。
（６）
前記マージ回路は、前記計測部から入力された前記時間情報が前記記憶部に記憶されているかを判定し、前記記憶部に記憶されていない場合に、前記計測部から入力された前記時間情報を前記記憶部に記憶させる
前記（１）乃至（３）のいずれかに記載の受光装置。
（７）
前記マージ回路は、
前記計測部から入力された前記時間情報と、前記記憶部に記憶されている前記時間情報とを比較する比較器と、
前記計測部から入力された前記時間情報を選択して前記記憶部に出力する選択部と
を有する
前記（１）乃至（３）、または、（６）のいずれかに記載の受光装置。
（８）
２枚または３枚の基板の積層構造による１チップで構成される
前記（１）乃至（７）のいずれかに記載の受光装置。
（９）
照射光を照射する光源を有する照明装置と、
前記照射光に対する反射光を受光する受光装置と
を備え、
前記受光装置は、
前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
複数の前記時間情報を記憶する記憶部と、
前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
を備える
測距システム。
【符号の説明】
【０１４３】
１１  測距システム，  ２１  照明装置，  ２２  撮像装置，  ３１  照明制御部，  ３２  光源，  ４１  撮像部，  ４２  制御部，  ５２  受光装置，  ７１  画素駆動部，  ７２  画素アレイ，  ７３  MUX，  ７４  時間計測部，  ７５  信号処理部，  ７６  入出力部，  ８１  画素，  ９１  TDC，  １０１  SPAD，  １２１  ヒストグラム前段回路，  １２２  ヒストグラム生成回路，  １３１  記憶部，  １３２  デコーダ，  １３３  マージ回路，  １５１  ヒストグラム保持回路，  １７１，１７２  セレクタ，  １７３  制御部，  １８１  マージ回路，  １８２  セレクタ，  １８３  比較器，  １９１A  第１基板，  １９１B  第２基板，  １９２A  第１基板，  １９２B  第２基板，  １９３C  第３基板
【図１】
2020134170.tif 000003
【図２】
2020134170.tif 000004
【図３】
2020134170.tif 000005
【図４】
2020134170.tif 000006
【図５】
2020134170.tif 000007
【図６】
2020134170.tif 000008
【図７】
2020134170.tif 000009
【図８】
2020134170.tif 000010
【図９】
2020134170.tif 000011
【図１０】
2020134170.tif 000012
【図１１】
2020134170.tif 000013
【図１２】
2020134170.tif 000014
【図１３】
2020134170.tif 000015
【図１４】
2020134170.tif 000016
【図１５】
2020134170.tif 000017
【図１６】
2020134170.tif 000018