(57)【要約】本開示の受光装置は、２次元状に配置された複数の画素を有する受光部、画素に接続された信号線、信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、受光部内における画素の位置に対応した補正値を記憶する記憶部、記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、補正処理部で補正処理された信号を出力する出力部、を備える。本開示の測距装置は、上記の構成の受光装置を用いる。
2020022137.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、
を備える受光装置。
【請求項２】
補正値は、画素から時間計測部までの距離に基づく値である、
請求項１に記載の受光装置。
【請求項３】
受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
請求項２に記載の受光装置。
【請求項４】
ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
請求項１に記載の受光装置。
【請求項５】
補正処理部は、ヒストグラムのビン単位で補正処理を行う、
請求項４に記載の受光装置。
【請求項６】
補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
請求項４に記載の受光装置。
【請求項７】
システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
請求項６に記載の受光装置。
【請求項８】
記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
請求項１に記載の受光装置。
【請求項９】
補正処理部は、ヒストグラム作成部の後段に設けられており、
ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
請求項８に記載の受光装置。
【請求項１０】
補正処理部は、ヒストグラム作成部の前段に設けられており、
時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
請求項８に記載の受光装置。
【請求項１１】
画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
請求項１に記載の受光装置。
【請求項１２】
受光部は、複数の画素を単位とする画素グループを含み、
信号線は、複数の信号線を単位とする信号線グループを含み、
画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
請求項１に記載の受光装置。
【請求項１３】
測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を受光する受光装置を備え、
受光装置は、
２次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、を備える、
測距装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、受光装置及び測距装置（距離測定装置）に関する。
【背景技術】
【０００２】
光子の受光に応じて信号を発生する素子を、受光素子として用いた受光装置がある（例えば、特許文献１参照）。この種の受光装置では、測定対象物までの距離を測定する測定法として、測定対象物に向けて照射した光が、当該測定対象物で反射されて戻ってくるまでの時間を測定するＴＯＦ（Time Of Flight：飛行時間）法が採用されている。ＴＯＦ法のうち、光の飛行時間差から直接距離を算出する直接ＴＯＦ法では、光子飛行時間を正確にとらえる必要がある。【０００３】
受光素子を含む画素を２次元状に配置して、３次元深度マップ（ｄｅｐｔｈｍａｐ）を取得する受光装置では、各画素から時間計測部（time-to-digital converter：ＴＤＣ）に至る経路の長さが異なるため、２次元の面内の伝搬遅延スキュー（以下、「面内遅延スキュー」と記述する）が問題になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２１１８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
面内遅延スキューを無くすために、複数の受光素子（画素）から時間計測部（Time to Digital Converter：ＴＤＣ）に至る各経路の配線に直接、遅延調整のためのバッファを追加する手法が考えられる。しかし、追加するバッファの特性ばらつきによって面内遅延スキューが更に悪化することが懸念される。従って、バッファを追加する手法で面内遅延スキューを補正することは難しい。【０００６】
また、面内遅延スキューの補正を、受光装置の後段に設けられたアプリケーションプロセッサで行うこともできる。しかし、アプリケーションプロセッサで面内遅延スキューの補正を実施するようにした場合、システム全体の処理遅延が、複数の画素の全信号を取得するフレーム単位になってしまい、処理遅延が大きいために、即時応答が必要なアプリケーションではその処理遅延が問題になる。【０００７】
そこで、本開示は、面内遅延スキューに対する優れた補正処理を実現することができる受光装置、及び、当該受光装置を用いる測距装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本開示の受光装置は、
２次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、
を備える構成となっている。【０００９】
また、上記の目的を達成するための本開示の測距装置は、
測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を受光する受光装置を備え、
受光装置として、上記の構成の受光装置を用いる構成となっている。
【図面の簡単な説明】
【００１０】
【図１】図１は、本開示の一実施形態に係る測距装置を示す概略構成図である。
【図２】図２Ａ及び図２Ｂは、本開示の一実施形態に係る測距装置の具体的な構成を示すブロック図である。
【図３】図３は、ＳＰＡＤ素子を用いた受光装置の基本的な画素回路を示す回路図である。
【図４】図４Ａは、ＳＰＡＤ素子のＰＮ接合の電流−電圧特性を示す特性図であり、図４Ｂは、画素回路の回路動作の説明に供する波形図である。
【図５】図５は、受光装置の受光部の構成の一例を示す概略平面図である。
【図６】図６は、受光装置の測距制御部の基本的な構成を示すブロック図である。
【図７】図７は、２次元の面内遅延スキューについて説明する図である。
【図８】図８は、実施例１に係る受光装置の構成を示すブロック図である。
【図９】図９は、実施例１に係る受光装置における面内遅延補正部の構成の一例を示すブロック図である。
【図１０】図１０は、ヒストグラムに関するデータＤＡＴＡ、ヒストグラムのアドレスＡＤＤＲ、補正量ＯＦＳＴ、及び、補正後のヒストグラム毎のビン値ＢＩＮのタイミング関係を示すタイミングチャートである。
【図１１】図１１Ａは、実施例１に係る受光装置における面内遅延スキューの補正処理の流れを示すフローチャートであり、図１１Ｂは、実施例１の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。
【図１２】図１２Ａは、実施例２の場合の時間計測部に対する各画素の位置関係についての説明図であり、図１２Ｂは、各画素から時間計測部までの遅延が面内で線形的であることの説明図である。
【図１３】図１３は、実施例３の場合の補正前後のヒストグラムに関するデータの時間軸方向の位置関係を示す図である。
【図１４】図１４は、実施例４に係る受光装置の構成を示すブロック図である。
【図１５】図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【図１６】図１６は、測距装置の設置位置の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の受光装置及び測距装置、全般に関する説明
２．実施形態に係る測距装置
２−１．ＳＰＡＤ素子を用いた受光装置の基本構成
２−２．受光装置の受光部の構成
２−３．受光装置の信号処理部の基本的な構成
２−４．面内遅延スキューについて
３．実施形態に係る受光装置
３−１．実施例１（ヒストグラムに関するデータのヒストグラム作成部からの読み出し時に、面内遅延スキューの補正処理を行う例）
３−２．実施例２（実施例１の変形例：各画素から時間計測部までの遅延が面内で線形的な傾向を示す場合の例）
３−３．実施例３（実施例１の変形例：全ヒストグラムに共通する遅延についても補正処理を行う例）
３−４．実施例４（ヒストグラムに関するデータのヒストグラム作成部への書き込み時に、面内遅延スキューの補正処理を行う例）
４．本開示に係る技術の適用例（移動体の例）
５．本開示がとることができる構成
【００１２】
＜本開示の受光装置及び測距装置、全般に関する説明＞
本開示の受光装置及び測距装置にあっては、補正値について、画素から時間計測部までの距離に基づく値である形態とすることができる。受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する構成とすることができる。
【００１３】
上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、ヒストグラム作成部について、受光部の画素行に対応して複数設けられている構成とすることができる。このとき、補正処理部について、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う構成とすることができる。また、補正処理部について、ヒストグラムのビン単位で補正処理を行う構成とすることができる。
【００１４】
更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、補正処理部について、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う構成とすることができる。システム補正値については、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である形態とすることができる。
【００１５】
更に、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、記憶部について、ヒストグラム毎に補正値が設定された補正レジスタ群から成る構成とすることができる。そして、補正処理部について、ヒストグラム作成部の後段に設けられ、ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う構成とすることができる。あるいは又、補正処理部について、ヒストグラム作成部の前段に設けられ、時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う構成とすることができる。
【００１６】
また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、画素の受光素子について、光子の受光に応じて信号を発生する素子から成る構成とすることができる。
【００１７】
また、上述した好ましい形態、構成を含む本開示の受光装置及び測距装置にあっては、受光部について、複数の画素を単位とする画素グループを含み、信号線について、複数の信号線を単位とする信号線グループを含む構成とし、画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される構成とすることができる。
【００１８】
＜実施形態に係る測距装置＞
図１は、本開示の一実施形態に係る測距装置を示す概略構成図である。本実施形態に係る測距装置１は、測定対象物である被写体１０までの距離を測定する測定法として、被写体１０に向けて照射した光（例えば、赤外の波長領域にピーク波長を有するレーザ光）が、当該被写体１０で反射されて戻ってくるまでの時間を測定するＴＯＦ（time of flight：飛行時間）法を採用している。ＴＯＦ法による距離測定を実現するために、本実施形態に係る測距装置１は、光源２０及び受光装置３０を備えている。そして、受光装置３０として、後述する本開示の一実施形態に係る受光装置を用いる。
【００１９】
本実施形態に係る測距装置１の具体的な構成を図２Ａ及び図２Ｂに示す。光源２０は、例えば、レーザドライバ２１、レーザ光源２２、及び、拡散レンズ２３を有し、被写体１０に対してレーザ光を照射する。レーザドライバ２１は、制御部４０による制御の下に、レーザ光源２２を駆動する。レーザ光源２２は、例えば半導体レーザから成り、レーザドライバ２１によって駆動されることによりレーザ光を出射する。拡散レンズ２３は、レーザ光源２２から出射されたレーザ光を拡散し、被写体１０に対して照射する。
【００２０】
受光装置３０は、受光レンズ３１、受光部である光センサ３２、及び、論理回路３３を有し、レーザ照射部２０による照射レーザ光が被写体１０で反射されて戻ってくる反射レーザ光を受光する。受光レンズ３１は、被写体１０からの反射レーザ光を光センサ３２の受光面上に集光する。光センサ３２は、受光レンズ３１を経た被写体１０からの反射レーザ光を画素単位で受光し、光電変換する。
【００２１】
光センサ３２の出力信号は、論理回路３３を経由して制御部４０へ供給される。光センサ３２の詳細については後述する。制御部４０は、例えば、ＣＰＵ（Central Processing Unit：中央処理ユニット）等によって構成され、光源２０及び受光装置３０を制御するとともに、光源２０から被写体１０に向けて照射したレーザ光が、当該被写体１０で反射されて戻ってくるまでの時間ｔの計測を行う。この時間ｔを基に、被写体１０までの距離Ｌを求めることができる。
【００２２】
時間計測の方法としては、光源２０からパルス光を照射したタイミングでタイマをスタートさせ、受光装置３０が当該パルス光を受光したタイミングでタイマをストップし、時間ｔを計測する。時間計測のその他の方法として、光源２０から所定の周期でパルス光を照射し、受光装置３０が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間ｔを計測してもよい。時間計測は複数回実行され、複数回計測された時間を積み上げたヒストグラムのピークを検出することで時間ｔを計測する。
【００２３】
光センサ３２としては、受光素子を含む画素が行列状（アレイ状）２次元配置されて成る２次元アレイセンサ（所謂、エリアセンサ）を用いることもできるし、受光素子を含む画素が直線状に配置されて成る１次元アレイセンサ（所謂、ラインセンサ）を用いることもできる。
【００２４】
そして、本実施形態では、光センサ３２として、画素の受光素子が、光子の受光に応じて信号を発生する素子、例えば、ＳＰＡＤ（Single Photon Avalanche Diode：単一光子アバランシェダイオード）素子から成るセンサを用いている。すなわち、本実施形態に係る受光装置３０は、画素の受光素子がＳＰＡＤ素子から成る構成となっている。尚、受光素子はＳＰＡＤ素子に限定されず、ＡＰＤ（Avalanche Photo Diode）やＣＡＰＤ(Current Assisted Photonic Demodulator)等の種々の素子であってもよい。
【００２５】
［ＳＰＡＤ素子を用いた受光装置の基本回路］
ＳＰＡＤ素子を用いた受光装置３０の基本的な画素回路の回路図を図３に示す。ここでは、１画素分の基本構成を図示している。
【００２６】
本例に係る画素５０の画素回路は、ＳＰＡＤ素子５１のカソード電極が、負荷であるＰ型ＭＯＳトランジスタＱLを介して、電源電圧ＶDDが与えられる端子５２に接続され、アノード電極が、アノード電圧Ｖbdが与えられる端子５３に接続された構成となっている。アノード電圧Ｖbdとしては、アバランシェ増倍が発生する大きな負電圧が印加される。アノード電極とグランドとの間には容量素子Ｃが接続されている。そして、ＳＰＡＤ素子５１のカソード電圧ＶCAが、Ｐ型ＭＯＳトランジスタＱp及びＮ型ＭＯＳトランジスタＱnが直列接続されて成るＣＭＯＳインバータ５４を介してＳＰＡＤ出力（画素出力）として導出される。
【００２７】
ＳＰＡＤ素子５１には、ブレークダウン電圧ＶBD以上の電圧が印加される。ブレークダウン電圧ＶBD以上の過剰電圧は、エクセスバイアス電圧ＶEXと呼ばれ、２−５Ｖ程度の電圧が一般的である。ＳＰＡＤ素子５１は、ＤＣ的な安定点が無いガイガーモードと呼ばれる領域で動作する。ＳＰＡＤ素子５１のＰＮ接合のＩ（電流）−Ｖ（電圧）特性を図４Ａに示す。
【００２８】
続いて、上記の構成の画素５０の画素回路の回路動作について、図４Ｂの波形図を用いて説明する。
【００２９】
ＳＰＡＤ素子５１に電流が流れていない状態では、ＳＰＡＤ素子５１には、ＶDD−Ｖbdの電圧が印加されている。この電圧値（ＶDD−Ｖbd）は、（ＶBD＋ＶEX）である。そして、ＳＰＡＤ素子５１のＰＮ接合部で暗電子の発生レートＤＣＲ（Dark Count Rate）や光照射によって発生した電子がアバランシェ増倍を生じ、アバランシェ電流が発生する。この現象は、遮光されている状態（即ち、光が入射していない状態）でも確率的に発生している。これが暗電子の発生レートＤＣＲである。
【００３０】
カソード電圧ＶCAが低下し、ＳＰＡＤ素子５１の端子間の電圧がＰＮダイオードのフレークダウン電圧ＶBDになると、アバランシェ電流が停止する。そして、アバランシェ増倍で発生し、蓄積された電子が、負荷の抵抗素子Ｒ（又は、Ｐ型ＭＯＳトランジスタＱL）によって放電し、カソード電圧ＶCAが電源電圧ＶDDまで回復し、再び初期状態に戻る。
【００３１】
ＳＰＡＤ素子５１に光が入射して１個でも電子−正孔対が発生すると、それが種となってアバランシェ電流が発生するので、光子１個の入射でも、ある確率ＰＤＥ（Photon Detection Efficiency）で検出することができる。この光子を検出できる確率ＰＤＥは、通常、数％〜２０％程度のものが多い。
【００３２】
以上の動作が繰り返される。そして、この一連の動作において、カソード電圧ＶCAが、ＣＭＯＳインバータ５４で波形整形され、１フォトンの到来時刻を開始点とするパルス幅Ｔのパルス信号がＳＰＡＤ出力（画素出力）となる。
【００３３】
［受光装置の受光部の構成］
上記の構成の画素５０が、行列状に２次元配置されて成る受光装置３０の受光部の構成の一例について、図５を用いて説明する。図５には、ｎ行ｍ列に２次元配置された画素５０の集合から成る受光部６０を例示している。
【００３４】
受光部６０には、ｎ行ｍ列の画素配列に対して、複数の信号線６１が画素行毎に配線されている。複数の信号線６１には、当該信号線６１の本数を単位とする数の画素５０が、当該単位毎に１個ずつ接続されている。具体的には、ｘ個の画素５０を単位とし、当該単位内の１番目の画素がｘ本の信号線６１の１本目に、２番目の画素がｘ本の信号線６１の２本目に、・・・という具合に、ｘ本の信号線６１に対して、画素５０がｘ個を単位として順番に接続されている。尚、請求の範囲に記載される「画素グループ」は、ｘ個の画素５０の単位の一例である。請求の範囲に記載される「信号線グループ」は、ｘ個の信号線６１の単位の一例である。
【００３５】
これにより、１つの画素行において、ｘ個おきの画素５０の信号が同じ信号線６１を共有して、後段の測距制御部７０（図６参照）に伝送されることになる。但し、同じ信号線６１を共有するｘ個おきの画素５０が同時にアクティブ状態にならないように、即ち、ｘ個おきの画素５０が同じ信号線６１を時分割で使用するように、各画素５０に対するタイミング制御が行われる。
【００３６】
このような構成を採ることで、隣接する画素からほぼ同時にパルス信号が出力された場合であっても、異なる信号線６１を通じてパルス信号が出力されるため、複数のパルス信号の干渉を防止することが可能となる。尚、単位とする画素５０の数であるｘは、干渉を防止する観点では多ければ多いほど望ましいが、レイアウトの観点ではｘが多すぎると信号線６１を配置するスペースを大きくする必要があり望ましくない。単位とする画素５０の数であるｘは、２〜５０の間であってもよく、更に望ましくは５〜１５の間であってもよい。
【００３７】
［受光装置の測距制御部の基本的な構成］
受光装置３０の測距制御部の基本的な構成を図６に示す。受光装置３０は、図２Ａの光センサ３２に相当する受光部６０、及び、図２Ａの論理回路３３に相当する測距制御部７０から成る。測距制御部７０は、受光部６０から信号線６１を通して供給される画素５０の信号を処理する。
【００３８】
測距制御部７０は、マルチプレクサ（ＭＵＸ）７１、時間計測部（ＴＤＣ）７２、ヒストグラム作成部（Ｈｉｓｔ）７３、及び、出力部７４によって構成されている。時間計測部７２及びヒストグラム作成部７３はそれぞれ、受光部６０の画素行０〜ｎ−１に対応してｎ個ずつ設けられている（７２0〜７２n-1，７３0〜７３n-1）。
【００３９】
マルチプレクサ７１は、受光部６０の画素行毎に、ｘ本の信号線６１を通して供給される画素５０の信号を順番に選択して時間計測部７２0〜７２n-1に供給する。時間計測部７２0〜７２n-1は、受光部６０の画素行毎に、レーザ光源２２に対する発光指令タイミングから、画素５０の受光素子での受光タイミングまでの時間を計測する。具体的には、時間計測部７２0〜７２n-1は、レーザ光源２２から測定対象物である被写体に向けて照射したレーザ光が、当該被写体で反射されて画素５０の受光素子で受光されるまでの時間を、周知のＴＯＦ法にて計測する。
【００４０】
測距制御部７０では、１回の計測シーケンスおいて、例えば数十回乃至数百回の計測が行われる。そして、ヒストグラム作成部７３0〜７３n-1は、時間計測部７２0〜７２n-1で繰り返して計測された計測値（時間）のヒストグラム、具体的には、横軸が時間で、縦軸が計測頻度のヒストグラムを作成する。
【００４１】
出力部７４は、画素行毎に順番に、ヒストグラム作成部７３0〜７３n-1が作成したヒストグラムに関するデータを、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間（ＴＯＦ）の情報として、受光装置３０の外部に設けられたアプリケーションプロセッサ８０に出力する。
【００４２】
アプリケーションプロセッサ８０は、図２Ａの制御部４０に相当し、出力部７４を通して出力されるヒストグラムに関するデータを基に、ヒストグラムの最大値を抽出する。そして、アプリケーションプロセッサ８０は、抽出したヒストグラムの最大値に対応する距離を、被写体までの距離として算出する。
【００４３】
このように、時間計測部７２0〜７２n-1が計測した計測値（時間）のヒストグラムを作成し、当該ヒストグラムの最大値を、発光指令タイミングから受光タイミングまでのレーザ光の飛行時間として抽出することで、外乱光などの影響を受けることなく、飛行時間を正しく計測することができる。
【００４４】
［面内遅延スキューについて］
上述したように、複数の画素５０を２次元状に配置して成る受光装置３０では、各画素５０と測距制御部７０との間は、画素行毎に配線された信号線６１を通して接続されることから、各画素５０から時間計測部７２0〜７２n-1に至る経路の長さが異なる。このように、各画素５０から時間計測部７２0〜７２n-1に至る経路の長さが異なると、信号線６１の配線遅延によって２次元の面内遅延スキューが問題になる。
【００４５】
例えば、図６において、０行０列の画素５０を画素０とし、ｎ−１行ｍ−１列の画素５０を画素Ｎとするとき、図７に示すように、画素０のヒストグラムの最大値と画素Ｎのヒストグラムの最大値との間に面内遅延スキューが生じる。図７のヒストグラムにおいて、横軸が時間で、縦軸が計測頻度である。
【００４６】
この面内遅延スキューについて、受光装置３０の後段に設けられたアプリケーションプロセッサ８０で補正を行うとすると、アプリケーションプロセッサ８０では、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるため、システム全体の処理遅延がフレーム単位になってしまう。そのため、処理遅延が大きいことから、即時応答が必要なアプリケーションではその処理遅延が問題になる。因みに、駆動周波数が６０ｆｐｓの受光装置３０では、処理遅延が１７ミリ秒程度である。
【００４７】
即時応答が必要なアプリケーションとしては、例えば、本受光装置３０を含む測距装置１で取得される車両の周囲の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御などを例示することができる。
【００４８】
＜実施形態に係る受光装置＞
本実施形態では、面内遅延スキューの補正を、受光装置３０内で実施することで、面内遅延スキューの高速な補正処理を実現する。より具体的には、ヒストグラム作成部７３0〜７３n-1が作成したヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実現する。このように、本実施形態に係る受光装置３０は、面内遅延スキューの高速な補正処理を実現できるため、自動運転や測定対象物が動被写体の測距など、即時応答（高速な応答）が必要なアプリケーションに使用することが可能となる。
【００４９】
以下に、受光装置３０内において、ヒストグラムを全体的に時間軸方向にシフトすることによって面内遅延スキューの補正を実施する本実施形態の具体的な実施例について説明する。
【００５０】
［実施例１］
実施例１は、ヒストグラムに関するデータのヒストグラム作成部７３0〜７３n-1からの読み出し時に、面内遅延スキューの補正処理を行う例である。実施例１に係る受光装置３０の構成を図８に示す。
【００５１】
図８に示すように、実施例１に係る受光装置３０は、ヒストグラム作成部７３の後段、即ち、出力部７４の前段に、面内遅延スキューの補正処理を行う面内遅延補正部７５を有する構成となっている。
【００５２】
実施例１に係る受光装置３０において、時間計測部（ＴＤＣ）７２0〜７２n-1での計測値に関するデータを、ヒストグラム作成部７３0〜７３n-1に書き込むまでの処理速度は、数百ＭＨｚ程度の高速である。また、ヒストグラム作成部７３0〜７３n-1からヒストグラムに関するデータを読み出す処理速度は、数十ＭＨｚ程度の低速である。
【００５３】
実施例１に係る受光装置３０における面内遅延補正部７５の構成の一例を図９に示す。ここでは、面内遅延補正部７５が、出力部７４に内蔵された構成として図示している。但し、内蔵した構成に限られるものではない。
【００５４】
出力部７４は、マルチプレクサ（ＭＵＰ）７４１及び制御カウンタ７４２から成る構成となっている。マルチプレクサ７４１は、ヒストグラム作成部７３0〜７３n-1から与えられるヒストグラムに関するデータを入力とし、制御カウンタ７４２による制御の下に、それらのデータを順番に選択し、ヒストグラムに関するデータＤＡＴＡとして、後段のアプリケーションプロセッサ８０に出力する。
【００５５】
面内遅延補正部７５は、アドレスカウンタ７５１、記憶部７５２、マルチプレクサ（ＭＵＰ）７５３、及び、加算器７５４から成る構成となっている。アドレスカウンタ７５１は、ヒストグラム作成部７３0〜７３n-1で作成されるヒストグラムのアドレスＡＤＤＲを制御する。このアドレスＡＤＤＲは、ヒストグラムの単位であるビン値ＢＩＮであり、２入力の加算器７５４にその一方の入力として与えられる。
【００５６】
記憶部７５２は、ヒストグラム作成部７３0〜７３n-1（即ち、受光部６０の画素行）に対応したｎ個の補正レジスタｒｅｇ0〜ｒｅｇn-1（補正レジスタ群）によって構成されている。補正レジスタｒｅｇ0〜ｒｅｇn-1には、受光部６０内における画素５０の位置に対応した補正値（補正量）が記憶されている。この補正値は、面内遅延スキューを補正するための値、具体的には、画素５０から時間計測部７２0〜７２n-1までの距離に基づく値である。
【００５７】
補正レジスタｒｅｇ0〜ｒｅｇn-1に記憶する補正値（補正量）については、受光装置３０に固有の値であることから、例えば、受光装置３０の出荷前の検証や評価測定等において、面内遅延スキューを補正するための値として、予め所定の手法を用いて取得することができる。但し、出荷前の検証や評価測定等での取得に限られるものではなく、例えば、受光装置３０の起動時に、所定の手法を用いて補正値を取得し、記憶部７５２の各補正レジスタｒｅｇ0〜ｒｅｇn-1に記憶するようにすることもできる。
【００５８】
マルチプレクサ７５３は、制御カウンタ７４２による制御の下に、マルチプレクサ７４１と同期して、補正レジスタｒｅｇ0〜ｒｅｇn-1の各補正値を順番に選択し、ヒストグラムを全体的に時間軸方向にシフトする補正値ＯＦＳＴとして出力する。この補正値ＯＦＳＴは、２入力の加算器７５４の他方の入力となる。
【００５９】
加算器７５４は、その一方の入力であるヒストグラム毎のビン値ＢＩＮに対して、その他方の入力である補正値ＯＦＳＴを加算することによって、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトする。このようにして、ヒストグラム毎に、ヒストグラムを全体的に時間軸方向にシフトすることにより、面内遅延スキューの補正処理が実現される。
【００６０】
以上の説明から明らかなように、面内遅延補正部７５は、記憶部７５２に記憶された補正値に基づいて、ヒストグラム作成部７３0〜７３n-1が作成したヒストグラムに対して補正処理を行う補正処理部である。ヒストグラムに関するデータＤＡＴＡ、ヒストグラムのアドレスＡＤＤＲ、補正値ＯＦＳＴ、及び、補正後のヒストグラム毎のビン値ＢＩＮのタイミングチャートを図１０に示す。
【００６１】
続いて、実施例１に係る受光装置３０における面内遅延スキューの補正処理の流れについて、図１１Ａのフローチャートを用いて説明する。
【００６２】
面内遅延スキューの補正に当たり、先ず、面内遅延スキューを補正するための補正値を予め取得する（ステップＳ１１）。受光装置３０固有の値である補正値については、先述したように、例えば、受光装置３０の評価測定時や受光装置３０の起動時に、所定の手法を用いて取得することができる。
【００６３】
次に、予め取得した補正値を、記憶部７５２の各補正レジスタｒｅｇ0〜ｒｅｇn-1に設定する（ステップＳ１２）。次に、記憶部７５２の各補正レジスタｒｅｇ0〜ｒｅｇn-1に設定（記憶）された各補正値を、ヒストグラムを全体的に時間軸方向にシフトする補正値ＯＦＳＴとし、当該補正値ＯＦＳＴをヒストグラム毎のビン値ＢＩＮに加算することにより、面内遅延スキューの補正処理を実行する（ステップＳ１３）。この加算処理により、面内遅延スキューの補正が実現され、各ヒストグラムのセンターが揃うことになる。
【００６４】
上述した面内遅延スキューの補正処理によれば、ヒストグラム作成部７３0〜７３n-1からのヒストグラムに関するデータの読み出し時に、ヒストグラム毎に、ヒストグラム毎のビン値ＢＩＮに補正値ＯＦＳＴを加算する単純な加算処理により、面内遅延スキューについて高速に補正処理を行うことができる。この処理は、動作クロックの１サイクル程度であり、数十ナノ秒程度の処理遅延である。
【００６５】
従って、後段のアプリケーションプロセッサ８０で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。因みに、後段のアプリケーションプロセッサ８０で補正処理を行う場合には、ヒストグラムに関するデータをメモリに蓄積して処理を行うことになるために、システム全体の処理遅延がフレーム単位になり、駆動周波数が６０ｆｐｓの受光装置では、処理遅延が１７ミリ秒程度になる。
【００６６】
補正前のヒストグラムに関するデータと、補正後のヒストグラムに関するデータとの時間軸方向（ＢＩＮ方向）の位置関係を図１１Ｂに示す。ここでは、ビン数が３のヒストグラムを、全体的にＢＩＮ方向（時間軸方向）に、１ＢＩＮ分だけシフトする場合を例示している。図１１Ｂから明らかなように、補正値ＯＦＳＴによる補正はビン単位で実行される。尚、ここでは、補正値ＯＦＳＴによる補正をビン単位としたが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
【００６７】
［実施例２］
実施例２は、実施例１の変形例であり、各画素５０から時間計測部（ＴＤＣ）７２0〜７２n-1までの遅延が受光部６０の面内で線形的な傾向を示す場合の例である。
【００６８】
ここでは、図１２Ａに示す受光部６０のｎ行ｍ列の画素配列において、時間計測部７２0〜７２n-1に対して一番近いｍ−１列目の画素５０と一番遠い０列目の画素５０との間における各画の遅延量が、図１２Ｂに示すように線形的であるとする。
【００６９】
このように、各画素５０から時間計測部７２0〜７２n-1までの遅延が面内で線形的な傾向を示す場合において、実施例２では、受光部６０の端部の画素５０、即ち、時間計測部７２0〜７２n-1から一番遠い第１列目の画素５０の遅延に対する補正値から、その他の画素５０、即ち、画素列０と画素列ｍ−１との間の画素５０の補正値を、線形補間によって算出するようにする。
【００７０】
線形補間によって補正値を求める実施例２によれば、面内遅延スキューの補正処理の流れを示す図１１Ａのフローチャートにおいて、ステップＳ１１の補正値取得に要する時間を、実施例１の場合よりも短縮することができる。
【００７１】
［実施例３］
実施例３は、実施例１の変形例であり、全ヒストグラムに共通する遅延についても補正処理を行う例である。ここで、「全ヒストグラムに共通する遅延」としては、回路の処理遅延や、受光装置３０の外部、具体的には、図２Ａに示す光源２０のレーザ光源２２を発光させるトリガー信号を伝送する配線の遅延などを例示することができる。
【００７２】
実施例１では、ヒストグラム毎に異なる遅延補正を行うとしている。しかし、面内遅延以外に、上記の全ヒストグラムに共通する遅延が存在する。そして、全ヒストグラムに共通する遅延が存在すると、受光装置３０が計測した距離と実際の距離との間に、全ヒストグラムに共通する遅延分の誤差が生じることになる。
【００７３】
そこで、実施例３では、ヒストグラム毎に異なる遅延補正を行うとともに、全ヒストグラムに共通する遅延に対応する全ヒストグラムに共通のシステム補正値を用いて、全ヒストグラムに共通する遅延についても補正処理を行うようにする。システム補正値については、例えば、受光装置３０が計測した距離と実際の距離との差分（誤差分）を光速で割った値として予め算出することができる。
【００７４】
実施例３の場合の補正前後のヒストグラムに関するデータの時間軸方向（ＢＩＮ方向）の位置関係を図１３に示す。ここでは、画素行０に対応するヒストグラム作成部７３0が作成したヒストグラムＨｉｓｔ0、及び、画素行ｎ−１に対応するヒストグラム作成部７３n-1が作成したヒストグラムＨｉｓｔn-1について図示している。
【００７５】
図１３において、実線の矢印が、ヒストグラム毎に個別に補正を行う場合のスキュー補正値を表しており、破線の矢印が、全ヒストグラムに共通して補正を行う場合のシステム補正値を表している。本例でも、遅延補正をビン単位で行うとしているが、ビン単位に限られるものではなく、例えばビンの半分を単位としてもよいし、更に分解能を上げるようにしてもよい。
【００７６】
実施例３によれば、ヒストグラム毎に異なる遅延補正に加えて、全ヒストグラムに共通する遅延についても補正を行うことができるため、全ヒストグラムに共通する遅延が存在していても、実際の距離を正確に計測することができる。
【００７７】
［実施例４］
実施例４は、ヒストグラムに関するデータのヒストグラム作成部７３0〜７３n-1への書き込み時に、面内遅延スキューの補正処理を行う例である。実施例４に係る受光装置３０の構成を図１４に示す。
【００７８】
図１４に示すように、実施例４に係る受光装置３０は、ヒストグラム作成部７３0〜７３n-1の前段に、面内遅延スキューの補正処理を行う面内遅延補正部７５を有する構成となっている。面内遅延補正部７５は、受光部６０内における画素５０の位置に対応した補正値を記憶する記憶部７５２、及び、ヒストグラム作成部７３0〜７３n-1の各前段に設けられたｎ個の加算器７５４0〜７５４n-1から構成されている。
【００７９】
記憶部７５２は、ｎ個の時間計測部７２0〜７２n-1に対応したｎ個の補正レジスタｒｅｇ0〜ｒｅｇn-1（補正レジスタ群）によって構成されている。補正レジスタｒｅｇ0〜ｒｅｇn-1には、実施例１の場合と同様に、面内遅延スキューを補正するための補正値、具体的には、画素５０から時間計測部７２0〜７２n-1までの距離に基づく補正値が設定されている。
【００８０】
ｎ個の加算器７５４0〜７５４n-1は、時間計測部７２0〜７２n-1での各計測値を各一方の入力とし、補正レジスタｒｅｇ0〜ｒｅｇn-1に設定されている各補正値を他方の入力としている。そして、加算器７５４0〜７５４n-1は、時間計測部７２0〜７２n-1での各計測値に、ヒストグラム毎の補正レジスタｒｅｇ0〜ｒｅｇn-1の各補正値を加算することで、面内遅延スキューについて補正処理を行うことができる。
【００８１】
このように、ヒストグラムに関するデータのヒストグラム作成部７３0〜７３n-1への書き込み時に補正処理を行う実施例４によっても、ヒストグラムに関するデータのヒストグラム作成部７３0〜７３n-1からの読み出し時に補正処理を行う実施例１と同様に、面内遅延スキューについて補正処理を行うことができる。そして、実施例１の場合と同様に、後段のアプリケーションプロセッサ８０で補正処理を行う場合に比べて、処理遅延を大幅に短縮することができる。
【００８２】
尚、実施例４に対しても、実施例２の技術、即ち、時間計測部７２0〜７２n-1から一番遠い０列目の画素５０の遅延に対する補正値から、０列目とｍ−１列目との間の画素５０の補正値を、線形補間によって算出する技術や、実施例３の技術、即ち、全ヒストグラムに共通する遅延について補正する技術を適用することができる。
【００８３】
＜本開示に係る技術の適用例＞
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
【００８４】
［移動体］
図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【００８５】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【００８６】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【００８７】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【００８８】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【００８９】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【００９０】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【００９１】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【００９２】
ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【００９３】
尚、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【００９４】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【００９５】
図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【００９６】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【００９７】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【００９８】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【００９９】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１００】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１０１】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１０２】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１０３】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０１０４】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０１０５】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１０６】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０１０７】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１０８】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１０９】
尚、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０１１０】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８や、車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０や、運転者状態検出部７５１０等に適用され得る。そして、本開示に係る技術を適用することにより、受光装置の面内遅延スキューに対する優れた補正処理を実現することができるため、高速応答が可能な車両制御システムを構築できる。より具体的には、同一面内において画素の位置毎による測距結果のばらつきを抑えることができるため、正確に測距することが可能となる。その結果、対向車や歩行者の検出の際の測距誤差を低減し、安全な車両走行を実現することが可能となる。
【０１１１】
＜本開示がとることができる構成＞
本開示は、以下のような構成をとることもできる。
【０１１２】
≪Ａ．受光装置≫
［Ａ−１］２次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部が作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、
を備える受光装置。
［Ａ−２］補正値は、画素から時間計測部までの距離に基づく値である、
上記［Ａ−１］に記載の受光装置。
［Ａ−３］受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
上記［Ａ−２］に記載の受光装置。
［Ａ−４］ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
上記［Ａ−１］乃至上記［Ａ−３］のいずれかに記載の受光装置。
［Ａ−５］補正処理部は、ヒストグラムのビン単位で補正処理を行う、
上記［Ａ−４］に記載の受光装置。
［Ａ−６］補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
上記［Ａ−４］又は上記［Ａ−５］に記載の受光装置。
［Ａ−７］システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
上記［Ａ−６］に記載の受光装置。
［Ａ−８］記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
上記［Ａ−１］乃至上記［Ａ−７］のいずれかに記載の受光装置。
［Ａ−９］補正処理部は、ヒストグラム作成部の後段に設けられており、
ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
上記［Ａ−８］に記載の受光装置。
［Ａ−１０］補正処理部は、ヒストグラム作成部の前段に設けられており、
時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
上記［Ａ−８］に記載の受光装置。
［Ａ−１１］画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
上記［Ａ−１］乃至上記［Ａ−１０］のいずれかに記載の受光装置。
［Ａ−１２］受光部は、複数の画素を単位とする画素グループを含み、
信号線は、複数の信号線を単位とする信号線グループを含み、
画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
上記［Ａ−１］乃至上記［Ａ−１１］のいずれかに記載の受光装置。
【０１１３】
≪Ｂ．測距装置≫
［Ｂ−１］測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を受光する受光装置を備え、
受光装置は、
２次元状に配置された複数の画素を有する受光部、
画素に接続された信号線、
信号線に接続され、発光指令タイミングから受光タイミングまでの時間を計測する時間計測部、
時間計測部が計測した計測値のヒストグラムを作成するヒストグラム作成部、
受光部内における画素の位置に対応した補正値を記憶する記憶部、
記憶部に記憶された補正値に基づいて、ヒストグラム作成部で作成したヒストグラムに対して補正処理を行う補正処理部、及び、
補正処理部で補正処理された信号を出力する出力部、を備える、
測距装置。
［Ｂ−２］補正値は、画素から時間計測部までの距離に基づく値である、
上記［Ｂ−１］に記載の測距装置。
［Ｂ−３］受光部内の端部の画素についての補正値を基に、その他の画素についての補正値を線形補間によって算出する、
上記［Ｂ−２］に記載の測距装置。
［Ｂ−４］ヒストグラム作成部は、受光部の画素行に対応して複数設けられており、
補正処理部は、複数のヒストグラム作成部の各々が作成したヒストグラム毎に補正処理を行う、
上記［Ｂ−１］乃至上記［Ｂ−３］のいずれかに記載の測距装置。
［Ｂ−５］補正処理部は、ヒストグラムのビン単位で補正処理を行う、
上記［Ｂ−４］に記載の測距装置。
［Ｂ−６］補正処理部は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通のシステム補正値を用いて補正処理を行う、
上記［Ｂ−４］又は上記［Ｂ−５］に記載の測距装置。
［Ｂ−７］システム補正値は、複数のヒストグラム作成部の各々が作成した全ヒストグラムに共通する遅延に対応する値である、
上記［Ｂ−６］に記載の測距装置。
［Ｂ−８］記憶部は、ヒストグラム毎に補正値が設定された補正レジスタ群から成る、
上記［Ｂ−１］乃至上記［Ｂ−７］のいずれかに記載の測距装置。
［Ｂ−９］補正処理部は、ヒストグラム作成部の後段に設けられており、
ヒストグラム作成部が作成したヒストグラムのビン値に、補正値を加算することによって補正処理を行う、
上記［Ｂ−８］に記載の測距装置。
［Ｂ−１０］補正処理部は、ヒストグラム作成部の前段に設けられており、
時間計測部が計測した計測値に、補正値を加算することによって補正処理を行う、
上記［Ｂ−８］に記載の測距装置。
［Ｂ−１１］画素の受光素子は、光子の受光に応じて信号を発生する素子から成る、
上記［Ｂ−１］乃至上記［Ｂ−１０］のいずれかに記載の測距装置。
［Ｂ−１２］受光部は、複数の画素を単位とする画素グループを含み、
信号線は、複数の信号線を単位とする信号線グループを含み、
画素グループに含まれる複数の画素と、信号線グループに含まれる複数の信号線とがそれぞれ１対１で接続される、
上記［Ｂ−１］乃至上記［Ｂ−１１］のいずれかに記載の受光装置。
【符号の説明】
【０１１４】
１・・・測距装置、１０・・・被写体（測定対象物）、２０・・・光源、２１・・・レーザドライバ、２２・・・レーザ光源、２３・・・拡散レンズ、３０・・・受光装置、３１・・・受光レンズ、３２・・・光センサ、３３・・・回路部、４０・・・制御部、５０・・・画素、５１・・・ＳＰＡＤ素子、６０・・・受光部、６１・・・信号線、７０・・・測距制御部、７１・・・マルチプレクサ（ＭＵＰ）、７２（７２0〜７２n-1）・・・時間計測部（ＴＤＣ）、７３（７３0〜７３n-1）・・・ヒストグラム作成部、７４・・・出力部、７５・・・面内遅延補正部、８０・・・アプリケーションプロセッサ、７５２・・・記憶部、７５４・・・加算器
【図１】
2020022137.tif 000003
【図２】
2020022137.tif 000004
【図３】
2020022137.tif 000005
【図４】
2020022137.tif 000006
【図５】
2020022137.tif 000007
【図６】
2020022137.tif 000008
【図７】
2020022137.tif 000009
【図８】
2020022137.tif 000010
【図９】
2020022137.tif 000011
【図１０】
2020022137.tif 000012
【図１１】
2020022137.tif 000013
【図１２】
2020022137.tif 000014
【図１３】
2020022137.tif 000015
【図１４】
2020022137.tif 000016
【図１５】
2020022137.tif 000017
【図１６】
2020022137.tif 000018
【国際調査報告】
2020022137.tif 000019
2020022137.tif 000020