(57)【要約】【課題】測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにする。【解決手段】測距センサは、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、物体までの距離情報を算出する測距部と、受光部で得られた信号に含まれる環境光成分を算出する環境光算出部と、環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。本技術は、例えば、例えば、被写体までの距離を測定する測距モジュール等に適用できる。【選択図】図７
2020173128.tif 000002
【特許請求の範囲】
【請求項１】
所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
を備える測距センサ。
【請求項２】
前記環境光算出部により算出された前記環境光成分を正規化する正規化部をさらに備え、
前記屋外情報算出部は、正規化後の前記環境光成分に基づいて、前記屋外情報を推定する
請求項１に記載の測距センサ。
【請求項３】
前記正規化部は、露光時間と画素数を用いて、前記環境光成分を正規化する
請求項２に記載の測距センサ。
【請求項４】
前記正規化部は、露光時間、画素数、および、前記距離情報を用いて、前記環境光成分を正規化する
請求項２に記載の測距センサ。
【請求項５】
前記環境光算出部は、前記受光部で得られた前記信号から暗電流成分を減算し、前記環境光成分を算出する
請求項１に記載の測距センサ。
【請求項６】
前記受光部で得られた信号を用いて、前記距離情報と前記屋外情報の両方が算出される
請求項１に記載の測距センサ。
【請求項７】
動作モードとして、
前記距離情報と前記屋外情報との両方を算出する第１の動作モード、
前記屋外情報を算出せず、前記距離情報を算出する第２の動作モード、または、
前記距離情報を算出せず、前記屋外情報を算出する第３の動作モードを備える
請求項１に記載の測距センサ。
【請求項８】
前記環境光算出部は、前記受光部の受光領域の一部である注目領域の前記環境光成分を算出する
請求項１に記載の測距センサ。
【請求項９】
前記環境光算出部は、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
請求項８に記載の測距センサ。
【請求項１０】
前記環境光算出部は、RGBの光を受光した撮像画像を生成する撮像センサで検出された、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
請求項９に記載の測距センサ。
【請求項１１】
前記測距部は、前記距離情報に加えて、信頼度情報もさらに算出し、
前記距離情報または前記信頼度情報の少なくとも一方を用いて、前記注目領域を検出する領域検出部をさらに備え、
前記環境光算出部は、前記注目領域の前記環境光成分を算出する
請求項８に記載の測距センサ。
【請求項１２】
前記距離情報に所定のフィルタ処理を行うフィルタ部をさらに備え、
前記フィルタ部は、前記屋外情報に基づいて前記所定のフィルタ処理を行う
請求項１に記載の測距センサ。
【請求項１３】
前記受光部で得られた前記信号に基づき、露光時間を制御する制御部をさらに備える
請求項１に記載の測距センサ。
【請求項１４】
前記屋外情報算出部は、前記屋外情報として、前記屋外か、または、屋内かを算出する
請求項１に記載の測距センサ。
【請求項１５】
前記屋外情報算出部は、前記屋外情報として、前記屋外である確率を算出する
請求項１に記載の測距センサ。
【請求項１６】
測距センサが、
所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、
前記受光部で得られた前記信号に含まれる環境光成分を算出し、
前記環境光成分に基づいて、屋外情報を算出する
信号処理方法。
【請求項１７】
所定の発光源と、
測距センサと
を備え、
前記測距センサは、
前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
を備える
測距モジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、測距センサ、信号処理方法、および、測距モジュールに関し、特に、測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにした測距センサ、信号処理方法、および、測距モジュールに関する。
【背景技術】
【０００２】
近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
【０００３】
測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式や、Structured Light方式などがある。Indirect ToF方式では、光を物体に向かって照射して物体の表面で反射してくる光を検出し、その光の飛行時間を測定した測定値に基づいて物体までの距離が算出される。Structured Light方式では、パターン光を物体に向かって照射し、物体の表面におけるパターンの歪みを撮像した画像に基づいて物体までの距離が算出される。
【０００４】
Indirect ToF方式やStructured Light方式のように、アクティブ光を物体に照射して反射されてきた反射光を受光する測距方式では、太陽光などの環境光の影響を受けやすいため、測定場所が屋外か屋内かを判定することができれば有用である。
【０００５】
例えば、撮像素子とは別に、屋外検出センサを設け、屋外であることを検知するようにした撮像装置がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１７５８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、屋外検出センサを別に設けるのではなく、測距用のセンサ単体で、距離情報を取得しつつ、屋外判定を行うことが望ましい。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の測距センサは、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。
【００１０】
本技術の第２の側面の信号処理方法は、測距センサが、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、前記受光部で得られた前記信号に含まれる環境光成分を算出し、前記環境光成分に基づいて、屋外情報を算出する。
【００１１】
本技術の第３の側面の測距モジュールは、所定の発光源と、測距センサとを備え、前記測距センサは、前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。
【００１２】
本技術の第１乃至第３の側面においては、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報が算出され、前記受光部で得られた前記信号に含まれる環境光成分が算出され、前記環境光成分に基づいて、屋外情報が算出される。
【００１３】
測距センサ及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した測距モジュールの第１の実施の形態における概略の構成例を示すブロック図である。
【図２】測距センサの動作を説明する図である。
【図３】４Phase方式による画素の動作を説明する図である。
【図４】４Phase方式を説明する図である。
【図５】４Phase方式を説明する図である。
【図６】２Phase方式と４Phase方式によるデプス値の算出方法を説明する図である。
【図７】測距センサの詳細構成を含む測距モジュールのブロック図である。
【図８】１画素で得られるRAWデータの構成を示す図である。
【図９】４Phase方式によるRAWデータの例を示す図である。
【図１０】測距モジュールによるデプス値算出処理を説明するフローチャートである。
【図１１】測距モジュールの第２の動作モードを説明する図である。
【図１２】測距モジュールの第３の動作モードを説明する図である。
【図１３】測距モジュールの第２の実施の形態のブロック図である。
【図１４】第２の実施の形態の環境光算出部の処理を説明する図である。
【図１５】測距モジュールの第３の実施の形態のブロック図である。
【図１６】本技術を適用した電子機器の構成例を示すブロック図である。
【図１７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図１８】車両制御システムの概略的な構成の一例を示すブロック図である。
【図１９】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの概略構成例
２．Indirect ToF方式による測距センサの動作
３．測距センサの詳細構成例
４．デプス値算出処理
５．第２の実施の形態
６．第３の実施の形態
７．電子機器への適用例
８．コンピュータの構成例
９．移動体への応用例
【００１６】
＜１．測距モジュールの概略構成例＞
図１は、本技術を適用した測距モジュールの第１の実施の形態における概略の構成例を示すブロック図である。
【００１７】
図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光源１２、発光制御部１３、および、測距センサ１４を有する。
【００１８】
測距モジュール１１は、被写体としての所定の物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプス値と信頼度を測定して出力する。
【００１９】
発光源１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。
【００２０】
発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光源１２に供給することにより、発光源１２を制御する。また、発光制御部１３は、発光源１２における発光のタイミングに合わせて受光部２１を駆動させるために、発光制御信号を測距センサ１４にも供給する。
【００２１】
測距センサ１４は、詳細は図２を参照して後述するが、複数の画素３１が２次元配置された画素アレイ部３２で、物体からの反射光を受光する。そして、測距センサ１４は、画素アレイ部３２の画素３１の単位に、デプス値と信頼度を生成して出力する。
【００２２】
＜２．Indirect ToF方式による測距センサの動作＞
次に、図２乃至図６を参照して、測距センサ１４の動作について説明する。
【００２３】
測距センサ１４は、図２に示される受光部２１を有している。
【００２４】
受光部２１は、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素３１が行方向および列方向の行列状に２次元配置された画素アレイ部３２と、画素アレイ部３２の周辺領域に配置された駆動制御回路３３とを有する。
【００２５】
駆動制御回路３３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素３１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。
【００２６】
画素３１は、フォトダイオード５１と、フォトダイオード５１で光電変換された電荷を検出する第１タップ５２Aおよび第２タップ５２Bとを有する。画素３１では、１つのフォトダイオード５１で発生した電荷が、第１タップ５２Aまたは第２タップ５２Bに振り分けられる。そして、フォトダイオード５１で発生した電荷のうち、第１タップ５２Aに振り分けられた電荷が信号線５３Aから検出信号Aとして出力され、第２タップ５２Bに振り分けられた電荷が信号線５３Bから検出信号Bとして出力される。
【００２７】
第１タップ５２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ５２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。
【００２８】
画素３１の動作について説明する。
【００２９】
発光源１２から、図３に示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード５１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。
【００３０】
従って、図２において、フォトダイオード５１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。
【００３１】
そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線５３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部２１から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線５３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部２１から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。
【００３２】
このように、画素３１は、フォトダイオード５１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ５２Aまたは第２タップ５２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。そして、遅延時間ΔTは、発光源１２で発光した光が物体まで飛行し、物体で反射した後に受光部２１まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Aおよび検出信号Bに基づき、遅延時間ΔTに従って物体までの距離（デプス値）を求めることができる。
【００３３】
ただし、画素アレイ部３２では、個々の画素３１が有するフォトダイオード５１や転送トランジスタ４１等の画素トランジスタの各素子の特性のズレ（感度差）によって、画素３１ごとに異なる影響が検出信号Aおよび検出信号Bに与えられる場合がある。そのため、Indirect ToF方式の測距モジュール１１では、同一の画素３１で位相を変えて反射光を受光した検出信号Aおよび検出信号Bを取得することにより、各画素のタップ間の感度差を除去し、SN比を向上させる手法が採用される。
【００３４】
位相を変えて反射光を受光し、デプス値を算出する方式として、例えば、２Phaseによる検出方式（２Phase方式）と、４Phaseによる検出方式（４Phase方式）とについて説明する。
【００３５】
受光部２１は、図４に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部２１は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。
【００３６】
図５は、０°、９０°、１８０°、および、２７０°の各位相における画素３１の第１タップ５２Aの露光期間を、位相差が分かり易いように並べて示した図である。
【００３７】
図５に示されるように、第１タップ５２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A２７０、と呼ぶことにする。
【００３８】
また、図示は省略するが、第２タップ５２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B２７０、と呼ぶことにする。
【００３９】
図６は、２Phase方式と４Phase方式によるデプス値と信頼度の算出方法を説明する図である。
【００４０】
Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。
【数１】
2020173128.tif 000003
式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。
【数２】
2020173128.tif 000004
【００４１】
４Phase方式では、式（２）のI,Qが、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A０乃至A２７０および検出信号B０乃至B２７０を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
I＝ｃ０−ｃ１８０＝（A０−B０）−（A１８０−B１８０）
Q＝ｃ９０−ｃ２７０＝（A９０−B９０）−（A２７０−B２７０）    ・・・・・・・・・・（３）
【００４２】
４Phase方式では、例えば、式（３）の“A０−A１８０”や“A９０−A２７０”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、固定パターンノイズを除去することができる。
【００４３】
一方、２Phase方式では、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A０乃至A２７０および検出信号B０乃至B２７０のうち、直交関係にある２つの位相のみを用いて、物体までのデプス値dを求めることができる。例えば、位相０°の検出信号A０およびB０と、位相９０°の検出信号A９０およびB９０を用いた場合、式（２）のI,Qは次式（４）となる。
I＝ｃ０−ｃ１８０＝（A０−B０）
Q＝ｃ９０−ｃ２７０＝（A９０−B９０）    ・・・・・・・・・・（４）
【００４４】
例えば、位相１８０°の検出信号A１８０およびB１８０と、位相２７０°の検出信号A２７０およびB２７０を用いた場合、式（２）のI,Qは次式（５）となる。
I＝ｃ０−ｃ１８０＝−（A１８０−B１８０）
Q＝ｃ９０−ｃ２７０＝−（A２７０−B２７０）    ・・・・・・・・・・（５）
【００４５】
２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。タップ間の特性ばらつきは、ゲインやオフセット等の補正パラメータで調整することができる。
【００４６】
２Phase方式と４Phase方式において、信頼度cnfは、次式（６）で求めることができる。
【数３】
2020173128.tif 000005
【００４７】
本実施の形態において、測距モジュール１１は、４Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号と、２Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号のいずれを用いてデプス値dおよび信頼度cnfを用いるかは問わない。４Phase方式または２Phase方式のいずれか一方が固定的に用いられてもよいし、例えば、物体の動き等に応じて適切に選択またはブレンドする方法でもよい。以下では、簡単のため、４Phase方式が採用されることとする。
【００４８】
＜３．測距センサの詳細構成例＞
図７は、測距センサ１４の詳細構成を含む測距モジュール１１のブロック図である。
【００４９】
測距センサ１４は、図２に示した受光部２１に加え、測距部２２、環境光算出部２３、環境光正規化部２４、屋外情報算出部２５、および、フィルタ部２６を有している。
【００５０】
測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプス値と信頼度を測定して出力する。
【００５１】
具体的には、受光部２１は、画素アレイ部３２の各画素３１を測定対象画素として、測定対象画素が受光した反射光の受光量に応じた検出信号であるRAWデータを、発光制御部１３、測距部２２、および、環境光算出部２３に供給する。
【００５２】
発光制御部１３は、所定の周波数の発光制御信号を発光源１２に供給することにより発光源１２を制御するが、受光部２１のRAWデータに基づいて露光時間を制御し、設定した露光時間となる発光制御信号を生成する。したがって、発光制御部１３は、受光部２１のRAWデータに基づくAE機能（自動露出機能）を有しており、設定した露光時間を、環境光正規化部２４に供給する。
【００５３】
測距部２２は、受光部２１から供給される測定対象画素のRAWデータに基づいて、測定対象画素における測距モジュール１１から物体までの距離情報であるデプス値dと、その信頼度cnfを算出して、フィルタ部２６へ供給する。デプス値dと、その信頼度cnfの算出方法は、上述した通りである。
【００５４】
環境光算出部２３は、受光部２１から供給される測定対象画素のRAWデータに含まれる環境光成分を算出し、環境光正規化部２４に供給する。
【００５５】
図８は、１画素で得られるRAWデータ（検出信号）の構成を示している。
【００５６】
RAWデータは、アクティブ成分acv、環境光成分amb、および、暗電流成分drkを含んで構成される。アクティブ成分acvは、発光源１２からの照射光が物体で反射され、返ってきた光成分である。環境光成分ambは、太陽光などの環境光による光成分である。暗電流成分drkは、受光と関係なく、受光部２１で発生した暗電流によるノイズ成分である。
【００５７】
図９は、測距センサ１４が異なる距離D1および距離D2を測定した場合の検出信号AｉおよびBｉ（i＝0,90,180,270のいずれか）におけるアクティブ成分acv、環境光成分amb、および、暗電流成分drkの構成を示している。
【００５８】
ここで、環境光成分ambは、次式（７）で求めることができる。
【数４】
2020173128.tif 000006
暗電流成分drkは、例えば、受光部２１を遮光した状態で検出信号AおよびBを取得することにより、事前に取得される固定値である。
【００５９】
式（７）は、４Phase方式における環境光成分ambを求める式であるが、２Phase方式においても、測定がない検出信号AｉおよびBｉを省略し、分数の分母を４に変更することにより、同様に計算できる。
【００６０】
図７に戻り、環境光正規化部２４は、環境光算出部２３から供給される測定対象画素の環境光成分ambを、画素数および露光時間を用いて正規化する。
【００６１】
具体的には、環境光正規化部２４は、環境光算出部２３から供給される測定対象画素の環境光成分ambを式（８）により正規化することで、正規化した環境光成分ambnormを算出する。
【数５】
2020173128.tif 000007
【００６２】
式（８）において、Σambは、画素アレイ部３２の全画素の環境光成分ambの和を表し、pix_nは、画素アレイ部３２の画素数を表す。また、base_exp_timeは、初期値として予め設定されるベースの露光時間を表し、current_exp_timeは、発光制御部１３から供給された測定対象画素の現在の露光時間を表す。
【００６３】
また、環境光正規化部２４は、測定対象画素のデプス値dを測距部２２から取得し、画素数、露光時間、および、デプス値を用いて、環境光成分ambを正規化してもよい。この場合、正規化した環境光成分ambnormは、次式（９）により算出される。
【数６】
2020173128.tif 000008
【００６４】
環境光成分ambを正規化することにより、画素数、露光時間、または、距離などによる個別の調整が不要となる。環境光正規化部２４は、算出した正規化後の環境光成分ambnormを、屋外情報算出部２５に供給する。
【００６５】
屋外情報算出部２５は、環境光正規化部２４から供給される、正規化後の環境光成分ambnormに基づいて、測距モジュール１１が測定している現在の環境が屋外であるかについての屋外情報を算出し、フィルタ部２６に供給する。屋外情報は、屋外である確率（以下、屋外確率と称する。）でもよいし、屋外か、または、屋内かを表す２値でもよい。２値で表す場合には、５０％を閾値として屋外判定すればよい。本実施の形態では、屋外情報算出部２５は、屋外情報として屋外確率を算出して出力するとして説明する。
【００６６】
例えば、屋外情報算出部２５は、測定対象画素の屋外確率α（０≦α≦１）を、以下の式（１０）により算出する。
α＝ａ×ambnorm＋ｂ                  ・・・・・・・・・・（１０）
式（１０）のａ，ｂは、予め決定された所定の定数である。
【００６７】
フィルタ部２６は、屋外情報算出部２５から供給される屋外情報としての屋外確率αに基づいて、測距部２２からの測距結果に最適なフィルタ処理を施す。
【００６８】
具体的には、測定対象画素について、屋外情報算出部２５から屋外情報としての屋外確率αが供給され、測距部２２から、デプス値dと信頼度cnfが供給されると、フィルタ部２６は、以下の式（１１）により、フィルタ処理後のデプス値d’と信頼度cnf’を算出する。
ｄ’＝α・ｆ1(ｄ)＋（１−α）・ｆ2(ｄ)
cnf’＝α・ｇ1(cnf)＋（１−α）・ｇ2(cnf)     ・・・・・・・・・・（１１）
【００６９】
ここで、ｆ1（）は、デプス値dを入力とする屋外用フィルタのパラメータセットを表し、ｆ2（）は、デプス値dを入力とする屋内用フィルタのパラメータセットを表す。ｇ1（）は、信頼度cnfを入力とする屋外用フィルタのパラメータセットを表し、ｇ2（）は、信頼度cnfを入力とする屋内用フィルタのパラメータセットを表す。屋外用フィルタまたは屋内用フィルタは、例えば、ノイズリダクション用のフィルタ、物体の境界部を鮮明にするフィルタなど、任意のフィルタを、屋外用または屋内用に調整したフィルタである。屋外情報が、屋外か、または、屋内かを表す２値である場合には、αが１または０となるので、屋外用フィルタまたは屋内用フィルタのいずれか一方が選択される。
【００７０】
フィルタ部２６は、フィルタ処理後のデプス値d’と信頼度cnf’を、測定対象画素のデプス値および信頼度として、測距モジュール１１の外部へ出力する。
【００７１】
なお、フィルタ部２６は、画素アレイ部３２の各画素３１の画素値としてデプス値d’または信頼度cnf’が格納されたマップデータを生成し、後段に出力してもよい。この場合、画素アレイ部３２の各画素３１の画素値としてデプス値d’が格納されたデプスマップと、画素アレイ部３２の各画素３１の画素値として信頼度cnf’が格納された信頼度マップが、生成され、出力される。
【００７２】
＜４．デプス値算出処理＞
図１０のフローチャートを参照して、測距モジュール１１によるデプス値算出処理を説明する。この処理は、例えば、発光制御部１３から発光源１２および測距センサ１４に発光制御信号が供給されたとき、開始される。
【００７３】
初めに、ステップＳ１において、受光部２１は、発光制御部１３からの発光制御信号に基づいて反射光を受光する。具体的には、受光部２１は、画素アレイ部３２の各画素３１の受光タイミングが、照射光の照射タイミングに対して０°、９０°、１８０°、および、２７０°の各位相となるように時分割で位相を変えて反射光を受光する。位相を０°、９０°、１８０°、および２７０°に順次設定して得られた各画素の検出信号A０乃至A２７０および検出信号B０乃至B２７０が、RAWデータとして、発光制御部１３、測距部２２、および、環境光算出部２３に供給される。
【００７４】
ステップＳ２において、測距部２２は、画素アレイ部３２の各画素３１を、順次、測定対象画素として、受光部２１から供給された測定対象画素のRAWデータに基づいて、測定対象画素のデプス値dと信頼度cnfを算出して、フィルタ部２６へ供給する。デプス値dは、式（１）により、信頼度cnfは、式（６）により、それぞれ算出することができる。
【００７５】
ステップＳ３において、環境光算出部２３は、受光部２１から供給された測定対象画素のRAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。環境光成分ambは、次式（７）で求めることができる。
【００７６】
ステップＳ４において、環境光正規化部２４は、環境光算出部２３から供給された測定対象画素の環境光成分ambを、画素数および露光時間を用いて正規化する。例えば、環境光正規化部２４は、式（８）により正規化後の環境光成分ambnormを算出し、屋外情報算出部２５に供給する。なお、上述したように、式（９）により、正規化後の環境光成分ambnormを算出することもできる。
【００７７】
ステップＳ５において、屋外情報算出部２５は、環境光正規化部２４から供給される、正規化後の環境光成分ambnormに基づいて、測距モジュール１１が測定している現在の環境が屋外であるかについての屋外情報を算出し、フィルタ部２６に供給する。例えば、屋外情報算出部２５は、測定対象画素の屋外確率αを、上述した式（１０）により算出する。
【００７８】
ステップＳ６において、フィルタ部２６は、屋外情報算出部２５から供給された屋外情報としての屋外確率αに応じて、測距部２２からの測距結果に最適なフィルタ処理を施す。具体的には、フィルタ部２６は、測距部２２からの測定対象画素のデプス値dと信頼度cnfに対して、式（１１）を用いて、フィルタ処理後のデプス値d’と信頼度cnf’を算出する。フィルタ処理後のデプス値d’と信頼度cnf’は、測定対象画素のデプス値および信頼度として、測距モジュール１１の外部へ出力される。
【００７９】
ステップＳ２乃至Ｓ６の処理は、画素アレイ部３２の各画素３１を、順次、測定対象画素として、画素アレイ部３２の全ての画素３１について実行される。
【００８０】
ステップＳ７において、発光制御部１３は、受光部２１から供給されたRAWデータに基づいて、次の露光時間を設定する。このステップＳ７の処理は、ステップＳ２乃至Ｓ６と並行して実行することができる。
【００８１】
以上で、測距モジュール１１によるデプス値算出処理が終了する。
【００８２】
上述したデプス値算出処理では、画素アレイ部３２の各画素３１で得られた検出信号から、物体までの距離情報（デプス値d、信頼度cnf）と、屋外情報の両方を算出し、距離情報に屋外情報（屋外確率）を反映させる処理を実行したが、距離情報に加えて、算出した屋外情報も、外部へ出力してもよい。
【００８３】
また、測距センサ１４は、距離情報と屋外情報のいずれか一方のみを出力する動作も可能である。
【００８４】
具体的には、測距センサ１４は、動作モードとして、距離情報と屋外情報の両方を算出する第１の動作モード、屋外情報を算出せず、距離情報を算出し、距離情報のみを出力する第２の動作モード、および、距離情報を算出せず、屋外情報のみを算出する第３の動作モードとを備え、設定画面または設定制御信号により指定された動作モードによる処理を行う。
【００８５】
第１の動作モードでは、測距センサ１４は、図１０で説明したデプス値算出処理を実行する。
【００８６】
第２の動作モードでは、測距センサ１４は、図１１において実線で示される受光部２１、測距部２２、および、フィルタ部２６を動作させ、屋外情報を算出せず、距離情報を算出し、距離情報のみを出力する。フィルタ部２６は、例えば、予め決定された所定のフィルタ処理を行う。
【００８７】
第３の動作モードでは、測距センサ１４は、図１２において実線で示される受光部２１、環境光算出部２３、環境光正規化部２４、および、屋外情報算出部２５を動作させ、距離情報を算出せず、屋外情報を算出する。この場合、測距センサ１４は、屋外判定センサとして動作する。一般的なRGBの光を受光するRGBセンサを用いた屋外判定センサと比較すると、画素アレイ部３２の解像度を低解像度とすることができるので、駆動電力を抑えることができ、低消費電力で屋外判定を実現することができる。
【００８８】
以上のように、測距センサ１４および測距モジュール１１によれば、測距センサ単体で、距離情報の算出と屋外判定を行うことができる。単体の測距センサ１４および測距モジュール１１で距離情報の算出と屋外判定を行うことができるので、消費電力の低減、および、実装体積の縮小が可能である。測距センサ１４は、RGBカメラで撮像できない赤外光を受光するので、太陽の存在を、RGBカメラによる撮像よりも高精度に検出することができる。
【００８９】
＜５．第２の実施の形態＞
図１３は、測距モジュールの第２の実施の形態のブロック図を示している。
【００９０】
図１３において、第１の実施の形態における図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
【００９１】
図１３の第２の実施の形態では、被写体領域検出部８１が新たに設けられている点、および、環境光算出部２３が環境光算出部８２に変更されている点を除いて、図７に示した第１の実施の形態と同様に構成されている。
【００９２】
被写体領域検出部８１には、画素アレイ部３２の各画素３１のデプス値dと信頼度cnfが、測距部２２から供給される。
【００９３】
被写体領域検出部８１は、画素アレイ部３２の各画素３１の画素値として信頼度cnfが格納された信頼度マップを生成する。そして、被写体領域検出部８１は、生成した信頼度マップに基づいて、画素アレイ部３２の全画素領域（以下、受光領域とも称する。）のなかで被写体（物体）が含まれる領域である被写体領域を検出し、検出した被写体領域を、受光領域内で注目する領域である注目領域を示すROI（Region Of Interest）情報として環境光算出部８２に供給する。
【００９４】
なお、被写体領域検出部８１は、画素アレイ部３２の各画素３１の画素値としてデプス値dが格納されたデプスマップも生成し、デプスマップも用いて、被写体領域を検出してもよい。距離情報も用いることにより、より正確に被写体領域を検出することができる。あるいはまた、信頼度マップを用いずに、デプスマップのみを用いて、被写体領域を検出してもよい。
【００９５】
環境光算出部８２は、受光領域のうち、被写体領域検出部８１から供給されたROI情報が示す注目領域について、第１の実施の形態と同様の処理を行う。すなわち、環境光算出部８２は、注目領域の各画素３１について、RAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。
【００９６】
また、環境光算出部８２は、測距センサ１４の外部などから、注目領域を示すROI情報を受け付けることもできる。ROI情報が供給された場合、環境光算出部８２は、受光領域のなかの、ROI情報が示す注目領域について、RAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。
【００９７】
図１４は、環境光算出部８２の処理を説明する図である。
【００９８】
図１４のAは、測距部２２から供給された各画素３１の信頼度cnfが格納された信頼度マップの例を示している。なお、信頼度マップは、実際には、グレースケールの画像となるため、図１４のAは、信頼度マップのイメージ図である。
【００９９】
図１４のAに示される信頼度マップに対して、例えば、図１４のBの領域９１を示す領域情報が、ROI情報として供給される。領域９１を示す領域情報が、被写体領域検出部８１で検出された被写体領域である場合、領域９１は、被写体の動きに応じて動的に変わり得る。あるいはまた、領域９１を示す領域情報が、外部から供給されたROI情報である場合、領域９１は、ROI情報が更新されない限り、固定である。
【０１００】
環境光算出部８２は、信頼度マップの全領域のうち、領域９１の全画素の環境光成分ambを算出する。あるいはまた、環境光算出部８２は、領域９１の所定のサンプリング画素９２についてのみ、環境光成分ambを算出してもよい。この場合のサンプリング画素９２は、パラメータ等で予め決定される。
【０１０１】
以上のように、環境光算出部８２は、受光領域の全領域のうち、一部の注目領域を示すROI情報を取得して、注目領域の環境光成分ambを算出し、環境光正規化部２４に供給する。
【０１０２】
図１３の環境光正規化部２４および屋外情報算出部２５は、注目領域について、第１の実施の形態と同様の処理を行う。すなわち、環境光正規化部２４は、注目領域の各画素３１の環境光成分ambを正規化し、正規化後の環境光成分ambnormを、屋外情報算出部２５に供給する。屋外情報算出部２５は、注目領域の各画素３１の屋外情報を算出して、フィルタ部２６に供給する。
【０１０３】
フィルタ部２６は、注目領域について、第１の実施の形態と同様の処理を行う。すなわち、フィルタ部２６は、注目領域の各画素３１の屋外情報に基づいて、測距部２２からの測距結果に最適なフィルタ処理を施す。なお、受光領域の全領域のうち、注目領域以外の領域については、測距部２２からの値そのままでもよいし、注目領域のフィルタ処理に合わせた処理、例えば、注目領域の各画素に施されたフィルタ処理の平均的なフィルタ処理などを施してもよい。
【０１０４】
第２の実施の形態におけるデプス値算出処理は、図１０を参照して説明した第１の実施の形態のデプス値算出処理と、基本的に同様であるので、詳細な説明は省略する。第２の実施の形態におけるデプス値算出処理では、図１０のステップＳ２とＳ３の間に、被写体領域検出部８１による被写体領域検出処理、または、外部からのROI情報を環境光算出部８２が取得する処理が追加される。そして、ステップＳ４乃至Ｓ６において、注目領域の画素３１に対して、環境光成分ambが算出され、算出された環境光成分ambが正規化され、屋外情報が算出される。その他は、図１０を参照して説明した第１の実施の形態のデプス値算出処理と同様である。
【０１０５】
＜６．第３の実施の形態＞
図１５は、測距モジュールの第３の実施の形態のブロック図を示している。
【０１０６】
図１５において、図１３に示した第２の実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
【０１０７】
図１５の第３の実施の形態においては、測距モジュール１１の他に、撮像センサ１０１が設けられている。撮像センサ１０１は、RGBの波長の光を受光し、被写体の画像（RGB画像）を生成するイメージセンサである。図１５の測距モジュール１１と撮像センサ１０１とは、測距システム（撮像システム）を構成する。
【０１０８】
撮像センサ１０１は、受光部１１１および信号処理部１１２で構成され、信号処理部１１２は、デモザイク処理部１２１、ROI決定部１２２、および、フィルタ部１２３を有する。
【０１０９】
図１５に示される測距モジュール１１は、図１３に示した第２の実施の形態の測距モジュール１１と、被写体領域検出部８１が省略されている点が異なる。環境光算出部８２には、撮像センサ１０１のROI決定部１２２で生成されたROI情報が供給される。また、屋外情報算出部２５で生成された屋外情報が、フィルタ部２６に供給される他、撮像センサ１０１のフィルタ部１２３にも供給される。第３の実施の形態の測距モジュール１１のその他の点は、上述した第２の実施の形態と同様である。
【０１１０】
受光部１１１は、R(Red)、G(Green)、または、B(Blue)のカラーフィルをベイヤ配列等で配置した各画素が２次元配置された画素アレイ部を有し、各画素が受光したR,G,またはBの波長の光を光電変換した信号を、撮像信号としてデモザイク処理部１２１に供給する。
【０１１１】
デモザイク処理部１２１は、受光部１１１から供給される、R信号,G信号,またはB信号のいずれかの画素信号を用いて色情報の補間処理等を行うことにより、画素ごとに、R信号,G信号,およびB信号の画素信号からなる画像信号を生成し、ROI決定部１２２およびフィルタ部１２３に供給する。
【０１１２】
ROI決定部１２２は、デモザイク処理部１２１から供給される画像信号に対して、注目領域を決定する注目領域決定処理を実行する。ROI決定部１２２は、処理対象画像がグレースケールの画像ではなく、RGB画像である点を除いて、被写体領域検出部８１と同様の処理を行う。勿論、ROI決定部１２２は、被写体領域検出部８１と異なる処理により、注目領域を決定してもよい。ROI決定部１２２は、注目領域決定処理の結果得られた注目領域を示すROI情報を、フィルタ部１２３と、測距センサ１４の環境光算出部８２に供給する。
【０１１３】
フィルタ部１２３には、デモザイク処理部１２１から画像信号が供給されるとともに、ROI決定部１２２からROI情報が供給される。また、フィルタ部１２３には、測距センサ１４の屋外情報算出部２５から、屋外情報も供給される。
【０１１４】
フィルタ部１２３は、注目領域の屋外情報に基づいて、デモザイク処理部１２１からの画像信号のうち、注目領域の画像信号に最適なフィルタ処理を施す。なお、受光部１１１が撮像した画像のうち、注目領域以外の領域については、そのままでもよいし、注目領域のフィルタ処理に合わせた処理、例えば、注目領域の各画素に施されたフィルタ処理の平均的なフィルタ処理などを施してもよい。
【０１１５】
フィルタ部１２３は、少なくとも注目領域に所定のフィルタ処理を施したフィルタ処理後の画像信号を、外部に出力する。
【０１１６】
測距モジュール１１のデプス値算出処理は、上述した第２の実施の形態のデプス値算出処理と同様であるので、説明は省略する。
【０１１７】
以上のように、第３の実施の形態によれば、測距モジュール１１は、RGBの光を受光した撮像画像を生成する撮像センサ１０１で検出されたROI情報に基づいて環境光成分ambを算出し、デプス値d’と信頼度cnf’を出力することができる。また、撮像センサ１０１のフィルタ部１２３は、RGBの画像信号に対して、屋外情報に基づいて適切なフィルタ処理を行うので、例えば、色味やエッジの調整を、シーン等に応じて最適に制御することが可能となる。
【０１１８】
図１の測距モジュール１１は、例えば、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムに適用することができる。また例えば、図１の測距モジュール１１は、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。
【０１１９】
＜７．電子機器の構成例＞
上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
【０１２０】
図１６は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
【０１２１】
図１６に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。
【０１２２】
測距モジュール２０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
【０１２３】
撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。
【０１２４】
ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
【０１２５】
通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
【０１２６】
アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
【０１２７】
オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
【０１２８】
このように構成されているスマートフォン２０１では、上述した測距モジュール１１を適用することで、例えば、測距情報の算出と屋外判定を同時に行うことができる。これにより、スマートフォン２０１は、測距情報をより正確に検出することができる。
【０１２９】
＜８．コンピュータの構成例＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３０】
図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１３１】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）３０４は、バス３０５により相互に接続されている。バス３０５には、さらに、入出力インタフェース３０６が接続されており、入出力インタフェース３０６が外部に接続される。
【０１３２】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、ROM３０２およびEEPROM３０４に記憶されているプログラムを、バス３０５を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU３０１）が実行するプログラムは、ROM３０２に予め書き込んでおく他、入出力インタフェース３０６を介して外部からEEPROM３０４にインストールしたり、更新したりすることができる。
【０１３３】
これにより、CPU３０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース３０６を介して、外部へ出力することができる。
【０１３４】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１３５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１３６】
＜９．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１３７】
図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１３８】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１３９】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１４０】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１４１】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１４２】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１４３】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１４４】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１４５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１４７】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１４８】
図１９は、撮像部１２０３１の設置位置の例を示す図である。
【０１４９】
図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１５０】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１５１】
なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１５２】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１５３】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１５４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１５５】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。
マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１５６】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
【０１５７】
なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部２１のフォトダイオード５１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。また、本技術は、Structured Light方式の測距センサに適用してもよい。
【０１５８】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５９】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０１６０】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１６１】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１６２】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０１６３】
なお、本技術は、以下の構成を取ることができる。
（１）
所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
を備える測距センサ。
（２）
前記環境光算出部により算出された前記環境光成分を正規化する正規化部をさらに備え、
前記屋外情報算出部は、正規化後の前記環境光成分に基づいて、前記屋外情報を推定する
前記（１）に記載の測距センサ。
（３）
前記正規化部は、露光時間と画素数を用いて、前記環境光成分を正規化する
前記（２）に記載の測距センサ。
（４）
前記正規化部は、露光時間、画素数、および、前記距離情報を用いて、前記環境光成分を正規化する
前記（２）に記載の測距センサ。
（５）
前記環境光算出部は、前記受光部で得られた前記信号から暗電流成分を減算し、前記環境光成分を算出する
前記（１）乃至（４）のいずれかに記載の測距センサ。
（６）
前記受光部で得られた信号を用いて、前記距離情報と前記屋外情報の両方が算出される
前記（１）乃至（５）のいずれかに記載の測距センサ。
（７）
動作モードとして、
前記距離情報と前記屋外情報との両方を算出する第１の動作モード、
前記屋外情報を算出せず、前記距離情報を算出する第２の動作モード、または、
前記距離情報を算出せず、前記屋外情報を算出する第３の動作モードを備える
前記（１）乃至（６）のいずれかに記載の測距センサ。
（８）
前記環境光算出部は、前記受光部の受光領域の一部である注目領域の前記環境光成分を算出する
前記（１）乃至（７）のいずれかに記載の測距センサ。
（９）
前記環境光算出部は、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
前記（８）に記載の測距センサ。
（１０）
前記環境光算出部は、RGBの光を受光した撮像画像を生成する撮像センサで検出された、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
前記（９）に記載の測距センサ。
（１１）
前記測距部は、前記距離情報に加えて、信頼度情報もさらに算出し、
前記距離情報または前記信頼度情報の少なくとも一方を用いて、前記注目領域を検出する領域検出部をさらに備え、
前記環境光算出部は、前記注目領域の前記環境光成分を算出する
前記（８）に記載の測距センサ。
（１２）
前記距離情報に所定のフィルタ処理を行うフィルタ部をさらに備え、
前記フィルタ部は、前記屋外情報に基づいて前記所定のフィルタ処理を行う
前記（１）乃至（１１）のいずれかに記載の測距センサ。
（１３）
前記受光部で得られた前記信号に基づき、露光時間を制御する制御部をさらに備える
前記（１）乃至（１２）のいずれかに記載の測距センサ。
（１４）
前記屋外情報算出部は、前記屋外情報として、前記屋外か、または、屋内かを算出する
前記（１）乃至（１３）のいずれかに記載の測距センサ。
（１５）
前記屋外情報算出部は、前記屋外情報として、前記屋外である確率を算出する
前記（１）乃至（１３）のいずれかに記載の測距センサ。
（１６）
測距センサが、
所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、
前記受光部で得られた前記信号に含まれる環境光成分を算出し、
前記環境光成分に基づいて、屋外情報を算出する
信号処理方法。
（１７）
所定の発光源と、
測距センサと
を備え、
前記測距センサは、
前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
を備える
測距モジュール。
【符号の説明】
【０１６４】
１１  測距モジュール，  １２  発光源，  １３  発光制御部，  １４  測距センサ，  ２１  受光部，  ２２  測距部，  ２３  環境光算出部，  ２４  環境光正規化部，  ２５  屋外情報算出部，  ２６  フィルタ部，  ８１  被写体領域検出部，  ８２  環境光算出部，  ９１  領域，  １０１  撮像センサ，  １１１  受光部，  １１２  信号処理部，  １２１  デモザイク処理部，  １２２  ROI決定部，  １２３  フィルタ部，  ２０１  スマートフォン，  ２０２  測距モジュール，  ３０１  CPU，  ３０２  ROM，  ３０３  RAM
【図１】
2020173128.tif 000009
【図２】
2020173128.tif 000010
【図３】
2020173128.tif 000011
【図４】
2020173128.tif 000012
【図５】
2020173128.tif 000013
【図６】
2020173128.tif 000014
【図７】
2020173128.tif 000015
【図８】
2020173128.tif 000016
【図９】
2020173128.tif 000017
【図１０】
2020173128.tif 000018
【図１１】
2020173128.tif 000019
【図１２】
2020173128.tif 000020
【図１３】
2020173128.tif 000021
【図１４】
2020173128.tif 000022
【図１５】
2020173128.tif 000023
【図１６】
2020173128.tif 000024
【図１７】
2020173128.tif 000025
【図１８】
2020173128.tif 000026
【図１９】
2020173128.tif 000027