(57)【要約】【課題】間欠光を受光する測距装置においてデプスマップの画質を向上させる。【解決手段】画素アレイ部には、所定の間欠光を受光する複数の画素が二次元格子状に配列される。連続光画像データ生成部は、複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する。デプスマップ生成部は、複数の画素のそれぞれに対応する距離情報を配列したデプスマップを受光データおよび連続光画像データから生成する。【選択図】図６
2018036102.tif 000002
【特許請求の範囲】
【請求項１】
所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、
前記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成部と
を具備する測距装置。
【請求項２】
前記受光データのそれぞれは、複数の電荷信号を含み、
前記連続光画像データ生成部は、前記複数の画素のそれぞれについて前記複数の電荷信号を積分する処理により前記連続光画像データを生成する
請求項１記載の測距装置。
【請求項３】
前記デプスマップ生成部は、前記複数の電荷信号と前記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から前記デプスマップを生成する
請求項１記載の測距装置。
【請求項４】
前記デプスマップ生成部は、所定のフィルタを用いて前記デプスマップを生成する
請求項１記載の測距装置。
【請求項５】
前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記低解像度電荷信号に基づいて前記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度デプスマップとを前記所定のフィルタに入力して前記デプスマップを生成する高解像度デプスマップ生成部と
を備える請求項４記載の測距装置。
【請求項６】
前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度電荷信号とを前記所定のフィルタに入力して前記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、
前記高解像度電荷信号を前記距離情報に変換するデプス変換部と
を備える請求項４記載の測距装置。
【請求項７】
前記デプスマップ生成部は、
前記複数の電荷信号とを前記距離情報に変換するデプス変換部と、
前記距離情報と前記連続光画像データとを前記所定のフィルタに入力して前記距離情報のノイズを除去するデプスマップノイズ除去部と
を備える請求項４記載の測距装置。
【請求項８】
前記デプスマップ生成部は、
前記連続光画像データと前記複数の電荷信号とを前記所定のフィルタに入力して前記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、
前記ノイズが除去された前記複数の電荷信号を前記距離情報に変換するデプス変換部と
を備える請求項４記載の測距装置。
【請求項９】
前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の和と前記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタである
請求項８記載の測距装置。
【請求項１０】
前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の差の二乗と前記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタである
請求項８記載の測距装置。
【請求項１１】
前記所定のフィルタは、ノイズを除する前の前記間欠光の位相とノイズを除去した後の前記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む
請求項８記載の測距装置。
【請求項１２】
前記画素アレイ部は、所定の期間内に前記所定の間欠光を受光し、前記所定の期間と異なる連続光受光期間内に前記所定の連続光を受光し、
前記連続光画像データ生成部は、前記連続光受光期間内の前記受光データから前記連続光画像データを生成する
請求項１記載の測距装置。
【請求項１３】
所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部内の前記複数の画素のそれぞれの受光データに基づいて所定の連続光の受光量を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成手順と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成手順と
を具備する測距装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、測距装置、および、測距装置の制御方法に関する。詳しくは、光の位相差から距離を測定する測距装置、および、測距装置の制御方法に関する。
【背景技術】
【０００２】
従来より、測距機能を持つ電子装置において、ＴｏＦ（Time of Flight）方式と呼ばれる測距方式がよく用いられている。このＴｏＦ方式は、サイン波や矩形波などの間欠光を装置が物体に照射し、その照射光に対する反射光を受光して、照射光と反射光との位相差から距離を測定する方式である。
【０００３】
このＴｏＦ方式において、複数の画素をアレイ状に配列したＴｏＦセンサで反射光を受光すれば、装置は、画素毎に距離を測定してデプスマップを生成することができる。このデプスマップの画質を向上させる目的で、間欠光でなく連続光を受光して画像データを撮像する固体撮像素子をさらに追加したシステムが提案されている（例えば、非特許文献１参照。）。このシステムでは、ＴｏＦセンサの受光データと固体撮像素子が撮像した画像データとをクロスバイラテラルフィルタに入力してデプスマップを生成している。このクロスバイラテラルフィルタは、ガウス関数を用いたフィルタであり、ノイズの除去やアップサンプリングなどに用いられる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】D.Chan et al., A Noise-Aware Filter for Real-Time Depth Upsampling, ECCV Workshops 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、クロスバイラテラルフィルタを用いて、ＴｏＦセンサのみの場合よりも画質の向上したデプスマップを生成することができる。しかしながら、ＴｏＦセンサに加えて固体撮像素子を実装する必要があるため、装置のコストやサイズが大きくなってしまうという問題がある。ＴｏＦセンサからの間欠光の受光データのみでもデプスマップを生成することができるが、固体撮像素子を追加した場合よりもデプスマップの画質が低下してしまう。このように、間欠光の受光データのみでは、デプスマップの画質を向上させることができないという問題がある。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、光の位相差から距離を測定する測距装置においてデプスマップの画質を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、上記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを上記受光データおよび上記連続光画像データから生成するデプスマップ生成部とを具備する測距装置、および、その制御方法である。これにより、間欠光を受光する複数の画素のそれぞれの受光データに基づいて連続光画像データが生成されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記受光データのそれぞれは、複数の電荷信号を含み、上記連続光画像データ生成部は、上記複数の画素のそれぞれについて上記複数の電荷信号を積分する処理により上記連続光画像データを生成してもよい。これにより、複数の電荷信号を積分する処理により連続光画像データが生成されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記デプスマップ生成部は、上記複数の電荷信号と上記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から上記デプスマップを生成してもよい。これにより、所定の関数が最小になるときの電荷信号からデプスマップが生成されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記デプスマップ生成部は、所定のフィルタを用いて上記デプスマップを生成してもよい。これにより、所定のフィルタを用いることによってデプスマップが生成されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記画素アレイ部は、複数の画素ブロックに分割され、上記デプスマップ生成部は、上記受光データに対する画素加算により上記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、上記複数の画素ブロックのそれぞれについて上記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、上記低解像度電荷信号に基づいて上記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、上記連続光画像データと上記低解像度連続光画像データと上記低解像度デプスマップとを上記所定のフィルタに入力して上記デプスマップを生成する高解像度デプスマップ生成部とを備えてもよい。これにより、連続光画像データと低解像度連続光画像データと低解像度デプスマップとを所定のフィルタに入力することによってデプスマップが生成されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記画素アレイ部は、複数の画素ブロックに分割され、上記デプスマップ生成部は、上記受光データに対する画素加算により上記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、上記複数の画素ブロックのそれぞれについて上記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、上記連続光画像データと上記低解像度連続光画像データと上記低解像度電荷信号とを上記所定のフィルタに入力して上記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、上記高解像度電荷信号を上記距離情報に変換するデプス変換部とを備えてもよい。これにより、連続光画像データと低解像度連続光画像データと低解像度電荷信号とを所定のフィルタに入力することによって高解像度電荷信号が生成されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記デプスマップ生成部は、上記複数の電荷信号とを上記距離情報に変換するデプス変換部と、上記距離情報と上記連続光画像データとを上記所定のフィルタに入力して上記距離情報のノイズを除去するデプスマップノイズ除去部とを備えてもよい。これにより、距離情報と連続光画像データとを所定のフィルタに入力することによって距離情報のノイズが除去されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記デプスマップ生成部は、上記連続光画像データと上記複数の電荷信号とを上記所定のフィルタに入力して上記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、上記ノイズが除去された上記複数の電荷信号を上記距離情報に変換するデプス変換部とを備えてもよい。これにより、連続光画像データと複数の電荷信号とを所定のフィルタに入力することによって複数の電荷信号のノイズが除去されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、上記所定のフィルタは、上記第１および第２の電荷信号の和と上記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタであってもよい。これにより、第１および第２の電荷信号の和と第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタによってデプスマップが生成されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、上記所定のフィルタは、上記第１および第２の電荷信号の差の二乗と上記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタであってもよい。これにより、第１および第２の電荷信号の差の二乗と第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタによって、デプスマップが生成されるという作用をもたらす。
【００１７】
また、この第１の側面において、上記所定のフィルタは、ノイズを除する前の上記間欠光の位相とノイズを除去した後の上記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含んでもよい。これにより、ノイズを除する前の間欠光の位相とノイズを除去した後の間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む所定のフィルタによってデプスマップが生成されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記画素アレイ部は、所定の期間内に上記所定の間欠光を受光し、上記所定の期間と異なる連続光受光期間内に上記所定の連続光を受光し、上記連続光画像データ生成部は、上記連続光受光期間内の上記受光データから上記連続光画像データを生成してもよい。これにより、連続光受光期間内の受光データから連続光画像データが生成されるという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、光の位相差から距離を測定する測距装置においてデプスマップの画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における測距モジュールの一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態におけるＴｏＦセンサの一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画素の回路の一例を示す回路図である。
【図４】本技術の第１の実施の形態における固体撮像素子のＱ１Ｑ２生成期間の動作の一例を示すタイミングチャートである。
【図５】本技術の第１の実施の形態における固体撮像素子のＱ３Ｑ４生成期間の動作の一例を示すタイミングチャートである。
【図６】本技術の第１の実施の形態における測距演算部の一構成例を示すブロック図である。
【図７】本技術の第１の実施の形態における電荷信号および低解像度電荷信号の一例を示す図である。
【図８】本技術の第１の実施の形態における赤外線画像データおよび低解像度赤外線画像データの一例を示す図である。
【図９】本技術の第１の実施の形態における低解像度デプスマップおよび高解像度デプスマップの一例を示す図である。
【図１０】本技術の第１の実施の形態における測距モジュールの動作の一例を示すフローチャートである。
【図１１】本技術の第１の実施の形態の変形例における発光制御部の動作の一例を示すタイミングチャートである。
【図１２】本技術の第１の実施の形態の変形例における測距演算部の一構成例を示すブロック図である。
【図１３】本技術の第２の実施の形態における測距演算部の一構成例を示すブロック図である。
【図１４】本技術の第２の実施の形態における測距モジュールの動作の一例を示すフローチャートである。
【図１５】本技術の第３の実施の形態における測距演算部の一構成例を示すブロック図である。
【図１６】本技術の第３の実施の形態における関数ｈ（）の一例を示すグラフである。
【図１７】本技術の第３の実施の形態における位相平面上の長さＺと関数ｍ（）との一例を示す図である。
【図１８】本技術の第３の実施の形態における関数ｇ（）および関数Ｗu,u'の一例を示す図である。
【図１９】本技術の第３の実施の形態における測距モジュールの動作の一例を示すフローチャートである。
【図２０】本技術の第４の実施の形態における測距演算部の一構成例を示すブロック図である。
【図２１】本技術の第４の実施の形態における測距モジュールの動作の一例を示すフローチャートである。
【図２２】車両制御システムの概略的な構成例を示すブロック図である。
【図２３】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（赤外線画像を生成し、デプスマップをアップサンプリングする例）
２．第２の実施の形態（赤外線画像を生成し、電荷信号をアップサンプリングする例）
３．第３の実施の形態（赤外線画像を生成し、電荷信号のノイズを除去する例）
４．第４の実施の形態（赤外線画像を生成し、デプスマップのノイズを除去する例）
【００２２】
＜１．第１の実施の形態＞
［測距モジュールの構成例］
図１は、本技術の実施の形態における測距モジュール１００の一構成例を示すブロック図である。この測距モジュール１００は、ＴｏＦ方式により距離を測定するものであり、発光部１１０、発光制御部１２０、ＴｏＦセンサ２００および測距演算部３００を備える。なお、測距モジュール１００は、特許請求の範囲に記載の測距装置の一例である。
【００２３】
発光部１１０は、間欠的に照射光を発して物体に照射するものである。この発光部１１０は、例えば、矩形波の発光制御信号ＣＬＫｐに同期して照射光を発生する。また、例えば、発光部１１０として発光ダイオードが用いられ、照射光として近赤外光などが用いられる。なお、発光制御信号ＣＬＫｐは、周期信号であれば、矩形波に限定されない。例えば、発光制御信号ＣＬＫｐは、サイン波であってもよい。また、照射光は、近赤外光に限定されず、可視光などであってもよい。
【００２４】
発光制御部１２０は、発光部１１０を制御するものである。この発光制御部１２０は、発光制御信号ＣＬＫｐを生成して発光部１１０およびＴｏＦセンサ２００に供給する。この発光制御信号ＣＬＫｐの周波数は、例えば、２０メガヘルツ（ＭＨｚ）である。なお、発光制御信号ＣＬＫｐの周波数は、２０メガヘルツ（ＭＨｚ）に限定されず、５メガヘルツ（ＭＨｚ）などであってもよい。
【００２５】
ＴｏＦセンサ２００は、間欠的な照射光に対する反射光を受光して、垂直同期信号ＶＳＹＮＣの周期が経過するたびに、その周期内の受光量を示す電荷信号を生成するものである。例えば、６０ヘルツ（Ｈｚ）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。また、ＴｏＦセンサ２００には、複数の画素が二次元格子状に配置される。ＴｏＦセンサ２００は、これらの画素が生成した電荷信号を測距演算部３００に供給する。なお、垂直同期信号ＶＳＹＮＣの周波数は、６０ヘルツ（Ｈｚ）に限定されず、３０ヘルツ（Ｈｚ）や１２０ヘルツ（Ｈｚ）であってもよい。
【００２６】
測距演算部３００は、ＴｏＦセンサ２００からの電荷信号に基づいて物体までの距離（言い換えれば、デプス）をＴｏＦ方式で測定するものである。この測距演算部３００は、複数の画素のそれぞれの距離情報を配列したデプスマップを生成する。このデプスマップは、例えば、距離に応じた度合いのぼかし処理を行う画像処理や、距離に応じてフォーカスレンズの合焦点を求めるＡＦ（Auto Focus）処理などに用いられる。
【００２７】
［ＴｏＦセンサ２００の構成例］
図２は、第１の実施の形態におけるＴｏＦセンサ２００の一構成例を示すブロック図である。このＴｏＦセンサ２００は、行走査回路２１０と、画素アレイ部２２０と、タイミング制御部２４０と、複数のＡＤ（Analog to Digital）変換部２５０と、列走査回路２６０と信号処理部２７０とを備える。画素アレイ部２２０には、二次元格子状に複数の画素２３０が配置される。以下、所定の方向に配列された画素２３０の集合を「行」と称し、行に垂直な方向に配列された画素２３０の集合を「列」と称する。前述のＡＤ変換部２５０は、列ごとに設けられる。
【００２８】
タイミング制御部２４０は、垂直同期信号ＶＳＹＮＣに同期して行走査回路２１０、ＡＤ変換部２５０および列走査回路２６０を制御するものである。
【００２９】
行走査回路２１０は、全行を同時に露光させ、露光終了後に行を順に選択して画素信号を出力させるものである。画素２３０は、行走査回路２１０の制御に従って反射光を受光し、受光量に応じた電荷信号を出力するものである。
【００３０】
ＡＤ変換部２５０は、対応する列からの電荷信号をＡＤ変換するものである。このＡＤ変換部２５０は、列走査回路２６０の制御に従って、ＡＤ変換した電荷信号を信号処理部２７０に出力する。列走査回路２６０は、ＡＤ変換部２５０を順に選択して電荷信号を出力させるものである。
【００３１】
信号処理部２７０は、電荷信号に対して、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部２７０は、信号処理後の電荷信号を測距演算部３００に供給する。
【００３２】
なお、ＴｏＦセンサ２００には、実際には反射光を集光するためのレンズがさらに設けられるが、このレンズは図２において、記載の便宜上、省略されている。
【００３３】
［画素の構成例］
図３は、第１の実施の形態における画素２３０の回路の一例を示すブロック図である。この画素２３０は、受光素子２３１と、転送スイッチ２３２と、電荷蓄積部２３３および２３４と、選択スイッチ２３５および２３６とを備える。
【００３４】
受光素子２３１は、光を光電変換して電荷を生成するものである。この受光素子２３１として、例えば、フォトダイオードが用いられる。
【００３５】
転送スイッチ２３２は、行走査回路２１０の制御に従って受光素子２３１を電荷蓄積部２３３、電荷蓄積部２３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ２３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。リセット電源Ｖｒｓｔに接続された際において、ＭＯＳトランジスタのドレインから出力された電荷は破棄され、受光素子２３１の電荷が初期化される。
【００３６】
電荷蓄積部２３３および２３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部２３３および２３４として、例えば、浮遊拡散層が用いられる。
【００３７】
選択スイッチ２３５は、行走査回路２１０の制御に従って、電荷蓄積部２３３とＡＤ変換部２５０との間の線路を開閉するものである。選択スイッチ２３６は、行走査回路２１０の制御に従って、電荷蓄積部２３４とＡＤ変換部２５０との間の線路を開閉するものである。例えば、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ２３５が閉状態に遷移し、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ２３６が閉状態に遷移する。これらの選択スイッチ２３５および２３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
【００３８】
図４は、第１の実施の形態におけるＱ１Ｑ２生成期間内の画素の露光制御の一例を示すタイミングチャートである。間欠光の照射が開始されると画素２３０は、電荷信号Ｑ１およびＱ２の生成と、電荷信号Ｑ３およびＱ４の生成とを交互に繰り返し行う。以下、電荷信号Ｑ１およびＱ２の生成期間を「Ｑ１Ｑ２生成期間」と称し、電荷信号Ｑ３およびＱ４の生成期間を「Ｑ３Ｑ４生成期間」と称する。Ｑ１Ｑ２生成期間およびＱ３Ｑ４生成期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。
【００３９】
ここで、電荷信号Ｑ１は、間欠光の発光制御信号ＣＬＫｐの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｐ１をＱ１Ｑ２生成期間に亘って累積したものである。発光制御信号ＣＬＫｐの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量は非常に少なく、検出が困難である。このため、画素２３０は、発光制御信号ＣＬＫｐの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２生成期間に亘って、受光量ｐ１のそれぞれを累積し、その総量を示す信号を電荷信号Ｑ１として生成する。また、電荷信号Ｑ２は、１８０度から３６０度までの反射光の受光量ｐ２をＱ１Ｑ２生成期間に亘って累積したものである。
【００４０】
また、電荷信号Ｑ３は、９０度から２７０度までの反射光の受光量ｐ３をＱ３Ｑ４生成期間に亘って累積したものである。また、電荷信号Ｑ４は、２７０度から９０度までの反射光の受光量ｐ４をＱ３Ｑ４生成期間に亘って累積したものである。
【００４１】
これらの電荷信号Ｑ１、Ｑ２、Ｑ３およびＱ４から、測距モジュール１００は、物体までの距離Ｄを画素毎に算出することができる。
【００４２】
例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２生成期間において、その期間の電荷信号Ｑ１およびＱ２が検出される。まず、行走査回路２１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部２３３および２３４の電荷蓄積量が初期化される。また、行走査回路２１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子２３１の電荷を初期化する。
【００４３】
そして、行走査回路２１０は、Ｑ１Ｑ２生成期間において、発光制御信号ＣＬＫｐの周期内の０度から１８０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｐ１が蓄積される。
【００４４】
また、行走査回路２１０は、Ｑ１Ｑ２生成期間において、発光制御信号ＣＬＫｐの周期内の１８０度から３６０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ２が蓄積される。
【００４５】
そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ１およびＱ２が読み出される。次に、行走査回路２１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して電荷信号を読み出す。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
【００４６】
このように、Ｑ１Ｑ２生成期間において画素２３０のそれぞれは、０度から１８０度までの電荷信号Ｑ１と、１８０度から３６０度までの電荷信号Ｑ２とを生成する。
【００４７】
図５は、第１の実施の形態におけるＱ３Ｑ４生成期間内の画素２３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４生成期間において、その期間の電荷信号Ｑ３およびＱ４が生成される。まず、行走査回路２１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積部２３３および２３４の電荷蓄積量を初期化する。また、行走査回路２１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子２３１の電荷を初期化する。
【００４８】
そして、行走査回路２１０は、最初の０度から９０度において、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ４が蓄積される。以降において行走査回路２１０は、発光制御信号ＣＬＫｐの周期内の９０度から２７０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｐ３が蓄積される。
【００４９】
また、行走査回路２１０は、Ｑ３Ｑ４生成期間において、発光制御信号ＣＬＫｐの周期内の２７０度から９０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｐ４が蓄積される。
【００５０】
そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ３およびＱ４が読み出される。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
【００５１】
このように、Ｑ３Ｑ４生成期間において画素２３０のそれぞれは、９０度から２７０度までの電荷信号Ｑ３と、２７０度か９０度までの電荷信号Ｑ４とを生成する。
【００５２】
［測距演算部の構成例］
図６は、本技術の第１の実施の形態における測距演算部３００の一構成例を示すブロック図である。この測距演算部３００は、赤外線画像生成部３１０とデプスマップ生成部３２０とを備える。また、デプスマップ生成部３２０は、低解像度電荷信号生成部３２１、低解像度デプスマップ生成部３２２、低解像度赤外線画像生成部３２３および高解像度デプスマップ生成部３２４とを備える。
【００５３】
赤外線画像生成部３１０は、電荷信号Ｑ１乃至Ｑ４のそれぞれから、赤外線画像データを生成するものである。ここで、赤外線画像データは、連続した赤外光（言い換えれば、連続光）の輝度ＩＲを示す複数の画素データを二次元格子状に配列した画像データである。この赤外線画像生成部３１０は、例えば、画素２３０のそれぞれについて、次の式により輝度ＩＲを演算する。
ＩＲ＝（Ｑ１＋Ｑ２＋Ｑ３＋Ｑ４）／２
【００５４】
赤外線画像生成部３１０は、演算した赤外線画像データを高解像度デプスマップ生成部３２４に出力する。なお、赤外線画像生成部３１０は、特許請求の範囲に記載の連続光画像データ生成部の一例である。
【００５５】
低解像度電荷信号生成部３２１は、画素ブロックごとに、その画素ブロック内の電荷信号を加算（言い換えれば、画素加算）するものである。ここで、画素ブロックは、複数の画素からなる領域であり、画素アレイ部２２０は、例えば、３×３画素の複数の画素ブロックにより分割される。また、画素毎に電荷信号Ｑ１乃至Ｑ４が生成されるため、行数をＭ（Ｍは整数）個、列数をＮ（Ｎは整数）個とすると、Ｍ×Ｎ個の電荷信号Ｑ１が生成される。同様に、電荷信号Ｑ２乃至Ｑ４もＭ×Ｎ個ずつ生成される。
【００５６】
そして、画素ブロックのサイズを３×３画素とすると、画素ブロックのそれぞれにおいて、その画素ブロック内の９個の電荷信号Ｑ１を加算平均した信号が低解像度電荷信号ｑ１として算出される。画像全体では、（Ｍ×Ｎ）／９個の低解像度電荷信号ｑ１が算出される。同様に、電荷信号Ｑ２、Ｑ３およびＱ４の加算平均により、低解像度電荷信号ｑ２、ｑ３およびｑ４が算出される。低解像度電荷信号生成部３２１は、これらの低解像度電荷信号を低解像度デプスマップ生成部３２２および低解像度赤外線画像生成部３２３に供給する。低解像度電荷信号生成部３２１が画素加算を行うことにより、電荷信号のノイズを低減することができる。ただし、画素加算した電荷信号により生成されるデプスマップの解像度は、画素加算前よりも低下する。
【００５７】
低解像度デプスマップ生成部３２２は、画素ブロックごとに、距離を測定するものである。低解像度デプスマップ生成部３２２は、低解像度電荷信号ｑ１乃至ｑ４を次の式に代入することにより、画素ブロックに対応する物体までの距離ｄを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
ｄ＝（ｃ／４πｆ）×ｔａｎ−１｛（ｑ３−ｑ４）／（ｑ１−ｑ２）｝
＝（ｃ／４πｆ）×Ｒ
上式において距離ｄの単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ−１（）は、正接関数の逆関数を示す。Ｒは位相を示し、単位は、例えば、「度」である。
【００５８】
低解像度デプスマップ生成部３２２は、画素ブロックのそれぞれの距離ｄの情報を配列したデータを低解像度デプスマップとして生成し、高解像度デプスマップ生成部３２４に供給する。
【００５９】
低解像度赤外線画像生成部３２３は、画素ブロックごとに、その画素ブロック内の低解像度電荷信号ｑ１乃至ｑ４を積分して、赤外光（連続光）の輝度ｉｒを演算するものである。輝度ｉｒは、例えば、次の式により求められる。
ｉｒ＝（ｑ１＋ｑ２＋ｑ３＋ｑ４）／２
【００６０】
低解像度赤外線画像生成部３２３は、画素ブロックのそれぞれの輝度ｉｒを配列した画像データを低解像度赤外線画像データとして高解像度デプスマップ生成部３２４に供給する。なお、低解像度赤外線画像生成部３２３は、特許請求の範囲に記載の低解像度連続光画像データ生成部の一例である。
【００６１】
高解像度デプスマップ生成部３２４は、赤外線画像データと、低解像度赤外線画像データと、低解像度デプスマップとから、画素ごとに距離（デプス）を測定するものである。この高解像度セぷスマップ生成部３３４は、低解像度デプスマップの距離ｄ（ｖ）と、低解像度赤外線画像データの輝度ｉｒ（ｖ）との関係を用いて、ＴｏＦセンサ２００の画素の座標ｕにおける赤外線画像データの輝度ＩＲ（ｕ）に対応する距離Ｄ（ｕ）を求める。この処理は、例えば、次の式に示すクロスバイラテラルフィルタにより行われる。このクロスバイラテラルフィルタについては、例えば、「J. Kopf and M. Uyttendaele, Joint bilateral upsampling, Transactions on Graphics (TOG), 26(3), 2007」に記載されている。
【数１】
2018036102.tif 000003
【数２】
2018036102.tif 000004
【００６２】
ここで、集合Ωｕは、座標ｕの近傍を表している。すなわち、式１の右辺の総和演算は、求めたい距離Ｄの座標ｕの近傍にある「低解像度の座標ｖ」を対象とする。また、ｆ（）およびｇ（）はガウス関数である。式１の左辺が、最終的に出力される距離である。
【００６３】
高解像度デプスマップ生成部３２４は、全画素の距離Ｄを算出して、それらを配列したデータを高解像度デプスマップとして出力する。
【００６４】
このように、低解像度デプスマップをクロスバイラテラルフィルタによりアップサンプリングすることにより、ノイズが低減した、高解像度のデプスマップを生成することができる。これにより、デプスマップの画質を向上させることができる。
【００６５】
なお、高解像度デプスマップ生成部３２４は、クロスバイラテラルフィルタを用いているが、アップサンプリングを行うことができるフィルタであれば、用いるフィルタは、クロスバイラテラルフィルタに限定されない。
【００６６】
図７は、本技術の第１の実施の形態における電荷信号および低解像度電荷信号の一例を示す図である。同図におけるａは、画素毎の電荷信号の一例を示す図である。同図におけるｂは、画素毎の低解像度電荷信号の一例を示す図である。
【００６７】
例えば、座標（０，０）の画素００において、電荷信号Ｑ１00乃至Ｑ４00が生成され、座標（０，１）の画素０１において、電荷信号Ｑ１01乃至Ｑ４01が生成される。そして、３×３画素の画素ブロックの単位で画素加算が行われる。例えば、中心座標が（１，１）の画素ブロック１１において、９組の電荷信号Ｑ１乃至Ｑ４が加算平均され、１組の低解像度電荷信号ｑ１11乃至ｑ４11が生成される。
【００６８】
図８は、本技術の第１の実施の形態における赤外線画像データおよび低解像度赤外線画像データの一例を示す図である。同図におけるａは、赤外線画像データの一例を示し、同図におけるｂは、低解像度画像データの一例を示す。
【００６９】
画素毎に、電荷信号Ｑ１乃至Ｑ４が積分されて輝度ＩＲが算出される。例えば、画素００の電荷信号Ｑ１00乃至Ｑ４00の積分により、その画素００の輝度ＩＲ00が算出され、画素０１の電荷信号Ｑ１01乃至Ｑ４01の積分により、その画素０１の輝度ＩＲ01が算出される。また、画素ブロックの中心位置のそれぞれについて低解像度電荷信号ｑ１乃至ｑ４が積分されて、輝度ｉｒが算出される。例えば、画素１１の電荷信号Ｑ１11乃至Ｑ４11の積分により、その画素１１の輝度ＩＲ11が算出される。
【００７０】
図９は、本技術の第１の実施の形態における低解像度デプスマップおよび高解像度デプスマップの一例を示す図である。同図におけるａは、低解像度デプスマップの一例を示し、同図におけるｂは、高解像度デプスマップの一例を示す。
【００７１】
画素ブロックの中心毎に、低解像度電荷信号ｑ１乃至ｑ４から距離ｄが演算される。例えば、画素１１の低解像度電荷信号ｑ１11乃至ｑ４11から、その画素１１に対応する距離ｄ11が算出される。
【００７２】
そして、低解像度赤外線画像データと、赤外線画像データと、低解像度デプスマップとがクロスバイラテラルフィルタに入力され、高解像度デプスマップが生成される。
【００７３】
［測距モジュールの動作例］
図１０は、本技術の第１の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。この動作は、例えば、測距を開始させるための操作が行われたときに開始される。
【００７４】
測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成する（ステップＳ９０１）。そして、測距モジュール１００は、画素加算により画素ブロックごとに低解像度電荷信号ｑ１乃至ｑ４を生成する（ステップＳ９０２）。次いで、測距モジュール１００は、低解像度電荷信号ｑ１乃至ｑ４から低解像度デプスマップを生成する（ステップＳ９０３）。
【００７５】
また、測距モジュール１００は、電荷信号Ｑ１乃至Ｑ４から赤外線画像データを生成し（ステップＳ９０４）、低解像度電荷信号ｑ１乃至ｑ４から低解像度赤外線画像データを生成する（ステップＳ９０５）。そして、測距モジュール１００は、低解像度デプスマップと、赤外線画像データと、低解像度赤外線画像データとをクロスバイラテラルフィルタに入力して高解像度デプスマップを生成する（ステップＳ９０６）。
【００７６】
そして、測距モジュール１００は、測距を終了させるための操作などにより測距が終了したか否かを判断する（ステップＳ９０７）。測距が終了していない場合に（ステップＳ９０７：Ｎｏ）測距モジュール１００は、ステップＳ９０１以降を繰り返し実行する。一方、測距が終了した場合に（ステップＳ９０７：Ｙｅｓ）測距モジュール１００は、デプスマップを生成する動作を終了する。
【００７７】
このように、本技術の第１の実施の形態によれば、測距モジュール１００は、電荷信号から赤外線画像データを生成して、その赤外線画像データと電荷信号とから高解像度デプスマップを生成するため、デプスマップの画質を向上させることができる。また、この赤外線画像データは、ＴｏＦセンサ２００が出力した電荷信号から生成されるため、赤外線画像データを撮像する固体撮像素子を追加する必要は無い。このため、固体撮像素子をさらに設ける構成と比較して、測距モジュール１００のコストやサイズの増大を抑制することができる。さらに、固体撮像素子を追加する構成では、ＴｏＦセンサと固体撮像素子とを同じ位置に配置することは物理的に不可能であるため、これらに微小な位置ずれが生じて、その位置ずれの補正が必要となってしまう。これに対して、ＴｏＦセンサのみを用いる構成では、そのような補正が不要となる。
【００７８】
［変形例］
上述の第１の実施の形態では、測距モジュール１００は、電荷信号の積分により、赤外線画像データを生成していたが、ＴｏＦセンサ２００が時分割で、電荷信号の生成と、赤外線画像データの撮像とを行ってもよい。この第１の実施の形態の変形例の測距モジュール１００は、ＴｏＦセンサ２００が時分割で、電荷信号の生成と赤外線画像データの撮像とを行う点において第１の実施の形態と異なる。
【００７９】
図１１は、本技術の第１の実施の形態の変形例における発光制御部１２０の動作の一例を示すタイミングチャートである。第１の実施の形態の変形例において、垂直同期信号ＶＳＹＮＣの周波数ｆＶＳＹＮＣの逆数である１Ｖ間隔は、ＴｏＦ駆動期間と画像撮像期間とに分割される。発光制御部１２０は、ＴｏＦ駆動期間において発光制御信号ＣＬＫｐを生成し、その信号に同期して発光部１１０は間欠的に発光する。一方、画像撮像期間において、発光制御部１２０は、発光制御信号ＣＬＫｐを停止し、発光部１１０は、発光を停止する。発光制御信号ＣＬＫｐが停止するため、図３に例示した画素２３０において、転送スイッチ２３２の切り替えは行われず、電荷蓄積部２３３および２３４の一方のみに電荷が蓄積される。
【００８０】
また、ＴｏＦセンサ２００は、ＴｏＦ駆動期間において間欠光を受光して電荷信号Ｑ１乃至Ｑ４を生成し、画像撮像期間において連続的な赤外光を受光して赤外線画像データを生成する。
【００８１】
図１２は、本技術の第１の実施の形態の変形例における測距演算部３００の一構成例を示すブロック図である。この第１の実施の形態の変形例の測距演算部３００は、赤外線画像生成部３１０の代わりに、赤外線画像出力部３１１を備え、スイッチ３１５および切替え制御部３１６をさらに備える点において第１の実施の形態と異なる。
【００８２】
切替え制御部３１６は、ＴｏＦセンサ２００からのデータの出力先を切り替えるものである。この切替え制御部３１６は、ＴｏＦ駆動期間においてＴｏＦセンサ２００からの電荷信号Ｑ１乃至Ｑ４の出力先をデプスマップ生成部３２０に切り替える。一方、画像撮像期間において切替え制御部３１６は、ＴｏＦセンサ２００からの赤外線画像データの出力先を赤外線画像生成部３１１および外部へ切り替える。
【００８３】
赤外線画像出力部３１１は、ＴｏＦセンサ２００からの赤外線画像データに対して必要に応じて各種の画像処理を行い、高解像度デプスマップ生成部３２４に出力するものである。
【００８４】
このように、本技術の第１の実施の形態の第１の変形例によれば、ＴｏＦセンサ２００が、電荷信号の生成と赤外線画像データの撮像とを時分割で行うため、電荷信号を積分せずに赤外線画像データを生成することができる。
【００８５】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、低解像度デプスマップをクロスバイラテラルフィルタによりアップサンプリングしていたが、その代わりに低解像度電荷信号をアップサンプリングすることもできる。この第２の実施の形態の測距モジュール１００は、低解像度電荷信号をアップサンプリングする点において第１の実施の形態と異なる。
【００８６】
図１３は、本技術の第２の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第２の実施の形態の測距演算部３００は、デプスマップ生成部３２０の代わりにデプスマップ生成部３３０を備える。このデプスマップ生成部３３０は、低解像度電荷信号生成部３３１、低解像度赤外線画像生成部３３２、高解像度電荷信号生成部３３３およびデプス変換部３３４を備える。
【００８７】
低解像度電荷信号生成部３３１および低解像度赤外線画像生成部３３２の構成は、第１の実施の形態の低解像度電荷信号生成部３２１および低解像度赤外線画像生成部３２３と同様である。
【００８８】
高解像度電荷信号生成部３３３は、低解像度電荷信号ｑ１乃至ｑ４と、低解像度赤外線画像データと、低赤外線画像データとから、画素毎に新たな電荷信号Ｑ１ｒ乃至Ｑ４ｒを高解像度電荷信号として生成するものである。高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒは、例えば次の式に示すクロスバイラテラルフィルタにより演算される。
【数３】
2018036102.tif 000005
【数４】
2018036102.tif 000006
【数５】
2018036102.tif 000007
【数６】
2018036102.tif 000008
上式においてｑ１（ｖ）乃至ｑ４（ｖ）は、座標ｖの低解像度電荷信号である。また、Ｑ１ｒ（ｕ）乃至Ｑ４ｒ（ｕ）は、座標ｕの高解像度電荷信号である。高解像度電荷信号生成部３３３は、演算した高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒをデプス変換部３３４に供給する。
【００８９】
上述のように、第１の実施の形態では、低解像度デプスマップがクロスバイラテラルフィルタによりアップサンプリングされたのに対し、第２の実施の形態では、低解像度電荷信号がクロスバイラテラルフィルタによりアップサンプリングされている。
【００９０】
デプス変換部３３４は、画素ごとに、その画素の高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを距離Ｄ（デプス）に変換するものである。このデプス変換部３３４は、例えば、次の式により距離Ｄを演算する。そしてデプス変換部３３４は、演算した距離Ｄを配列したデプスマップを外部に出力する。
Ｄ＝（ｃ／４πｆ）
×ｔａｎ−１｛（Ｑ３ｒ−Ｑ４ｒ）／（Ｑ１ｒ−Ｑ２ｒ）｝
上式において添字の（ｕ）は省略されている。
【００９１】
なお、高解像度電荷信号生成部３３３は、式３乃至６により高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを演算していたが、これらの式の代わりに次の式により演算してもよい。
【数７】
2018036102.tif 000009
【数８】
2018036102.tif 000010
【００９２】
後段のデプス変換部３３４では、上述したようにＱ１ｒ（ｕ）―Ｑ２ｒ（ｕ）とＱ３ｒ（ｕ）―Ｑ４ｒ（ｕ）とを用いるため、高解像度電荷信号生成部３３３は、上式の演算結果をそのままデプス変換部３３４に供給すればよい。式７および式８を用いることにより、式３乃至式６を用いる場合よりも、計算量を削減することができる。
【００９３】
図１４は、本技術の第２の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、画素ブロックごとに低解像度電荷信号ｑ１乃至ｑ４を生成する（ステップＳ９０２）。そして、測距モジュール１００は、赤外線画像データを生成し（ステップＳ９０４）、低解像度赤外線画像データを生成する（ステップＳ９０５）。
【００９４】
続いて測距モジュール１００は、低解像度電荷信号ｑ１乃至ｑ４と低解像度赤外線画像データと赤外線画像データとをクロスバイラテラルフィルタに入力して高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを生成する（ステップＳ９１１）。そして、測距モジュール１００は、高解像度電荷信号Ｑ１ｒ乃至Ｑ４ｒを距離Ｄに変換してデプスマップを生成して出力する（ステップＳ９１２）。ステップＳ９１２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
【００９５】
このように、本技術の第２の実施の形態によれば、低解像度電荷信号をクロスバイラテラルフィルタに入力して高解像度電荷信号を生成するため、それらの高解像度電荷信号から高解像度デプスマップを生成することができる。
【００９６】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、測距モジュール１００は、画素加算によりノイズ除去を行っていたが、画素加算の代わりに、クロスバイラテラルフィルタによりノイズ除去を行うこともできる。この第３の実施の形態の測距モジュール１００は、クロスバイラテラルフィルタによりノイズ除去を行う点において第１の実施の形態と異なる。
【００９７】
図１５は、本技術の第３の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第３の実施の形態の測距演算部３００は、デプスマップ生成部３２０の代わりにデプスマップ生成部３４０を備える点において第１の実施の形態と異なる。
【００９８】
デプスマップ生成部３４０は、電荷信号ノイズ除去部３４１およびデプス変換部３４２を備える。デプス変換部３４２の構成は、第２の実施の形態のデプス変換部３３４と同様である。
【００９９】
電荷信号ノイズ除去部３４１は、赤外線画像データをガイダンス画像として、電荷信号Ｑ１乃至Ｑ４とともにクロスバイラテラルフィルタに入力し、電荷信号Ｑ１乃至Ｑ４のノイズを除去するものである。電荷信号ノイズ除去部３４１は、ノイズ除去後の電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒをデプス変換部３４２に供給する。これらの電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒは、例えば、次の式に示すクロスバイラテラルフィルタにより演算される。
【数９】
2018036102.tif 000011
【数１０】
2018036102.tif 000012
【数１１】
2018036102.tif 000013
【数１２】
2018036102.tif 000014
【数１３】
2018036102.tif 000015
【０１００】
上式において、ｕは、ノイズ除去後の電荷信号（Ｑ１ｎｒ乃至Ｑ４ｎｒ）が出力される画素の座標である。また、ｕ'は、座標ｕの近傍の画素の座標である。１つの座標ｕに必要な座標ｕ'の個数（フィルタサイズ）は、適宜設定される。例えば、座標ｕを中心とする３×３画素のそれぞれの座標ｕ'が入力される。
【０１０１】
また、ＩＲ（ｕ）は、座標ｕの輝度であり、ＩＲ（ｕ'）は、座標ｕ'の輝度である。ｈ（）は、電荷信号Ｑ１およびＱ２の和と電荷信号Ｑ３およびＱ４の和との差分絶対値が小さいほど大きな重み係数を返す関数である。ｍ（）は、電荷信号Ｑ１（ｕ'）およびＱ２（ｕ'）の差の二乗と電荷信号Ｑ３（ｕ'）およびＱ４（ｕ'）の差の二乗との和の平方根が大きいほど大きな重み係数を返す関数である。
【０１０２】
式９乃至式１３に示すクロスバイラテラルフィルタにより、電荷信号Ｑ１乃至Ｑ４のノイズが除去される。このように、第１の実施の形態では、アップサンプリングにクロスバイラテラルフィルタが用いられたのに対し、第３の実施の形態では、ノイズ除去にクロスバイラテラルフィルタが用いられている。なお、式９乃至式１３においてｈ（）およびｍ（）を乗算しているが、これらの少なくとも一方を「１」に設定してもよい。
【０１０３】
また、式９乃至式１２においてガウス関数ｇ（）は次の式により表される。
【数１４】
2018036102.tif 000016
【０１０４】
上式においてＷu,u'は、次の式により表される位相差ｄＲが大きいほど小さな重み係数を返す関数である。この位相差ｄＲは、座標ｕに対応する電荷信号Ｑ１（ｕ）乃至Ｑ４（ｕ）から得られる位相と、座標ｕ'に対応する電荷信号Ｑ１（ｕ'）乃至Ｑ４（ｕ'）から得られる位相との差である。位相差ｄＲは、例えば、次の式により表される。
ｄＲ＝||Ｒ−Ｒ'||
Ｒ＝ｔａｎ−１（Ｑ３（ｕ）−Ｑ４（ｕ））／（Ｑ１（ｕ）−Ｑ２（ｕ））
Ｒ'＝ｔａｎ−１（Ｑ３（ｕ'）−Ｑ４（ｕ'））／（Ｑ１（ｕ'）−Ｑ２（ｕ'））
【０１０５】
なお、式１４は、関数Ｗu,uを標準偏差に乗算したガウス関数であるが、Ｗu,u'の代わりに「１」を設定した一般的なガウス関数をｇ（）として用いてもよい。
【０１０６】
また、電荷信号ノイズ除去部３４１は、式９乃至１２により電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒを演算していたが、これらの式の代わりに次の式により演算してもよい。
【数１５】
2018036102.tif 000017
【数１６】
2018036102.tif 000018
【０１０７】
式１５および式１６を用いることにより、式９乃至式１２を用いる場合よりも、計算量を削減することができる。
【０１０８】
また、電荷信号ノイズ除去部３４１は、クロスバイラテラルフィルタにより電荷信号のノイズを除去しているが、フィルタ処理以外の処理によりノイズを除去することもできる。例えば、電荷信号ノイズ除去部３４１は、エネルギー最小化問題を解くことにより、ノイズを除去してもよい。この場合には、次の式に示す条件が設定される。
【数１７】
2018036102.tif 000019
【０１０９】
上式において、「ｆｏｒ」以下は、座標ｕが、画素アレイ部２２０の全画素の座標の集合のいずれかであることを示す。式１７の条件下において、次の式を解くことにより、電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒが求められる。
【数１８】
2018036102.tif 000020
【０１１０】
上式におけるＡは、所定の係数である。また、ｄＴｅｒｍは、データ項であり、ｒＴｅｒｍは、スムーズ項である。これらの項は、次の式により表される。
【数１９】
2018036102.tif 000021
【数２０】
2018036102.tif 000022
【数２１】
2018036102.tif 000023
【０１１１】
式２１におけるｎ（ｕ）は、赤外線画像データの座標ｕにおける勾配の方向を示す単位ベクトルであり、ｍ（ｕ）は、ｎ（ｕ）に直交する単位ベクトルである。また、関数Ｔ１／２は、非等方性拡散テンソルである。この非等方性拡散テンソルについては、「D. Ferstl, Image Guided Depth Upsampling Using Anisotropic Total Generalized Variation, ICCV 2013」に記載されている。Ａ、Ｂおよびｒは、所望の定数である。
【０１１２】
図１６は、本技術の第３の実施の形態における関数ｈ（）の一例を示すグラフである。同図における横軸は、電荷信号Ｑ１およびＱ２の和と電荷信号Ｑ３およびＱ４の和との差分絶対値ｄＱを示し、縦軸は、差分絶対値ごとの関数ｈ（）の値を示す。
【０１１３】
ここで、ノイズが生じていない理想的な状況下では、差分絶対値ｄＱは「０」となる。このため、この差分絶対値ｄＱが大きいほど電荷信号Ｑ１（ｕ'）乃至Ｑ４（ｕ'）の信頼性は低いものと考えられる。したがって、関数（ｈ）は、差分絶対値ｄＱが「０」のときに「１」の係数を返し、差分絶対値が大きいほど小さな係数を返す。この重み係数をフィルタで用いることにより、信頼性の低い電荷信号の寄与率を低下させることができる。
【０１１４】
図１７は、本技術の第３の実施の形態における位相平面上の長さＺと関数ｍ（）との一例を示す図である。同図におけるａは、位相空間を示す。同図におけるａの縦軸は、電荷信号Ｑ３（ｕ'）およびＱ４（ｕ'）の差であり、横軸は電荷信号Ｑ１（ｕ'）およびＱ２（ｕ'）の差である。この位相空間において、実線の矢印は、原点から、計測された電荷信号に対応する点までの方向を示すベクトルである。このベクトルと横軸とがなす角度Ｒが、照射光と反射光との位相差を示す。また、点線の矢印は、真の位相差に対応するベクトルである。実線の矢印と、点線の矢印とのなす角度は、真値からの誤差を示す。同図に例示するように、実線の矢印の長さＺが短いほど、誤差が大きくなる傾向がある。長さＺは、例えば、次の式により表される。
Ｚ＝｛（Ｑ１（ｕ'）―Ｑ２（ｕ'））2＋（Ｑ３（ｕ'）―Ｑ４（ｕ'））2｝1/2
【０１１５】
図１７におけるｂは、関数ｍ（）の一例を示す。同図における横軸は長さＺであり、縦軸は、Ｚに対応する関数ｍ（）の値を示す。前述したように、長さＺが短いほど、誤差が大きくなり、信頼性が低下するため、関数（）は、Ｚが大きなほど大きな重み係数を返す。この重み係数をフィルタで用いることにより、信頼性の低い電荷信号の寄与率を低下させることができる。
【０１１６】
図１８は、本技術の第３の実施の形態における関数ｇ（）および関数Ｗu,u'の一例を示す図である。同図におけるａは、式１４で表される関数ｇ（）の一例を示す。同図における横軸は、輝度ＩＲ（ｕ）と輝度ＩＲ（ｕ'）との差分絶対値であり、縦軸は、関数ｇ（）の値である。また、実線の曲線は、Ｗu,u'が「１」以外のときの関数ｇ（）の軌跡を示し、点線の曲線は、Ｗu,u'が「１」のときの関数ｇ（）、すなわち一般的なガウス関数の軌跡を示す。同図に例示するように、Ｗu,u'により、関数ｇ（）の分散を変更することができる。
【０１１７】
図１８におけるｂは、関数Ｗu,u'の一例を示す図である。同図におけるａの横軸は、位相差ｄＲを示し、縦軸は、位相差ｄＲごとの関数Ｗu,u'の値を示す。距離（デプス）と位相Ｒは比例関係にあるため、ノイズ除去後の座標ｕに対応する位相と、ノイズ除去前の座標ｕ'に対応する位相との位相差ｄＲが小さいほど、データの信頼性が高いと考えられる。したがって、位相差ｄＲが「０」のときに関数Ｗu,u'は「１」の係数を返し、位相差ｄＲが大きくなるほど小さな係数を返す。この係数を関数ｇ（）に適用することにより、関数ｇ（）の分散を大きくして信頼性の低いデータの寄与率を小さくすることができる。
【０１１８】
図１９は、本技術の第３の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、赤外線画像データを生成する（ステップＳ９０４）。そして、測距モジュール１００は、クロスバイラテラルフィルタに赤外線画像データと電荷信号Ｑ１乃至Ｑ４とを入力して、電荷信号のノイズを除去する（ステップＳ９２１）。測距モジュールは、ノイズ除去後の電荷信号Ｑ１ｎｒ乃至Ｑ４ｎｒを距離Ｄに変換して出力する（ステップＳ９２２）。ステップＳ９２２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
【０１１９】
このように、本技術の第３の実施の形態によれば、測距モジュール１００は、クロスバイラテラルフィルタにより電荷信号のノイズ除去を行うため、ノイズ除去後の電荷信号から画質の高いデプスマップを生成することができる。
【０１２０】
＜４．第４の実施の形態＞
上述の第３の実施の形態では、測距モジュール１００は、クロスバイラテラルフィルタにより電荷信号のノイズを除去していたが、電荷信号の代わりにデプスマップのノイズを除去することもできる。この第４の実施の形態の測距モジュール１００は、クロスバイラテラルフィルタによりデプスマップのノイズを除去する点において第３の実施の形態と異なる。
【０１２１】
図２０は、本技術の第４の実施の形態における測距演算部３００の一構成例を示すブロック図である。この第４の実施の形態の測距演算部３００は、デプスマップ生成部３４０の代わりにデプスマップ生成部３５０を備える点において第３の実施の形態と異なる。
【０１２２】
デプスマップ生成部３５０は、デプス変換部３５１およびデプスマップノイズ除去部３５２を備える。デプス変換部３５１の構成は、第３の実施の形態のデプス変換部３４２と同様である。
【０１２３】
デプスマップノイズ除去部３５２は、デプスマップと赤外線画像データとをクロスバイラテラルフィルタに入力してデプスマップのノイズを除去するものである。デプスマップノイズ除去部３５２は、ノイズ除去後の距離Ｄｎｒ（デプス）の情報を配列したデプスマップを外部に出力する。この距離Ｄｎｒは、次の式に示すクロスバイラテラルフィルタにより演算される。
【数２２】
2018036102.tif 000024
【数２３】
2018036102.tif 000025
【０１２４】
上述のように、第３の実施の形態ではクロスバイラテラルフィルタにより電荷信号のノイズが除去されていたのに対し、第４の実施の形態ではクロスバイラテラルフィルタによりデプスマップのノイズが除去されている。
【０１２５】
図２１は、本技術の第４の実施の形態における測距モジュール１００の動作の一例を示すフローチャートである。測距モジュール１００は、画素毎に電荷信号Ｑ１乃至Ｑ４を生成し（ステップＳ９０１）、赤外線画像データを生成する（ステップＳ９０４）。そして、測距モジュール１００は、電荷信号Ｑ１乃至Ｑ４を距離Ｄに変換する（ステップＳ９３１）。測距モジュール１００は、デプスマップおよび赤外線画像データをクロスバイラテラルフィルタに入力して、デプスマップのノイズを除去し、出力する（ステップＳ９３２）。ステップＳ９３２の後に測距モジュール１００は、ステップＳ９０７以降を実行する。
【０１２６】
このように、本技術の第４の実施の形態によれば、クロスバイラテラルフィルタによりデプスマップのノイズ除去を行うため、デプスマップの画質を向上させることができる。
【０１２７】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１２８】
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１２９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークI/F(interface)１２０５３が図示されている。
【０１３０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１３１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１３２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１３３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１３４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１３５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【０１３６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１３８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１３９】
図２３は、撮像部１２０３１の設置位置の例を示す図である。
【０１４０】
図２３では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１４１】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１４２】
なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１４３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１４４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１４６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１４７】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２３０３１に適用され得る。具体的には、図１における測距モジュール１００は、図２２の撮像部１２３０３１に適用するすることができる。撮像部１２３０３１に本開示に係る技術を適用することにより、画質の高いデプスマップを得ることができるため、そのデプスマップを用いて車両を正確に制御することができる。
【０１４８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５０】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１５１】
なお、本技術は以下のような構成もとることができる。
（１）所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部と、
前記複数の画素のそれぞれの受光データに基づいて所定の連続光の輝度を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成部と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成部と
を具備する測距装置。
（２）前記受光データのそれぞれは、複数の電荷信号を含み、
前記連続光画像データ生成部は、前記複数の画素のそれぞれについて前記複数の電荷信号を積分する処理により前記連続光画像データを生成する
前記（１）記載の測距装置。
（３）前記デプスマップ生成部は、前記複数の電荷信号と前記連続光画像データとを入力した所定の関数が最小になるときの電荷信号を取得して当該電荷信号から前記デプスマップを生成する
前記（１）記載の測距装置。
（４）前記デプスマップ生成部は、所定のフィルタを用いて前記デプスマップを生成する
前記（１）記載の測距装置。
（５）前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記低解像度電荷信号に基づいて前記複数の画素ブロックのそれぞれに対応する距離情報を配列したデータを低解像度デプスマップとして生成する低解像度デプスマップ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度デプスマップとを前記所定のフィルタに入力して前記デプスマップを生成する高解像度デプスマップ生成部と
を備える前記（４）記載の測距装置。
（６）前記画素アレイ部は、複数の画素ブロックに分割され、
前記デプスマップ生成部は、
前記受光データに対する画素加算により前記複数の画素ブロックのそれぞれについて複数の電荷信号を低解像度電荷信号として生成する低解像度電荷信号生成部と、
前記複数の画素ブロックのそれぞれについて前記低解像度電荷信号を積分して当該積分値に応じたデータを配列した低解像度連続光画像データを出力する低解像度連続光画像データ生成部と、
前記連続光画像データと前記低解像度連続光画像データと前記低解像度電荷信号とを前記所定のフィルタに入力して前記複数の画素のそれぞれについて新たな電荷信号を高解像度電荷信号として生成する高解像度電荷信号生成部と、
前記高解像度電荷信号を前記距離情報に変換するデプス変換部と
を備える前記（４）記載の測距装置。
（７）前記デプスマップ生成部は、
前記複数の電荷信号とを前記距離情報に変換するデプス変換部と、
前記距離情報と前記連続光画像データとを前記所定のフィルタに入力して前記距離情報のノイズを除去するデプスマップノイズ除去部と
を備える前記（４）記載の測距装置。
（８）前記デプスマップ生成部は、
前記連続光画像データと前記複数の電荷信号とを前記所定のフィルタに入力して前記複数の電荷信号のノイズを除去する電荷信号ノイズ除去部と、
前記ノイズが除去された前記複数の電荷信号を前記距離情報に変換するデプス変換部と
を備える前記（４）記載の測距装置。
（９）前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の和と前記第３および第４の電荷信号の和との差分絶対値が大きいほど小さな重み係数に所定のガウス関数を乗算したフィルタである
前記（８）記載の測距装置。
（１０）前記複数の電荷信号は、第１、第２、第３および第４の電荷信号を含み、
前記所定のフィルタは、前記第１および第２の電荷信号の差の二乗と前記第３および第４の電荷信号の差の二乗との和が大きいほど大きな重み係数に所定のガウス関数を乗算したフィルタである
前記（８）または（９）に記載の測距装置。
（１１）前記所定のフィルタは、ノイズを除する前の前記間欠光の位相とノイズを除去した後の前記間欠光の位相との差が小さいほど大きな係数を標準偏差の項に乗算したガウス関数を含む
前記（８）から（１０）のいずれかに記載の測距装置。
（１２）前記画素アレイ部は、所定の期間内に前記所定の間欠光を受光し、前記所定の期間と異なる連続光受光期間内に前記所定の連続光を受光し、
前記連続光画像データ生成部は、前記連続光受光期間内の前記受光データから前記連続光画像データを生成する
前記（１）記載の測距装置。
（１３）所定の間欠光を受光する複数の画素が二次元格子状に配列された画素アレイ部内の前記複数の画素のそれぞれの受光データに基づいて所定の連続光の受光量を示す複数の画素データを二次元格子状に配列した連続光画像データを生成する連続光画像データ生成手順と、
前記複数の画素のそれぞれに対応する距離情報を配列したデプスマップを前記受光データおよび前記連続光画像データから生成するデプスマップ生成手順と
を具備する測距装置の制御方法。
【符号の説明】
【０１５２】
１００  測距モジュール
１１０  発光部
１２０  発光制御部
２００  ＴｏＦセンサ
２１０  行走査回路
２２０  画素アレイ部
２３０  画素
２３１  受光素子
２３２  転送スイッチ
２３３、２３４  電荷蓄積部
２３５、２３６  選択スイッチ
２４０  タイミング制御部
２５０  ＡＤ変換部
２６０  列走査回路
２７０  信号処理部
３００  測距演算部
３１０、３１１  赤外線画像生成部
３１５  スイッチ
３１６  切替え制御部
３２０、３３０、３４０、３５０  デプスマップ生成部
３２１、３３１  低解像度電荷信号生成部
３２２  低解像度デプスマップ生成部
３２３、３３２  低解像度赤外線画像生成部
３２４  高解像度デプスマップ生成部
３３３  高解像度電荷信号生成部
３３４、３４２、３５１  デプス変換部
３４１  電荷信号ノイズ除去部
３５２  デプスマップノイズ除去部
１２０３１  撮像部
【図１】
2018036102.tif 000026
【図２】
2018036102.tif 000027
【図３】
2018036102.tif 000028
【図４】
2018036102.tif 000029
【図５】
2018036102.tif 000030
【図６】
2018036102.tif 000031
【図７】
2018036102.tif 000032
【図８】
2018036102.tif 000033
【図９】
2018036102.tif 000034
【図１０】
2018036102.tif 000035
【図１１】
2018036102.tif 000036
【図１２】
2018036102.tif 000037
【図１３】
2018036102.tif 000038
【図１４】
2018036102.tif 000039
【図１５】
2018036102.tif 000040
【図１６】
2018036102.tif 000041
【図１７】
2018036102.tif 000042
【図１８】
2018036102.tif 000043
【図１９】
2018036102.tif 000044
【図２０】
2018036102.tif 000045
【図２１】
2018036102.tif 000046
【図２２】
2018036102.tif 000047
【図２３】
2018036102.tif 000048