(57)【要約】【課題】デプス画像の取得性能の向上を図る。【解決手段】デプス画像取得装置は、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する発光ダイオードと、発光ダイオードから照射された光が検出領域にある物体に反射して入射する光を受光して、デプス画像を生成するための信号を出力するTOFセンサと、TOFセンサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、その通過帯域以外の波長の光よりも多く通過させるフィルタとを備え、発光ダイオードまたはTOFセンサの温度に従って、発光ダイオードと、TOFセンサと、フィルタの配置とのうち、少なくともいずれか１つが制御される。本技術は、例えば、TOF方式でデプス画像を取得するシステムに適用できる。【選択図】図１０
2019078748.tif 000002
【特許請求の範囲】
【請求項１】
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、
前記光源または前記センサの環境情報を取得する環境センサと、
前記環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部と
を備えるデプス画像取得装置。
【請求項２】
前記環境センサは、前記光源の温度を取得する温度センサである
請求項１に記載のデプス画像取得装置。
【請求項３】
前記連動制御部は、前記環境情報に従って、前記光源が照射する光の波長、および、前記フィルタの通過帯域のうちの、少なくとも一方を、他方に連動させて選択する制御を実行する
請求項１に記載のデプス画像取得装置。
【請求項４】
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
請求項２に記載のデプス画像取得装置。
【請求項５】
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタのうちの少なくともいずれか１つを選択する
請求項２に記載のデプス画像取得装置。
【請求項６】
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記複数のフィルタが前記センサの受光面に対して積層して配置されており、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタが配置されている複数の領域のうち少なくともいずれか１つを選択して前記信号を出力するように前記センサに対する制御を行う
請求項２に記載のデプス画像取得装置。
【請求項７】
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの受光面の縦幅に応じた長さ、かつ、横幅を前記所定数の２倍の数で等分割するような幅となる矩形形状で、前記センサの受光面の横方向に交互に配置されている
請求項６に記載のデプス画像取得装置。
【請求項８】
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの複数の画素が矩形に配置された分割領域ごとに、前記センサの受光面の縦方向および横方向に交互に配置されている
請求項６に記載のデプス画像取得装置。
【請求項９】
前記第１のフィルタが配置されている前記分割領域に対応する前記デプス画像と、前記第２のフィルタが配置されている前記分割領域に対応する前記デプス画像とのうち、正常に取得することができた一方の前記デプス画像から、正常に取得することができなかった他方の前記デプス画像を復元する
請求項８に記載のデプス画像取得装置。
【請求項１０】
前記センサは、前記連動制御部により選択されなかった前記フィルタが配置されている領域の画素からの前記信号を読み出すのに用いる素子の駆動を停止する
請求項６に記載のデプス画像取得装置。
【請求項１１】
前記光源の近傍に前記センサが配置され、前記センサが有する複数の画素のうち、前記光源の温度の上昇に対応させて、ダミー動作を行わせる前記画素の個数を減少させ、前記光源の温度の低下に対応させて、ダミー動作を行わせる前記画素の個数を増加させる
請求項２に記載のデプス画像取得装置。
【請求項１２】
前記センサから出力される信号から生成される前記デプス画像に基づいて、前記検出領域にある所定の対象物が検出されると、前記所定の対象物を検出したことを外部に通知する通知手段に対して、前記所定の対象物を検出したことを示す信号を供給する
請求項１に記載のデプス画像取得装置。
【請求項１３】
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタを有し、
前記複数のフィルタが、前記センサの受光面側にモジュールとして外付けで配置される
請求項１に記載のデプス画像取得装置。
【請求項１４】
前記連動制御部は、前記複数の光源のうち、選択された光源から前記光を照射させ、選択されなかった光源からの照射を停止させる
請求項４に記載のデプス画像取得装置。
【請求項１５】
前記光源は、100度の温度変化に応じて所定の変動幅の波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、前記所定の変動幅よりも狭い
請求項４に記載のデプス画像取得装置。
【請求項１６】
前記光源は、100度の温度変化に応じて少なくとも10nmの波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、10nm未満である
請求項１５に記載のデプス画像取得装置。
【請求項１７】
前記所定の通過帯域の中心波長は、920nm乃至960nmの間である
請求項１に記載のデプス画像取得装置。
【請求項１８】
前記フィルタは、前記所定の通過帯域の波長の光を60%以上透過し、前記所定の通過帯域以外の波長の光を30%未満透過する
請求項１に記載のデプス画像取得装置。
【請求項１９】
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと
を備えるデプス画像取得装置が、
前記光源または前記センサの環境情報を取得することと、
前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することと
を含むデプス画像取得装置の制御方法。
【請求項２０】
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源、
または、前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサ
の環境情報を取得する環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部
を備えるデプス画像取得システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デプス画像取得装置、制御方法、およびデプス画像取得システムに関し、特に、デプス画像の取得性能の向上を図ることができるようにしたデプス画像取得装置、制御方法、およびデプス画像取得システムに関する。
【背景技術】
【０００２】
従来、光飛行時間に基づいて距離を測定するTOF（Time Of Flight）方式には、パルス波を利用して直接的に計測される光飛行時間から距離を測定する直接TOF方式と、変調光の位相を利用して間接的に算出される光飛行時間から距離を測定する間接TOF方式とがある。
【０００３】
ところで、間接TOF方式または直接TOF方式を採用してデプス画像を取得するシステムは、屋外において距離を測定する際に太陽光などの外乱光の影響を受けやすいため、デプス画像の精度が低下することがあった。そのため、光源から照射される光が一定の強度である場合、外乱光の影響によって、十分な精度のデプス画像を取得することができる距離（以下、取得距離と称する）が大幅に低下してしまうことがあった。
【０００４】
例えば、特許文献１には、光源から出射する照明光と検出器が検出する反射光との位相差に基づいて距離を測定する測距装置において、光源から出射される照明光の波長を1290〜1330ｎｍに限定することで、外乱光の影響を抑制する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−３５３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１に開示されているように、外乱光の影響を抑制する技術が提案されているが、さらに外乱光の影響を効果的に抑制し、より高精度なデプス画像を取得可能な取得距離を長距離化して、デプス画像の取得性能を向上させることが求められている。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、デプス画像の取得性能の向上を図ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面のデプス画像取得装置は、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、前記光源または前記センサの環境情報を取得する環境センサと、前記環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部とを備える。
【０００９】
本開示の一側面の制御方法は、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタとを備えるデプス画像取得装置が、前記光源または前記センサの環境情報を取得することと、前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することとを含む。
【００１０】
本開示の一側面のデプス画像取得システムは、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源、または、前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサの環境情報を取得する環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部を備える。
【００１１】
本開示の一側面においては、光源から、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光が照射され、センサにより、光源から照射された光が検出領域にある物体に反射して入射する光が受光されて、デプス画像を生成するための信号が出力され、フィルタにより、センサに向かって入射してくる光のうち、所定の通過帯域の波長の光が、所定の通過帯域以外の波長の光よりも多く通過される。また、光源またはセンサの環境情報を取得する環境センサによって取得された環境情報に従って、光源と、センサと、フィルタの配置とのうち、少なくともいずれか１つが制御される。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用したデプス画像取得装置の第１の実施の形態の構成例を示すブロック図である。
【図２】屋外において観測される光の波長と照度との関係を示す図である。
【図３】デプス画像取得装置を車両で利用する利用例について説明する図である。
【図４】デプス画像取得装置の第２の実施の形態の構成例を示すブロック図である。
【図５】デプス画像取得装置の第３の実施の形態の構成例を示すブロック図である。
【図６】光源分光特性と温度変化について説明する図である。
【図７】フィルタの通過帯域と２つの光源の特性との関係について説明する図である。
【図８】デプス画像取得装置の第４の実施の形態の構成例を示すブロック図である。
【図９】２つのフィルタと光源の特性との関係について説明する図である。
【図１０】デプス画像取得装置の第５の実施の形態の構成例を示すブロック図である。
【図１１】２つのフィルタを用いる構成における配置例を示す図である。
【図１２】４つのフィルタを用いる構成における配置例を示す図である。
【図１３】８つのフィルタを用いる構成における配置例を示す図である。
【図１４】図１３に示す配置例のTOFセンサの利用例を説明する図である。
【図１５】所定数の画素ごとに交互にフィルタを配置する配置例を示す図である。
【図１６】デプス画像の復元について説明する図である。
【図１７】フィルタを狭帯域化することによるＳＮ比の向上について説明する図である。
【図１８】発光ダイオードの温度を一定に維持するための制御について説明する図である。
【図１９】デプス画像取得装置の利用例について説明する図である。
【図２０】デプス画像取得装置の利用例について説明する図である。
【図２１】デプス画像取得装置の利用例について説明する図である。
【図２２】デプス画像取得装置の利用例について説明する図である。
【図２３】TOFセンサの断面的な構造を示す図である。
【図２４】TOFセンサの構成例を示すブロック図である。
【図２５】画素の行方向および列方向に交互にフィルタを配置する配置例を示す図である。
【図２６】画素の列方向に交互にフィルタを配置する配置例を示す図である。
【図２７】画素の行方向に交互にフィルタを配置する配置例を示す図である。
【図２８】左右に二分割するようにフィルタを配置する配置例を示す図である。
【図２９】上下に二分割するようにフィルタを配置する配置例を示す図である。
【図３０】ベイヤ配列と組み合わせてフィルタを配置する配置例を示す図である。
【図３１】モジュール配置による構成のTOFセンサの断面的な構造を示す図である。
【図３２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図３３】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３４】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図３５】本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【図３６】積層型の固体撮像装置23020の第１の構成例を示す断面図である。
【図３７】積層型の固体撮像装置23020の第２の構成例を示す断面図である。
【図３８】積層型の固体撮像装置23020の第３の構成例を示す断面図である。
【図３９】本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
＜デプス画像取得装置の第１の構成例＞
図１は、本技術を適用したデプス画像取得装置の第１の実施の形態の構成例を示すブロック図である。
【００１５】
図１において、デプス画像取得装置１１は、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。
【００１６】
光変調部２１は、発光ダイオード２２から出力される光を、例えば、10MHz程度の高周波で変調させるための変調信号を、発光ダイオード２２に供給する。また、光変調部２１は、発光ダイオード２２の光が変調するタイミングを示すタイミング信号を、TOFセンサ２６および同期処理部２８に供給する。
【００１７】
発光ダイオード２２は、光変調部２１から供給される変調信号に従って、例えば、赤外光などのような不可視域の光を高速で変調させながら発光し、その光を、デプス画像取得装置１１がデプス画像を取得して距離を検出する領域となる検出領域に向かって照射する。なお、本実施の形態では、検出領域に向かって光を照射する光源を、発光ダイオード２２として説明するが、レーザダイオードなど他の光源を用いてもよい。
【００１８】
また、発光ダイオード２２は、後述するTOFセンサ２６と隣接して配置されても良い。この構成により、発光した光が物体に反射してデプス画像取得装置１１に戻ってくる際の、往きと帰りの経路差が最少となり、測距誤差を低減することができる。さらに、発光ダイオード２２とTOFセンサ２６とは、１つの筐体で一体的に形成されても良い。この構成により、発光した光が物体に反射してデプス画像取得装置１１に戻ってくる際の、往きと帰りの経路のばらつきを抑えることができ、測距誤差を低減することができる。
【００１９】
投光レンズ２３は、発光ダイオード２２から照射される光が所望の照射角度となるように、光の配光を調節するレンズにより構成される。
【００２０】
受光レンズ２４は、発光ダイオード２２から光が照射される検出領域を視野に収めるレンズにより構成され、検出領域にある物体で反射した光を、TOFセンサ２６のセンサ面に結像させる。
【００２１】
フィルタ２５は、所定の帯域の光のみを通過させるBPF（Band Pass Filter）であり、検出領域にある物体で反射してTOFセンサ２６に向かって入射してくる光のうち、所定の通過帯域の光のみを通過させる。例えば、フィルタ２５は、通過帯域の中心波長が920nm~960nmの間に設定され、その通過帯域の光を、通過帯域以外の波長の光よりも多く通過させる。具体的には、フィルタ２５において、通過帯域の波長の光は60%以上透過し、通過帯域以外の波長の光は30%未満透過する。
【００２２】
また、フィルタ２５が光を通過させる通過帯域は、従来のTOF方式で用いられていたフィルタの通過帯域よりも狭く、発光ダイオード２２から照射される光の波長に対応した狭帯域に限定される。例えば、発光ダイオード２２から照射される光の波長が940nmである場合、その波長に連動して、フィルタ２５の通過帯域として、940nmを中心とした前後10ｎｍの帯域（930~950nm）が採用される。
【００２３】
このようなフィルタ２５の通過帯域により、TOFセンサ２６が太陽の外乱光の影響を抑えつつ照射光を検出することができる。なお、フィルタ２５の通過帯域はこれに限定されず、所定波長を中心とした前後15ｎｍ以下の帯域であってもよい。また、フィルタ２５の通過帯域として、TOFセンサ２６が最も特性の良い波長帯である850nmを中心とした前後10ｎｍの帯域（840~860nm）が採用されても良い。これにより、TOFセンサ２６が効果的に照射光を検出することができる。
【００２４】
TOFセンサ２６は、発光ダイオード２２から照射される光の波長域に感度を有する撮像素子により構成され、受光レンズ２４によって集光されてフィルタ２５を通過した光を、センサ面にアレイ状に配置される複数の画素により受光する。図示するように、TOFセンサ２６は、発光ダイオード２２の近傍に配置され、発光ダイオード２２により光が照射される検出領域にある物体で反射した光を受光することができる。そして、TOFセンサ２６は、それぞれの画素が受光した光の光量を、デプス画像を生成するための画素値とした画素信号を出力する。TOFセンサ２６の具体的な構成としては、例えば、SPAD（single photon avalanche diode）、APD（Avalanche Photo Diode）やCAPD(Current Assisted Photonic Demodulator)などの種々のセンサを適用可能である。
【００２５】
画像記憶部２７は、TOFセンサ２６から出力される画素信号により構築される画像を記憶する。例えば、画像記憶部２７は、検出領域内で変化があったときの最新の画像を記憶したり、検出領域内に物体が存在していない状態の画像を背景画像として記憶したりすることができる。
【００２６】
同期処理部２８は、光変調部２１から供給されるタイミング信号に同期して、TOFセンサ２６から供給される画素信号のうち、発光ダイオード２２が照射した変調光に対応する反射光を受光したタイミングの画素信号を抽出する処理を行う。これにより、同期処理部２８は、発光ダイオード２２から照射され、検出領域にある物体で反射した光を主成分とするタイミングの画素信号のみを距離情報演算部２９に供給することができる。また、同期処理部２８は、例えば、画像記憶部２７に記憶されている背景画像を読み出し、TOFセンサ２６から供給される画素信号により構築される画像との差分を求めることで、検出領域において動きのある物体のみからなる画素信号を生成することができる。なお、同期処理部２８は必須の構成ではなく、TOFセンサ２６から供給される画素信号を距離情報演算部２９に直接供給してもよい。
【００２７】
距離情報演算部２９は、同期処理部２８またはTOFセンサ２６から供給される画素信号に基づいて、それぞれの画素ごとに検出領域内にある物体までの距離を求める演算を行い、その演算により求められる距離を示すデプス信号をデプス画像生成部３０に供給する。
【００２８】
具体的には、間接TOF方式の場合、距離情報演算部２９は、発光ダイオード２２が発光した光の位相と、発光ダイオード２２から照射された光が物体で反射してTOFセンサ２６の画素に入射した光の位相との位相差に基づいて、検出領域内にある物体までの距離を求める演算を行う。また、直接TOF方式の場合、距離情報演算部２９は、発光ダイオード２２が光を発光してからTOFセンサ２６の各画素が光を受光するまでの時間を各画素ごとに複数回（例えば、数千〜数万回）計測し、計測された時間に対応するヒストグラムを作成する。そして、距離情報演算部２９は、当該ヒストグラムのピークを検出することで、発光ダイオード２２から照射された光が物体で反射し戻ってくるまでの時間を判定する。そして、距離情報演算部２９は、判定された時間と光速に基づいて、物体までの距離を求める演算を行う。
【００２９】
デプス画像生成部３０は、距離情報演算部２９から供給されるデプス信号から、被写体までの距離が画素の配置に従って並べられたデプス画像を生成し、そのデプス画像を後段の処理装置（図示せず）に出力する。
【００３０】
このように構成されるデプス画像取得装置１１では、上述したように、発光ダイオード２２から照射される光の波長に対応して、通過帯域が狭帯域に限定された狭帯域のフィルタ２５が採用されている。これにより、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。即ち、デプス画像取得装置１１では、TOFセンサ２６が、ノイズ成分となる外乱光と比較して、測定に必要な信号成分である光を多く受光することができ、取得されるデプス画像のＳＮ比（Signal to Noise Ratio）を改善することができる。
【００３１】
従って、デプス画像取得装置１１は、外乱光の影響を受けるような環境であっても、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。
【００３２】
例えば、図２には、屋外において観測される光の波長と照度との関係が示されており、屋外では一般的に、波長940ｎｍの付近の光の照度が低下している。従って、デプス画像取得装置１１は、波長940nmの光を発光する発光ダイオード２２を使用し、それに連動して、940nmを中心とした前後10ｎｍの通過帯域のフィルタ２５を採用することで、外乱光の影響を抑制する効果を向上させることができる。これにより、デプス画像取得装置１１は、例えば、図３に示すように車両に搭載するような利用においても、高精度なデプス画像を取得することができる。
【００３３】
図３には、デプス画像取得装置１１を車両で利用する利用例が示されている。図示するように、デプス画像取得装置１１は、車両のサイドミラーに内蔵され、車両の側方から下方に向かうようなデプス画像を取得するように取り付けられる。これにより、デプス画像取得装置１１は、ハッチングが施されている領域に光を照射して、破線の矢印で示されている距離を検出することができる。このように、デプス画像取得装置１１を車両で利用して、屋外において使用される場合でも、デプス画像取得装置１１は、外乱光の影響を抑制して、道路縁石または白線までの距離を高精度に検出可能なデプス画像を取得することができる。
【００３４】
＜デプス画像取得装置の第２の構成例＞
図４は、本技術を適用したデプス画像取得装置の第２の実施の形態の構成例を示すブロック図である。なお、図４に示すデプス画像取得装置１１Ａにおいて、図１のデプス画像取得装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００３５】
即ち、デプス画像取得装置１１Ａは、図１のデプス画像取得装置１１と同様に、光変調部２１、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。
【００３６】
さらに、デプス画像取得装置１１Ａは、２つの発光ダイオード２２−１および２２−２、並びに、投光レンズ２３−１および２３−２を備えて構成される。つまり、図１のデプス画像取得装置１１は、１組の発光ダイオード２２および投光レンズ２３を備えていたのに対し、デプス画像取得装置１１Ａは、２組の発光ダイオード２２および投光レンズ２３を備えている。
【００３７】
発光ダイオード２２−１および２２−２は、それぞれ異なる波長の光を発光することができる。例えば、発光ダイオード２２−１は波長970ｎｍの光を発光し、発光ダイオード２２−２は波長945ｎｍの光を発光する。そして、デプス画像取得装置１１Ａは、フィルタ２５の通過帯域に連動させて、発光ダイオード２２−１および２２−２のいずれか一方が、光を照射するものとして採用される構成となっている。
【００３８】
例えば、デプス画像取得装置１１Ａは、外乱光の影響を抑制することができるように狭帯域のフィルタ２５を採用している。従って、デプス画像取得装置１１Ａは、それぞれ異なる波長域の光を発光する発光ダイオード２２−１および２２−２のうち、フィルタ２５の通過帯域に適した光を発光する一方を採用して、光変調部２１から変調信号が供給される。これにより、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分（発光ダイオード２２−１および２２−２のうち、採用された一方の波長の光）を多く通過させることができ、TOFセンサ２６は、デプス画像のＳＮ比を改善することができる。
【００３９】
従って、デプス画像取得装置１１Ａは、狭帯域のフィルタ２５により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、本実施の形態に限定されず、発光ダイオード２２を３つ以上備える構成としても良い。３つ以上の発光ダイオード２２を備える場合は、それぞれ異なる波長の光を発光することで、より狭帯域のフィルタ２５を用いることができ、太陽光などの外乱光による影響を更に抑制することができる。
【００４０】
＜デプス画像取得装置の第３の構成例＞
図５は、本技術を適用したデプス画像取得装置の第３の実施の形態の構成例を示すブロック図である。なお、図５に示すデプス画像取得装置１１Ｂにおいて、図４のデプス画像取得装置１１Ａと共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００４１】
即ち、デプス画像取得装置１１Ｂは、図４のデプス画像取得装置１１Ａと同様に、光変調部２１、２つの発光ダイオード２２−１および２２−２、投光レンズ２３−１および２３−２、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、並びに、デプス画像生成部３０を備えて構成される。
【００４２】
これに加えて、デプス画像取得装置１１Ｂは、連動制御部３１を備えて構成されており、デプス画像取得装置１１Ｂの外部に設けられる環境センサ４１が周辺環境をセンシングして得られるセンサ情報（環境情報）が、連動制御部３１に供給される。そして、連動制御部３１は、環境センサ４１によって取得されたセンサ情報に従って、後述するように、発光ダイオード２２と、TOFセンサ２６と、フィルタ２５の配置とのうち、少なくともいずれか１つを制御する。
【００４３】
例えば、環境センサ４１として、デプス画像取得装置１１Ｂの周辺環境の温度を検出する温度センサを用いる場合、環境センサ４１は、デプス画像取得装置１１Ｂの周辺環境、特に、発光ダイオード２２またはTOFセンサ２６の温度を示すセンサ情報を取得して、連動制御部３１に供給する。もちろん、環境センサ４１として温度センサ以外にも、照度センサなどの各種のセンサを用いてもよく、環境センサ４１がデプス画像取得装置１１Ｂに組み込まれた構成であってもよい。さらには、環境センサ４１が発光ダイオード２２−１および２２−２の筐体内に組み込まれた構成であっても良い。このような構成とした場合、より正確に発光ダイオード２２−１および２２−２の温度を検出することが可能となる。
【００４４】
このようにデプス画像取得装置１１Ｂは構成されており、連動制御部３１は、環境センサ４１から供給されるセンサ情報を取得し、そのセンサ情報に従って、フィルタ２５の通過帯域に連動させて、発光ダイオード２２−１および２２−２のうちの一方を選択する制御を実行する。そして、連動制御部３１は、選択した一方の発光ダイオード２２から光を照射させ、選択されなかった他方の発光ダイオード２２からの照射を停止させる。
【００４５】
例えば、発光ダイオード２２−１および２２−２は、図６に示すようなピークを有する光源分光特性を備えている。図６には、波長855ｎｍを中心とした光を発光する光源の光源分光特性の一例が示されている。図示するように、この光源は、温度変化が100度増加すると、+10ｎｍの波長シフトが発生するような温度特性を有している。
【００４６】
このような温度特性があることより、例えば、１つの光源のみを用いる構成では、光源の温度変化による波長シフトに対応するために、通過帯域が広帯域（例えば、940±50ｎｍ）に設定されているフィルタを選定する必要がある。その結果、太陽光などの外乱光の影響を受け易くなることよりＳＮ比が悪化してしまい、測定精度が低下することになっていた。
【００４７】
そこで、デプス画像取得装置１１Ｂでは、温度変化による波長シフトが発生しても、それぞれの温度において使用される光の波長がフィルタ２５の通過帯域に対応するように、発光ダイオード２２−１および２２−２のいずれか一方が選択される。
【００４８】
例えば、図７に示すように、フィルタ２５の通過帯域（Pass bandwidth）が設定されている場合、温度125度の環境においてフィルタ２５の通過帯域の光を発光するような発光ダイオード２２−１と、温度25度の環境においてフィルタ２５の通過帯域の光を発光するような発光ダイオード２２−２とが用いられる。つまり、発光ダイオード２２−１は、温度125度の環境ではフィルタ２５の通過帯域の波長でピークを有し、温度25度の環境ではフィルタ２５の通過帯域以下の波長でピークを有するように、温度に応じて波長がシフトする特性を備えている。一方、発光ダイオード２２−２は、温度125度の環境ではフィルタ２５の通過帯域以上の波長でピークを有し、温度25度の環境ではフィルタ２５の通過帯域の波長でピークを有するように、温度に応じて波長がシフトする特性を備えている。従って、デプス画像取得装置１１Ｂは、フィルタ２５の通過帯域に連動させて、温度125度の環境では発光ダイオード２２−１を発光させ、温度25度の環境では発光ダイオード２２−２を発光させるように構成される。
【００４９】
具体的には、デプス画像取得装置１１Ｂでは、温度25度の環境では波長925ｎｍの光を発光し、温度125度の環境では波長935ｎｍの光を発光する発光ダイオード２２−１と、温度25度の環境では波長945ｎｍの光を発光し、温度125度の環境では波長955ｎｍの光を発光する発光ダイオード２２−２とを使用することができる。また、デプス画像取得装置１１Ｂでは、通過帯域が940nmを中心とした前後10ｎｍの狭帯域（通過帯域の幅の１／２が、発光ダイオード２２の温度変化による波長シフトの変動幅（10ｎｍ）よりも狭く）に限定されたフィルタ２５を使用することができる。
【００５０】
このように構成されるデプス画像取得装置１１Ｂでは、連動制御部３１は、センサ情報が示す温度が25度である場合には発光ダイオード２２−２を選択し、センサ情報が示す温度が125度である場合には発光ダイオード２２−１を選択するような制御を実行する。これにより、デプス画像取得装置１１Ｂでは、周辺環境の温度が25度から125度まで変化しても、センサ情報に従って発光ダイオード２２−１および２２−２の一方が適切に選択される。その結果、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。
【００５１】
従って、デプス画像取得装置１１Ｂは、周辺環境に温度変化があっても、狭帯域のフィルタ２５により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。
【００５２】
＜デプス画像取得装置の第４の構成例＞
図８は、本技術を適用したデプス画像取得装置の第４の実施の形態の構成例を示すブロック図である。なお、図８に示すデプス画像取得装置１１Ｃにおいて、図１のデプス画像取得装置１１および図５のデプス画像取得装置１１Ｂと共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００５３】
即ち、デプス画像取得装置１１Ｃは、図１のデプス画像取得装置１１と
同様に、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。また、デプス画像取得装置１１Ｃは、図５のデプス画像取得装置１１Ｂと同様に、連動制御部３１を備えて構成されており、環境センサ４１から連動制御部３１にセンサ情報が供給される。
【００５４】
さらに、デプス画像取得装置１１Ｃは、２つのフィルタ２５−１および２５−２を備えて構成される。フィルタ２５−１および２５−２は、それぞれ異なる波長域の光を通過させることができる。例えば、フィルタ２５−１の通過帯域は、940nmを中心とした前後10ｎｍの狭帯域に限定され、フィルタ２５−２の通過帯域は、960nmを中心とした前後10ｎｍの狭帯域に限定されている。また、デプス画像取得装置１１Ｃが備える発光ダイオード２２は、上述の図６に示したような光源分光特性を備え、例えば、温度が25度である環境では945ｎｍの光を発光し、温度が125度である環境では955ｎｍの光を発光するような温度特性となっている。
【００５５】
例えば、図９に示すように、２つのフィルタ２５−１および２５−２それぞれの通過帯域が設定されている場合、発光ダイオード２２は、温度25度の環境においてフィルタ２５−１の通過帯域の光を発光し、温度125度の環境においてフィルタ２５−２の通過帯域の光を発光するように、温度に応じてピークが変化する特性を備える。従って、デプス画像取得装置１１Ｃは、発光ダイオード２２の特性に連動させて、温度25度の環境ではフィルタ２５−１を通過した光をTOFセンサ２６に受光させ、温度125度の環境ではフィルタ２５−２を通過した光をTOFセンサ２６に受光させるように構成される。
【００５６】
このようにデプス画像取得装置１１Ｃは構成されており、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２が発光する光の波長に連動させて、フィルタ２５−１および２５−２のうちの一方を選択する制御を実行する。即ち、連動制御部３１は、センサ情報が示す温度が25度である場合にはフィルタ２５−１を選択し、センサ情報が示す温度が125度である場合にはフィルタ２５−２を選択するような制御を実行する。
【００５７】
例えば、デプス画像取得装置１１Ｃは、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方がTOFセンサ２６の受光面上に配置されるように、それらの配置位置が切り替え可能となるように構成されている。この配置位置の切り替え方法としては、図示しないアクチュエータなどによって、自動的に配置を切り替えるようにしてもよい。また、ユーザーの操作によって配置を切り替えるようにしてもよい。または、電圧を印加することでフィルタの特性を変化させることにより通過帯域を切り替えてもよい。
【００５８】
これにより、デプス画像取得装置１１Ｃは、周辺環境の温度が25度から125度まで変化しても、センサ情報に従ってフィルタ２５−１および２５−２の一方が適切に選択される。その結果、選択された一方が、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。
【００５９】
従って、デプス画像取得装置１１Ｃは、周辺環境に温度変化があっても、狭帯域のフィルタ２５−１または２５−２により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、本実施の形態に限定されず、フィルタ２５を３つ以上備える構成としても良い。３つ以上のフィルタ２５を備える場合は、それぞれ異なる波長帯域の光を透過することで、より狭帯域のフィルタ２５を用いることができ、太陽光などの外乱光による影響を更に抑制することができる。
【００６０】
＜デプス画像取得装置の第５の構成例＞
図１０は、本技術を適用したデプス画像取得装置の第５の実施の形態の構成例を示すブロック図である。なお、図１０に示すデプス画像取得装置１１Ｄにおいて、図８のデプス画像取得装置１１Ｃと共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００６１】
即ち、デプス画像取得装置１１Ｄは、図８のデプス画像取得装置１１Ｃと同様に、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、フィルタ２５−１および２５−２、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、デプス画像生成部３０、並びに、連動制御部３１を備えて構成される。また、デプス画像取得装置１１Ｄには、図８のデプス画像取得装置１１Ｃと同様に、環境センサ４１から連動制御部３１にセンサ情報が供給される。
【００６２】
そして、デプス画像取得装置１１Ｄは、フィルタ２５−１および２５−２がTOFセンサ２６の受光面を複数の領域に分割するように配置されている点で、図８のデプス画像取得装置１１Ｃと異なる構成となっている。即ち、デプス画像取得装置１１Ｄは、TOFセンサ２６の受光面が、フィルタ２５−１が配置された分割領域と、フィルタ２５−２が配置された分割領域とに分けられ、それぞれ対応する通過帯域の光を受光するように構成される。
【００６３】
このように構成されるデプス画像取得装置１１Ｄでは、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２が発光する光の波長に連動させて、フィルタ２５−１および２５−２のうちの一方を選択する制御を実行する。即ち、デプス画像取得装置１１Ｄでは、フィルタ２５−１および２５−２のうちの、連動制御部３１により選択された一方が配置された分割領域から出力される画素信号が、デプス画像の生成に用いられる。
【００６４】
例えば、デプス画像取得装置１１Ｄは、940nmを中心とした前後10ｎｍの通過帯域のフィルタ２５−１と、960nmを中心とした前後10ｎｍの通過帯域のフィルタ２５−２とを使用することができる。また、デプス画像取得装置１１Ｄが備える発光ダイオード２２は、上述の図６に示したような光源分光特性を備え、例えば、温度が25度である環境では945ｎｍの光を発光し、温度が125度である環境では955ｎｍの光を発光するような温度特性となっている。
【００６５】
このように構成されるデプス画像取得装置１１Ｄでは、連動制御部３１は、センサ情報が示す温度が25度である場合には、フィルタ２５−１を選択し、例えば、フィルタ２５−１が配置された分割領域の画素信号を出力するようにTOFセンサ２６に対する制御が行われる。また、連動制御部３１は、センサ情報が示す温度が125度である場合には、フィルタ２５−２を選択し、例えば、フィルタ２５−２が配置された分割領域の画素信号を出力するようにTOFセンサ２６に対する制御が行われる。
【００６６】
これにより、デプス画像取得装置１１Ｄは、周辺環境の温度が25度から125度まで変化してもセンサ情報に従ってフィルタ２５−１および２５−２の一方が適切に選択される。その結果、選択された一方により、外乱光によるノイズ成分が除去され、測定に必要な信号成分が多く通過されて得られる画素信号を出力させることができる。
【００６７】
従って、デプス画像取得装置１１Ｄは、周辺環境に温度変化があっても、狭帯域のフィルタ２５−１または２５−２により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、上述した各構成例は、適宜組み合わされてもよい。例えば、複数の発光ダイオード２２と、複数のフィルタ２５とを備え、環境センサ４１により取得されたセンサ情報に基づいて、複数の発光ダイオード２２と複数のフィルタ２５を適宜組み合わせて動作させるようにしてもよい。
【００６８】
＜フィルタの配置例＞
図１１乃至図１７を参照して、TOFセンサ２６の受光面に対するフィルタ２５−１および２５−２の配置例と、それぞれの配置において取得されるデプス画像について説明する。
【００６９】
図１１には、２つのフィルタ２５−１および２５−２を用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の受光面を左右の分割領域に２分割する矩形形状のフィルタ２５−１および２５−２が用いられる。そして、図示する配置例では、フィルタ２５−１がTOFセンサ２６の受光面の左側の分割領域に配置され、フィルタ２５−２がTOFセンサ２６の受光面の右側の分割領域に配置されている。
【００７０】
従って、温度が25度のときには、TOFセンサ２６の左側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の右側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、TOFセンサ２６の右側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の左側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
【００７１】
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５−１が配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５−２が配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
【００７２】
図１２には、４つのフィルタ２５−１ａおよび２５−１ｂ、並びに、フィルタ２５−２ａおよび２５−２ｂを用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の受光面を２×２の分割領域に４分割する矩形形状のフィルタ２５−１ａおよび２５−１ｂ、並びに、フィルタ２５−２ａおよび２５−２ｂが用いられる。そして、図示する配置例では、フィルタ２５−１ａがTOFセンサ２６の受光面の左上側の分割領域に配置され、フィルタ２５−２ａがTOFセンサ２６の受光面の右上側の分割領域に配置され、フィルタ２５−１ｂがTOFセンサ２６の受光面の右下側の分割領域に配置され、フィルタ２５−２ｂがTOFセンサ２６の受光面の左下側の分割領域に配置されている。
【００７３】
従って、温度が25度のときには、TOFセンサ２６の左上側および右下側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の右上側および左下側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、TOFセンサ２６の右上側および左下側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の左上側および右下側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
【００７４】
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５−１ａおよび２５−１ｂが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５−２ａおよび２５−２ｂが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
【００７５】
図１３には、８つのフィルタ２５−１ａ乃至２５−１ｄ、および、フィルタ２５−２ａ乃至２５−２ｄを用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の縦幅に応じた長さ、かつ、TOFセンサ２６の横幅を８等分するような幅となる８つの分割領域に分割する細長い矩形形状のフィルタ２５−１ａ乃至２５−１ｄ、および、フィルタ２５−２ａ乃至２５−２ｄが用いられる。そして、図示する配置例では、フィルタ２５−１ａ乃至２５−１ｄと、フィルタ２５−２ａ乃至２５−２ｄとが、TOFセンサ２６の横方向に向かって交互に配置されている。
【００７６】
従って、温度が25度のときと、温度が125度のときとで、正常なデプス画像を取得することができる領域が、それぞれ交互に縞模様となる。即ち、温度が25度のときには、フィルタ２５−１ａ乃至２５−１ｄが配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５−２ａ乃至２５−２ｄが配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、フィルタ２５−２ａ乃至２５−２ｄが配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５−１ａ乃至２５−１ｄが配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
【００７７】
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５−１ａ乃至２５−１ｄが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５−２ａ乃至２５−２ｄが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
【００７８】
例えば、このような配置例のデプス画像取得装置１１Ｄは、上述の図３に示したように、車両に搭載する利用方法が想定される。例えば、デプス画像取得装置１１Ｄの横方向が車両の進行方向となり、車両の側方から下方に向かうようなデプス画像を取得するように、デプス画像取得装置１１Ｄが車両に取り付けられる。
【００７９】
これにより、図１４に示すように、デプス画像取得装置１１Ｄは、フィルタ２５−１ａ乃至２５−１ｄ、および、フィルタ２５−２ａ乃至２５−２ｄの長手方向に直交するように白線が撮像されるデプス画像を取得することができる。従って、デプス画像取得装置１１Ｄは、温度が25度のときには、フィルタ２５−１ａ乃至２５−１ｄが配置されている分割領域において白線が撮像されたデプス画像を取得することができる。一方、デプス画像取得装置１１Ｄは、温度が125度のときには、フィルタ２５−２ａ乃至２５−２ｄが配置されている分割領域において白線が撮像されたデプス画像を取得することができる。
【００８０】
即ち、デプス画像取得装置１１Ｄは、周辺環境の温度が25度から125度まで変化しても確実に、白線が撮像されたデプス画像を取得することができ、その白線までの距離を測定することができる。
【００８１】
図１５には、所定数の画素（例えば、４×４の１６画素）が矩形に配置された分割領域ごとに、縦方向および横方向に交互に、フィルタ２５−１および２５−２を配置した構成における配置の一例が示されている。例えば、フィルタ２５−１および２５−２は、TOFセンサ２６に対して直接的に積層するようなオンチップで配置することができる。
【００８２】
従って、温度が25度のときには、フィルタ２５−１が配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５−２が配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、フィルタ２５−２が配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５−１が配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
【００８３】
このように、フィルタ２５−１および２５−２を縦方向および横方向に交互に配置する配置例では、ＳＮ比が不足していることより正常なデプス画像を取得すことができない分割領域を、図１６に示すように、後段で復元することができる。例えば、正常なデプス画像を取得することができた分割領域を用いて、その分割領域に隣接し正常なデプス画像を取得すことができない分割領域を補完するように、いわゆる人工知能やディープラーニング（deep learning）などを利用した学習処理が行われる。これにより、正常なデプス画像を取得すことができない分割領域を、その上下および左右の分割領域から復元して、TOFセンサ２６の全体に応じたデプス画像を取得することができる。
【００８４】
また、例えば、TOFセンサ２６の受光面を複数の分割領域に分割してフィルタ２５−１および２５−２を配置した構成は、広帯域のフィルタを採用した従来の技術よりもＳＮ比を改善することができる。
【００８５】
即ち、図１７に示すように、広帯域のフィルタを採用した従来の技術において、ある２つの画素について、外乱光が少ない環境では、それらの画素は信号成分が多い画素信号を出力することができる。また、その２つの画素について、外乱光が多い環境では、どちらの画素もノイズ成分が多い画素信号を出力することになり、このときのＳＮ比は1.4となる。
【００８６】
これに対し、例えば、従来よりも通過帯域を１／２に限定した狭帯域のフィルタ２５−１および２５−２を配置した場合、外乱光が少ない環境では、一方の画素は信号成分が多い画素信号を出力し、他方の画素はノイズ成分が多い画素信号を出力することになる。また、外乱光が多い環境では、どちらの画素も、従来と比較してノイズ成分が１／２となる画素信号を出力することになり、このときのＳＮ比は２となる。
【００８７】
従って、通過帯域が広帯域のフィルタを採用した従来の技術と比較して、従来よりも通過帯域が狭帯域のフィルタ２５−１および２５−２を配置した場合、ＳＮ比が向上することになる。これにより、例えば、図１６に示したように復元を行う際に、全体として、よりノイズの少ないデプス画像を取得することができる。
【００８８】
＜光源温度の制御＞
図１８を参照して、発光ダイオード２２の温度を一定に維持するための制御について説明する。
【００８９】
例えば、TOF方式を実現するために、CAPD（Current Assisted Photonic Demodulator）画素を採用したTOFセンサ２６は、大電力を消費するという特徴を備えている。この特徴を利用し、例えば、TOFセンサ２６において電力を消費することにより発生した熱を用いて、発光ダイオード２２の温度を制御することができる。つまり、TOFセンサ２６を発光ダイオード２２の近傍に配置して、TOFセンサ２６で発生した熱を、熱伝達経路を介して発光ダイオード２２に熱移動させることによって、発光ダイオード２２の温度を調整することができる。
【００９０】
即ち、TOFセンサ２６が有するCAPD画素のうちの所定個数をダミー動作させておき、発光ダイオード２２が所望温度よりも高い温度に上昇した場合には、ダミー動作させているCAPD画素の個数を減少させる。これにより、発光ダイオード２２への熱伝達を削減することができる結果、発光ダイオード２２の温度を所望温度へ低下させることができる。一方、発光ダイオード２２が所望温度よりも低い温度に低下した場合には、ダミー動作させているCAPD画素の個数を増加させる。これにより、発光ダイオード２２への熱伝達を増加させることができる結果、発光ダイオード２２の温度を所望温度へ上昇させることができる。
【００９１】
従って、図１８のＡに示すように、例えば、発光ダイオード２２の温度上昇が小さな変化であるときには、少ない個数のCAPD画素のダミー動作を停止させて発光ダイオード２２の温度を調整し、発光ダイオード２２の温度を一定に維持することができる。一方、図１８のＢに示すように、例えば、発光ダイオード２２の温度上昇が大きな変化であるときには、多い個数のCAPD画素のダミー動作を停止させて発光ダイオード２２の温度を調整し、発光ダイオード２２の温度を一定に維持することができる。
【００９２】
このように、TOFセンサ２６は、発光ダイオード２２の温度を調整することで、発光ダイオード２２が一定の所望温度を維持するように制御することができ、上述したような温度特性による波長シフトの発生を抑制させることができる。従って、狭帯域のフィルタ２５を通過するような光を発光ダイオード２２に発光させることができ、外乱光の影響を抑制して、デプス画像の取得性能を向上させることができる。なお、このような光源温度の制御は、CAPD画素に限定されず、SPAD画素やAPD画素等への応用も可能であり、同様の効果を奏することができる。
【００９３】
＜デプス画像取得装置の利用例＞
図１９乃至図２２を参照して、デプス画像取得装置１１の利用例について説明する。
【００９４】
上述したように、デプス画像取得装置１１は、狭帯域のフィルタ２５を使用することで、屋外での使用においても、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができる。例えば、屋外における取得距離が１５ｍ程度である場合、デプス画像取得装置１１は、他の方式（例えば、超音波センサや、ミリ波センサ、カメラなど）と比較して、画素解像度や、分解能、視野角などの向上により、より良好な認識特性を備えることができる。
【００９５】
図１９は、対象物を検出したことを外部に通知する通知手段を備えたTOFシステムの構成例を示すブロック図である。
【００９６】
図１９に示すように、TOFシステム５１は、デプス画像取得装置１１および音声出力装置１２を備えて構成される。なお、図１９に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
【００９７】
デプス画像取得装置１１は、発光ダイオード２２から照射されて対象物で反射した光をTOFセンサ２６で受光することにより、例えば、TOFシステム５１と対象物との間に霧が発生していても、その対象物を認識可能なデプス画像を取得することができる。そして、デプス画像取得装置１１は、TOFセンサ２６が取得したデプス画像に基づいて、例えば、人物が特定のジェスチャを行った場合、その人物を検出したことを示す信号を、音声出力装置１２に出力する。
【００９８】
音声出力装置１２は、特定の音声を出力することで、対象物を検出したことを通知する通知手段である。なお、音声を利用した通知は、一例であり、音声以外を利用して対象物を検出したことを通知してもよい。
【００９９】
このように構成されるTOFシステム５１は、対象物となる人物からTOFシステム５１を認識できないような夜間や悪天候などの環境であっても、TOFシステム５１から人物を認識することができる。そして、その人物がジェスチャなどにより合図をすると、デプス画像取得装置１１から音声出力装置１２に供給される信号に従って、音声出力装置１２が音声を出力する。この音声により、人物に、TOFシステム５１を搭載した装置（例えば、自動運転車両など）を認識させることが可能となる。
【０１００】
図２０は、対象物を検出したことを外部に通知する通知手段を備えたTOFシステムの構成例を示すブロック図である。
【０１０１】
図２０に示すように、TOFシステム５２は、デプス画像取得装置１１および振動装置１３を備えて構成される。なお、図２０に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
【０１０２】
TOFシステム５２は、利用者の身体に振動を伝えることができるような道具、例えば、二輪車の運転者が装着するヘルメットなどに搭載するような利用例が想定される。例えば、ヘルメットに搭載されたTOFシステム５２は、運転者が前方を注意しながら運転しているときに、デプス画像取得装置１１が取得するデプス画像に基づいて、側方や後方などにある物体を、夜間や悪天候などの環境であっても認識することができる。そして、TOFシステム５２は、運転に対して危険となるような物体を検知すると、その物体を検知したことを示す信号を振動装置１３に供給し、振動装置１３が振動することによって、運転者に通知することができる。
【０１０３】
図２１は、対象物を検出したことを記録する記録手段を備えたTOFシステムの構成例を示すブロック図である。
【０１０４】
図２１に示すように、TOFシステム５３は、デプス画像取得装置１１および記録装置１４を備えて構成される。なお、図２１に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
【０１０５】
TOFシステム５３は、自動草刈り装置や農作物収穫装置などのような自動移動体に搭載するような利用例が想定される。
【０１０６】
例えば、欧米などにある広い庭の草刈りやゴルフ場などの芝のメンテナンスのために自律型の自動草刈り装置が使用され、自動草刈り装置に搭載されたTOFシステム５３は、外乱光があるような昼間でも物体を認識することができる。また、TOFシステム５３が搭載された自動草刈り装置を夜間に利用してもよく、夜間の利用されていない芝のメンテナンスを自動で行うことで、メンテナンス作業の効率化を図ることができる。
【０１０７】
そして、TOFシステム５３は、デプス画像取得装置１１が取得するデプス画像に基づいて物体を認識すると、物体を認識したことを示す信号を記録装置１４に供給し、その物体を認識した情報を記録することができる。これにより、例えば、TOFシステム５３が搭載された自動草刈り装置を、夜間警備装置として利用することもでき、記録した情報に基づいて不審者などを把握し、リスク情報として管理することができる。
【０１０８】
例えば、今後の人手不足が懸念される農作物の収穫に、自律型の農作物収穫装置を利用することが想定され、農作物収穫装置に搭載されたTOFシステム５３は、外乱光があるような昼間でも、農場を往来する動物などの物体を認識することができる。また、TOFシステム５３が搭載された農作物収穫装置を夜間に利用してもよく、夜間に農作物の収穫を行うことで、収穫作業の効率化を図ることができる。
【０１０９】
そして、TOFシステム５３は、デプス画像取得装置１１が取得するデプス画像に基づいて動物などの物体を認識すると、物体を認識したことを示す信号を記録装置１４に供給し、その物体を認識した情報を記録することができる。これにより、農場を往来する動物が害獣である場合には、その駆除を行う際の参考とすることができる。また、TOFシステム５３では、発光ダイオード２２から出力される赤外光を、例えば、収穫物の鮮度検出に使用することで、収穫対象を決定する農作業収穫システムに利用することができる。
【０１１０】
図２２は、水中および陸上での対象物を検出することができるTOFシステムの構成例を示すブロック図である。
【０１１１】
図２２に示すように、TOFシステム５４は、デプス画像取得装置１１Ｅおよび記録装置１４を備えて構成される。例えば、デプス画像取得装置１１Ｅは、図４のデプス画像取得装置１１Ａと同様に、２つの発光ダイオード２２−１および２２−２を備え、図１０のデプス画像取得装置１１Ｄと同様に、TOFセンサ２６の受光面にフィルタ２５−１および２５−２が配置されて構成される。なお、図２２に示すデプス画像取得装置１１Ｅでは、発光ダイオード２２−１および２２−２、フィルタ２５−１および２５−２、並びにTOFセンサ２６以外のブロックの図示は省略されている。
【０１１２】
TOFシステム５４は、陸上および水中での対象物を検出して自律的に移動することが可能な水陸両用移動体に搭載するような利用例が想定される。
【０１１３】
例えば、TOFシステム５４は、屋外での照度の低い波長940nm（図２参照）の光を発光する発光ダイオード２２−１を使用するとともに、水中での減衰率が低い波長520ｎｍの光を発光する発光ダイオード２２−２を使用することができる。これに応じて、フィルタ２５−１の通過帯域は、発光ダイオード２２−１に対応した940nmを中心とした狭帯域に限定し、フィルタ２５−２の通過帯域は、発光ダイオード２２−２に対応した520nmを中心とした狭帯域に限定する。
【０１１４】
従って、TOFシステム５４を搭載した水陸両用移動体は、陸上においては、発光ダイオード２２−１を選択して、それに連動してフィルタ２５−１を通過した光に基づいてデプス画像を取得するような制御が行われる。これにより、陸上の対象物をTOFセンサ２６により検出することができる。一方、TOFシステム５４を搭載した水陸両用移動体は、水中においては、発光ダイオード２２−２を選択して、それに連動してフィルタ２５−２を通過した光に基づいてデプス画像を取得するような制御が行われる。これにより、水中の対象物をTOFセンサ２６により検出することができる。
【０１１５】
このように、TOFシステム５４を搭載した水陸両用移動体は、陸上および水中それぞれに対応した発光ダイオード２２およびフィルタ２５を選択することで、陸上および水中どちらにおいても対象物を良好に認識可能なデプス画像を取得することができる。
【０１１６】
なお、デプス画像取得装置１１Ｅのように、２つの発光ダイオード２２−１および２２−２を備え、TOFセンサ２６の受光面にフィルタ２５−１および２５−２が配置された構成を、上述の図２１を参照して説明したような自動移動体に搭載してもよい。この構成では、例えば、昼間用と夜間用とで、発光ダイオード２２−１および２２−２の選択と、フィルタ２５−１および２５−２の選択とが切り替えられる。
【０１１７】
例えば、発光ダイオード２２−１およびフィルタ２５−１は昼間用（波長940ｎｍ）とし、発光ダイオード２２−１およびフィルタ２５−１は夜間用（波長850ｎｍ）とすることができる。従って、自動移動体に搭載されたデプス画像取得装置１１Ｅは、昼間は、外乱光の影響を抑制することができる波長940ｎｍを使用し、夜間は、よりセンサ感度の良好な波長850ｎｍを使用することができる。これにより、デプス画像取得装置１１Ｅを搭載した自動移動体は、昼間および夜間どちらにおいても対象物を良好に認識可能なデプス画像を取得することができる。
【０１１８】
その他、上述したようなデプス画像取得装置１１乃至１１Ｅを備えたTOFシステムは、カーナビゲーションや、ドライブレコーダなどのような様々な装置で利用することが想定される。
【０１１９】
＜TOFセンサの構成例＞
図２３乃至図３１を参照して、TOFセンサ２６の構成例について説明する。
【０１２０】
図２３には、TOFセンサ２６の断面的な構成が示されている。
【０１２１】
図２３に示す構成例において、TOFセンサ２６の受光面には画素６１が行列状に配置されており、TOFセンサ２６は、ロジック基板６２とセンサ基板６３とが積層された積層構造となっている。
【０１２２】
ロジック基板６２には、センサ基板６３から出力される信号に対する信号処理を行う信号処理回路や、センサ基板６３の画素６１に対する制御を行う制御回路、センサ基板６３から出力される信号を記憶するメモリ回路などが形成される。
【０１２３】
センサ基板６３は、半導体層６４およびオンチップレンズ層６５が積層されて構成される。半導体層６４には、画素６１ごとにフォトダイオード６６が形成され、半導体層６４の受光面には画素６１ごとにフィルタ２５が配置されており、オンチップレンズ層６５には、画素６１ごとにマイクロレンズ６７が配置されている。
【０１２４】
TOFセンサ２６では、フィルタ２５−１が配置されている画素６１−１は、フィルタ２５−１の通過帯域に対応する波長の光を受光し、フィルタ２５−２が配置されている画素６１−２は、フィルタ２５−２の通過帯域に対応する波長の光を受光する。
【０１２５】
図２４には、TOFセンサ２６の構成例を示すブロック図が示されている。
【０１２６】
図２４に示すように、TOFセンサ２６は、画素領域７１、垂直駆動回路７２、カラム信号処理回路７３、水平駆動回路７４、出力回路７５、および制御回路７６を備えて構成される。
【０１２７】
画素領域７１は、例えば、図１の受光レンズ２４により集光される光を受光する受光面である。画素領域７１には、複数の画素６１が行列状に配置されており、それぞれの画素６１は、水平信号線７７を介して行ごとに垂直駆動回路７２に接続されるとともに、垂直信号線７８を介して列ごとにカラム信号処理回路７３に接続される。複数の画素６１は、それぞれ配置されているフィルタ２５を通過した光の光量に応じたレベルの画素信号を出力する。
【０１２８】
垂直駆動回路７２は、画素領域７１に配置される複数の画素６１の行ごとに順次、それぞれの画素６１を駆動（転送や、選択、リセットなど）するための駆動信号を、水平信号線７７を介して画素６１に供給する。カラム信号処理回路７３は、複数の画素６１から垂直信号線７８を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。
【０１２９】
水平駆動回路７４は、画素領域７１に配置される複数の画素６１の列ごとに順次、カラム信号処理回路７３から画素信号をデータ出力信号線７９に出力させるための駆動信号を、カラム信号処理回路７３に供給する。出力回路７５は、水平駆動回路７４の駆動信号に従ったタイミングでカラム信号処理回路７３からデータ出力信号線７９を介して供給される画素信号を増幅し、後段の回路（例えば、図１の同期処理部２８）に出力する。制御回路７６は、例えば、TOFセンサ２６の各ブロックの駆動周期に従ったクロック信号を生成して供給することで、それらの各ブロックの駆動を制御する。
【０１３０】
そして、TOFセンサ２６では、環境センサ４１から出力されるセンサ情報、または、TOFセンサ２６の製造時に登録されている固有情報に従って、連動制御部３１が、上述したような制御を実行する。
【０１３１】
例えば、環境センサ４１が発光ダイオード２２の周辺環境の温度を検出して、その温度を示すセンサ情報を連動制御部３１に供給すると、連動制御部３１は、センサ情報が示す温度に従って、フィルタ２５−１および２５−２のうちの一方を選択する制御を実行する。そして、連動制御部３１は、フィルタ２５−１および２５−２のうちの、選択した一方を制御回路７６に通知し、制御回路７６は、連動制御部３１により選択された一方が配置された画素６１から画素信号が出力されるように、画素６１の駆動を制御する。これにより、温度変化があっても、高精度なデプス画像を生成することができる画素信号を出力することができる。
【０１３２】
また、例えば、環境センサ４１が、周辺環境の水の有無を検出することができる場合、環境センサ４１は、陸上または水中のどちらで使用されているかを示すセンサ情報を連動制御部３１に供給することができる。従って、連動制御部３１は、図２２を参照して説明したように、センサ情報に従って、フィルタ２５−１および２５−２のうち、陸上用（波長940nm）と水中用（波長520ｎｍ）とのいずれか一方を選択する制御を実行する。そして、連動制御部３１は、フィルタ２５−１および２５−２のうちの、選択した一方を制御回路７６に通知し、制御回路７６は、連動制御部３１により選択された一方が配置された画素６１から画素信号が出力されるように、画素６１の駆動を制御する。これにより、陸上および水中のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
【０１３３】
また、例えば、環境センサ４１が、周辺環境の照度を検出することができる場合、環境センサ４１は、昼間または夜間のどちらであるかを示すセンサ情報を連動制御部３１に供給することができる。従って、連動制御部３１は、センサ情報に従って、発光ダイオード２２−１およびフィルタ２５−１のうち、昼間用（波長940ｎｍ）と夜間用（波長850ｎｍ）とのいずれか一方を選択する制御を実行する。これにより、昼間および夜間のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
【０１３４】
ところで、連動制御部３１は、センサ信号の他、個々のTOFセンサ２６に固有の固有情報に従った制御を実行することができる。例えば、固有情報としては、画素６１ごとに画角端または中央を示す情報や、製造バラツキを示す情報などを用いることができる。
【０１３５】
例えば、TOFセンサ２６では、受光レンズ２４の集光角度（広角または狭角）に従って、画角端にある画素６１と、中央にある画素６１とでフィルタ２５の適切な通過帯域を使用する必要がある。従って、連動制御部３１は、受光レンズ２４の集光角度の切り替えに応じて、画素６１が画角端および中央のどちらに配置されているかによって、発光ダイオード２２−１およびフィルタ２５−１のいずれか一方を選択する制御を実行する。これにより、TOFセンサ２６は、受光レンズ２４の集光角度が広角および狭角のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
【０１３６】
また、TOFセンサ２６は、製造時のバラツキによって、個々の画素６１において適切な通過帯域を使用する必要がある。従って、連動制御部３１は、製造時のバラツキを補正するように、発光ダイオード２２−１およびフィルタ２５−１のいずれか一方を選択する制御を実行する。これにより、TOFセンサ２６は、画素６１ごとのバラツキが抑制された高精度なデプス画像を生成することができる画素信号を出力することができる。
【０１３７】
図２５には、画素６１ごとに設けられるフィルタ２５−１および２５−２が、画素領域７１の行方向および列方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方が配置されている画素６１を駆動するように、垂直駆動回路７２および水平駆動回路７４に対する制御を行うことができる。
【０１３８】
図２６には、画素６１の行に沿って設けられるフィルタ２５−１および２５−２が、画素領域７１の列方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方が配置されている画素６１の行を駆動するように、垂直駆動回路７２に対する制御を行うことができる。このとき、フィルタ２５−１および２５−２のうち、連動制御部３１により選択されていない画素６１の行に対する駆動は行われないため、その行に対応する垂直駆動回路７２の駆動素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
【０１３９】
図２７には、画素６１の列に沿って設けられるフィルタ２５−１および２５−２が、画素領域７１の行方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方が配置されている画素６１の列を駆動するように、水平駆動回路７４に対する制御を行うことができる。このとき、フィルタ２５−１および２５−２のうち、連動制御部３１により選択されていない画素６１の列に対する駆動は行われないため、その列に対応するカラム信号処理回路７３のＡＤ変換素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
【０１４０】
図２８には、画素領域７１の左側半分の領域にフィルタ２５−１が配置され、画素領域７１の右側半分の領域にフィルタ２５−２が配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方が配置されている画素６１の領域を駆動するように、水平駆動回路７４に対する制御を行うことができる。このとき、フィルタ２５−１および２５−２のうち、連動制御部３１により選択されていない画素６１の領域に対する駆動は行われないため、その領域に対応するカラム信号処理回路７３のＡＤ変換素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
【０１４１】
図２９には、画素領域７１の上側半分の領域にフィルタ２５−１が配置され、画素領域７１の下側半分の領域にフィルタ２５−２が配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５−１および２５−２のうち、連動制御部３１により選択された一方が配置されている画素６１の領域を駆動するように、垂直駆動回路７２に対する制御を行うことができる。このとき、フィルタ２５−１および２５−２のうち、連動制御部３１により選択されていない画素６１の領域に対する駆動は行われないため、その領域に対応する垂直駆動回路７２の駆動素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
【０１４２】
図３０には、ベイヤ配列と組み合わせてフィルタ２５−１および２５−２が配置された配置例が示されている。即ち、２×２で配置される４個の画素６１に対して、赤色のフィルタＲ、緑色のフィルタＧ、および青色のフィルタＢと、フィルタ２５−１または２５−２が配置される。また、フィルタ２５−１および２５−２は、画素領域７１の行方向および列方向に交互に配置されている。このような配置例のTOFセンサ２６により、デプス画像とともに、ＲＧＢ画像を取得することができる。
【０１４３】
図３１には、モジュール配置による構成のTOFセンサ２６の断面的な構成例が示されている。例えば、図２３に示したように、フィルタ２５−１および２５−２を、TOFセンサ２６半導体層６４の受光面に対して直接的に積層するようなオンチップで配置する他、図３１に示すようにモジュールとして配置することができる。
【０１４４】
図示するように、例えば、センサ基板８１にはボンディングワイヤ８２を介して外部に信号を出力することができ、センサ基板８１を収納する収納ケース８３を利用してフィルタ２５−１および２５−２がセンサ基板８１の受光面側にモジュールとして外付けで配置される。さらに、収納ケース８３に対してレンズホルダ８４および８５を用いて受光レンズ２４が固定されている。
【０１４５】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１４６】
また、上述した一連の処理（制御方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１４７】
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４８】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
【０１４９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
【０１５０】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１５１】
図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１５２】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【０１５３】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１５４】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１５５】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１５６】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１５７】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１５８】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【０１５９】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１６０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１６１】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１６２】
図３４は、撮像部１２０３１の設置位置の例を示す図である。
【０１６３】
図３４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０１６４】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１６５】
なお、図３４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１６６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１６７】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１６８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１６９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１７０】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。これにより、より高精度なデプス画像を取得可能な取得距離を長距離化することができ、例えば、より安全な自動運転等を実現することができる。さらには、本開示に係る技術は、以上説明した構成のうち、運転者状態検出部１２０４１にも適用され得る。これにより、太陽光等の外乱光による影響が低減された、より高精度なデプス画像を取得可能となる。従って、例えば、運転者のジェスチャや覚醒状態あるいは属性情報等をより高精度に検出可能となる。
【０１７１】
＜本開示に係る技術を適用し得る積層型の固体撮像装置の構成例＞
図３５は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
【０１７２】
図３５のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図３５のＡに示すように、１枚のダイ（半導体基板）23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
【０１７３】
図３５のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図３５のＢ及びＣに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
【０１７４】
図３５のＢでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
【０１７５】
図３５のＣでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
【０１７６】
図３６は、積層型の固体撮像装置23020の第１の構成例を示す断面図である。
【０１７７】
センサダイ23021には、画素領域23012となる画素を構成するPD（フォトダイオード）や、FD（フローティングディフュージョン）、Tr（MOS FET）、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では３層の配線23110を有する配線層23101が形成される。なお、制御回路23013（となるTr）は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
【０１７８】
ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では３層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
【０１７９】
センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
【０１８０】
センサダイ23021には、センサダイ23021の裏面側（PDに光が入射する側）（上側）からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から１層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
【０１８１】
図３７は、積層型の固体撮像装置23020の第２の構成例を示す断面図である。
【０１８２】
固体撮像装置23020の第２の構成例では、センサダイ23021に形成する１つの接続孔23211によって、センサダイ23021（の配線層23101（の配線23110））と、ロジックダイ23024（の配線層23161（の配線23170））とが電気的に接続される。
【０１８３】
すなわち、図３７では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図３６では、２つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図３７では、１つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
【０１８４】
図３８は、積層型の固体撮像装置23020の第３の構成例を示す断面図である。
【０１８５】
図３８の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図３６の場合と異なる。
【０１８６】
図３８の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
【０１８７】
図３９は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
【０１８８】
図３９では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された３層の積層構造になっている。
【０１８９】
メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
【０１９０】
図３９では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
【０１９１】
なお、図３９では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース／ドレイン領域が形成されている。
【０１９２】
PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース／ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
【０１９３】
PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース／ドレイン領域の一方がFDになっている。
【０１９４】
また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
【０１９５】
さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
【０１９６】
また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
【０１９７】
さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
【０１９８】
そして、センサダイ23411には、センサダイ23411の裏面側（上側）からアルミパッド23442に達するようにパッド孔23443が形成されている。
【０１９９】
本開示に係る技術は、以上のような固体撮像装置に適用することができる。
【０２００】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、
前記光源または前記センサの環境情報を取得する環境センサと、
前記環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部と
を備えるデプス画像取得装置。
（２）
前記環境センサは、前記光源の温度を取得する温度センサである
上記（１）に記載のデプス画像取得装置。
（３）
前記連動制御部は、前記環境情報に従って、前記光源が照射する光の波長、および、前記フィルタの通過帯域のうちの、少なくとも一方を、他方に連動させて選択する制御を実行する
上記（１）または（２）に記載のデプス画像取得装置。
（４）
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
上記（２）に記載のデプス画像取得装置。
（５）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタのうちの少なくともいずれか１つを選択する
上記（２）に記載のデプス画像取得装置。
（６）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記複数のフィルタが前記センサの受光面に対して積層して配置されており、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタが配置されている複数の領域のうち少なくともいずれか１つを選択して前記信号を出力するように前記センサに対する制御を行う
上記（２）に記載のデプス画像取得装置。
（７）
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの受光面の縦幅に応じた長さ、かつ、横幅を前記所定数の２倍の数で等分割するような幅となる矩形形状で、前記センサの受光面の横方向に交互に配置されている
上記（６）に記載のデプス画像取得装置。
（８）
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの複数の画素が矩形に配置された分割領域ごとに、前記センサの受光面の縦方向および横方向に交互に配置されている
上記（７）に記載のデプス画像取得装置。
（９）
前記第１のフィルタが配置されている前記分割領域に対応する前記デプス画像と、前記第２のフィルタが配置されている前記分割領域に対応する前記デプス画像とのうち、正常に取得することができた一方の前記デプス画像から、正常に取得することができなかった他方の前記デプス画像を復元する
上記（８）に記載のデプス画像取得装置。
（１０）
前記センサは、前記連動制御部により選択されなかった前記フィルタが配置されている領域の画素からの前記信号を読み出すのに用いる素子の駆動を停止する
上記（６）から（９）までのいずれかに記載のデプス画像取得装置。
（１１）
前記光源の近傍に前記センサが配置され、前記センサが有する複数の画素のうち、前記光源の温度の上昇に対応させて、ダミー動作を行わせる前記画素の個数を減少させ、前記光源の温度の低下に対応させて、ダミー動作を行わせる前記画素の個数を増加させる
上記（２）から（１０）までのいずれかに記載のデプス画像取得装置。
（１２）
前記センサから出力される信号から生成される前記デプス画像に基づいて、前記検出領域にある所定の対象物が検出されると、前記所定の対象物を検出したことを外部に通知する通知手段に対して、前記所定の対象物を検出したことを示す信号を供給する
上記（１）から（１１）までのいずれかに記載のデプス画像取得装置。
（１３）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタを有し、
前記複数のフィルタが、前記センサの受光面側にモジュールとして外付けで配置される
上記（１）から（１２）までのいずれかに記載のデプス画像取得装置。
（１４）
前記連動制御部は、前記複数の光源のうち、選択された光源から前記光を照射させ、選択されなかった光源からの照射を停止させる
上記（４）から（１３）までのいずれかに記載のデプス画像取得装置。
（１５）
前記光源は、100度の温度変化に応じて所定の変動幅の波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、前記所定の変動幅よりも狭い
上記（４）から（１４）までのいずれかに記載のデプス画像取得装置。
（１６）
前記光源は、100度の温度変化に応じて少なくとも10nmの波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、10nm未満である
上記（１５）に記載のデプス画像取得装置。
（１７）
前記所定の通過帯域の中心波長は、920nm乃至960nmの間である
上記（１）から（１６）までのいずれかに記載のデプス画像取得装置。
（１８）
前記フィルタは、前記所定の通過帯域の波長の光を60%以上透過し、前記所定の通過帯域以外の波長の光を30%未満透過する
上記（１）から（１７）までのいずれかに記載のデプス画像取得装置。
（１９）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと
を備えるデプス画像取得装置が、
前記光源または前記センサの環境情報を取得することと、
前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することと
を含むデプス画像取得装置の制御方法。
（２０）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源、
または、前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサ
の環境情報を取得する環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部
を備えるデプス画像取得システム。
【０２０１】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。例えば、発光ダイオード２２やTOFセンサ２６などを外部に設け、連動制御部３１やデプス画像生成部３０などを備えるシステムが、発光ダイオード２２に対する制御やTOFセンサ２６の画素信号に対する処理を行うような構成としてもよい。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０２０２】
１１  デプス画像取得装置，  １２  音声出力装置，  １３  振動装置，  １４  記録装置，  ２１  光変調部，  ２２  発光ダイオード，  ２３  投光レンズ，  ２４  受光レンズ，  ２５  フィルタ，  ２６  TOFセンサ，  ２７  画像記憶部，  ２８  同期処理部，  ２９  距離情報演算部，  ３０  デプス画像生成部，  ３１  連動制御部，  ４１  環境センサ，  ５１乃至５４  TOFシステム，  ６１  画素，  ６２  ロジック基板，  ６３  センサ基板，  ６４  半導体層，  ６５  オンチップレンズ層，  ６６  フォトダイオード，  ６７  マイクロレンズ，  ７１  画素領域，  ７２  垂直駆動回路，  ７３  カラム信号処理回路，  ７４  水平駆動回路，  ７５  出力回路，  ７６  制御回路，  ７７  水平信号線，  ７８  垂直信号線，  ７９  データ出力信号線，  ８１  センサ基板，  ８２  ボンディングワイヤ，  ８３  収納ケース，  ８４および８５  レンズホルダ
【図１】
2019078748.tif 000003
【図２】
2019078748.tif 000004
【図３】
2019078748.tif 000005
【図４】
2019078748.tif 000006
【図５】
2019078748.tif 000007
【図６】
2019078748.tif 000008
【図７】
2019078748.tif 000009
【図８】
2019078748.tif 000010
【図９】
2019078748.tif 000011
【図１０】
2019078748.tif 000012
【図１１】
2019078748.tif 000013
【図１２】
2019078748.tif 000014
【図１３】
2019078748.tif 000015
【図１４】
2019078748.tif 000016
【図１５】
2019078748.tif 000017
【図１６】
2019078748.tif 000018
【図１７】
2019078748.tif 000019
【図１８】
2019078748.tif 000020
【図１９】
2019078748.tif 000021
【図２０】
2019078748.tif 000022
【図２１】
2019078748.tif 000023
【図２２】
2019078748.tif 000024
【図２３】
2019078748.tif 000025
【図２４】
2019078748.tif 000026
【図２５】
2019078748.tif 000027
【図２６】
2019078748.tif 000028
【図２７】
2019078748.tif 000029
【図２８】
2019078748.tif 000030
【図２９】
2019078748.tif 000031
【図３０】
2019078748.tif 000032
【図３１】
2019078748.tif 000033
【図３２】
2019078748.tif 000034
【図３３】
2019078748.tif 000035
【図３４】
2019078748.tif 000036
【図３５】
2019078748.tif 000037
【図３６】
2019078748.tif 000038
【図３７】
2019078748.tif 000039
【図３８】
2019078748.tif 000040
【図３９】
2019078748.tif 000041