(57)【要約】【課題】被写体までの奥行きを正確に取得することができる奥行取得装置を提供する。【解決手段】この奥行取得装置１は、メモリ２００と、プロセッサ１１０ａとを備える。プロセッサ１１０ａは、可視光に基づく被写体の撮像によって生成され、メモリ２００に保存されている可視光画像を取得し、その被写体によって反射される赤外光を受光することによって計測され、メモリ２００に保存されている赤外光の強度を取得し、その可視光画像に基づいて、被写体までの距離である第１奥行きを算出し、その赤外光の強度に基づいて、被写体までの距離である第２奥行きを算出し、その第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、その第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、第１信頼性マスクおよび第２信頼性マスクに基づいて、第１奥行きおよび第２奥行きを統合することによって統合奥行きを算出する。【選択図】図４
2020052001.tif 000002
【特許請求の範囲】
【請求項１】
メモリと、
プロセッサとを備え、
前記プロセッサは、
可視光に基づく被写体の撮像によって生成され、前記メモリに保存されている可視光画像を取得し、
光源から照射されて前記被写体によって反射された赤外光を受光することによって計測され、前記メモリに保存されている前記赤外光の強度を取得し、
前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出し、
前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出し、
前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、
前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、
前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する、
奥行取得装置。
【請求項２】
前記赤外光の受光は、赤外光に基づく撮像によって行われ、
前記可視光に基づく撮像と、前記赤外光に基づく撮像とでは、撮像対象のシーンと、撮像の視点および時刻とが実質的に同一である、
請求項１に記載の奥行取得装置。
【請求項３】
前記メモリから取得される前記赤外光の強度は、
前記光源から照射されて前記被写体に反射された赤外光が撮像素子によって受光されるときに、互いに異なる少なくとも３回のタイミングでの前記撮像素子の露光によって計測された少なくとも３つの強度からなり、
前記第２奥行きの算出では、
前記少なくとも３つの強度に基づいて前記第２奥行きを算出する、
請求項１または２に記載の奥行取得装置。
【請求項４】
前記第１信頼性マスクおよび前記第２信頼性マスクのうちの何れか一方は０であって、他方は１であり、
前記統合奥行きの算出では、
前記第１信頼性マスクおよび前記第２信頼性マスクを、前記第１奥行きに対する重み係数および前記第２奥行きに対する重み係数としてそれぞれ用いた、前記第１奥行きと第２奥行きとの重み付け加算によって、前記統合奥行きを算出する、
請求項１〜３の何れか１項に記載の奥行取得装置。
【請求項５】
前記第１信頼性マスクの算出では、
１から前記第２信頼性マスクを減算することによって前記第１信頼性マスクを算出する、
請求項４に記載の奥行取得装置。
【請求項６】
前記統合奥行きの算出では、
前記第２奥行きを算出することができない場合には、
前記第１奥行きを前記統合奥行きとして算出する、
請求項１〜５の何れか１項に記載の奥行取得装置。
【請求項７】
前記第２信頼性マスクの算出では、
前記少なくとも３つの強度のうちの最大の強度と最小の強度との比に基づいて、前記第２信頼性マスクを算出する、
請求項３に記載の奥行取得装置。
【請求項８】
可視光に基づく被写体の撮像を行うことによって可視光画像を取得する可視光カメラと、
光源から照射されて前記被写体によって反射された赤外光を受光することによって前記赤外光の強度を取得する赤外光カメラと、
前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出する第１奥行算出部と、
前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出する第２奥行算出部と、
前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出する信頼性マスク算出部と、
前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する統合奥行算出部と、
を備える奥行取得装置。
【請求項９】
被写体までの距離を奥行きとしてコンピュータが取得する奥行取得方法であって、
可視光に基づく被写体の撮像によって生成され、メモリに保存されている可視光画像を取得し、
光源から照射されて前記被写体によって反射された赤外光を受光することによって計測され、メモリに保存されている前記赤外光の強度を取得し、
前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出し、
前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出し、
前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、
前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、
前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する、
奥行取得方法。
【請求項１０】
被写体までの距離を奥行きとして取得するためのプログラムであって、
可視光に基づく被写体の撮像によって生成され、メモリに保存されている可視光画像を取得し、
光源から照射されて前記被写体によって反射された赤外光を受光することによって計測され、メモリに保存されている前記赤外光の強度を取得し、
前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出し、
前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出し、
前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、
前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、
前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体までの距離を奥行きとして取得する奥行取得装置などに関する。
【背景技術】
【０００２】
従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６４４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の測距装置では、奥行きを正確に取得することができないという課題がある。
【０００５】
そこで、本開示は、被写体までの距離である奥行きを正確に取得することができる奥行取得装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、可視光に基づく被写体の撮像によって生成され、前記メモリに保存されている可視光画像を取得し、光源から照射されて前記被写体によって反射された赤外光を受光することによって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出し、前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出し、前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する。
【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【０００８】
本開示の奥行取得装置は、被写体までの距離である奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。
【図２】図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。
【図３】図３は、実施の形態おける、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。
【図４】図４は、実施の形態おける奥行取得装置の機能構成の一例を示すブロック図である。
【図５】図５は、実施の形態おけるＩＲ強度取得部によって取得される赤外光の強度の一例を示す図である。
【図６】図６は、実施の形態おけるＩＲ強度取得部によって取得される赤外光の強度の他の例を示す図である。
【図７】図７は、実施の形態おけるＩＲ強度取得部によって取得される赤外光の強度と、バックグラウンドノイズとの一例を示す図である。
【図８】図８は、信頼性が低い赤外光の強度のパターンを示す図である。
【図９】図９は、信頼性が高い赤外光の強度のパターンを示す図である。
【図１０】図１０は、実施の形態におけるＩＲ信頼性マスクの算出方法の一例を示す図である。
【図１１】図１１は、実施の形態における奥行取得装置の処理動作を示すフローチャートである。
【図１２】図１２は、実施の形態における奥行取得装置による信頼性マスクの算出の詳細な処理動作を示すフローチャートである。
【図１３】図１３は、実施の形態の変形例における奥行取得装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。
【００１１】
特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴｏＦ（Time of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。
【００１２】
しかしながら、上記特許文献１の測距装置は、撮像条件を変更しても、照射光に対する反射率が低い被写体までの距離である奥行きを正しく測定することが難しい。
【００１３】
このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、可視光に基づく被写体の撮像によって生成され、前記メモリに保存されている可視光画像を取得し、光源から照射されて前記被写体によって反射された赤外光を受光することによって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記可視光画像に基づいて、前記被写体までの距離である第１奥行きを算出し、前記赤外光の強度に基づいて、前記被写体までの距離である第２奥行きを算出し、前記第１奥行きの信頼性を二値で表す第１信頼性マスクを算出し、前記第２奥行きの信頼性を二値で表す第２信頼性マスクを算出し、前記第１信頼性マスクおよび前記第２信頼性マスクに基づいて、前記第１奥行きおよび前記第２奥行きを統合することによって統合奥行きを算出する。例えば、前記第１信頼性マスクおよび前記第２信頼性マスクのうちの何れか一方は０であって、他方は１であり、前記統合奥行きの算出では、前記第１信頼性マスクおよび前記第２信頼性マスクを、前記第１奥行きに対する重み係数および前記第２奥行きに対する重み係数としてそれぞれ用いた、前記第１奥行きと第２奥行きとの重み付け加算によって、前記統合奥行きを算出する。
【００１４】
これにより、被写体に反射された赤外光の強度に基づいて、その被写体までの距離として第２奥行きが算出されるだけでなく、可視光画像に基づく第１奥行きも、その被写体までの距離として算出される。そして、これらの第１奥行きと第２奥行きとが、第１信頼性マスクおよび第２信頼性マスクに基づいて統合される。したがって、被写体における赤外光の反射率が低いために、その赤外光の強度に基づいて算出された第２奥行きの信頼性が低くても、第１奥行きを用いて、その第２奥行きを補正し、統合奥行きとして算出することができる。言い換えれば、第２奥行きが欠損していても、第１奥行きでその欠損を補うことができる。その結果、最終的に算出される奥行きの信頼性または精度を向上することができる。
【００１５】
また、第１信頼性マスクおよび第２信頼性マスクはそれぞれ二値であるため、第１奥行きと第２奥行きとの統合を簡単に行うことができ、適切な統合奥行きを容易に算出することができる。
【００１６】
また、前記赤外光の受光は、赤外光に基づく撮像によって行われ、前記可視光に基づく撮像と、前記赤外光に基づく撮像とでは、撮像対象のシーンと、撮像の視点および時刻とが実質的に同一であってもよい。
【００１７】
これにより、可視光に基づく撮像によって得られる可視光画像の各画素と、赤外光に基づく撮像によって得られる赤外光画像の各画素とを適切に対応付けることができる。したがって、互いに対応する第１奥行きと第２奥行きとを用いて、統合奥行きを高い精度で算出することができる。
【００１８】
ここで、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外光画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の時刻の撮像とは、撮像時刻の差が１フレーム以下で等しいことを示している。
【００１９】
また、前記メモリから取得される前記赤外光の強度は、前記光源から照射されて前記被写体に反射された赤外光が撮像素子によって受光されるときに、互いに異なる少なくとも３回のタイミングでの前記撮像素子の露光によって計測された少なくとも３つの強度からなり、前記第２奥行きの算出では、前記少なくとも３つの強度に基づいて前記第２奥行きを算出してもよい。
【００２０】
これにより、ＴｏＦを用いて第２奥行きを高い精度で算出することができる。
【００２１】
また、前記第１信頼性マスクの算出では、１から前記第２信頼性マスクを減算することによって前記第１信頼性マスクを算出してもよい。
【００２２】
これにより、第１信頼性マスクを可視光画像から算出する場合と比較してその算出の負荷を低減することができる。
【００２３】
また、前記統合奥行きの算出では、前記第２奥行きを算出することができない場合には、前記第１奥行きを前記統合奥行きとして算出してもよい。
【００２４】
例えば、空などの無限遠が被写体として扱われる場合などには、第２奥行きを適切に算出することができない。したがって、このような場合に、第１奥行きを統合奥行きとして算出することによって、第２奥行きの欠損を第１奥行きで簡単に補うことができる。
【００２５】
また、前記第２信頼性マスクの算出では、前記少なくとも３つの強度のうちの最大の強度と最小の強度との比に基づいて、前記第２信頼性マスクを算出してもよい。
【００２６】
少なくとも３の強度のうちの最大の強度を信号強度として見なすことができ、最小の強度をノイズ強度として見なすことができる。したがって、最大の強度と最小の強度との比、すなわちＳＮ比に基づいて第２信頼性マスクが算出されるため、その第２信頼性マスクを適切に算出することができる。
【００２７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【００２８】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００２９】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００３１】
（実施の形態）
［ハードウェア構成］
図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻での撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。
【００３２】
図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。
【００３３】
光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
【００３４】
光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
【００３５】
以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。
【００３６】
固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
【００３７】
固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。
【００３８】
以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。
【００３９】
図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。
【００４０】
図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
【００４１】
また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。
【００４２】
第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。
【００４３】
赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外光画像ともいう。
【００４４】
また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。
【００４５】
また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。
【００４６】
再び図１に戻って、奥行取得装置１の説明を続ける。
【００４７】
処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
【００４８】
処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
【００４９】
処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴｏＦ測距方式により、被写体までの距離を算出する。
【００５０】
以下、図面を参照しながら、処理回路３０が行うＴｏＦ測距方式による被写体までの距離の算出について説明する。
【００５１】
図３は、処理回路３０が、ＴｏＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。
【００５２】
図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。
【００５３】
図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。
【００５４】
光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。
【００５５】
ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２）      ・・・（式１）
【００５６】
このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。
【００５７】
また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。
【００５８】
再び図１に戻って、奥行取得装置１の説明を続ける。
【００５９】
処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。
【００６０】
すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行うことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。
【００６１】
処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。
【００６２】
処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。
【００６３】
拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。
【００６４】
レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。
【００６５】
バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。
【００６６】
上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
【００６７】
［奥行取得装置の機能構成］
本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻の撮像によって取得する。そして、奥行取得装置１は、そのＩＲ画像から得られる、そのＩＲ画像内の各位置における奥行きと、そのＢＷ画像から得られる、そのＢＷ画像内の各位置における奥行きとを統合することによって、その各位置における統合奥行きを算出する。なお、本実施の形態において、ＩＲ画像は、各画素位置における赤外光の強度を示す。したがって、そのＩＲ画像の取得は、固体撮像素子２０の各第１画素２１が赤外光を受光することによって計測された赤外光の強度の取得を意味する。
【００６８】
図４は、奥行取得装置１の機能構成の一例を示すブロック図である。
【００６９】
奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、プロセッサ１１０ａと、メモリ２００とを備える。なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２およびＢＷカメラ１０３を備えているが、これらの構成要素を備えず、プロセッサ１１０ａおよびメモリ２００のみを備えていてもよい。
【００７０】
光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよく、発光することによって赤外光を被写体に照射する。
【００７１】
ＩＲカメラ１０２は、赤外光カメラともいい、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。
【００７２】
ＢＷカメラ１０３は、可視光カメラともいい、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、ＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および同一の時刻での撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。
【００７３】
メモリ２００は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とを格納するための記録媒体である。なお、このようなメモリ２００は、具体的には、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）またはＳＳＤ（solid state drive）などであってもよく、不揮発性または揮発性であってもよい。また、メモリ２００は、ハードディスクであってもよい。
【００７４】
プロセッサ１１０ａは、メモリ２００からＩＲ画像およびＢＷ画像を取得し、ＩＲ画像から算出される奥行きと、ＢＷ画像から算出される奥行きとを統合する。このようなプロセッサ１１０ａは、発光制御部１１３と、ＩＲ強度取得部１１４と、ＢＷ画像取得部１１５と、ＢＷ奥行算出部１１１ａと、ＩＲ奥行算出部１１１ｂと、統合奥行算出部１１１ｃと、信頼性マスク算出部１１２とを備える。
【００７５】
発光制御部１１３は、光源１０１を制御する。つまり、発光制御部１１３は、上述の発光信号を光源１０１に出力することによって、その光源１０１を発光させる。これにより、光源１０１から赤外光が被写体に照射され、その被写体によって反射された光である反射光がＩＲカメラ１０２に入射する。
【００７６】
ＢＷ画像取得部１１５は、ＢＷカメラ１０３からメモリ２００を介してＢＷ画像を取得する。つまり、ＢＷ画像取得部１１５は、可視光に基づく被写体の撮像によって生成され、メモリ２００に保存されているＢＷ画像を取得する。
【００７７】
ＩＲ強度取得部１１４は、ＩＲカメラ１０２からメモリ２００を介してＩＲ画像を取得する。ここで、ＩＲ画像の各画素は、その画素の位置において受光された赤外光の強度を画素値（具体的には輝度）として示す。したがって、ＩＲ強度取得部１１４は、ＩＲ画像を取得することによって、赤外光の強度を取得する。つまり、ＩＲ強度取得部１１４は、光源１０１から照射されて被写体によって反射された赤外光を受光することによって計測され、メモリ２００に保存されている赤外光の強度を取得する。
【００７８】
ＢＷ奥行算出部１１１ａは、ＢＷ画像取得部１１５によって取得されたＢＷ画像に基づいて、被写体までの距離であるＢＷ奥行きを算出する。なお、このＢＷ奥行算出部１１１ａは、第１奥行算出部に相当する。
【００７９】
ＩＲ奥行算出部１１１ｂは、ＩＲ強度取得部１１４によって取得された赤外光の強度に基づいて、被写体までの距離であるＩＲ奥行きを算出する。なお、このＩＲ奥行算出部１１１ｂは、第２奥行算出部に相当する。
【００８０】
信頼性マスク算出部１１２は、ＢＷ奥行きの信頼性を二値で表すＢＷ信頼性マスクを算出し、さらに、ＩＲ奥行きの信頼性を二値で表すＩＲ信頼性マスクを算出する。
【００８１】
統合奥行算出部１１１ｃは、ＢＷ信頼性マスクおよびＩＲ信頼性マスクに基づいて、ＢＷ奥行きおよびＩＲ奥行きを統合することによって統合奥行きを算出する。
【００８２】
このような本実施の形態における奥行取得装置１では、被写体に反射された赤外光の強度に基づいて、その被写体までの距離としてＩＲ奥行きが算出されるだけでなく、ＢＷ画像に基づくＢＷ奥行きも、その被写体までの距離として算出される。そして、これらのＢＷ奥行きとＩＲ奥行きとが、ＢＷ信頼性マスクおよびＩＲ信頼性マスクに基づいて統合される。したがって、被写体における赤外光の反射率が低いために、その赤外光の強度に基づいて算出されたＩＲ奥行きの信頼性が低くても、ＢＷ奥行きを用いて、そのＩＲ奥行きを補正し、統合奥行きとして算出することができる。言い換えれば、ＩＲ奥行きが欠損していても、ＢＷ奥行きでその欠損を補うことができる。その結果、最終的に算出される被写体までの奥行きの信頼性または精度を向上することができる。
【００８３】
また、ＢＷ信頼性マスクおよびＩＲ信頼性マスクはそれぞれ二値であるため、ＢＷ奥行きとＩＲ奥行きとの統合を簡単に行うことができ、適切な統合奥行きを容易に算出することができる。
【００８４】
また、本実施の形態では、赤外光の受光は、赤外光に基づく撮像によって行われ、可視光に基づく撮像と、赤外光に基づく撮像とでは、撮像対象のシーンと、撮像の視点および時刻とが実質的に同一である。これにより、可視光に基づく撮像によって得られるＢＷ画像の各画素と、赤外光に基づく撮像によって得られるＩＲ画像の各画素とを適切に対応付けることができる。したがって、互いに対応するＢＷ奥行きとＩＲ奥行きとを用いて、統合奥行きを高い精度で算出することができる。
【００８５】
［赤外光の強度］
図５は、ＩＲ強度取得部１１４によって取得される赤外光の強度の一例を示す。
【００８６】
本実施の形態におけるＩＲカメラ１０２に用いられる固体撮像素子２０は、光源１０１から照射されて被写体に反射された赤外光を受光する。ここで、光源１０１から照射される赤外光はパルス光であるが、被写体に反射された赤外光の強度は、その反射または内部散乱などによって、図５の（ａ）に示すように、時間方向に広がる。
【００８７】
本実施の形態におけるＩＲ強度取得部１１４は、固体撮像素子２０に反射光を受光させるときには、光源１０１が赤外光を照射するタイミングに応じて、上述の露光信号を固体撮像素子２０に出力する。その結果、その固体撮像素子２０は、互いに異なる少なくとも３回のタイミングで露光される。なお、そのタイミングを露光タイミングともいう。また、本実施の形態では、その露光タイミングは３回である。
【００８８】
固体撮像素子２０は、反射光である赤外光を受光する場合、その３回の露光タイミングによって、図５の（ａ）に示すように、区間Ｔ１と、区間Ｔ１に後続する区間Ｔ２と、区間Ｔ２に後続する区間Ｔ３とのそれぞれで赤外光を受光する。なお、区間Ｔ１、Ｔ２およびＴ３はそれぞれ互いに異なる露光タイミングに露光される区間であって、これらの区間の時間間隔は同一である。この時間間隔は、測定対象の距離の範囲に基づいて定められる。例えば、主となる被写体までの距離Ｌが１５ｍ、光速ｃを３×１０８ｍ／ｓとすると、反射光が理想的に返ってくる時間ｔｒは、ｔｒ＝２Ｌ／ｃ＝１００ｎｓとなる。したがって、測定対象の反射光が理想的に返って来る時間１００ｎｓを、上述の時間間隔に用いることで、反射光を受光することが可能となる。なお、この時間間隔は、一例であり、反射光が受光されれば距離を算出できるため、厳密にその時間間隔を用いる必要はない。
【００８９】
被写体がＩＲカメラ１０２に近い場合、固体撮像素子２０によって受光される反射光の強度は、区間Ｔ１〜Ｔ３の中で最も早い区間Ｔ１において大きく、時間の経過とともに減少する。被写体との距離と反射光強度の関係については後述する。なお、固体撮像素子２０には、背景光がバックグラウンドノイズとして何れの区間にも受光されている。また、区間Ｔ３において受光される赤外光の多くは、光源１０１に基づく反射光ではなくバックグラウンドノイズである。
【００９０】
ここで、被写体とＩＲカメラ１０２との距離の遠近について説明する。赤外光を発光した時刻を０とし、区間Ｔ１の中央の時刻をＴ１Ｍとすると、時刻０から時刻Ｔ１Ｍまでの時間で光が伝播する距離ＬＭはＬＭ＝ｃ×Ｔ１Ｍである。ある画素に着目すると、その画素に対応する被写体までの距離がＬＭ／２より小さい場合、被写体とＩＲカメラ１０２との距離は近いことを意味する。一方、その画素に対応する被写体までの距離がＬＭ／２より大きい場合、被写体とＩＲカメラ１０２との距離は遠いことを意味する。言い換えると、区間Ｔ１の露光時間に反射光のピークがすでに通過した場合が近く、まだ通過していない場合が遠い。したがって、区間Ｔ１において、反射光のピークがすでに通過した場合、区間Ｔ２と区間Ｔ３で反射光の強度は増加することはない。一方、被写体までの距離が遠い場合、区間Ｔ１において、まだピークが到達していなため、区間Ｔ２および区間Ｔ３にかけて反射光の強度のピークが接近、あるいは、到達するため、区間Ｔ１で観測された反射光の強度よりも大きい強度が区間Ｔ２で観測され、区間Ｔ３で区間Ｔ２よりも大きい強度が観測される。但し、反射光の時間方向の広がりが上述の時間間隔以下であり、区間Ｔ２で反射光のピークが観測された場合、区間Ｔ３で観測される反射光の強度は区間Ｔ２より小さくなる。
【００９１】
このように、本実施の形態では、ＩＲ強度取得部１１４によってメモリ２００から取得される赤外光の強度は、光源１０１から照射されて被写体に反射された赤外光が固体撮像素子２０によって受光されるときに、互いに異なる少なくとも３回のタイミングでの固体撮像素子２０の露光によって計測された少なくとも３つの強度からなる。
【００９２】
また、固体撮像素子２０の各第１画素２１は、図５の（ｂ）に示すように、それぞれの区間における反射光（すなわち赤外光）の強度の累積値を、その区間に対応する時刻での赤外光の強度として出力する。つまり、固体撮像素子２０は、区間Ｔ１における赤外光の強度の累積値を、時刻ｔ１における赤外光の強度として出力する。同様に、固体撮像素子２０は、区間Ｔ２およびＴ３における赤外光の強度の累積値を、時刻ｔ２および時刻ｔ３における赤外光の強度としてそれぞれ出力する。ＩＲ強度取得部１１４は、このような３つの区間のそれぞれでの赤外光の強度の累積値を、互いに異なる３回のタイミングでの固体撮像素子２０の露光によって計測された３つの強度として取得する。
【００９３】
なお、時刻ｔ１、ｔ２およびｔ３は、区間Ｔ１、Ｔ２およびＴ３のそれぞれにおける中間の時刻であって、互いに異なる露光タイミングとして扱われてもよい。また、これらの時刻は、光源１０１から赤外光が照射された時点からの経過時間を示す。さらに、以下の説明では、露光タイミングにおいて受光または取得される赤外光の強度は、その露光タイミングに対応する区間での赤外光の強度の累積値を意味する。
【００９４】
図６は、ＩＲ強度取得部１１４によって取得される赤外光の強度の他の例を示す。
【００９５】
被写体がＩＲカメラ１０２に近い場合、図６の（ａ）に示すように、固体撮像素子２０から出力される赤外光の強度は、露光タイミングｔ１において最も大きく、その後の露光タイミングｔ２では小さく、さらに後の露光タイミングｔ３では最も小さい。なお、露光タイミングｔ３における赤外光の強度は、バックグラウンドノイズの強度に近い。
【００９６】
逆に、被写体がＩＲカメラ１０２から遠い場合、図６の（ｂ）に示すように、固体撮像素子２０から出力される赤外光の強度は、露光タイミングｔ１において最も小さく、その後の露光タイミングｔ２では大きく、さらに後の露光タイミングｔ３では最も大きい。なお、露光タイミングｔ１における赤外光の強度は、バックグラウンドノイズの強度に近い。
【００９７】
［ＩＲ奥行きの算出方法］
図７は、ＩＲ強度取得部１１４によって取得される赤外光の強度と、バックグラウンドノイズとの一例を示す。
【００９８】
上述のように、パルス光を用いた測距方法はＴｏＦ（Time of Flight: 飛行時間法）と呼ばれる。このＴｏＦでは、パルス光が照射されてから、被写体によって反射され、そのパルス光の反射光が観測されるまでの時間に基づいて、その被写体までの距離である奥行きを算出する。奥行きをＬとし、光速をｃとし、経過時間をΔｔとすると、その奥行きは、理想的にはＬ＝ｃΔｔ／２によって算出される。なおパルス光は反射されるので、光路は奥行きの２倍である。
【００９９】
距離分解能を高めるには、短い時間で多数の露光を行い、どの露光タイミングで反射光が観測されたかを調べればよい。しかし、露光時間が短いと受光の強度が低下する。すなわち、ＳＮ比が低下し、算出される奥行きの信頼性が低下する。
【０１００】
このため、本実施の形態では、少ない露光回数、すなわち３回の露光で反射光を観測する。また、本実施の形態では、パルス光として赤外光を用いるが、環境光（すなわち背景光）にも赤外成分が含まれる。したがって、図７に示すように、常に背景光の強度Ｉｂａｃｋがバックグラウンドノイズとして観測される。この背景光は、全ての露光タイミングのそれぞれにおいて取得される赤外光に、同じ強度だけ含まれると考えられる。したがって、互いに異なる露光タイミングにおいて取得される赤外光の強度の差を使うことで、背景光の影響を除去できる。
【０１０１】
３つの露光タイミングにおいて取得される赤外光の強度から距離を算出する方法は、複数ある。単純な例では、ＩＲ奥行算出部１１１ｂは、各露光タイミングにおいて取得された赤外光のうち、強度が最小の赤外光を背景光と見なし、その最小の赤外光以外の赤外光の強度から、背景光の強度を除く。これによって、背景光の影響を受けていない赤外光の強度を取得することができる。具体的には、図７に示すように、ＩＲ奥行算出部１１１ｂは、露光タイミングｔ３で取得された赤外光の強度Ｉ３を、背景光の強度Ｉｂａｃｋと見なす。そして、ＩＲ奥行算出部１１１ｂは、露光タイミングｔ１で取得された赤外光の強度Ｉ１から背景光の強度Ｉｂａｃｋとして強度Ｉ３を除き、露光タイミングｔ３で取得された赤外光の強度Ｉ２から背景光の強度Ｉｂａｃｋとして強度Ｉ３を除く。これにより、時刻ｔ１およびｔ２のそれぞれにおいて、背景光の影響を受けていない赤外光の強度が算出される。
【０１０２】
ここで、図７に示す例の場合、ＩＲ奥行算出部１１１ｂは、最大の強度Ｉ１の赤外光が受光された露光タイミングｔ１までの経過時間を、ＴｏＦの経過時間Δｔに用いてもよい。また、ＩＲ奥行算出部１１１ｂは、最大の強度Ｉ１の赤外光が受光された露光タイミングｔ１と、強度Ｉ１の次に大きい強度Ｉ２の赤外光が受光された露光タイミングｔ２とを用いて、ＴｏＦの経過時間Δｔを算出してもよい。
【０１０３】
例えば、赤外光の強度Ｉ１と強度Ｉ２とが等しい場合、ＩＲ奥行算出部１１１ｂは、露光タイミングｔ１とｔ２との中間のタイミングまでの経過時間を、ＴｏＦの経過時間Δｔとして算出してもよい。つまり、ＩＲ奥行算出部１１１ｂは、強度Ｉ１と強度Ｉ２とを重み係数とする、露光タイミングｔ１とｔ２との加重平均から、経過時間Δｔを算出してもよい。
【０１０４】
［赤外光の強度の信頼性］
また、光源１０１が発光しているときの赤外光のパルスの出力は一定とみなせる。したがって、固体撮像素子２０において観測される反射光の強度は、図６に示すように単調減少したり、または単調増加することが期待される。しかし、実際には、その強度が単調増加も単調減少もしない場合がある。なお、本実施の形態における単調増加または単調減少には、その強度が変化しない状態は含まれない。
【０１０５】
具体的には、赤外光の強度Ｉ１、Ｉ２およびＩ３の時間変化のパターンには、上述の単調増加および単調減少以外に、例えば以下の３つのパターン１、パターン２およびパターン３がある。
【０１０６】
パターン１では、観測される強度Ｉ１、Ｉ２およびＩ３が等しい（すなわち、Ｉ１＝Ｉ２＝Ｉ３）。このようなパターン１では、これらの強度は全て背景光の強度Ｉｂａｃｋと見なせ、反射光が観測されなかったと考えられる。例えば、被写体が空などの無限遠、または反射しにくい物体であるときに、そのパターン１の状態が起こり得る。あるいは、被写体が、鏡面または一部の道路標識など、反射率が極めて高い物体であるときに、全ての露光タイミングにおいて、反射光の強度が固体撮像素子２０の入力上限を越える（すなわち飽和する）。その結果、強度Ｉ１、Ｉ２およびＩ３の全てが同じ値の最大強度Ｉｍａｘとなる。
【０１０７】
パターン２では、露光タイミングｔ２における強度Ｉ２が最小となる。このようなパターン２の状態は、光源１０１以外の外光の明るさが変化することによって（例えば、赤外成分を含む光を放つライトが点灯したことによって）、背景光が一定でないときに生じる。
【０１０８】
パターン３では、強度Ｉ１が最大であって、強度Ｉ２および強度Ｉ３が同じである、あるいは、強度Ｉ３が最大であって、強度Ｉ１および強度Ｉ２が同じである。つまり、固体撮像素子２０は、露光タイミングｔ１で反射光を受光し、露光タイミングｔ２およびｔ３では背景光のみを受光する。すなわち、Ｉ１＞Ｉ２＝Ｉ３＝Ｉｂａｃｋが満たされている。あるいは、固体撮像素子２０は、露光タイミングｔ３で反射光を受光し、露光タイミングｔ１およびｔ２では背景光のみを受光する。すなわち、Ｉ３＞Ｉ１＝Ｉ２＝Ｉｂａｃｋが満たされている。また、前述したように、反射光の時間方向の広がりが露光時間間隔以下であり、区間Ｔ２で反射光のピークが観測された場合（Ｉ２が最大）、区間Ｔ３で観測される反射光の強度は区間Ｔ２より小さくなる。これらの強度は、期待される正常な強度であり、算出される奥行きは信頼できる。
【０１０９】
以上のように、３つの露光タイミングでの赤外光の強度のパターンが、パターン１かパターン２の場合、その３つの露光タイミングの強度は、想定された受光強度でなく、それらの強度に基づいて算出されるＩＲ奥行きの信頼性も低い。
【０１１０】
図８は、信頼性が低い赤外光の強度のパターンを示す。
【０１１１】
例えば、図８の（ａ）に示すように、露光タイミングｔ１での赤外光の強度Ｉ１と、露光タイミングｔ２での赤外光の強度Ｉ２と、露光タイミングｔ３での赤外光の強度Ｉ３とが同じであるパターンは、上述のパターン１に相当する。この場合には、被写体から反射される赤外光が弱すぎる、または強すぎる。例えば、被写体がＩＲカメラ１０２から無限遠にあるために、背景光である赤外光のみがノイズとしてＩＲカメラ１０２の固体撮像素子２０に受光されている。または、固体撮像素子２０に受光される赤外光の強度が飽和している。したがって、これらの赤外光の強度に基づいて算出されるＩＲ奥行きの信頼性は低い。
【０１１２】
また、図８の（ｂ）に示すように、露光タイミングｔ２での赤外光の強度Ｉ２が、露光タイミングｔ１での赤外光の強度Ｉ１、および露光タイミングｔ３での赤外光の強度Ｉ３の何れよりも小さいパターンも、上述のパターン２に相当する。この場合には、外光の変化の影響によって、被写体から反射される赤外光を適切に受光することができていないため、これらの赤外光の強度に基づいて算出されるＩＲ奥行きの信頼性は低い。
【０１１３】
図９は、信頼性が高い赤外光の強度のパターンを示す。
【０１１４】
例えば、図９の（ａ）に示すように、時間経過とともに赤外光の強度Ｉ１、Ｉ２およびＩ３が単調減少するパターンは、被写体がＩＲカメラ１０２に近い場合に想定されるパターンである。したがって、これらの赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出される奥行きの信頼性は高い。同様に、図９の（ｃ）に示すように、時間経過とともに赤外光の強度Ｉ１、Ｉ２およびＩ３が単調増加するパターンは、被写体がＩＲカメラ１０２から遠い場合に想定されるパターンである。したがって、これらの赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出される奥行きの信頼性は高い。
【０１１５】
また、図９の（ｂ）に示すように、露光タイミングｔ１での赤外光の強度Ｉ１が最大であって、露光タイミングｔ２での赤外光の強度Ｉ２、および露光タイミングｔ３での赤外光の強度Ｉ３が同じであるパターンは、上述のパターン３に相当する。このようなパターンも、被写体がＩＲカメラ１０２から近い場合に想定されるパターンである。つまり、露光タイミングｔ１において、被写体に反射された赤外光が受光され、露光タイミングｔ２およびｔ３では、その反射光ではなく背景光が受光されていると想定される。したがって、これらの赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出される奥行きの信頼性は高い。
【０１１６】
また、図９の（ｄ）に示すように、露光タイミングｔ２での赤外光の強度Ｉ２が、露光タイミングｔ１での赤外光の強度Ｉ１、および露光タイミングｔ３での赤外光の強度Ｉ３の何れよりも大きいパターンは、上述のパターン３に含まれる。このような図９の（ｄ）に示すパターンは、反射光の時間方向の広がりが露光時間間隔以下であり、区間Ｔ２で反射光のピークが観測された場合に想定されるパターンである。しがって、これらの赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出される奥行きの信頼性は高い。
【０１１７】
このように、赤外光の強度Ｉ１、Ｉ２およびＩ３のパターンから、それらの赤外光の強度の信頼性を判断することができる。したがって、本実施の形態におけるＩＲ奥行算出部１１１ｂは、赤外光の強度の信頼性が低い場合には、その赤外光の強度に基づいて算出されるＩＲ奥行きも信頼性が低いことが明らかであるため、そのＩＲ奥行きを算出しなくてもよい。
【０１１８】
［ＩＲ信頼性マスクの算出方法］
図１０は、ＩＲ信頼性マスクの算出方法の一例を示す。
【０１１９】
信頼性マスク算出部１１２は、ＩＲ信頼性マスクを算出するときには、３つの露光タイミングにおいて得られる赤外光の強度Ｉ１、Ｉ２およびＩ３のうちの最大値と最小値とを用いる。つまり、信頼性マスク算出部１１２は、それらの強度のうちの最大値をシグナル強度として用い、それらの強度のうちの最小値をノイズ強度として用いることによって、ＳＮ比（signal-noise ratio）を算出する。そして、信頼性マスク算出部１１２は、そのＳＮ比を、０または１を示す二値のＩＲ信頼性マスクに変換する。
【０１２０】
例えば、図１０の（ａ）および（ｂ）に示すように、３つの露光タイミングにおいて得られる赤外光の強度Ｉ１、Ｉ２およびＩ３のうちの最大値は強度Ｉ１であり、最小値は強度Ｉ３である。したがって、信頼性マスク算出部１１２は、強度Ｉ１をシグナル強度として用い、強度Ｉ３をノイズ強度として用いることによって、ＳＮ比を算出する。
【０１２１】
具体的には、図１０の（ａ）に示す場合、信頼性マスク算出部１１２は、強度Ｉ１をシグナル強度Ｓ１として用い、強度Ｉ３をノイズ強度Ｎ１として用いることによって、ＳＮ比ｒ１をｒ１＝Ｓ１／Ｎ１によって算出する。同様に、図１０の（ｂ）に示す場合、信頼性マスク算出部１１２は、強度Ｉ１をシグナル強度Ｓ２として用い、強度Ｉ３をノイズ強度Ｎ２として用いることによって、ＳＮ比ｒ２をｒ２＝Ｓ２／Ｎ２によって算出する。
【０１２２】
ここで、図１０の（ａ）に示す例では、図１０の（ｂ）に示す例よりも、ＳＮ比が大きい。その結果、図１０の（ａ）に示す赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出されるＩＲ奥行きの方が、図１０の（ｂ）に示す赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて算出されるＩＲ奥行きよりも信頼性が高い。つまり、ＳＮ比は、赤外光の強度から算出されるＩＲ奥行きの信頼度を示していると言える。
【０１２３】
したがって、本実施の形態における信頼性マスク算出部１１２は、上述のように、ＳＮ比を、０または１を示す二値のＩＲ信頼性マスクに変換する。例えば、信頼性マスク算出部１１２は、ＳＮ比が閾値より大きい場合には、そのＳＮ比を、１を示すＩＲ信頼性マスクに変換する。一方、信頼性マスク算出部１１２は、ＳＮ比が閾値以下の場合には、そのＳＮ比を、０を示すＩＲ信頼性マスクに変換する。このＳＮ比と比較される閾値は、予め定められていてもよい。例えば、信頼性マスク算出部１１２は、反射率の高い被写体によって反射される赤外光の強度を用いたＳＮ比、すなわち最大と想定されるＳＮ比を予め算出しておき、そのＳＮ比の１／２を閾値として決定してもよい。
【０１２４】
このように、本実施の形態では、信頼性マスク算出部１１２は、少なくとも３つの赤外光の強度のうちの最大の強度と最小の強度との比に基づいて、ＩＲ信頼性マスクを算出する。これにより、ＩＲ信頼性マスクを適切に算出することができる。
【０１２５】
なお、信頼性マスク算出部１１２は、ＳＮ比の代わりに、常用対数ｌｏｇ（Ｓ／Ｎ）または自然対数Ｉｎ（Ｓ／Ｎ）を用い、そのｌｏｇ（Ｓ／Ｎ）などを正規化することによって、ＩＲ信頼性マスクを算出してもよい。なお、Ｓは、上述のように３つの赤外光の強度Ｉ１、Ｉ２およびＩ３のうちの最大値であり、Ｎは、それらのうちの最小値である。また、このようなＩＲ信頼性マスクは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１によって受光される赤外光に対して算出される。
【０１２６】
［ＢＷ奥行きの算出方法］
ＢＷ奥行算出部１１１ａは、ＢＷ画像に基づいて、被写体までの距離であるＢＷ奥行きを算出する。具体的には、ＢＷ奥行算出部１１１ａは、ＳＬＡＭ（Simultaneous Localization and Mapping）によってＢＷ奥行きを算出する（非特許文献： M. W. M. Gamini Dissanayake, Steven Clark, Hugh F. Durrant-Whyte, A Solution to the Simultaneous Localization and Map Building (SLAM) Problem, IEEE Transactions on Robotics and Automation, Vol. 17, No. 3, 2001）。つまり、奥行取得装置１が車両に搭載され、その車両が移動している場合、ＢＷ奥行算出部１１１ａは、ＢＷカメラ１０３が移動しながら撮像することによって得られた、互いに異なる時間フレームの２枚のＢＷ画像を用いてＢＷ奥行きを算出する。このようなＳＬＡＭによって、単眼カメラであるＢＷカメラ１０３でもステレオ測距することが可能となり、被写体の奥行きをＢＷ奥行きとして算出することができる。なお、被写体の三次元位置と自己位置とを同時に推定する手法は、一般にＳＬＡＭと呼ばれるが、特に、本実施の形態のように、ＢＷ画像のみを用いる手法は、Ｖｉｓｕａｌ  ＳＬＡＭとも呼ばれる。
【０１２７】
［ＢＷ信頼性マスクの算出方法］
信頼性マスク算出部１１２は、ＢＷ画像取得部１１５によって取得されたＢＷ画像に基づいてＢＷ信頼性マスクを算出する。この場合、信頼性マスク算出部１１２は、ＢＷ画像の画素ごとに、その画素に対応するテクスチャ量を算出する。例えば、信頼性マスク算出部１１２は、ＢＷ画像の画素ごとに、その画素を含む領域内の輝度勾配の総和を、テクスチャ量として算出する。そして、信頼性マスク算出部１１２は、テクスチャ量を、０または１を示す二値のＢＷ信頼性マスクに変換する。例えば、信頼性マスク算出部１１２は、テクスチャ量が閾値より大きい場合には、そのテクスチャ量を、１を示すＢＷ信頼性マスクに変換する。一方、信頼性マスク算出部１１２は、テクスチャ量が閾値以下の場合には、そのテクスチャ量を、０を示すＢＷ信頼性マスクに変換する。このテクスチャ量との比較に用いられる閾値は、予め定められていてもよい。例えば、信頼性マスク算出部１１２は、最大と想定されるテクスチャ量を算出しておき、そのテクスチャ量の１／２を閾値に決定してもよい。
【０１２８】
または、信頼性マスク算出部１１２は、上述のように算出されたＩＲ信頼性マスクを用いてＢＷ信頼性マスクを算出してもよい。この場合、信頼性マスク算出部１１２は、１からＩＲ信頼性マスクを減算することによって、ＢＷ信頼性マスクを算出する。言い換えれば、信頼性マスク算出部１１２は、ＩＲ信頼性マスクが１であれば、ＢＷ信頼性マスクを０に決定し、ＩＲ信頼性マスクが０であれば、ＢＷ信頼性マスクを１に決定してもよい。これにより、ＢＷ信頼性マスクをＢＷ画像から算出する場合と比較してその算出の負荷を低減することができる。
【０１２９】
［統合奥行きの算出方法］
統合奥行算出部１１１ｃは、上述のように算出されたＢＷ信頼性マスクおよびＩＲ信頼性マスクに基づいて、ＢＷ奥行きおよびＩＲ奥行きを統合することによって統合奥行きを算出する。
【０１３０】
例えば、ＢＷ信頼性マスクがＢＷ画像から算出される場合、つまり、ＢＷ信頼性マスクとＩＲ信頼性マスクとが独立に算出される場合、統合奥行算出部１１１ｃは、ＩＲ信頼性マスクと、ＢＷ信頼性マスクとの和が１になるように、それらの信頼性マスクを調整してもよい。具体的には、統合奥行算出部１１１ｃは、ＢＷ信頼性マスクとＩＲ信頼性マスクとが共に同じ値を示す場合には、ＩＲ信頼性マスクを優先させ、ＢＷ信頼性マスクの値を変更してもよい。つまり、統合奥行算出部１１１ｃは、ＩＲ信頼性マスクの値を変更することなく、ＢＷ信頼性マスクの値を１から０に、または０から１に変更する。
【０１３１】
つまり、ＢＷ信頼性マスクおよびＩＲ信頼性マスクのうちの何れか一方は０であって、他方は１である。そして、統合奥行算出部１１１ｃは、ＢＷ信頼性マスクおよびＩＲ信頼性マスクを、ＢＷ奥行きに対する重み係数およびＩＲ奥行きに対する重み係数としてそれぞれ用いた、ＢＷ奥行きとＩＲ奥行きとの重み付け加算によって、統合奥行きを算出する。
【０１３２】
また、ＢＷ信頼性マスクがＩＲ信頼性マスクから算出される場合には、統合奥行算出部１１１ｃは、統合奥行きＤを、Ｄ＝（１−ＷＩＥ）×ＤＢＷ＋ＷＩＲ×ＤＩＲによって算出する。
【０１３３】
［処理フロー］
図１１は、本実施の形態における奥行取得装置１の処理動作を示すフローチャートである。
【０１３４】
（ステップＳ１１０）
まず、奥行取得装置１のＢＷカメラ１０３は、可視光に基づく被写体の撮像を行うことによってＢＷ画像を取得する。このＢＷ画像は、メモリ２００に保存される。したがって、プロセッサ１１０ａのＢＷ画像取得部１１５は、ＢＷカメラ１０３からメモリ２００を介してそのＢＷ画像を取得する。
【０１３５】
（ステップＳ１２０）
次に、ＩＲカメラ１０２は、光源１０１から赤外光が照射された被写体の撮像を行うことによってＩＲ画像を取得する。ここで、そのＩＲ画像の各画素の輝度は、その赤外光の強度を示している。したがって、ステップＳ１２０では、ＩＲカメラ１０２は、光源１０１から照射されて被写体によって反射された赤外光を受光することによってその赤外光の強度を取得する。また、このＩＲ画像は、メモリ２００に保存される。したがって、プロセッサ１１０ａのＩＲ強度取得部１１４は、ＩＲカメラ１０２からメモリ２００を介してそのＩＲ画像を取得する。つまり、ＩＲ強度取得部１１４は、被写体によって反射された赤外光を受光することによって計測され、メモリ２００に保存されている赤外光の強度を取得する。なお、この取得される赤外光の強度は、固体撮像素子２０に含まれる各第１画素２１によって計測された強度である。
【０１３６】
（ステップＳ１３０）
次に、ＢＷ奥行算出部１１１ａは、ＢＷ画像に基づいて、被写体までの距離であるＢＷ奥行きを算出する。具体的には、ＢＷ奥行算出部１１１ａは、ＳＬＡＭによってＢＷ奥行きを算出する。つまり、奥行取得装置１が車両に搭載され、その車両が移動している場合、ＢＷ奥行算出部１１１ａは、ＢＷカメラ１０３が移動しながら撮像することによって得られた、互いに異なる時間フレームの２枚のＢＷ画像を用いてＢＷ奥行きを算出する。
【０１３７】
（ステップＳ１４０）
次に、ＩＲ奥行算出部１１１ｂは、ステップＳ１２０で取得された赤外光の強度に基づいて、被写体までの距離であるＩＲ奥行きを算出する。つまり、ＩＲ奥行算出部１１１ｂは、３つの露光タイミングｔ１、ｔ２およびｔ３において得られた赤外光の強度Ｉ１、Ｉ２およびＩ３を用いて経過時間Δｔを算出し、ＴｏＦの手法にその経過時間Δｔを適用することによって、ＩＲ奥行きを算出する。このＩＲ奥行きは、ＩＲ画像の画素ごと、すなわち固体撮像素子２０の第１画素２１ごとに算出される。
【０１３８】
ここで、３つの露光タイミングｔ１、ｔ２およびｔ３における赤外光の強度Ｉ１、Ｉ２およびＩ３の信頼性が低い場合には、ＩＲ奥行算出部１１１ｂは、それらの強度に基づいてＩＲ奥行きを算出しなくてもよい。例えば、赤外光の強度の時間変化のパターンが、図８の（ａ）および（ｂ）に示すパターンである場合、すなわち、上述のパターン１または２である場合、ＩＲ奥行算出部１１１ｂは、これらの赤外光の強度の信頼性が低いため、ＩＲ奥行きを算出しなくてもよい。
【０１３９】
（ステップＳ１５０）
次に、信頼性マスク算出部１１２は、ステップＳ１３０で算出されたＢＷ奥行きの信頼性を二値で表すＢＷ信頼性マスクを算出し、ステップＳ１４０で算出されたＩＲ奥行きの信頼性を二値で表すＩＲ信頼性マスクを算出する。なお、ＢＷ信頼性マスクおよびＩＲ信頼性マスクのうちの何れか一方は０であって、他方は１である。
【０１４０】
（ステップＳ１６０）
次に、統合奥行算出部１１１ｃは、ステップＳ１５０で算出されたＢＷ信頼性マスクおよびＩＲ信頼性マスクに基づいて、ステップＳ１３０およびＳ１４０で算出されたＢＷ奥行きおよびＩＲ奥行きを統合することによって統合奥行きを算出する。
【０１４１】
これにより、ＩＲ信頼性マスクが閾値以上の場合には、ＩＲ奥行きの信頼性が十分に高く、ＢＷ奥行きとＩＲ奥行きとを統合させる必要がない。したがって、このような場合には、ＩＲ奥行きを統合奥行きとして算出することによって、統合のための処理を省くことができ、処理負荷の低減を図ることができる。
【０１４２】
また、統合奥行算出部１１１ｃは、ＩＲ奥行きを算出することができない場合には、統合奥行きとしてＢＷ奥行きを算出してもよい。例えば、上述のように、赤外光の強度の時間変化のパターンが、図８の（ａ）および（ｂ）に示すパターンである場合、すなわち、上述のパターン１または２である場合、ＩＲ奥行きが算出されない。このような場合には、統合奥行算出部１１１ｃは、統合奥行きＤとしてＢＷ奥行きＤＢＷを算出する。
【０１４３】
例えば、空などの無限遠が被写体として扱われる場合などには、ＩＲ奥行きを適切に算出することができない。したがって、このような場合に、ＢＷ奥行きを統合奥行きとして算出することによって、ＩＲ奥行きの欠損をＢＷ奥行きで簡単に補うことができる。
【０１４４】
図１２は、奥行取得装置１による信頼性マスクの算出の詳細な処理動作を示すフローチャートである。つまり、図１２は、図１１に示すステップＳ１５０の詳細な処理動作を示す。
【０１４５】
（ステップＳ１５１）
信頼性マスク算出部１１２は、まず、ＩＲ信頼性マスクを算出する。このときには、信頼性マスク算出部１１２は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１によって計測された、３つの露光タイミングｔ１、ｔ２およびｔ３における赤外光の強度Ｉ１、Ｉ２およびＩ３を取得する。
【０１４６】
（ステップＳ１５２）
次に、信頼性マスク算出部１１２は、ステップＳ１５１で取得された赤外光の強度Ｉ１、Ｉ２およびＩ３に基づいて、図１０に示すようにＳＮ比を算出する。そして、信頼性マスク算出部１１２は、そのＳＮ比を正規化することによって、それらの赤外光の強度に基づいてステップＳ１４０で算出されたＩＲ奥行きの信頼性を二値で示すＩＲ信頼性マスクを算出する。なお、ＩＲ信頼性マスクは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれに対して算出される。
【０１４７】
（ステップＳ１５３）
次に、信頼性マスク算出部１１２は、ＢＷ信頼性マスクを算出する。このときには、信頼性マスク算出部１１２は、まず、ＢＷ画像に含まれる複数の画素のそれぞれについて、その画素に対応するテクスチャ量を算出する。例えば、信頼性マスク算出部１１２は、ＢＷ画像の画素ごとに、その画素を含む領域内の輝度勾配の総和を、テクスチャ量として算出する。
【０１４８】
（ステップＳ１５４）
信頼性マスク算出部１１２は、ＢＷ画像に含まれる複数の画素のそれぞれについて、例えば、ステップＳ１５３で算出されたその画素に対応するテクスチャ量を正規化する。これによって、信頼性マスク算出部１１２は、ステップＳ１３０で算出されたその画素に対応するＢＷ奥行きの信頼性を二値で示すＢＷ信頼性マスクを算出する。
【０１４９】
上述の例では、信頼性マスク算出部１１２は、ＢＷ画像に基づいてＢＷ信頼性マスクを算出するが、上述のように、１からＩＲ信頼性マスクを減算することによって、ＢＷ画像を用いずにＢＷ信頼性マスクを算出してもよい。
【０１５０】
（変形例）
上記実施の形態では、統合奥行きの算出に、ＢＷ信頼性マスクおよびＩＲ信頼性マスクなどの信頼性マスクを用いたが、その信頼性マスクを用いることなく、学習モデルを用いて統合奥行きを算出してもよい。
【０１５１】
図１３は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。なお、図１３に示す構成要素のうち、図４に示す構成要素と同一の構成要素については、図４に示す構成要素と同一の符号を付し、詳細な説明を省略する。
【０１５２】
本変形例における奥行取得装置１は、図４に示すプロセッサ１１０ａの代わりにプロセッサ１００ｂを備え、さらに、学習モデル１０４を備える。
【０１５３】
学習モデル１０４は、例えばニューラルネットワークであって、深層学習によって構成されている。例えば、この学習モデル１０４に入力される入力データには、ＢＷ画像と、そのＢＷ画像から算出されたＢＷ奥行きと、３つの露光タイミングのそれぞれにおける赤外光の強度と、それらの赤外光の強度に基づくＩＲ画像と、それらの赤外光の強度から算出されたＩＲ奥行きと、のうちの少なくとも２つの任意のデータを用いてもよい。この学習モデル１０４では、その少なくとも２つの任意のデータである入力データの組み合わせに対して、正解の統合奥行きが出力されるように、既に学習が行われている。なお、プロセッサ１１０ｂは、後述のとおり、信頼性マスク算出部１１２を備えていない。しかし、プロセッサ１１０ｂがこの信頼性マスク算出部１１２を備えている場合には、入力データとして、その信頼性マスク算出部１１２から出力されるＢＷ信頼性マスクおよびＩＲ信頼性マスクの少なくとも一方が用いられてもよい。なお、ＢＷ信頼性マスクおよびＩＲ信頼性マスクだけが入力データとして用いられることはない。
【０１５４】
なお、深層学習を用いた画像補間技術は、非特許文献（Satoshi Iizuka, Edgar Simo-Serra and Hiroshi Ishikawa “Globally and Locally Consistent Image Completion”, ACM Transactions on Graphics, Vol. 36, No. 4, Article 107. Publication date: July 2017.）に開示されている。しかし、この非特許文献に用いられる学習モデルには、ＲＧＢ画像と、欠損補間位置を示す二値マスクとが入力データとして入力され、その入力データに対して、欠損補間されたＲＧＢ画像が出力データとしてその学習モデルから出力される。
【０１５５】
プロセッサ１００ｂは、図４に示す信頼性マスク算出部１１２を備えておらず、図４に示す統合奥行算出部１１１ｃの代わりに、統合奥行算出部１１１ｄを備える。
【０１５６】
統合奥行算出部１１１ｄは、上述の学習モデル１０４に対して上述の入力データを入力する。その結果、統合奥行算出部１１１ｄは、その入力データに対する出力データとして、統合奥行きを学習モデル１０４から取得する。
【０１５７】
つまり、図１３に示す奥行取得装置１は、メモリ２００とプロセッサ１１０ｂとを備える。プロセッサ１１０ｂのＢＷ画像取得部１１５は、ＢＷカメラ１０３による可視光に基づく被写体の撮像によって生成され、メモリ２００に保存されているＢＷ画像を取得する。ＩＲ強度取得部１１４は、光源１０１から照射されて被写体によって反射された赤外光を受光することによって計測され、メモリ２００に保存されている赤外光の強度を取得する。ＢＷ奥行算出部１１１ａは、ＢＷ画像に基づいて、被写体までの距離であるＢＷ奥行きを算出する。ＩＲ奥行算出部１１１ｂは、赤外光の強度に基づいて、被写体までの距離であるＩＲ奥行きを算出する。統合奥行算出部１１１ｄは、ＢＷ画像、赤外光の強度、ＢＷ奥行きおよびＩＲ奥行きを、学習モデル１０４に入力することによって、ＢＷ奥行きとＩＲ奥行きとが統合された統合奥行きを、学習モデル１０４から取得する。
【０１５８】
これにより、ＢＷ画像、赤外光の強度、ＢＷ奥行きおよびＩＲ奥行きの入力に対して、正解の統合奥行きが出力されるように、学習モデル１０４に予め学習させておけば、ＢＷ信頼性マスクおよびＩＲ信頼性マスクを算出することなく、適切な統合奥行きを簡単に取得することができる。
【０１５９】
以上、本実施の形態およびその変形例における奥行取得装置１では、被写体における赤外光の反射率が低いために、その赤外光の強度に基づいて算出された第２奥行きの信頼性が低くても、第１奥行きを用いて、その第２奥行きを補正し、統合奥行きとして算出することができる。その結果、最終的に算出される被写体までの奥行きの信頼性または精度を向上することができる。
【０１６０】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図１１および図１２の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。
【０１６１】
以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【０１６２】
例えば、上記実施の形態およびその変形例では、ＩＲ強度取得部１１４は、ＩＲ画像を取得するが、ＩＲ画像を取得することなく、固体撮像素子２０に含まれる各第１画素２１が赤外光を受光することによって計測される赤外光の強度を取得してもよい。つまり、奥行取得装置１は、ＩＲ画像を生成しなくてもよい。
【０１６３】
また、ＩＲ強度取得部１１４は、互いに異なる３つの露光タイミングで計測された３つの赤外光の強度を取得し、その３つの赤外光の強度に基づいて、ＩＲ奥行きおよびＩＲ信頼性マスクを算出する。しかし、その露光タイミングおよび赤外光の強度の数は、３つに限定されることなく、４つ以上であってもよい。
【０１６４】
また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、および図１３に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
【０１６５】
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウェアデバイス、例えばインターフェース、を備えていても良い。
【産業上の利用可能性】
【０１６６】
本開示は、被写体までの距離である奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。
【符号の説明】
【０１６７】
１    奥行取得装置
１０、１０１    光源
２０    固体撮像素子
２１    第１画素（ＩＲ）
２２    第２画素（ＢＷ）
３０    処理回路
５０    拡散板
６０    レンズ
７０    バンドパスフィルタ
１０２    ＩＲカメラ
１０３    ＢＷカメラ
１０４    学習モデル
１１０ａ、１１０ｂ    プロセッサ
１１１ａ    ＢＷ奥行算出部
１１１ｂ    ＩＲ奥行算出部
１１１ｃ    統合奥行算出部
１１２    信頼性マスク算出部
１１３    発光制御部
１１４    ＩＲ強度取得部
１１５    ＢＷ画像取得部
２００    メモリ
【図１】
2020052001.tif 000003
【図２】
2020052001.tif 000004
【図３】
2020052001.tif 000005
【図４】
2020052001.tif 000006
【図５】
2020052001.tif 000007
【図６】
2020052001.tif 000008
【図７】
2020052001.tif 000009
【図８】
2020052001.tif 000010
【図９】
2020052001.tif 000011
【図１０】
2020052001.tif 000012
【図１１】
2020052001.tif 000013
【図１２】
2020052001.tif 000014
【図１３】
2020052001.tif 000015