(57)【要約】【課題】ダイナミックレンジを拡大した測距を行えるようにする。【解決手段】照射光を発光する発光部と、照射光が対象物において反射した反射光を受光する受光部と、照射光の発光から反射光の受光までの時間に基づいて、対象物までの距離を算出する算出部と、発光部と受光部を制御する制御部とを備え、制御部は、受光部を第１の露光時間で露光させる第１の撮像と、受光部を第２の露光時間で露光させる第２の撮像と、を制御し、算出部は、第１の撮像で得られた信号と第２の撮像で得られた信号を用いて距離を算出する。本技術は、例えば、所定の物体までの距離を測定する測距装置に適用できる。【選択図】図２５
2020134463.tif 000002
【特許請求の範囲】
【請求項１】
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
【請求項２】
前記第１の露光時間は、前記第２の露光時間よりも長い
請求項１に記載の測距装置。
【請求項３】
前記制御部は、
前記発光部を第１の周波数で発光させ、前記受光部を前記第１の露光時間で露光させる第１の撮像と、
前記発光部を第１の周波数で発光させ、前記受光部を前記第２の露光時間で露光させる第２の撮像と、
前記発光部を第２の周波数で発光させ、前記受光部を前記第１の露光時間で露光させる第３の撮像と、
を制御する
請求項１に記載の測距装置。
【請求項４】
前記第１の撮像で得られた第１の画像と前記第２の撮像で得られた第２の画像から、広ダイナミックレンジ画像を生成し、
前記広ダイナミックレンジ画像と、前記第３の撮像で得られた第３の画像を用いて、前記算出部は、前記距離を算出する
請求項３に記載の測距装置。
【請求項５】
前記広ダイナミックレンジ画像は、前記第１の画像が飽和していない場合、前記１の画像を用い、前記第１の画像が飽和している場合、前記第２の画像を用いることで生成される
請求項４に記載の測距装置。
【請求項６】
前記制御部は、
前記発光部を前記第２の周波数で発光させ、前記受光部を前記第２の露光時間で露光させる第４の撮像をさらに制御する
請求項３に記載の測距装置。
【請求項７】
前記第１の周波数は、前記第２の周波数よりも高い周波数である
請求項３に記載の測距装置。
【請求項８】
前記第１の撮像で得られた第１の画像と前記第２の撮像で得られた第２の画像から、第１の広ダイナミックレンジ画像を生成し、
前記第３の撮像で得られた第３の画像と前記第４の撮像で得られた第４の画像から、第２の広ダイナミックレンジ画像を生成し、
前記第１の広ダイナミックレンジ画像と前記第２の広ダイナミックレンジ画像を用いて、前記算出部は、前記距離を算出する
請求項６に記載の測距装置。
【請求項９】
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
【請求項１０】
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備える測距装置のコンピュータに、
前記制御部が、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
ステップを含む処理を実行させるためのプログラム。
【請求項１１】
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第１のデューティ比で発光させる第１の撮像と、
前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
【請求項１２】
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第１のデューティ比で発光させる第１の撮像と、
前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
【請求項１３】
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第１の発光強度で発光させる第１の撮像と、
前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
【請求項１４】
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第１の発光強度で発光させる第１の撮像と、
前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、測距装置、測距方法、並びにプログラムに関し、例えば、測距可能距離が長い測距を行うことができるようにする測距装置、測距方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、半導体技術の進歩により、物体までの距離を測定する測距装置の小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距装置を搭載することが実現されている。対象物までの距離を測定する測距装置（センサ）としては、例えば、ＴＯＦ（Time Of Flight）センサがある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2016-090268号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
測距装置の測距方式として、間接ＴＯＦ方式が知られている。間接ＴＯＦ方式を用いた測距システムでは、所定のパルス幅で繰り返し発光するLED（Light Emitting Diode）やレーザから照射されたアクティブ光が対象物にあたって反射した光を受光することで発生する電荷量を用いて対象物までの距離が測定される。
【０００５】
このアクティブ光の周波数により測距できる距離に制限が設けられるため、測距できる距離を延ばすことが望まれている。また、飽和することなく測距できる、換言すればダイナミックレンジを向上させることも望まれている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、測距できる距離を延ばし、ダイナミックレンジを向上させた測距を行えるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の第１の測距装置は、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部は、前記受光部を第１の露光時間で露光させる第１の撮像と、前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、前記算出部は、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【０００８】
本技術の一側面の第１の測距方法は、測距を行う測距装置が、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部が、前記受光部を第１の露光時間で露光させる第１の撮像と、前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、前記算出部が、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【０００９】
本技術の一側面のプログラムは、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備える測距装置のコンピュータに、前記制御部が、前記受光部を第１の露光時間で露光させる第１の撮像と、前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、前記算出部が、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出するステップを含む処理を実行させる。
【００１０】
本技術の一側面の第２の測距装置は、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部は、前記発光部を第１のデューティ比で発光させる第１の撮像と、前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、前記算出部は、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【００１１】
本技術の一側面の第２の測距方法は、測距を行う測距装置が、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部が、前記発光部を第１のデューティ比で発光させる第１の撮像と、前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、前記算出部が、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【００１２】
本技術の一側面の第３の測距装置は、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部は、前記発光部を第１の発光強度で発光させる第１の撮像と、前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、前記算出部は、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【００１３】
本技術の一側面の第３の測距方法は、測距を行う測距装置が、照射光を発光する発光部と、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部と前記受光部を制御する制御部とを備え、前記制御部が、前記発光部を第１の発光強度で発光させる第１の撮像と、前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、前記算出部が、前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する。
【００１４】
本技術の一側面の第１の測距装置、第１の測距方法、並びにプログラムにおいては、照射光を発光する発光部と、照射光が対象物において反射した反射光を受光する受光部と、照射光の発光から反射光の受光までの時間に基づいて、対象物までの距離を算出する算出部と、発光部と受光部を制御する制御部とが備えられる。制御部は、受光部を第１の露光時間で露光させる第１の撮像と、受光部を第２の露光時間で露光させる第２の撮像と、を制御し、算出部は、第１の撮像で得られた信号と第２の撮像で得られた信号を用いて距離を算出する。
【００１５】
本技術の一側面の第２の測距装置および第２の測距方法においては、照射光を発光する発光部と、照射光が対象物において反射した反射光を受光する受光部と、照射光の発光から反射光の受光までの時間に基づいて、対象物までの距離を算出する算出部と、発光部と受光部を制御する制御部とが備えられる。制御部は、発光部を第１のデューティ比で発光させる第１の撮像と、受光部を第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、算出部は、第１の撮像で得られた信号と第２の撮像で得られた信号を用いて距離を算出する。
【００１６】
本技術の一側面の第３の測距装置および第３の測距方法においては、照射光を発光する発光部と、照射光が対象物において反射した反射光を受光する受光部と、照射光の発光から反射光の受光までの時間に基づいて、対象物までの距離を算出する算出部と、発光部と受光部を制御する制御部とが備えられる。制御部は、発光部を第１の発光強度で発光させる第１の撮像と、受光部を第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、算出部は、第１の撮像で得られた信号と第２の撮像で得られた信号を用いて距離を算出する。
【００１７】
なお、測距装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１８】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した測距装置の一実施の形態の構成を示す図である。
【図２】受光部の構成例を示す図である。
【図３】画素の構成例を示す図である。
【図４】画素における電荷の振り分けを説明する図である。
【図５】９０度毎に位相が遅れた４通りの受光の一例を示す図である。
【図６】位相遅れ０度の受光による検出期間での検出信号の一例を示す図である。
【図７】位相遅れ９０度の受光による検出期間での検出信号の一例を示す図である。
【図８】位相遅れ１８０度の受光による検出期間での検出信号の一例を示す図である。
【図９】位相遅れ２７０度の受光による検出期間での検出信号の一例を示す図である。
【図１０】９０度毎に位相が遅れた４通りの照射光の一例を示す図である。
【図１１】９０度毎に位相が遅れた４通りの照射光による４つの検出期間を利用した測距について説明する図である。
【図１２】位相遅れ０度の照射光による検出期間での検出信号の一例を示す図である。
【図１３】位相遅れ９０度の照射光による検出期間での検出信号の一例を示す図である。
【図１４】位相遅れ１８０度の照射光による検出期間での検出信号の一例を示す図である。
【図１５】位相遅れ２７０度の照射光による検出期間での検出信号の一例を示す図である。
【図１６】１フレームにおける検出信号について説明するための図である。
【図１７】検出期間と検出信号の関係を説明するための図である。
【図１８】１フレームにおける検出信号について説明するための図である。
【図１９】１フレームにおける検出信号について説明するための図である。
【図２０】測距可能距離について説明するための図である。
【図２１】測距可能距離について説明するための図である。
【図２２】２つの周波数を用いた測距について説明するための図である。
【図２３】信号処理部の構成例を示す図である。
【図２４】信号処理部の動作について説明するための図である。
【図２５】２つの露光時間を用いた測距について説明するための図である。
【図２６】信号処理部の構成例を示す図である。
【図２７】信号処理部の動作について説明するための図である。
【図２８】ＨＤＲ合成処理について説明するための図である。
【図２９】２つの周波数、２つの露光時間を用いた測距について説明するための図である。
【図３０】信号処理部の構成例を示す図である。
【図３１】信号処理部の動作について説明するための図である。
【図３２】低周波のＨＤＲ合成処理について説明するための図である。
【図３３】高周波のＨＤＲ合成処理について説明するための図である。
【図３４】２つの周波数、２つの露光時間を用いた測距について説明するための図である。
【図３５】信号処理部の構成例を示す図である。
【図３６】信号処理部の動作について説明するための図である。
【図３７】統合処理について説明するための図である。
【図３８】通常モードと高精度モードを切り替える測距について説明するための図である。
【図３９】通常モードと高精度モードを切り替える測距について説明するための図である。
【図４０】信号処理部の構成例を示す図である。
【図４１】信号処理部の動作について説明するための図である。
【図４２】信号処理部の構成例を示す図である。
【図４３】信号処理部の信号処理について説明するための図である。
【図４４】信号処理部の構成例を示す図である。
【図４５】信号処理部の動作について説明するための図である。
【図４６】長時間露光と短時間露光の実現の仕方について説明するための図である。
【図４７】記録媒体について説明するための図である。
【図４８】車両制御システムの概略的な構成の一例を示すブロック図である。
【図４９】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００２１】
本技術は、例えば間接ＴＯＦ方式により測距を行う測距システムを構成する受光素子や、そのような受光素子を有する撮像装置などに適用することが可能である。
【００２２】
例えば測距システムは、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムや、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。この場合、ジェスチャ認識の結果は、例えばカーナビゲーションシステムの操作等に用いることができる。
【００２３】
＜測距装置の構成例＞
図１は、本技術を適用した測距装置の一実施の形態の構成例を示している。
【００２４】
測距装置１０は、レンズ１１、受光部１２、信号処理部１３、発光部１４、および発光制御部１５を備える。図１の測距装置１０は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光することで物体までの距離を測定する。
【００２５】
測距装置１０の発光系は、発光部１４と発光制御部１５から成る。発光系においては、発光制御部１５が、信号処理部１３からの制御に従い、発光部１４により赤外光（ＩＲ）を照射させる。レンズ１１と受光部１２の間にＩＲバンドフィルタを設け、ＩＲバンドパスフィルタの透過波長帯に対応する赤外光を発光部１４が発光する構成とするようにしても良い。
【００２６】
発光部１４は、測距装置１０の筐体内に配置してもよいし、測距装置１０の筐体外部に配置してもよい。発光制御部１５は、後述するように、発光部１４を、所定の周波数で発光させる。
【００２７】
信号処理部１３は、例えば、受光部１２から供給される検出信号に基づいて、測距装置１０から物体までの距離を算出する算出部として機能する。
【００２８】
＜撮像素子の構成＞
図２は、受光部１２の構成例を示すブロック図である。受光部１２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサとすることができる。
【００２９】
受光部１２は、画素アレイ部４１、垂直駆動部４２、カラム処理部４３、水平駆動部４４、およびシステム制御部４５を含む。画素アレイ部４１、垂直駆動部４２、カラム処理部４３、水平駆動部４４、およびシステム制御部４５は、図示しない半導体基板（チップ）上に形成されている。
【００３０】
画素アレイ部４１には、入射光量に応じた電荷量の光電荷を発生して内部に蓄積する光電変換素子を有する単位画素（例えば、図３の画素５０）が行列状に２次元配置されている。なお、以下では、入射光量に応じた電荷量の光電荷を、単に「電荷」と記述し、単位画素を、単に「画素」と記述する場合もある。
【００３１】
画素アレイ部４１にはさらに、行列状の画素配列に対して行毎に画素駆動線４６が図の左右方向（画素行の画素の配列方向）に沿って形成され、列毎に垂直信号線４７が図の上下方向（画素列の画素の配列方向）に沿って形成されている。画素駆動線４６の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
【００３２】
垂直駆動部４２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部４１の各画素を、全画素同時あるいは行単位等で駆動する画素駆動部である。垂直駆動部４２によって選択走査された画素行の各単位画素から出力される画素信号は、垂直信号線４７の各々を通してカラム処理部４３に供給される。カラム処理部４３は、画素アレイ部４１の画素列毎に、選択行の各単位画素から垂直信号線４７を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
【００３３】
具体的には、カラム処理部４３は、信号処理として少なくとも、ノイズ除去処理、例えばCDS（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部４３による相関二重サンプリングにより、リセットノイズや増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。なお、カラム処理部４３にノイズ除去処理以外に、例えば、AD（アナログデジタル）変換機能を持たせ、信号レベルをデジタル信号で出力することも可能である。
【００３４】
水平駆動部４４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部４３の画素列に対応する単位回路を順番に選択する。この水平駆動部４４による選択走査により、カラム処理部４３で信号処理された画素信号が順番に信号処理部４８に出力される。
【００３５】
システム制御部４５は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成され、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部４２、カラム処理部４３、および水平駆動部４４などの駆動制御を行う。
【００３６】
画素アレイ部４１において、行列状の画素配列に対して、画素行毎に画素駆動線４６が行方向に沿って配線され、各画素列に２つの垂直信号線４７が列方向に沿って配線されている。例えば画素駆動線４６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図２では、画素駆動線４６について１本の配線として示しているが、１本に限られるものではない。画素駆動線４６の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
【００３７】
＜単位画素の構造＞
次に、画素アレイ部４１に行列状に配置されている単位画素５０の具体的な構造について説明する。
【００３８】
画素５０は、１つのフォトダイオード６１で発生した電荷がタップ５１−１およびタップ５１−２に振り分けられるように構成されている。そして、フォトダイオード６１で発生した電荷のうち、タップ５１−１に振り分けられた電荷が垂直信号線４７−１から読み出されて検出信号Ａとして出力される。また、タップ５１−２に振り分けられた電荷が垂直信号線４７−２から読み出されて検出信号Ｂとして出力される。
【００３９】
タップ５１−１は、転送トランジスタ６２−１、ＦＤ（Floating Diffusion）部６３−１、選択トランジスタ６４−１、およびリセットトランジスタ６５−１により構成される。同様に、タップ５１−２は、転送トランジスタ６２−２、ＦＤ部６３−２、選択トランジスタ６４−２、およびリセットトランジスタ６５−２により構成される。
【００４０】
図４を参照して、画素５０における電荷の振り分けについて説明する。ここで、振り分けとは、画素５０（フォトダイオード３１）に蓄積された電荷を異なるタイミングで読み出すことで、タップ毎に読み出しを行うことを意味する。
【００４１】
図４に示すように、照射時間内に照射のオン／オフを繰り返すように変調（１周期＝Ｔｐ）された照射光が発光部１４から出力され、物体までの距離に応じた遅延時間Ｔｄだけ遅れて、フォトダイオード６１において反射光が受光される。
【００４２】
転送制御信号TRT_Aは、転送トランジスタ６２−１のオン／オフを制御し、転送制御信号TRT_Bは、転送トランジスタ６２−２のオン／オフを制御する。図示するように、転送制御信号TRT_Aが、照射光と同一の位相である一方で、転送制御信号TRT_Bは、転送制御信号TRT_Aを反転した位相となっている。
【００４３】
従って、フォトダイオード６１が反射光を受光することにより発生する電荷は、転送制御信号TRT_Aに従って転送トランジスタ６２−１がオンとなっている間ではＦＤ部６３−１に転送される。また転送制御信号TRT_Bに従って転送トランジスタ６２−２のオンとなっている間ではＦＤ部６３−２に転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ６２−１を介して転送された電荷はＦＤ部６３−１に順次蓄積され、転送トランジスタ６２−２を介して転送された電荷はＦＤ部６３−２に順次蓄積される。
【００４４】
そして、電荷を蓄積する期間の終了後、選択信号ＳＥＬｍ１に従って選択トランジスタ６４−１がオンとなると、ＦＤ部６３−１に蓄積されている電荷が垂直信号線４７−１を介して読み出され、その電荷量に応じた検出信号Ａが受光部１２から出力される。同様に、選択信号ＳＥＬｍ２に従って選択トランジスタ６４−２がオンとなると、ＦＤ部６３−２に蓄積されている電荷が垂直信号線４７−２を介して読み出され、その電荷量に応じた検出信号Ｂが受光部１２から出力される。
【００４５】
ＦＤ部６３−１に蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ６５−１がオンになると排出される。ＦＤ部６３−２に蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ６５−２がオンになると排出される。
【００４６】
このように、画素５０は、フォトダイオード６１が受光した反射光により発生する電荷を、遅延時間Ｔｄに応じてタップ５１−１およびタップ５１−２に振り分けて、検出信号Ａおよび検出信号Ｂを出力することができる。そして、遅延時間Ｔｄは、発光部１４で発光した光が物体まで飛行し、物体で反射した後に受光部１２まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距装置１０は、検出信号Ａおよび検出信号Ｂに基づき、遅延時間Ｔｄに従って物体までの距離（デプス）を求めることができる。
【００４７】
＜受光側で位相をずらした測距＞
図５乃至図９を参照し、受信側で位相をずらして受光し、検出信号を取得する場合について説明する。
【００４８】
例えば、図５に示すように、９０度毎に位相が遅れた４通りの受光が行われる。即ち、照射側の位相とずれなく受光する位相遅れ０度の受光を基準として、位相遅れ９０度の受光、位相遅れ１８０度の受光、および、位相遅れ２７０度の受光が行われ、それぞれ検出信号Ａと検出信号Ｂを検出する期間（quad）が４回設けられる。
【００４９】
即ち、図６に示したように、例えば、位相遅れ０度の受光により反射光を検出する検出期間Ｑ０、位相遅れ９０度の受光により反射光を検出する検出期間Ｑ１、位相遅れ１８０度の受光により反射光を検出する検出期間Ｑ２、および、位相遅れ２７０度の受光により反射光を検出する検出期間Ｑ３が連続的に設けられる。
【００５０】
図６には、検出期間Ｑ０における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図６に示すように、照射光の発光開始と同タイミング（位相遅れ０度）で、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
【００５１】
このように位相遅れ０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ０における検出信号Ａ０および検出信号Ｂ０が出力される。
【００５２】
図７には、検出期間Ｑ１における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図７に示すように、照射光の発光開始から９０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
【００５３】
このように位相遅れ９０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ１における検出信号Ａ９０および検出信号Ｂ９０が出力される。
【００５４】
図８には、検出期間Ｑ２における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図８に示すように、照射光の発光開始から１８０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
【００５５】
このように位相遅れ１８０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ２における検出信号Ａ１８０および検出信号Ｂ１８０が出力される。
【００５６】
図９には、検出期間Ｑ３における受光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図９に示すように、照射光の発光開始から２７０度位相が遅れたタイミングで、タップ５１−１の転送制御信号TRT_Aがオンにされ、タップ５１−１において受光（転送）が開始される。また、転送制御信号TRT_Aがオフにされるタイミングで、転送制御信号TRT_Bがオンにされ、タップ５１−２において受光（転送）が開始される。
【００５７】
このように位相遅れ２７０度の受光が行われることで、遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ３における検出信号Ａ２７０および検出信号Ｂ２７０が出力される。
【００５８】
このように、検出期間Ｑ０では位相遅れ０度の受光で検出信号Ａ０および検出信号Ｂ０が検出され、検出期間Ｑ１では位相遅れ９０度の受光で検出信号Ａ９０および検出信号Ｂ９０が検出される。同様に、検出期間Ｑ２では位相遅れ１８０度の受光で検出信号Ａ１８０および検出信号Ｂ１８０が検出され、検出期間Ｑ３では位相遅れ２７０度の受光で検出信号Ａ２７０および検出信号Ｂ２７０が検出される。
【００５９】
照射側では、受光が開始される位相遅れにかかわらず、位相遅れなく、換言すれば常に同じタイミングで照射光の照射が開始される。
【００６０】
このように２つのタップ５１で４つの位相遅れの受光を行い、所定の物体までの距離を測距する場合、４つの検出期間により得られる信号に基づいて、信号処理部１３（図１）の処理が行われる。
【００６１】
＜発光側で位相をずらす測距＞
図１０乃至図１５を参照し、発光側で位相をずらして発光し、検出信号を取得する場合について説明する。
【００６２】
例えば、図１０に示すように、９０度毎に位相が遅れた４通りの照射光が用いられる。即ち、位相遅れ０度の照射光を基準として、位相遅れ９０度の照射光、位相遅れ１８０度の照射光、および、位相遅れ２７０度の照射光を用いて、それぞれ検出信号Ａと検出信号Ｂを検出する期間（quad）が４回設けられる。
【００６３】
即ち、図１１に示すように、例えば、位相遅れ０度の照射光による反射光を検出する検出期間Ｑ０、位相遅れ９０度の照射光による反射光を検出する検出期間Ｑ１、位相遅れ１８０度の照射光による反射光を検出する検出期間Ｑ２、および、位相遅れ２７０度の照射光による反射光を検出する検出期間Ｑ３が連続的に設けられる。また、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３では、電荷をリセットするリセット期間、電荷を蓄積するインテグレーション期間、電荷を読み出すリードアウト期間が設けられている。
【００６４】
そして、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、および検出期間Ｑ３からなる検出期間と、その後の待機期間（dead time / idle time）とにより、１枚の距離画像を出力するための１フレームが構成される。このような１フレームが繰り返され、フレーム番号ｔのフレーム、フレーム番号ｔ＋１のフレーム、フレーム番号ｔ＋２のフレームのように、所定のフレームレートで連続的にフレームが出力される。なお、上記した受光側で位相をずらす測距においても、図１１に示したように、リセット期間、インテグレーション期間、リードアウト期間は、それぞれ設けられている。
【００６５】
図１２には、検出期間Ｑ０における照射光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図１２に示すように、照射光は、位相遅れ０度で照射される。受信側では、照射光の照射がオンにされたタイミングで、転送制御信号TRT_Aがオンにされ、受光（転送）が開始される。
【００６６】
遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ０における検出信号Ａ０および検出信号Ｂ０が出力される。
【００６７】
図１３には、検出期間Ｑ１における照射光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図１３に示すように、照射光は、位相遅れ９０度で照射される。受信側では、位相遅れ０度のタイミングで、転送制御信号TRT_Aがオンにされ、受光（転送）が開始される。
【００６８】
遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ１における検出信号Ａ９０および検出信号Ｂ９０が出力される。
【００６９】
図１４には、検出期間Ｑ２における照射光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図１４に示すように、照射光は、位相遅れ１８０度で照射される。受信側では、位相遅れ０度のタイミングで、転送制御信号TRT_Aがオンにされ、受光（転送）が開始される。
【００７０】
遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ２における検出信号Ａ１８０および検出信号Ｂ１８０が出力される。
【００７１】
図１５には、検出期間Ｑ３における照射光、反射光、転送制御信号TRT_Aと転送制御信号TRT_B、並びに、検出信号Ａと検出信号Ｂの一例が示されている。図１５に示すように、照射光は、位相遅れ２７０度で照射される。受信側では、位相遅れ０度のタイミングで、転送制御信号TRT_Aがオンにされ、受光（転送）が開始される。
【００７２】
遅延時間ＴＲに応じた電荷量でタップ５１−１およびタップ５１−２に電荷が振り分けられ、インテグレーション期間において電荷がそれぞれ蓄積される。その後、リードアウト期間において、それぞれインテグレーション期間で蓄積された電荷量の電荷が読み出されて、検出期間Ｑ３における検出信号Ａ２７０および検出信号Ｂ２７０が出力される。
【００７３】
このように、検出期間Ｑ０では位相遅れ０度の照射光を用いて検出信号Ａ０および検出信号Ｂ０が検出され、検出期間Ｑ１では位相遅れ９０度の照射光を用いて検出信号Ａ９０および検出信号Ｂ９０が検出される。同様に、検出期間Ｑ２では位相遅れ１８０度の照射光を用いて検出信号Ａ１８０および検出信号Ｂ１８０が検出され、検出期間Ｑ３では位相遅れ２７０度の照射光を用いて検出信号Ａ２７０および検出信号Ｂ２７０が検出される。
【００７４】
受信側では、照射される照射光の位相遅れにかかわらず、位相遅れなく、換言すれば常に同じタイミングで受信が開始される。
【００７５】
このように２つのタップ５１で４つの位相差の照射光を用いて所定の物体までの距離を測距する場合、４つの検出期間により得られる信号に基づいて、信号処理部１３（図１）の処理が行われる。
【００７６】
以下に説明する本技術は、照射光の位相をずらして照射することで測距を行う場合と、受光の位相をずらして測距を行う場合に適用できる。どちらにも適用可能であるため、以下の説明では、図１６のように図示し、説明を続ける。
【００７７】
＜距離の算出について＞
図１６に示すように、１フレームの検出期間は、検出期間Ｑ０、検出期間Ｑ１、検出期間Ｑ２、検出期間Ｑ３から構成される。検出期間Ｑ０において、検出信号Ａ０と検出信号Ｂ０が取得され、検出期間Ｑ１において、検出信号Ａ９０と検出信号Ｂ９０が取得される。また、検出期間Ｑ２において、検出信号Ａ１８０と検出信号Ｂ１８０が取得され、検出期間Ｑ３において、検出信号Ａ２７０と検出信号Ｂ２７０が取得される。
【００７８】
信号処理部１３（図１）は、これらの検出信号を用いて、次式（１）に基づき、位相差θを算出し、次式（２）に基づき、距離Ｄを算出し、次式（３）に基づき信頼度ｃを算出する。
【００７９】
【数１】
2020134463.tif 000003
【００８０】
【数２】
2020134463.tif 000004
【００８１】
【数３】
2020134463.tif 000005
【００８２】
式（１）において、Ｉは、検出信号Ａ０から検出信号Ｂ０を減算した値Ｃ０から、検出信号Ａ１８０から検出信号Ｂ１８０を減算した値Ｃ１８０を減算した値を表す。Ｑは、検出信号Ａ９０から検出信号Ｂ９０を減算した値Ｃ９０から、検出信号Ａ２７０から検出信号Ｂ２７０を減算した値Ｃ２７０を減算した値を表す。位相差θは、（Ｉ／Ｑ）のアークタンジェントを演算することで算出される。
【００８３】
式（２）において、Ｃは光速であり、Ｔｐはパルス幅を表す。位相差θに基づいて遅延時間Ｔｄを求めることができ、遅延時間Ｔｄにより対象物までの距離Ｄが求められる。
【００８４】
式（３）は、算出された距離の信頼度を表す値を算出するための式である。信頼度ｃは、Ｉの２乗とＱの２乗を加算した値の平方根を算出することで求められる。なお、信頼度ｃの演算は、距離Ｄの算出において不可欠な要素ではなく、省略することも可能である。
【００８５】
以下の説明では、２つのタップ５１で４つの位相差の照射光を用いて所定の物体までの距離を測距する場合（以下、適宜、２タップ４フェーズと称する）を例に挙げて説明を行うが、２つのタップ５１で２つの位相差の照射光を用いて所定の物体までの距離を測距する場合や、１つのタップ５１で４つの位相差の照射光を用いて所定の物体までの距離を測距する場合に対しても本技術を適用することはできる。
【００８６】
＜２タップ２フェーズについて＞
２つのタップ５１で２つの位相差の照射光を用いて、または２つの位相差で受光を行うことで、所定の物体までの距離を測距する場合（以下、適宜、２タップ２フェーズと称する）について簡便に説明を加える。ここでは、２つの位相差で受光を行うことで、所定の物体までの距離を測距する場合を例に挙げて説明を続ける。
【００８７】
図１７は、０度、９０度、１８０度、２７０度の４位相の露光タイミングを、位相差がわかりやすいように先頭を揃えて図示した図である。
【００８８】
実際には、図１６に示したように、検出信号Ａ０と検出信号Ｂ０を取得するための撮像が検出期間Ｑ０において行われ、検出信号Ａ９０と検出信号Ｂ９０を取得するための撮像が検出期間Ｑ１において行われ、検出信号Ａ１８０と検出信号Ｂ１８０を取得するための撮像が検出期間Ｑ２において行われ、検出信号Ａ２７０と検出信号Ｂ２７０を取得するための撮像が検出期間Ｑ３において行われる。
【００８９】
この時間方向に順次行われる撮像を、検出期間の先頭を揃えて縦方向に並べて図示すると図１７のようになる。検出期間Ｑ０の先頭から、検出信号Ａ０を撮像するための露光が行われ、その次に、検出信号Ｂ０を撮像するための露光が行われる。
【００９０】
検出期間Ｑ１の先頭から９０度位相がずれた時点から、検出信号Ａ９０を撮像するための露光が行われ、その次に、検出信号Ｂ９０を撮像するための露光が行われる。
【００９１】
検出期間Ｑ２の先頭から１８０度位相がずれた時点から、検出信号Ａ１８０を撮像するための露光が行われ、その次に、検出信号Ｂ１８０を撮像するための露光が行われる。
【００９２】
検出期間Ｑ３の先頭から２７０度位相がずれた時点から、検出信号Ａ２７０を撮像するための露光が行われ、その次に、検出信号Ｂ２７０を撮像するための露光が行われる。
【００９３】
ここで、検出期間Ｑ０における検出信号Ｂ０の露光時間と、検出期間Ｑ２における検出信号Ａ１８０の露光時間を比べると、同一のタイミングで露光が行われていることが読み取れる。よって、検出期間Ｑ２における検出信号Ａ１８０は、検出期間Ｑ０における検出信号Ｂ０で代用できる。同様に、検出期間Ｑ２における検出信号Ｂ１８０は、検出期間Ｑ０における検出信号Ａ０で代用できる。
【００９４】
同様に、検出期間Ｑ１における検出信号Ｂ９０の露光時間と、検出期間Ｑ３における検出信号Ａ２７０の露光時間を比べると、同一のタイミングで露光が行われていることが読み取れる。よって、検出期間Ｑ３における検出信号Ａ２７０は、検出期間Ｑ１における検出信号Ｂ９０で代用できる。同様に、検出期間Ｑ３における検出信号Ｂ２７０は、検出期間Ｑ１における検出信号Ａ９０で代用できる。
【００９５】
このことから、図１８に示すように、検出期間Ｑ０と検出期間Ｑ１を１フレームの検出期間とし、検出期間Ｑ０において、検出信号Ａ０と検出信号Ｂ０が取得されるようにする。
【００９６】
この検出期間Ｑ０において取得される検出信号Ａ０は、検出信号Ｂ１８０として用いることができる。また、検出期間Ｑ０において取得される検出信号Ｂ０は、検出信号Ａ１８０として用いることができる。よって、この場合、検出期間Ｑ０において、検出信号Ａ０、検出信号Ｂ０、検出信号Ａ１８０、検出信号Ｂ１８０が取得されたのと同等に扱うことができる。
【００９７】
また、検出期間Ｑ１において取得される検出信号Ａ９０は、検出信号Ｂ２７０として用いることができる。また、検出期間Ｑ１において取得される検出信号Ｂ９０は、検出信号Ａ２７０として用いることができる。よって、この場合、検出期間Ｑ１において、検出信号Ａ９０、検出信号Ｂ９０、検出信号Ａ２７０、検出信号Ｂ２７０が取得されたのと同等に扱うことができる。
【００９８】
よって、図１６を参照して説明した２タップ４フェーズの場合と同等に、図１８を参照して説明した２タップ２フェーズの場合も扱うことができる。
【００９９】
図１６を参照して説明した２タップ４フェーズにおける式（１）における値Ｉと値Ｑは、次式（４）のように表される。
【０１００】
【数４】
2020134463.tif 000006
【０１０１】
値Ｉは、検出信号Ａ０から検出信号Ｂ０を減算することで求められ、値Ｑは、検出信号Ａ９０から検出信号Ｂ９０を減算することで求められる。値Ｉと値Ｑが取得されるため、上記した２タップ方式の場合と同じく、式（１）により位相差θを算出することができ、式（２）により距離Ｄを算出することができる。
【０１０２】
＜１タップ４フェーズについて＞
１つのタップ５１（１つのタップ５１を備える画素５０の構成は不図示）で４つの位相差の照射光を用いて、または４つの位相差で受光を行うことで、所定の物体までの距離を測距する場合（以下、適宜、１タップ４フェーズと称する）について簡便に説明を加える。
【０１０３】
１タップ４フェーズにおける時間方向の撮像順を図１６と同じように表すと、図１９のようになる。検出期間Ｑ０において、上記した式（１）における値Ｃ０が取得される。検出期間Ｑ１において、上記した式（１）における値Ｃ９０が取得される。検出期間Ｑ２において、上記した式（１）における値Ｃ１８０が取得される。検出期間Ｑ３において、上記した式（１）における値Ｃ２７０が取得される。
【０１０４】
上記した式（１）における値Ｉと値Ｑは、１タップ方式の場合、次式（５）のように表される。
【数５】
2020134463.tif 000007
【０１０５】
値Ｉと値Ｑが取得されるため、上記した２タップ方式の場合と同じく、式（１）により位相差θを算出することができ、式（２）により距離Ｄを算出することができる。
【０１０６】
本技術は、上記した２タップ４フェーズ、２タップ２フェーズ、および１タップ４フェーズに対して適用できる。以下の説明では、２タップ４フェーズに本技術を適用した場合を例に挙げて説明を続ける。
【０１０７】
＜第１の実施の形態＞
＜２つの周波数を用いた測距について＞
上記した方法、例えば、２タップ４フェーズと称した方法により、対象物に発光部１４（図１）で発光した光を照射し、その照射光が対象物において反射した反射光を受光し、照射光の発光から反射光の受光までの時間を測定することで、対象物までの距離を測定するようにした場合、その測定できる距離は、発光部１４が発光する照射光の周波数に依存する。
【０１０８】
図２０のＡは、照射光が高周波である場合の位相差と距離との関係を表すグラフであり、図２０のＢは、照射光が低周波である場合の位相差と距離との関係を表すグラフである。図２０のグラフにおいて、縦軸は位相差を表し、横軸は距離を表す。位相差は、上記した式（１）で算出される位相差θであり、距離は、上記した式（２）で算出される距離Ｄであるとする。
【０１０９】
なお、高周波、低周波とは、一方の周波数を基準としたとき、他方の周波数が高いまたは低い場合を示す。例えば、高周波を基準としたとき、この高周波の周波数より低い周波数を、低周波と記述する。また、高周波と低周波は、可変であっても良いし、固定であっても良い。後述するように、周波数により測距可能な距離が決定されるため、周波数を可変にし、測距可能な距離が変更できるようにした場合にでも本技術は適用できる。
【０１１０】
図２０のＡを参照するに、照射光が高周波（ここでは、周波数ｆｈであるとする）の場合であり、その１周期で測定できる距離は０乃至１．５（ｍ）であった場合を想定する。このような場合、位相差θ＝０乃至２πに対応する距離Ｄは、０乃至１．５（ｍ）となる。
【０１１１】
位相差θとして、位相差θｈが算出された場合、その位相差θｈにより算出される距離Ｄとしては、距離Ｄｈ１、距離Ｄｈ２、距離Ｄｈ３、距離Ｄｈ４、距離Ｄｈ５がある。この場合、位相差θｈが算出されたとき、０乃至１．５（ｍ）の間の距離Ｄｈ１であるのか、１．５乃至３．０（ｍ）の間の距離Ｄｈ２であるのか、３．０乃至４．５（ｍ）の間の距離Ｄｈ３であるのか、４．５乃至６．０（ｍ）の間の距離Ｄｈ４であるのか、または６．０乃至７．５（ｍ）の間の距離Ｄｈ５であるのかわからず、決定することができない。
【０１１２】
照射光の周波数が、周波数ｆｈである場合、０乃至１．５（ｍ）の範囲であれば、一意に距離を求めることができる。しかしながら、１．５（ｍ）以上の距離に対しては、誤った結果である可能性がある。
【０１１３】
図２０のＢを参照するに、照射光が低周波（ここでは、周波数ｆｌであるとする）の場合であり、その１周期で測定できる距離は０乃至２．５（ｍ）であった場合を想定する。このような場合、位相差θ＝０乃至２πに対応する距離Ｄは、０乃至２．５（ｍ）となる。
【０１１４】
位相差θとして、位相差θｌが算出された場合、その位相差θｌにより算出される距離Ｄとしては、距離Ｄｌ１、距離Ｄｌ２、距離Ｄｌ３がある。この場合、位相差θｌが算出されたとき、０乃至２．５（ｍ）の間の距離Ｄｌ１であるのか、２．５乃至５．０（ｍ）の間の距離Ｄｌ２であるのか、５．０乃至７．５（ｍ）の間の距離Ｄｌ３であるのかわからず、決定することができない。
【０１１５】
照射光の周波数が、周波数ｆｌである場合、０乃至２．５（ｍ）の範囲であれば、一意に距離を求めることができる。しかしながら、２．５（ｍ）以上の距離に対しては、誤った結果である可能性がある。
【０１１６】
このように、測距できる距離は、照射光の周波数に依存する。照射光の周波数が高周波である場合、換言すれば、パルス幅が短い場合、測距できる距離は短くなるが、解像度を高めることができる。一方で、照射光の周波数が低周波である場合、換言すれば、パルス幅が長い場合、測距できる距離は長くなるが、解像度は低くなる可能性がある。
【０１１７】
測距できる距離を長くし、かつ解像度を維持または向上させるために、照射光の周波数として高周波と低周波を用いるようにする。このことについて、図２１を参照して説明する。
【０１１８】
図２１は、図２０のＡで示した高周波の場合のグラフと図２０のＢに示した低周波のグラフを重ねて図示したグラフである。図２１においても、図２０のＡを参照して説明した場合と同じく、周波数ｆｈの高周波で測距したとき、位相差が位相差θｈと検出され、その位相差θｈで特定される距離として距離Ｄｈ１、距離Ｄｈ２、距離Ｄｈ３、距離Ｄｈ４、距離Ｄｈ５が候補して算出される。
【０１１９】
また図２１においても、図２０のＢを参照して説明した場合と同じく、周波数ｆｌの低周波で測距したとき、位相差が位相差θｌと検出され、その位相差θｌで特定される距離として距離Ｄｌ１、距離Ｄｌ２、距離Ｄｌ３が候補して算出される。
【０１２０】
このように、測距結果の候補が複数あるとき、周波数ｆｈの高周波で測距したときの候補と、周波数ｆｌの低周波で測距したときの候補を比較することで、複数の候補から一意に１つの結果を決定することができる。処理の一例を説明する。
【０１２１】
距離Ｄｌ１と、距離Ｄｈ１、距離Ｄｈ２、距離Ｄｈ３、距離Ｄｈ４、距離Ｄｈ５をそれぞれ比較したとき、距離Ｄｌ１と最も近いのは、距離Ｄｈ１であると判定される。比較は、例えば、差分を算出することで行われる。その差分が最も小さい値を有する距離Ｄｈが求められる。この場合、距離Ｄｌ１と距離Ｄｈ１の差分値（差分値Ａとする）が最も小さくなるため、測距結果の候補として、距離Ｄｈ１に絞り込まれる。
【０１２２】
距離Ｄｌ２と、距離Ｄｈ１、距離Ｄｈ２、距離Ｄｈ３、距離Ｄｈ４、距離Ｄｈ５をそれぞれ比較したとき、距離Ｄｌ２と最も近いのは、距離Ｄｈ３であると判定される。この場合も、距離Ｄｌ２と距離Ｄｈ３の差分値（差分値Ｂとする）が最も小さくなるため、測距結果の候補として、距離Ｄｈ３に絞り込まれる。
【０１２３】
距離Ｄｌ３と、距離Ｄｈ１、距離Ｄｈ２、距離Ｄｈ３、距離Ｄｈ４、距離Ｄｈ５をそれぞれ比較したとき、距離Ｄｌ３と最も近いのは、距離Ｄｈ４であると判定される。この場合も、距離Ｄｌ３と距離Ｄｈ４の差分値（差分値Ｃとする）が最も小さくなるため、測距結果の候補として、距離Ｄｈ４に絞り込まれる。
【０１２４】
差分値Ａ、差分値Ｂ、差分値Ｃが比較され、最も小さい値が検出される。図２１を参照するに、差分値Ａが最も小さいため、差分値Ａが検出される。差分値Ａは、距離Ｄｌ１と距離Ｄｈ１の差分値である。よって、このような場合、距離Ｄｈ１が、測距結果として一意に決定される。
【０１２５】
このように、２つの異なる周波数の照射光を用いて測距し、それぞれの周波数で得られる測距結果を比較することで、複数の候補から一意に測距結果を特定することができる。
【０１２６】
このように、２つの異なる周波数の照射光を用いて測距することで、測距できる距離を長くすることができる。例えば、図２０、図２１を参照した説明において、高周波だけ用いた場合には０乃至１．５（ｍ）が測距できる範囲であり、低周波だけを用いた場合には０乃至２．５（ｍ）が測距できる範囲であったが、高周波と低周波を用いた場合には、０乃至７．５（ｍ）が測距できる範囲となる。
【０１２７】
すなわち、測距可能な距離は、低周波の１周期と高周波の１周期の最小公倍数となる。よって、組み合わせる周波数により、より測距可能な距離を延ばすことができる。
【０１２８】
また、２つの異なる周波数を用いることにより、解像度が下がるようなことはない。よって、解像度を維持したまま、測距可能な距離を延ばすことができる。
【０１２９】
このように、低周波の照射光と高周波の照射光を、それぞれ照射することで測距を行う場合、また上記した２タップ４フェーズ方式で測距を行う場合、図２２に示すように測距が行われる。
【０１３０】
なお、以下の説明においては、低周波の照射光と高周波の照射光の２種類の周波数を用いて測距を行う場合を例に挙げて説明を続けるが、２種類以上の周波数を用いた測距を行うようにしても良い。
【０１３１】
１フレームは、低周波の照射光を用いて測距を行うフレーム（以下、サブフレームｌと記述する）と、高周波の照射光を用いて測距を行うフレーム（以下、サブフレームｈと記述する）から構成される。
【０１３２】
サブフレームｌとサブフレームｈは、それぞれ図１６を参照して説明した２タップ４フェーズ方式の場合と同じく、４つの検出期間を有し、それぞれの検出期間で、検出信号Ａと検出信号Ｂを取得する。
【０１３３】
サブフレームｌは、検出期間Ｑｌ０、検出期間Ｑｌ１、検出期間Ｑｌ２、検出期間Ｑｌ３を含む。検出期間Ｑｌ０において、検出信号Ａｌ０と検出信号Ｂｌ０が取得される。検出期間Ｑｌ１において、検出信号Ａｌ９０と検出信号Ｂｌ９０が取得される。検出期間Ｑｌ２において、検出信号Ａｌ１８０と検出信号Ｂｌ１８０が取得される。検出期間Ｑｌ３において、検出信号Ａｌ２７０と検出信号Ｂｌ２７０が取得される。
【０１３４】
サブフレームｈは、検出期間Ｑｈ０、検出期間Ｑｈ１、検出期間Ｑｈ２、検出期間Ｑｈ３を含む。検出期間Ｑｈ０において、検出信号Ａｈ０と検出信号Ｂｈ０が取得される。検出期間Ｑｈ１において、検出信号Ａｈ９０と検出信号Ｂｈ９０が取得される。検出期間Ｑｈ２において、検出信号Ａｈ１８０と検出信号Ｂｈ１８０が取得される。検出期間Ｑｈ３において、検出信号Ａｈ２７０と検出信号Ｂｈ２７０が取得される。
【０１３５】
このように、低周波の照射光と高周波の照射光を、それぞれ照射することで測距を行う場合、信号処理部１３ａは、図２３に示す統合処理部１０１を含み、統合処理部１０１によりサブフレームｌとサブフレームｈが処理されることで、測距が行われる。
【０１３６】
統合処理部１０１には、受光部１２（図１）から、サブフレームｌとサブフレームｈが順次供給される。なお、サブフレームｌの後、サブフレームｈが供給されるとして説明を続けるが、サブフレームｈの後、サブフレームｌが供給されるようにしてもよい。換言すれば、低周波の照射光による測距の後に、高周波の照射光による測距を行っても良いし、高周波の照射光による測距の後に、低周波の照射光による測距を行っても良い。
【０１３７】
統合処理部１０１は、図２１を参照して説明したように、低周波の照射光による測距により得られた距離候補と、高周波の照射光による測距により得られた距離候補を用いて、１つの距離を特定し、測距結果として出力する。
【０１３８】
図２４に示したフローチャートを参照し、図２３に示した信号処理部１３ａに含まれる統合処理部１０１の処理について説明を加える。
【０１３９】
ステップＳ１０１において、統合処理部１０１は、検出信号を取得する。図２２を参照して説明したように、低周波の照射光により測距が行われた後、高周波の照射光により測距が行われる場合、統合処理部１０１は、検出信号Ａｌ０と検出信号Ｂｌ０、検出信号Ａｌ９０と検出信号Ｂｌ９０、検出信号Ａｌ１８０と検出信号Ｂｌ１８０、検出信号Ａｌ２７０と検出信号Ｂｌ２７０を、順次取得する。
【０１４０】
サブフレームｌに含まれる検出信号が取得された後、サブフレームｈに含まれる検出信号が順次取得される。すなわち統合処理部１０１は、検出信号Ａｈ０と検出信号Ｂｈ０、検出信号Ａｈ９０と検出信号Ｂｈ９０、検出信号Ａｈ１８０と検出信号Ｂｈ１８０、検出信号Ａｈ２７０と検出信号Ｂｈ２７０を、順次取得する。
【０１４１】
ステップＳ１０２において、統合処理部１０１は、低周波の照射光を照射したときに得られた検出信号と、高周波の照射光を照射したときに得られた検出信号を統合することで、対象物までの距離を測距する。
【０１４２】
統合処理部１０１は、低周波の照射光を照射したときに得られた検出信号Ａｌ０と検出信号Ｂｌ０、検出信号Ａｌ９０と検出信号Ｂｌ９０、検出信号Ａｌ１８０と検出信号Ｂｌ１８０、検出信号Ａｌ２７０と検出信号Ｂｌ２７０を用いて、図１６を参照して説明したように、式（１）に基づき位相差を算出し、式（２）に基づき距離を算出する。このとき算出される距離は、図２０のＡを参照して説明したように、複数の候補が考えられる。
【０１４３】
統合処理部１０１は、高周波の照射光を照射したときに得られた検出信号Ａｈ０と検出信号Ｂｈ０、検出信号Ａｈ９０と検出信号Ｂｈ９０、検出信号Ａｈ１８０と検出信号Ｂｈ１８０、検出信号Ａｈ２７０と検出信号Ｂｈ２７０を用いて、図１６を参照して説明したように、式（１）に基づき位相差を算出し、式（２）に基づき距離を算出する。このとき算出される距離は、図２０のＢを参照して説明したように、複数の候補が考えられる。
【０１４４】
図２１を参照して説明したように、低周波の照射光を照射したときに得られた検出信号から算出された距離Ｄｌと、高周波の照射光を照射したときに得られた検出信号から算出された距離Ｄｈとから、一意に、距離を検出することができる。統合処理部１０１は、低周波の照射光のときに得られる結果と高周波の照射光のときに得られる結果を統合することで、測距結果を算出する。
【０１４５】
このように、低周波の照射光と高周波の照射光を、それぞれ照射することで測距を行い、得られる結果を統合することで、所定の精度の解像度を維持したまま測定できる距離を延ばすことができる。
【０１４６】
＜第２の実施の形態＞
＜２つの露光時間を用いた測距について＞
受光部１２（図１）は、図２を参照して説明したように、画素アレイ部４１を有し、フォトダイオード６１（図３）を含む構成とされている。このようなフォトダイオードを含むイメージセンサは、屋内や野外、昼間や夜間といった多様な環境下で使用されることが想定される。外光の変化等に応じて、フォトダイオードにおける電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが行われる。
【０１４７】
また、イメージセンサにおいて、そのダイナミックレンジを拡大する方法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０１４８】
このようなことは、ＴＯＦによる測距を行う測距装置１０においても同様であり、飽和してしまった場合、正確な検出信号を得られず、測距が行えない可能性がある。測距装置１０においても、飽和が起きないように制御されるのが好ましい。ＴＯＦによる測距を行う測距装置１０においても広ダイナミックレンジが得られる撮像が行われるようにし、測距が行えないような状況が発生しないようにする。
【０１４９】
ここでは、測距装置１０において、長時間露光画像と短時間露光画像を連続的に個別に撮影することで、高ダイナミックレンジを実現した測距について説明する。
【０１５０】
このように、長時間露光と短時間露光で、それぞれ撮像することで測距を行う場合、また上記した２タップ４フェーズ方式で測距を行う場合、図２５に示すように測距が行われる。
【０１５１】
なお、長時間露光、短時間露光とは、一方の露光時間を基準としたとき、他方の露光時間が長いまたは短い場合を示す。例えば、長時間露光を基準としたとき、この長時間露光の露光時間より短い露光時間を、短時間露光と記述する。長時間露光や短時間露光は、可変であっても良いし、固定であっても良い。可変である場合、所謂ＡＥ（Automatic Exposure）で露光時間が設定されるようにすることができる。
【０１５２】
また、長時間露光と短時間露光の一方が可変、他方は固定とされていても良い。また、長時間露光と短時間露光の両方が固定とされていても良い。長時間露光と短時間露光は、所定の比率で設定されているようにしても良い。長時間露光と短時間露光の一方を可変とし、その可変とされている露光時間に対して、所定の比率で、他方の露光時間が設定されるようにしても良い。
【０１５３】
なお、ここでは、２種類の露光時間を用いた測距を例に挙げて説明するが、２種類以上の露光時間を用いて測距する場合にも本技術を適用できる。
【０１５４】
１フレームは、長時間露光での撮像で測距を行うフレーム（以下、サブフレームＬと記述する）と、短時間露光での撮像で測距を行うフレーム（以下、サブフレームＳと記述する）から構成される。
【０１５５】
サブフレームＬとサブフレームＳは、それぞれ図１６を参照して説明した２タップ４フェーズ方式の場合と同じく、４つの検出期間を有し、それぞれの検出期間で、検出信号Ａと検出信号Ｂを取得する。
【０１５６】
サブフレームＬは、検出期間ＱＬ０、検出期間ＱＬ１、検出期間ＱＬ２、検出期間ＱＬ３を含む。検出期間ＱＬ０において、検出信号ＡＬ０と検出信号ＢＬ０が取得される。検出期間ＱＬ１において、検出信号ＡＬ９０と検出信号ＢＬ９０が取得される。検出期間ＱＬ２において、検出信号ＡＬ１８０と検出信号ＢＬ１８０が取得される。検出期間ＱＬ３において、検出信号ＡＬ２７０と検出信号ＢＬ２７０が取得される。
【０１５７】
サブフレームＳは、検出期間ＱＳ０、検出期間ＱＳ１、検出期間ＱＳ２、検出期間ＱＳ３を含む。検出期間ＱＳ０において、検出信号ＡＳ０と検出信号ＢＳ０が取得される。検出期間ＱＳ１において、検出信号ＡＳ９０と検出信号ＢＳ９０が取得される。検出期間ＱＳ２において、検出信号ＡＳ１８０と検出信号ＢＳ１８０が取得される。検出期間ＱＳ３において、検出信号ＡＳ２７０と検出信号ＢＳ２７０が取得される。
【０１５８】
このように、長時間露光での撮像で得られる検出信号と短時間露光での撮像で得られる検出信号を用いて測距を行う場合、信号処理部１３ｂは、図２６に示すＨＤＲ合成部２０１を含み、ＨＤＲ合成部２０１によりサブフレームＬとサブフレームＳが処理されることで、測距が行われる。
【０１５９】
ＨＤＲ合成部２０１には、受光部１２（図１）から、サブフレームＬとサブフレームＳが順次供給される。なお、サブフレームＬの後、サブフレームＳが供給されるとして説明を続けるが、サブフレームＳの後、サブフレームＬが供給されるようにしてもよい。換言すれば、長時間露光による測距の後に、短時間露光による測距を行っても良いし、短時間露光による測距の後に、長時間露光による測距を行っても良い。
【０１６０】
図２７に示したフローチャートを参照し、図２６に示した信号処理部１３ｂに含まれるＨＤＲ合成部２０１の処理について説明を加える。
【０１６１】
ステップＳ２０１において、ＨＤＲ合成部２０１は、検出信号を取得する。図２５を参照して説明したように、長時間露光により測距が行われた後、短時間露光により測距が行われる場合、ＨＤＲ合成部２０１は、検出信号ＡＬ０と検出信号ＢＬ０、検出信号ＡＬ９０と検出信号ＢＬ９０、検出信号ＡＬ１８０と検出信号ＢＬ１８０、検出信号ＡＬ２７０と検出信号ＢＬ２７０を、順次取得する。
【０１６２】
サブフレームＬに含まれる検出信号が取得された後、サブフレームＳに含まれる検出信号が順次取得される。すなわちＨＤＲ合成部２０１は、検出信号ＡＳ０と検出信号ＢＳ０、検出信号ＡＳ９０と検出信号ＢＳ９０、検出信号ＡＳ１８０と検出信号ＢＳ１８０、検出信号ＡＳ２７０と検出信号ＢＳ２７０を、順次取得する。
【０１６３】
ステップＳ２０２において、ＨＤＲ合成部２０１は、長時間露光のときに得られた検出信号と、短時間露光のときに得られた検出信号を合成することで、ＨＤＲ画像を生成する。
【０１６４】
ステップＳ２０２におけるＨＤＲ合成処理について、図２８のフローチャートを参照して説明する。図２８のフローチャートを参照して説明するＨＤＲ合成処理は、画素毎に行われる。
【０１６５】
ステップＳ２２１において、処理対象とされている画素における長時間露光による撮像は、飽和しているか否かが判定される。ステップＳ２２１において、長時間露光による撮像は、飽和していないと判定された場合、ステップＳ２２２に処理が進められる。
【０１６６】
ステップＳ２２２において、ＨＤＲ合成部２０１は、長時間露光による撮像は飽和していないため、長時間露光で撮像したときに得られた測距結果を、出力する。ＨＤＲ合成部２０１は、長時間露光による撮像は飽和していない場合、サブフレームＬで得られる検出結果ＡＬ０乃至ＡＬ２７０と検出結果ＢＬ０乃至ＢＬ２７０を用いて、距離Ｄを算出し、その算出結果が測距結果として出力する。このとき算出されるのは、処理対象とされている画素で撮像されている物体までの距離である。
【０１６７】
なお、長時間露光による撮像が飽和していない場合、短時間露光による撮像も飽和していない可能性が高い。よって、長時間露光の撮像で得られた検出信号と短時間露光の撮像で得られた検出信号を、所定の方法、例えば、重み付け係数を、それぞれの検出信号に乗算し、加算するといった演算を行うことで合成し、合成した後の信号を用いて、距離Ｄが算出されるようにしても良い。
【０１６８】
一方、ステップＳ２２１において、処理対象とされている画素における長時間露光による撮像は飽和していると判定された場合、ステップＳ２２３に処理が進められる。ステップＳ２２３において、短時間露光による撮像は、飽和しているか否かが判定される。ステップＳ２２３において、短時間露光による撮像は、飽和していないと判定された場合、ステップＳ２２４に処理が進められる。
【０１６９】
ステップＳ２２４において、ＨＤＲ合成部２０１は、短時間露光による撮像は飽和していないため、短時間露光で撮像したときに得られた測距結果を、出力する。ＨＤＲ合成部２０１は、短時間露光による撮像は飽和していない場合、サブフレームＳで得られる検出結果ＡＳ０乃至ＡＳ２７０と検出結果ＢＳ０乃至ＢＳ２７０を用いて、距離Ｄを算出し、その算出結果が測距結果として出力する。このとき算出されるのは、処理対象とされている画素で撮像されている物体までの距離である。
【０１７０】
一方、ステップＳ２２３において、短時間露光による撮像は飽和していると判定された場合、ステップＳ２２５に処理が進められる。ステップＳ２２５に処理が来る場合、長時間露光による撮像は飽和し、短時間露光による撮像も飽和している場合であるため、無効値が出力される。
【０１７１】
このような処理が１フレームに含まれる画素毎に行われることで、長時間露光の撮像により飽和していない画素においては、長時間露光の撮像により得られた検出信号が用いられて距離が算出され、長時間露光の撮像により飽和している画素においては、短時間露光の撮像により得られた検出信号が用いられて距離が算出される。よって、１フレーム（１画像）において、広ダイナミックレンジを実現した測距を行うことができる。
【０１７２】
このように、長時間露光での撮像と短時間露光での撮像がそれぞれ行われ、得られる結果が合成されることで、広ダイナミックレンジを実現した測距を行うことができる。
【０１７３】
＜第３の実施の形態＞
＜２つの周波数、２つの露光時間を用いた測距について＞
第１の実施の形態のように、高周波と低周波の２つの周波数の照射光を用いた測距によれば、測距可能な距離を延ばせるが、撮像時に飽和してしまう可能性があり、測距が行えない状況が発生する可能性がある。
【０１７４】
第２の実施の形態のように、長時間露光と短時間露光の２つの露光時間を用いた測距によれば、撮影時に飽和してしまう可能性を低減し、広ダイナミックレンジを実現した測距を行うことができるが、測距可能な距離は、照射光の周波数に依存し、所望の距離まで測距できない可能性がある。
【０１７５】
そこで、第１の実施の形態と第２の実施の形態を組み合わせ、高周波と低周波の２つの周波数の照射光を用いた測距と、長時間露光と短時間露光の２つの露光時間を用いた測距を組み合わせることで、広ダイナミックレンジで測距を行え、かつ測距できる距離を延ばすことができる測距が行えるようにした第３の実施の形態について以下に説明を加える。
【０１７６】
このように、高周波と低周波の２つの周波数の照射光を用いた測距と長時間露光と短時間露光の２つの露光時間を用いた測距を組み合わせることで測距を行う場合、また上記した２タップ４フェーズ方式で測距を行う場合、図２９に示すように測距が行われる。
【０１７７】
１フレームは、低周波の照射光を照射し、長時間露光で撮像を行うことで測距を行うフレーム（以下、サブフレームｌＬと記述する）、低周波の照射光を照射し、短時間露光で撮像を行うことで測距を行うフレーム（以下、サブフレームｌＳと記述する）、高周波の照射光を照射し、長時間露光で撮像を行うことで測距を行うフレーム（以下、サブフレームｈＬと記述する）、および高周波の照射光を照射し、短時間露光で撮像を行うことで測距を行うフレーム（以下、サブフレームｈＳと記述する）から構成される。
【０１７８】
なお、低周波の照射光による測距の後に、高周波の照射光による測距が行われる場合を例に挙げて説明を続けるが、高周波の照射光による測距の後に、低周波の照射光による測距が行われるようにしても良い。また長時間露光による測距の後に、短時間露光の測距が行われる場合を例に挙げて説明を行うが、短時間露光による測距の後に、長時間露光の測距が行われるようにしても良い。
【０１７９】
サブフレームｌＬ、サブフレームｌＳ、サブフレームｈＬ、およびサブフレームｈＳは、それぞれ図１６を参照して説明した２タップ４フェーズ方式の場合と同じく、４つの検出期間を有し、それぞれの検出期間で、検出信号Ａと検出信号Ｂを取得する。
【０１８０】
サブフレームｌＬは、検出期間ＱｌＬ０、検出期間ＱｌＬ１、検出期間ＱｌＬ２、検出期間ＱｌＬ３を含む。検出期間ＱｌＬ０において、検出信号ＡｌＬ０と検出信号ＢｌＬ０が取得される。検出期間ＱｌＬ１において、検出信号ＡｌＬ９０と検出信号ＢｌＬ９０が取得される。検出期間ＱｌＬ２において、検出信号ＡｌＬ１８０と検出信号ＢｌＬ１８０が取得される。検出期間ＱｌＬ３において、検出信号ＡｌＬ２７０と検出信号ＢｌＬ２７０が取得される。
【０１８１】
サブフレームｌＳは、検出期間ＱｌＳ０、検出期間ＱｌＳ１、検出期間ＱｌＳ２、検出期間ＱｌＳ３を含む。検出期間ＱｌＳ０において、検出信号ＡｌＳ０と検出信号ＢｌＳ０が取得される。検出期間ＱｌＳ１において、検出信号ＡｌＳ９０と検出信号ＢｌＳ９０が取得される。検出期間ＱｌＳ２において、検出信号ＡｌＳ１８０と検出信号ＢｌＳ１８０が取得される。検出期間ＱｌＳ３において、検出信号ＡｌＳ２７０と検出信号ＢｌＳ２７０が取得される。
【０１８２】
サブフレームｈＬは、検出期間ＱｈＬ０、検出期間ＱｈＬ１、検出期間ＱｈＬ２、検出期間ＱｈＬ３を含む。検出期間ＱｈＬ０において、検出信号ＡｈＬ０と検出信号ＢｈＬ０が取得される。検出期間ＱｈＬ１において、検出信号ＡｈＬ９０と検出信号ＢｈＬ９０が取得される。検出期間ＱｈＬ２において、検出信号ＡｈＬ１８０と検出信号ＢｈＬ１８０が取得される。検出期間ＱｈＬ３において、検出信号ＡｈＬ２７０と検出信号ＢｈＬ２７０が取得される。
【０１８３】
サブフレームｈＳは、検出期間ＱｈＳ０、検出期間ＱｈＳ１、検出期間ＱｈＳ２、検出期間ＱｈＳ３を含む。検出期間ＱｈＳ０において、検出信号ＡｈＳ０と検出信号ＢｈＳ０が取得される。検出期間ＱｈＳ１において、検出信号ＡｈＳ９０と検出信号ＢｈＳ９０が取得される。検出期間ＱｈＳ２において、検出信号ＡｈＳ１８０と検出信号ＢｈＳ１８０が取得される。検出期間ＱｈＳ３において、検出信号ＡｈＳ２７０と検出信号ＢｈＳ２７０が取得される。
【０１８４】
このように、低周波の照射光を照射し、長時間露光による撮像で得られる検出信号、低周波の照射光を照射し、短時間露光による撮像で得られる検出信号、高周波の照射光を照射し、長時間露光による撮像で得られる検出信号、および高周波の照射光を照射し、短時間露光による撮像で得られる検出信号を用いて測距を行う場合、信号処理部１３ｃは、図３０に示す構成とされる。
【０１８５】
信号処理部１３ｃは、ＨＤＲ合成部３０１−１、ＨＤＲ合成部３０１−２、および統合処理部３０２を備える。ＨＤＲ合成部３０１−１とＨＤＲ合成部３０１−２は、長時間露光による撮像結果と短時間露光による撮像結果を合成する。
【０１８６】
ＨＤＲ合成部３０１−１には、受光部１２（図１）から、サブフレームｌＬとサブフレームｌＳが順次供給される。ＨＤＲ合成部３０１−１は、供給されたサブフレームｌＬとサブフレームｌＳから、低周波のＨＤＲ画像を生成し、統合処理部３０２に供給する。
【０１８７】
ＨＤＲ合成部３０１−２には、受光部１２（図１）から、サブフレームｈＬとサブフレームｈＳが順次供給される。ＨＤＲ合成部３０１−２は、供給されたサブフレームｈＬとサブフレームｈＳから、高周波のＨＤＲ画像を生成し、統合処理部３０２に供給する。
【０１８８】
統合処理部３０２は、図２３に示した統合処理部１０１と同じく、低周波の照射光で撮像されたときに得られた検出信号、この場合、低周波のＨＤＲ画像と、高周波の照射光で撮像されたときに得られた検出信号、この場合、高周波のＨＤＲ画像を統合することで、所定の物体までの距離を算出し、測距結果として出力する。
【０１８９】
図３１に示したフローチャートを参照し、図３０に示した信号処理部１３に含まれるＨＤＲ合成部３０１と統合処理部３０２の処理について説明を加える。
【０１９０】
ステップＳ３０１において、信号処理部１３は、検出信号を取得する。
【０１９１】
ＨＤＲ合成部３０１−１は、サブフレームｌＬに含まれる検出信号ＡｌＬ０と検出信号ＢｌＬ０、検出信号ＡｌＬ９０と検出信号ＢｌＬ９０、検出信号ＡｌＬ１８０と検出信号ＢｌＬ１８０、検出信号ＡｌＬ２７０と検出信号ＢｌＬ２７０を、順次取得する。
【０１９２】
また、ＨＤＲ合成部３０１−１は、サブフレームｌＳに含まれる検出信号ＡｌＳ０と検出信号ＢｌＳ０、検出信号ＡｌＳ９０と検出信号ＢｌＳ９０、検出信号ＡｌＳ１８０と検出信号ＢｌＳ１８０、検出信号ＡｌＳ２７０と検出信号ＢｌＳ２７０を、順次取得する。
【０１９３】
ＨＤＲ合成部３０１−２は、サブフレームｈＬに含まれる検出信号ＡｈＬ０と検出信号ＢｈＬ０、検出信号ＡｈＬ９０と検出信号ＢｈＬ９０、検出信号ＡｈＬ１８０と検出信号ＢｈＬ１８０、検出信号ＡｈＬ２７０と検出信号ＢｈＬ２７０を、順次取得する。
【０１９４】
また、ＨＤＲ合成部３０１−２は、サブフレームｈＳに含まれる検出信号ＡｈＳ０と検出信号ＢｈＳ０、検出信号ＡｈＳ９０と検出信号ＢｈＳ９０、検出信号ＡｈＳ１８０と検出信号ＢｈＳ１８０、検出信号ＡｈＳ２７０と検出信号ＢｈＳ２７０を、順次取得する。
【０１９５】
ステップＳ３０２において、ＨＤＲ合成部３０１−１は、低周波の照射光を照射し、長時間露光のときに得られた検出信号と、短時間露光のときに得られた検出信号を合成することで、低周波の照射光を照射したときに得られるＨＤＲ画像（低周波ＨＤＲ画像と記述する）を生成する。
【０１９６】
ステップＳ３０２における低周波のＨＤＲ合成処理について、図３２のフローチャートを参照して説明する。図３２のフローチャートを参照して説明する低周波のＨＤＲ合成処理は、画素毎に行われる。
【０１９７】
ステップＳ３２１において、処理対象とされている画素における長時間露光による撮像は、飽和しているか否かが判定される。ステップＳ３２１において、長時間露光による撮像は、飽和していないと判定された場合、ステップＳ３２２に処理が進められる。
【０１９８】
ステップＳ３２２において、ＨＤＲ合成部３０１−１は、長時間露光による撮像は飽和していないため、長時間露光で撮像したときに得られた結果を、出力する。ＨＤＲ合成部３０１−１は、長時間露光による撮像は飽和していない場合、サブフレームｌＬに含まれる処理対象とされている画素から得られた検出結果ＡｌＬ０乃至ＡｌＬ２７０と検出結果ＢｌＬ０乃至ＢｌＬ２７０を、低周波ＨＤＲ画像の一部として出力する。
【０１９９】
ここでは、検出信号が、低周波ＨＤＲ画像として出力されるとして説明するが、サブフレームｌＬで得られる検出結果ＡｌＬ０乃至ＡｌＬ２７０と検出結果ＢｌＬ０乃至ＢｌＬ２７０を用いて、式（１）に基づき位相差θを算出し、その算出結果が低周波ＨＤＲ画像として出力されるようにしても良い。また位相差θを用いて、式（２）に基づき距離Ｄ（複数の候補）を算出し、その距離Ｄが出力されるようにしても良い。
【０２００】
なお、長時間露光による撮像が飽和していない場合、短時間露光による撮像も飽和していない可能性が高い。よって、長時間露光の撮像で得られた検出信号と短時間露光の撮像で得られた検出信号を、所定の方法、例えば、重み付け係数を、それぞれの検出信号に乗算し、加算するといった演算を行うことで合成し、合成した後の信号を用いて、位相差θや距離Ｄが算出されるようにしても良い。
【０２０１】
一方、ステップＳ３２１において、処理対象とされている画素における長時間露光による撮像は飽和していると判定された場合、ステップＳ３２３に処理が進められる。ステップＳ３２３において、短時間露光による撮像は、飽和しているか否かが判定される。ステップＳ３２３において、短時間露光による撮像は、飽和していないと判定された場合、ステップＳ３２４に処理が進められる。
【０２０２】
ステップＳ３２４において、ＨＤＲ合成部３０１−１は、短時間露光による撮像は飽和していないため、短時間露光で撮像したときに得られた結果を、出力する。ＨＤＲ合成部３０１−１は、短時間露光による撮像は飽和していない場合、サブフレームｌＳに含まれる処理対象とされている画素から得られた検出結果ＡｌＳ０乃至ＡｌＳ２７０と検出結果ＢｌＳ０乃至ＢｌＳ２７０を、低周波ＨＤＲ画像の一部として出力する。
【０２０３】
ここでは、検出信号が、低周波ＨＤＲ画像として出力されるとして説明するが、サブフレームｌＳで得られる検出結果ＡｌＳ０乃至ＡｌＳ２７０と検出結果ＢｌＳ０乃至ＢｌＳ２７０を用いて、式（１）に基づき位相差θを算出し、その算出結果が低周波ＨＤＲ画像として出力されるようにしても良い。また位相差θを用いて、式（２）に基づき距離Ｄ（複数の候補）を算出し、その距離Ｄが出力されるようにしても良い。
【０２０４】
一方、ステップＳ３２３において、短時間露光による撮像は飽和していると判定された場合、ステップＳ３２５に処理が進められる。ステップＳ３２５に処理が来る場合、長時間露光による撮像は飽和し、短時間露光による撮像も飽和している場合であるため、処理対象とされている画素に対しては無効値が出力される。
【０２０５】
このような処理が１フレームに含まれる画素毎に行われることで、長時間露光の撮像により飽和していない画素においては、長時間露光の撮像により得られた検出信号が出力され、長時間露光の撮像により飽和している画素においては、短時間露光の撮像により得られた検出信号が出力される。
【０２０６】
すなわち、ＨＤＲ合成部３０１−１は、低周波の照射光を照射し、長時間露光で撮像したことにより得られたサブフレームｌＬと、短時間露光で撮像したことにより得られたサブフレームｌＳを合成することで、低周波ＨＤＲ画像を生成する。この生成された低周波ＨＤＲ画像は、図２２乃至図２４を参照して説明した２つの周波数を用いた測距におけるサブフレームｌに該当する。
【０２０７】
ステップＳ３０３（図３１）において、ＨＤＲ合成部３０１−２は、高周波の照射光を照射し、長時間露光のときに得られた検出信号と、短時間露光のときに得られた検出信号を合成することで、高周波の照射光を照射したときに得られるＨＤＲ画像（高周波ＨＤＲ画像と記述する）を生成する。
【０２０８】
ステップＳ３０３における高周波のＨＤＲ合成処理について、図３３のフローチャートを参照して説明する。図３３のフローチャートを参照して説明する高周波のＨＤＲ合成処理は、画素毎に行われる。
【０２０９】
ステップＳ３４１において、処理対象とされている画素における長時間露光による撮像は、飽和しているか否かが判定される。ステップＳ３４１において、長時間露光による撮像は、飽和していないと判定された場合、ステップＳ３４２に処理が進められる。
【０２１０】
ステップＳ３４２において、ＨＤＲ合成部３０１−２は、長時間露光による撮像は飽和していないため、長時間露光で撮像したときに得られた結果を、出力する。ＨＤＲ合成部３０１−２は、長時間露光による撮像は飽和していない場合、サブフレームｈＬに含まれる処理対象とされている画素から得られた検出結果ＡｈＬ０乃至ＡｈＬ２７０と検出結果ＢｈＬ０乃至ＢｈＬ２７０を、高周波ＨＤＲ画像の一部として出力する。
【０２１１】
ここでは、検出信号が、高周波ＨＤＲ画像として出力されるとして説明するが、サブフレームｈＬで得られる検出結果ＡｈＬ０乃至ＡｈＬ２７０と検出結果ＢｈＬ０乃至ＢｈＬ２７０を用いて、式（１）に基づき位相差θを算出し、その算出結果が高周波ＨＤＲ画像として出力されるようにしても良い。また位相差θを用いて、式（２）に基づき距離Ｄ（複数の候補）を算出し、その距離Ｄが出力されるようにしても良い。
【０２１２】
なお、長時間露光による撮像が飽和していない場合、短時間露光による撮像も飽和していない可能性が高い。よって、長時間露光の撮像で得られた検出信号と短時間露光の撮像で得られた検出信号を、所定の方法、例えば、重み付け係数を、それぞれの検出信号に乗算し、加算するといった演算を行うことで合成し、合成した後の信号を用いて、位相差θや距離Ｄが算出されるようにしても良い。
【０２１３】
一方、ステップＳ３４１において、処理対象とされている画素における長時間露光による撮像は飽和していると判定された場合、ステップＳ３４３に処理が進められる。ステップＳ３４３において、短時間露光による撮像は、飽和しているか否かが判定される。ステップＳ３４３において、短時間露光による撮像は、飽和していないと判定された場合、ステップＳ３４４に処理が進められる。
【０２１４】
ステップＳ３４４において、ＨＤＲ合成部３０１−２は、短時間露光による撮像は飽和していないため、短時間露光で撮像したときに得られた結果を、出力する。ＨＤＲ合成部３０１−２は、短時間露光による撮像は飽和していない場合、サブフレームｈＳに含まれる処理対象とされている画素から得られた検出結果ＡｈＳ０乃至ＡｈＳ２７０と検出結果ＢｈＳ０乃至ＢｈＳ２７０を、高周波ＨＤＲ画像の一部として出力する。
【０２１５】
ここでは、検出信号が、高周波ＨＤＲ画像として出力されるとして説明するが、サブフレームｈＳで得られる検出結果ＡｈＳ０乃至ＡｈＳ２７０と検出結果ＢｈＳ０乃至ＢｈＳ２７０を用いて、式（１）に基づき位相差θを算出し、その算出結果が高周波ＨＤＲ画像として出力されるようにしても良い。また位相差θを用いて、式（２）に基づき距離Ｄ（複数の候補）を算出し、その距離Ｄが出力されるようにしても良い。
【０２１６】
一方、ステップＳ３４３において、短時間露光による撮像は飽和していると判定された場合、ステップＳ３４５に処理が進められる。ステップＳ３４５に処理が来る場合、長時間露光による撮像は飽和し、短時間露光による撮像も飽和している場合であるため、処理対象とされている画素に対しては無効値が出力される。
【０２１７】
このような処理が１フレームに含まれる画素毎に行われることで、長時間露光の撮像により飽和していない画素においては、長時間露光の撮像により得られた検出信号が出力され、長時間露光の撮像により飽和している画素においては、短時間露光の撮像により得られた検出信号が出力される。
【０２１８】
すなわち、ＨＤＲ合成部３０１−２は、高周波の照射光を照射し、長時間露光で撮像したことにより得られたサブフレームｈＬと、短時間露光で撮像したことにより得られたサブフレームｈＳを合成することで、高周波ＨＤＲ画像を生成する。この生成された高周波ＨＤＲ画像は、図２２乃至図２４を参照して説明した２つの周波数を用いた測距におけるサブフレームｈに該当する。
【０２１９】
ステップＳ３０４（図３１）において、統合処理部３０２は、低周波ＨＤＲ画像と高周波ＨＤＲ画像を統合する。統合処理部３０２には、ＨＤＲ合成部３０１−１から、低周波ＨＤＲ画像が供給される。この低周波ＨＤＲ画像は、上記したような処理が行われることで生成された広ダイナミックレンジの画像であり、サブフレームｌ（図２３）に該当する画像である。
【０２２０】
また統合処理部３０２には、ＨＤＲ合成部３０１−２から、高周波ＨＤＲ画像が供給される。この高周波ＨＤＲ画像は、上記したような処理が行われることで生成された広ダイナミックレンジの画像であり、サブフレームｈ（図２３）に該当する画像である。
【０２２１】
統合処理部３０２は、サブフレームｌとサブフレームｈに該当する低周波ＨＤＲ画像と高周波ＨＤＲ画像を取得するため、サブフレームｌとサブフレームｈを取得し、処理する統合処理部１０１（図２３）と同様の処理を行うことで距離を算出することができる。統合処理部１０１（図２３）における処理については既に説明したため、統合処理部３０２における処理については、説明を省略する。
【０２２２】
このように、長時間露光による撮像と短時間露光による撮像を行うことで、広ダイナミックレンジの画像を取得し、その広ダイナミックレンジの画像を用いて測距を行うことで、ダイナミックレンジを向上させた測距を行うことができる。また、低周波の照射光を照射した撮像と高周波の照射光を照射した撮像を行うことで、測距できる距離を延ばすことができる。
【０２２３】
＜第４の実施の形態＞
＜２つの周波数、２つの露光時間を用いた他の測距について＞
図２９乃至図３３を参照して第３の実施の形態として説明したように、２つの周波数、２つの露光時間を用いた測距によれば、ダイナミックレンジを向上させ、かつ測距できる距離を延ばすことができる。
【０２２４】
ここで、再度図２９を参照する。図２９に示したように、第３の実施の形態によれば、４つのサブフレームを取得し、処理する必要がある。この場合、４つのサブフレームを時間方向で順次撮像する必要があるため、撮像にかかる時間が増す可能性がある。また、４つのサブフレームを処理するためにかかる時間や処理負担が増す可能性もある。
【０２２５】
取得するサブフレーム数を減らすことで、撮影にかかる時間や、取得されたサブフレームを処理する時間や処理負担を軽減する測距について説明を加える。
【０２２６】
第４の実施の形態として、図３４に示すように、取得するサブフレームを、サブフレームｌＬ、サブフレームｈＬ、およびサブフレームｈＳの３つのサブフレームとした場合について説明する。
【０２２７】
サブフレームｌＬは、低周波の照射光を照射し、長時間露光で撮像を行うことで測距を行うフレームであり、図２９を参照して説明したサブフレームｌＬに該当するサブフレームである。また、サブフレームｌＬは、図２２を参照して説明したサブフレームｌに該当するサブフレームである。
【０２２８】
サブフレームｈＬは、高周波の照射光を照射し、長時間露光で撮像を行うことで測距を行うサブフレームであり、図２９を参照して説明したサブフレームｈＬに該当するサブフレームである。
【０２２９】
サブフレームｈＳは、高周波の照射光を照射し、短時間露光で撮像を行うことで測距を行うサブフレームであり、図２９を参照して説明したサブフレームｈＳに該当するサブフレームである。
【０２３０】
図３４に示した実施の形態は、図２９に示した実施の形態と比較し、低周波を照射し、短時間露光で撮像を行うことで測距を行うサブフレームｌＳを取得し、処理する処理が省略された形態とされている。
【０２３１】
測距を行うとき、距離が近い方が、距離が遠い方よりも飽和しやすい傾向にある。図２０を参照して説明したように、高周波の照射光を用いた測距は、測距可能な距離が、低周波の照射光を用いた測距よりも短くなる。距離が近い方（近距離）を測距したい場合、高周波の照射光を用いて測距し、距離が遠い方（遠距離）を測距したい場合、低周波の照射光を用いて測距することができる。
【０２３２】
近距離の方が、遠距離よりも飽和しやすい傾向にあるため、近距離を測定する高周波の照射光を用いた撮像の方が、遠距離を測定する低周波の照射光を用いた撮像よりも、飽和する可能性が高いと考えられる。そこで、高周波の照射光を用いた撮像は、長時間露光と短時間露光を行うことで、飽和する可能性を低減し、広ダイナミックレンジでの撮像が行われるようにする。
【０２３３】
一方で、飽和する可能性が低い低周波の照射光を用いた撮像は、長時間露光により撮像を行うことで、Ｓ／Ｎ比が低下することがない撮像が行われるようにする。また、低周波の照射光を用いた撮像は、飽和する可能性が低いため、短時間露光による撮像を省略する。
【０２３４】
このように、低周波を照射し、短時間露光で撮像を行うことで測距を行うサブフレームｌＳを取得する処理を省略しても、測距可能な距離を延ばし、飽和する可能性を低減した測距を行うことができる。
【０２３５】
また、上記した４つのサブフレームを取得して測距を行う場合と比べて、３つのサブフレームを取得して測距する場合は、サブフレームを取得する時間、換言すれば、撮像にかかる時間を短くすることができる。一般的に、撮像にかかる時間が長くなると、動被写体を撮像しているとぶれが生じ、動被写体特性が悪化してしまう可能性がある。撮像にかかる時間が短くなることで、動被写体特性の悪化を低減することができる。
【０２３６】
また、処理するサブフレーム数が減ることで、処理するための時間を低減し、処理能力の負荷を低減することもできる。このことから、低消費電力化することも可能となる。
【０２３７】
このような測距を行う場合、信号処理部１３ｄは、図３５に示すような構成を有する。信号処理部１３ｄは、ＨＤＲ合成部３０１−２、および統合処理部３０２を備える。図３５に示した信号処理部１３は、図３０に示した信号処理部１３から、ＨＤＲ合成部３０１−１を削除した構成となっているため、図３０に示した信号処理部１３と同一の部分には同一の符号を付し、適宜説明は省略する。
【０２３８】
ＨＤＲ合成部３０１−２には、受光部１２（図１）から、サブフレームｈＬとサブフレームｈＳが順次供給される。ＨＤＲ合成部３０１−２は、供給されたサブフレームｈＬとサブフレームｈＳから、高周波のＨＤＲ画像を生成し、統合処理部３０２に供給する。
【０２３９】
統合処理部３０２には、サブフレームｌＬと、サブフレームｈＬとサブフレームｈＳが合成された高周波ＨＤＲ画像が供給される。統合処理部３０２は、サブフレームｌＬと高周波ＨＤＲ画像を統合することで、所定の物体までの距離を算出し、測距結果として出力する。
【０２４０】
図３６に示したフローチャートを参照し、図３５に示した信号処理部１３ｄの処理について説明を加える。
【０２４１】
ステップＳ４０１において、信号処理部１３ｄは、検出信号を取得する。
【０２４２】
ステップＳ４０２において、ＨＤＲ合成部３０１−２は、高周波の照射光を照射し、長時間露光のときに得られた検出信号と、短時間露光のときに得られた検出信号を合成することで、高周波の照射光を照射したときに得られる高周波ＨＤＲ画像を生成する。
【０２４３】
ステップＳ４０２における高周波のＨＤＲ合成処理は、図３３に示したフローチャートに基づき行われる。図３３に示したフローチャートに基づく処理については既に説明したので、ここでは説明を省略する。
【０２４４】
ステップＳ４０３において、統合処理部３０２により統合処理が実行される。ステップＳ４０３において実行される統合処理について、図３７に示したフローチャートを参照し説明する。
【０２４５】
ステップＳ４２１において、低周波の照射光を照射し、長時間露光による撮像が、飽和しているか否かが判定される。この場合、サブフレームｌＬに含まれている処理対象とされている画素は、飽和しているか否かが判定される。ステップＳ４２１において、低周波の照射光を照射し、長時間露光による撮像は飽和していないと判定された場合、ステップＳ４２２に処理は進められる。
【０２４６】
ステップＳ４２２において、高周波の照射光を照射したときの撮像は、飽和しているか否かが判定される。この場合、ＨＤＲ合成部３０１−２により生成された高周波ＨＤＲ画像のうちの、処理対象とされている画素は、飽和しているか否かが判定される。
【０２４７】
ステップＳ４０２の処理（図３３に示したフローチャートに基づく処理）が実行されることで生成された高周波ＨＤＲ画像には、飽和している画素は含まれていない可能性が高いが、ステップＳ３４５（図３３）において、無効値が出力されている可能性もある。そこで、ステップＳ４０２においては、高周波ＨＤＲ画像のうち処理対象とされている画素の画素値は、無効値であるか否かが判定される
【０２４８】
ステップＳ４０２において、処理対象とされている高周波ＨＤＲ画像内の画素の画素値は、無効値ではないと判定された場合、ステップＳ４２３に処理が進められる。ステップＳ４２３において、低周波の照射光が照射されたときに得られた画像と高周波の照射光が照射されたときに得られた画像が合成され、出力される。この場合、サブフレームｌＬで得られる画像と、高周波ＨＤＲ画像が合成される。
【０２４９】
この合成は、図３１のステップＳ３０４で実行される処理と同様に行われるため、その説明は省略するが、サブフレームｌＬに含まれる検出信号を用いて算出される距離と、高周波ＨＤＲ画像に含まれる検出信号を用いて算出される距離とから、一意に、距離を求める処理が実行される。
【０２５０】
一方、ステップＳ４２２において、処理対象とされている高周波ＨＤＲ画像内の画素の画素値は、無効値であると判定された場合、ステップＳ４２４に処理が進められる。
【０２５１】
ステップＳ４２４において、無効値が出力される。ステップＳ４２４に処理が来るのは、高周波ＨＤＲ画像の処理対象とされている画素が飽和しているため、高周波ＨＤＲ画像からは距離を算出できないときである。また、低周波の照射光が照射されたときに得られたサブフレームｌＬは、飽和していないと判定されたときである。
【０２５２】
サブフレームｌＬは、飽和していないため、このサブフレームｌＬから距離を算出し、算出された距離が、測距結果として出力されるようにしても良い。この場合、図２０のＢを参照して説明したように、複数の測距結果が算出されるため、誤った測距結果が出力される可能性がある。よって、ここでは、誤った結果が出力されないように、無効値が出力されるとして説明を続ける。
【０２５３】
または、算出される複数の測距結果から１つの測距結果に特定できた場合には、その測距結果が出力されるようにしても良い。
【０２５４】
例えば、処理対象とされている画素の近傍の画素であり、ステップＳ４２３に処理が進められ、測距結果が出された画素が検出される。検出された画素の測距結果に近い値を有する測距結果が、処理対象とされている画素から算出された複数の測距結果から検出される。このような検出処理が、ステップＳ４２４において実行されるようにし、測距結果が出力されるようにしても良い。
【０２５５】
一方、ステップＳ４２１において、低周波の照射光を照射し、長時間露光による撮像が、飽和していると判定された場合、ステップＳ４２５に処理が進められる。ステップＳ４２５の処理は、ステップＳ４２２の処理と同じく、高周波の照射光を照射したときの撮像は、飽和しているか否かが判定される。換言すれば、ステップＳ４２５において、処理対象とされている高周波ＨＤＲ画像内の画素の画素値は、無効値であるか否かが判定される。
【０２５６】
ステップＳ４２５において、処理対象とされている高周波ＨＤＲ画像内の画素の画素値は、無効値ではないと判定された場合、ステップＳ４２６に処理が進められる。ステップＳ４２６に処理が来た場合、処理対象とされている高周波ＨＤＲ画像内の画素から検出された検出信号が用いられ、距離が算出され、その算出値が測距結果として出力される。
【０２５７】
この場合も、ステップＳ４２４に処理が来た場合と同様であり、高周波の照射光が照射されたときの撮像または低周波の照射光が照射されたときの撮像のどちらかが飽和している状態であるため、複数の測距結果が算出され、一意に特定できない可能性がある。よって、ステップＳ４２６においても、ステップＳ４２４と同じく、複数の測距結果から一意に測距結果が特定される処理が行われるようにしても良い。または無効値が出力されるようにしても良い。
【０２５８】
一方、ステップＳ４２５において、処理対象とされている高周波ＨＤＲ画像内の画素の画素値は、無効値であると判定された場合、ステップＳ４２７に処理が進められる。ステップＳ４２７において、処理対象とされている画素からの測距結果は、無効であることを示す無効値が出力される。
【０２５９】
このように、長時間露光による撮像と短時間露光による撮像を行うことで、広ダイナミックレンジの画像を取得し、その広ダイナミックレンジの画像を用いて測距を行うことで、ダイナミックレンジを向上させた測距を行うことができる。また、低周波の照射光を照射した撮像と高周波の照射光を照射した撮像を行うことで、測距できる距離を延ばすことができる。
【０２６０】
また処理するサブフレーム数を少なくすることで、撮影や処理にかかる時間を短くし、処理負荷を低減し、動被写体特性が悪化することを抑制することができる。
【０２６１】
＜第５の実施の形態＞
第１乃至第４の実施の形態は、組み合わせて用いることができる。第５の実施の形態とし、図３８を参照し、２つの周波数を用いた測距を行う第１の実施の形態と、２つの周波数と２つの露光時間を用いた測距を行う第３の実施の形態を組み合わせた場合について説明する。また、図３９を参照し、２つの周波数を用いた測距を行う第１の実施の形態と、２つの周波数と２つの露光時間を用いた測距を行う第４の実施の形態を組み合わせた場合について説明する。
【０２６２】
図３８を参照するに、測距のモードとして、通常モードと高精度モードがある。通常モードは、第１の実施の形態が適用されたモードであり、低周波の照射光と高周波の照射光を用いた測距を行うモードである。この通常モードでは、ＡＥ（Automatic Exposure）で露光が制御される。
【０２６３】
通常モードでは、図２２を参照して説明した場合と同じく、低周波の照射光が照射されたときに撮像されるサブフレームｌと、高周波の照射光が照射されたときに撮像されるサブフレームｈが取得される。またこのサブフレームｌとサブフレームｈとから、１フレームが構成される。
【０２６４】
高精度モードは、第３の実施の形態が適用されたモードであり、低周波の照射光と高周波の照射光を用いた測距と長時間露光と短時間露光での測距を行うモードである。
【０２６５】
高精度モードでは、図２９を参照して説明した場合と同じく、低周波の照射光が照射され、長時間露光で撮像されたサブフレームｌＬ、低周波の照射光が照射され、短時間露光で撮像されたサブフレームｌＳ、高周波の照射光が照射され、長時間露光で撮像されたサブフレームｈＬ、および高周波の照射光が照射され、短時間露光で撮像されたサブフレームｈＳが取得される。またこのサブフレームｌＬ、サブフレームｌＳ、サブフレームｈＬ、およびサブフレームｈＳとから、１フレームが構成される。
【０２６６】
図３８に示した例では、フレーム１とフレーム２は、通常モードで撮像され、フレーム３で高精度モードに切り替わり、フレーム４で通常モードに戻り、通常モードが維持されたままフレーム５が撮像される。
【０２６７】
通常モードから高精度モードに切り替わるタイミングについては、後述する。通常モードから高精度モードに切り替わるとき、露光長は維持される。図３８に示した例では、フレーム２のサブフレームｌの露光時間は、フレーム３のサブフレームｌＬに引き継がれ、フレーム２のサブフレームｈの露光時間は、フレーム３のサブフレームｈＬに引き継がれる。
【０２６８】
すなわち、通常モード時の低周波の照射光を用いた撮像を行うときの露光時間が、高精度モード時の低周波の照射光を用いた撮像を行うときの長時間露光の露光時間に設定される。また、通常モード時の高周波の照射光を用いた撮像を行うときの露光時間が、高精度モード時の高周波の照射光を用いた撮像を行うときの長時間露光の露光時間に設定される。
【０２６９】
高精度モード時の長時間露光の露光長は、前フレームの通常モード時の露光長が維持されるため、また通常モード時の露光長は、ＡＥにより設定されるため、高精度モード時の長時間露光の露光長は、可変となる。
【０２７０】
高精度モード時の長時間露光の露光長に合わせて、高精度モード時の短時間露光の露光長も可変としても良い。高精度モード時の短時間露光の露光長を可変とした場合、高精度モード時の長時間露光の露光長に対する比率で設定されるようにしても良い。
【０２７１】
例えば、高精度モード時の短時間露光の露光長は、長時間露光の露光長の半分（０．５）に設定するといったように、高精度モード時の長時間露光の露光長に対する比率で短時間露光の露光長が設定されるようにしても良い。
【０２７２】
高精度モード時の短時間露光の露光長は、高精度モード時の長時間露光の露光長に係わらず、固定値としても良い。
【０２７３】
高精度モードから通常モードに切り替わるときも、露光長は維持される。図３８に示した例では、フレーム３のサブフレームｌＬの露光時間は、フレーム４のサブフレームｌに引き継がれ、フレーム３のサブフレームｈＬの露光時間は、フレーム３のサブフレームｈに引き継がれる。
【０２７４】
このように、通常モードと高精度モードの切り替わり時に、露光時間が維持されるようにすることで、露光時間がフレーム間で急激に変化するようなことを防ぐことができ、ユーザに違和感を与えるようなことを防ぐことができる。
【０２７５】
図３８に示した例では、高精度モードは、１フレームしかない場合を例に挙げて説明したが、複数フレームが連続して高精度モードで撮像されるようにしても良い。高精度モード時に、複数フレームが撮像されるようにした場合、高精度モード中に、露光長が変更されるようにしても良い。
【０２７６】
高精度モード中に露光長が変更される場合、高精度モードから通常モードに切り替わるとき、高精度モードの最後のフレームの露光長が、通常モードの露光長として引き継がれる。
【０２７７】
図３８に示した例は、高精度モードのときに取得されるサブフレームｌＬとサブフレームｈＬは、前の通常モードのフレームのサブフレームｌとサブフレームｈと露光時間が同じなため、高精度モードは、通常モードの撮像に短時間露光での撮像が追加されたモードであるとも言える。
【０２７８】
通常モード時の露光長が高精度モード時にも維持され、高精度モード時では、通常モードの撮像に短時間露光での撮像が追加されるため、通常モード時の露光長は、高精度モード時に短時間露光での撮像が追加されても、１フレーム内に収まる時間に制限される。
【０２７９】
通常モード時のサブフレームｌの露光長を露光長ｌとし、サブフレームｈの露光長を露光長ｈとする。また、高精度モード時のサブフレームｌＬの露光長を露光長ｌＬとし、サブフレームｌＳの露光長を露光長ｌＳとし、サブフレームｈＬの露光長を露光長ｈＬとし、サブフレームｈＳの露光長を露光長ｈＳとする。またフレームレートが、３０ｆｐｓである場合、１フレーム時間は、１／３０秒となる
【０２８０】
露光長ｌＬ＋露光長ｌＳ＋露光長ｈＬ＋露光長ｈＳ＜１フレーム時間（１／３０秒）
となる。
露光長ｌＬ＝露光長ｌ、露光長ｈＬ＝露光長ｈであるため、この不等号は、
露光長ｌ＋露光長ｌＳ＋露光長ｈ＋露光長ｈＳ＜１フレーム時間
と書き換えられる。
【０２８１】
よって、
露光長ｌ＋露光長ｈ＜１フレーム時間−（露光長ｌＳ＋露光長ｈＳ）
となる。
この不等号が満たされるように、通常モード時の露光長は設定される。なお、露光量ｌと露光量ｈは、露光量ｌ＝露光量ｈであり、露光長ｌＳと露光長ｈＳは、露光長ｌＳ＝露光長ｈＳである。
【０２８２】
次に、第１の実施の形態と第４の実施の形態を組み合わせた場合について説明する。図３９に示すように、高精度モードのときは、第４の実施の形態のように、３枚のサブフレームで測距が行われるようにしても良い。図３９に示した場合も、基本的に、図３８に示した場合と同様であるため、同様な説明は適宜省略する。
【０２８３】
高精度モードでは、図３４を参照して説明した場合と同じく、低周波の照射光が照射され、長時間露光で撮像されたサブフレームｌＬ、高周波の照射光が照射され、長時間露光で撮像されたサブフレームｈＬ、および高周波の照射光が照射され、短時間露光で撮像されたサブフレームｈＳが取得される。またこのサブフレームｌＬ、サブフレームｈＬ、およびサブフレームｈＳとから、１フレームが構成される。
【０２８４】
通常モードから高精度モードに切り替わるとき、露光長は維持される。図３９に示した例では、フレーム２のサブフレームｌの露光時間は、フレーム３のサブフレームｌＬに引き継がれ、フレーム２のサブフレームｈの露光時間は、フレーム３のサブフレームｈＬに引き継がれる。
【０２８５】
また高精度モードから通常モードに切り替わるときも、露光長は維持される。図３９に示した例では、フレーム３のサブフレームｌＬの露光時間は、フレーム４のサブフレームｌに引き継がれ、フレーム３のサブフレームｈＬの露光時間は、フレーム３のサブフレームｈに引き継がれる。
【０２８６】
このように、通常モードと高精度モードの切り替わり時に、露光時間が維持されるようにすることで、露光時間がフレーム間で急激に変化するようなことを防ぐことができ、ユーザに違和感を与えるようなことを防ぐことができる。
【０２８７】
図３９に示した例では、高精度モードは、１フレームしかない場合を例に挙げて説明したが、複数フレームが連続して高精度モードで撮像されるようにしても良い。高精度モード時に、複数フレームが撮像されるようにした場合、高精度モード中に、露光長が変更されるようにしても良い。
【０２８８】
高精度モード中に露光長が変更される場合、高精度モードから通常モードに切り替わるとき、高精度モードの最後のフレームの露光長が、通常モードの露光長として引き継がれる。
【０２８９】
図３９に示した例は、高精度モードのときに取得されるサブフレームｌＬとサブフレームｈＬは、前の通常モードのフレームのサブフレームｌとサブフレームｈと露光時間が同じなため、高精度モードは、通常モードの撮像に、高周波の照射光を照射し、短露光時間での撮像が追加されたモードであるとも言える。
【０２９０】
図３９に示した例では、
露光長ｌＬ＋露光長ｈＬ＋露光長ｈＳ＜１フレーム時間（１／３０秒）
となる。
露光長ｌＬ＝露光長ｌ、露光長ｈＬ＝露光長ｈであるため、この不等号は、
露光長ｌ＋露光長ｈ＋露光長ｈＳ＜１フレーム時間
と書き換えられる。
【０２９１】
よって、
露光長ｌ＋露光長ｈ＜１フレーム時間−露光長ｈＳ
となる。
この不等号が満たされるように、通常モード時の露光長は設定される。なお、露光量ｌと露光量ｈは、露光量ｌ＝露光量ｈである。
【０２９２】
以下の説明においては、図３９に示した場合を例に挙げて説明する。
【０２９３】
＜トリガーによる切替＞
図４０は、図３９を参照して説明した通常モードと高精度モードを、所定のトリガーが入力されたときに切り替える信号処理部１３ｅの構成を示す図である。図４０に示した信号処理部１３ｅは、通常モード制御部５０１、最適露光算出部５０２、高精度モード制御部５０３、モード切替部５０４、ＨＤＲ合成部５０５、および統合処理部５０６を備える。
【０２９４】
通常モード制御部５０１は、通常モード時に、受光部１２（図１）に対して制御信号を送信する。また通常モード制御部５０１は、通常モード時に、受光部１２からのサブフレームの入力を制御する。
【０２９５】
通常モード制御部５０１は、受光部１２が、サブフレームｌとサブフレームｈを撮像するように制御する。また、通常モード制御部５０１は、受光部１２で撮像されたサブフレームｌとサブフレームｈを取得し、統合処理部５０６に出力する。
【０２９６】
高精度モード制御部５０３は、高精度モード時に、受光部１２に対して制御信号を送信する。また高精度モード制御部５０３は、高精度モード時に、受光部１２からのサブフレームの入力を制御する。
【０２９７】
高精度モード制御部５０３は、受光部１２が、サブフレームｌＬ、サブフレームｈＬ、およびサブフレームｈＳを撮像するように制御する。また、高精度モード制御部５０３は、受光部１２で撮像されたサブフレームｌＬ、サブフレームｈＬ、およびサブフレームｈＳを取得し、サブフレームｌＬを統合処理部５０６に出力し、サブフレームｈＬとサブフレームｈＳをＨＤＲ合成部５０５に出力する。
【０２９８】
最適露光算出部５０２は、受光部１２からのサブフレームを用いて、次のフレームの撮像に適した露光長を設定する。設定された露光長は、通常モード制御部５０１と高精度モード制御部５０３に供給され、通常モード制御部５０１または高精度モード制御部５０３は、設定されている露光長に基づき、受光部１２の露光時間を制御する。
【０２９９】
モード切替部５０４は、外部から所定のトリガーが入力されたとき、通常モードと高精度モードを切り替える。所定のトリガーとは、例えば、撮像時にユーザが操作するシャッタボタンが操作されているときとすることができる。ここでは、シャッタボタンが操作されていることをトリガーとして説明するが、他のトリガーが設定されている場合にも本技術は適用できる。
【０３００】
シャッタボタンが操作された場合、その操作情報が、モード切替部５０４に供給される。モード切替部５０４は、所定のトリガーが入力された場合、通常モードから高精度モードに切り替える。高精度モードに切り替えられた場合、通常モード制御部５０１は、処理を停止し、高精度モード制御部５０３は、処理を開始する。
【０３０１】
またシャッタボタンの操作が終了された場合、モード切替部５０４は、高精度モードから通常モードに切り替える。通常モードに切り替えられた場合、通常モード制御部５０１は、処理を開始し、高精度モード制御部５０３は、処理を停止する。
【０３０２】
このように、シャッタボタンが操作されているときに高精度モードで動作するようにした場合、シャッタボタンが操作されているとき、すなわち撮像が行われるときには、高精度で撮像が行われるようにすることができる。
【０３０３】
またシャッタボタンが操作されていないときには、例えばライブビューと称される、その時点で撮像されている画像をディスプレイに表示する画像として、受光部１２で撮像している画像をユーザに提供することができる。
【０３０４】
ＨＤＲ合成部５０５は、図３５に示した信号処理部１３ｄのＨＤＲ合成部３０１−２と同様の機能を有し、高精度モード制御部５０３から供給されるサブフレームｈＬとサブフレームｈＳを合成し、高周波ＨＤＲ画像を生成し、統合処理部５０６に供給する。
【０３０５】
統合処理部５０６は、図２３に示した信号処理部１３ａの統合処理部１０１と同様の機能を有し、通常モード制御部５０１から供給されるサブフレームｌとサブフレームｈを用いて、距離を算出し、出力する。
【０３０６】
また統合処理部５０６は、図３５に示した信号処理部１３ｄの統合処理部３０２と同様の機能も有し、高精度モード制御部５０３から供給されるサブフレームｌＬと、ＨＤＲ合成部５０５から供給される高周波ＨＤＲ画像を用いて、距離を算出し、出力する。
【０３０７】
図４０に示した信号処理部１３ｅの動作について、図４１のフローチャートを参照して説明する。
【０３０８】
ステップＳ５０１において、高精度出力のトリガー信号を受信したか否かが判定される。高精度出力のトリガー信号とは、例えば、シャッタボタンが操作されたことや、シャッタボタンが操作され続けていることを示す信号、換言すれば撮像を指示する信号である。
【０３０９】
ステップＳ５０１において、高精度出力のトリガー信号は受信していないと判定された場合、ステップＳ５０２に処理は進められる。高精度出力のトリガー信号を受信していないため、通常モードによる測距が行われる。
【０３１０】
ステップＳ５０２において、複数周波数、この場合、低周波と高周波の照射光を用いた撮像が行われる。通常モード制御部５０１は、発光制御部１５（図１）に対して、低周波の照射光を露光時間（この場合、長時間露光）に相当する時間照射し、その後高周波の照射光を露光時間に相当する時間照射するという制御を行わせるための制御信号を出力する。また、受光部１２（図１）が、最適露光算出部５０２により算出された露光時間で露光を行うように、受光部１２に対して制御信号を出力する。
【０３１１】
このように、通常モード制御部５０１からの制御信号に基づき、発光部１４により照射光の照射が行われ、受光部１２により受光が行われることで、サブフレームｌとサブフレームｈが撮像される。
【０３１２】
ステップＳ５０３において、複数周波数の信号から距離が算出される。通常モード制御部５０１は、受光部１２からのサブフレームｌとサブフレームｈを統合処理部５０６に出力する。統合処理部５０６は、サブフレームｌとサブフレームｈのそれぞれに含まれる検出信号Ａと検出信号Ｂを用いて、距離を算出し、複数の候補から一意に距離を特定する。
【０３１３】
ステップＳ５０４において、最適露光長が算出される。最適露光算出部５０２は、入力されたサブフレームから、次のフレームの撮像時の露光長を算出する。算出された露光長は、通常モード制御部５０１と高精度モード制御部５０３に供給される。
【０３１４】
ステップＳ５０５において、撮影は終了か否かが判定される。例えば、測距装置１０の電源がオフにされた場合、測距装置１０として機能させるためのアプリケーションが閉じられた場合などに、撮影は終了であると判定される。
【０３１５】
ステップＳ５０５において、撮影は終了していないと判定された場合、ステップＳ５０１に処理が戻され、それ以降の処理が繰り返される。一方、撮影は終了したと判定された場合、図４１に示したフローチャートの処理は終了される。
【０３１６】
一方、ステップＳ５０１において、高精度出力のトリガー信号を受信したと判定された場合、ステップＳ５０６に処理は進められる。高精度出力のトリガー信号を受信しているため、高精度モードによる測距が行われる。
【０３１７】
ステップＳ５０６において、複数周波数と複数露光長、この場合、低周波の照射光で長時間露光した撮像、高周波の照射光で長時間露光した撮像、および高周波の照射光で短時間露光した撮像が行われる。
【０３１８】
高精度モード制御部５０３は、発光制御部１５（図１）に対して、低周波の照射光を長時間露光に相当する時間照射し、高周波の照射光を長時間露光に相当する時間照射し、高周波の照射光を短時間露光に相当する時間照射するという制御を行わせるための制御信号を出力する。
【０３１９】
また、受光部１２（図１）が、最適露光算出部５０２により算出された露光時間（長時間露光）で露光を行うように、また、短時間露光の露光時間として設定された露光時間で露光が行われるように、受光部１２に対して制御信号を出力する。
【０３２０】
最適露光算出部５０２により算出された露光時間は、前のフレームの撮像時に設定されている値であり、ステップＳ５０４において算出された値である。よって、通常モード時のフレームの露光時間が、高精度モード時のフレームの露光時間として維持される。また、短時間露光の露光時間は、上記したように、長時間露光に対する比率で算出され、設定される値、または固定値として設定されている値が用いられる。
【０３２１】
このように、通常モード制御部５０１からの制御信号に基づき、発光部１４により照射光の照射が行われ、受光部１２により受光が行われることで、サブフレームｌＬ、サブフレームｈＬ、およびサブフレームｈＳが撮像される。
【０３２２】
ステップＳ５０７において、複数周波数と複数露光の撮像により得られた信号から距離が算出される。高精度モード制御部５０３は、受光部１２からのサブフレームｌＬを統合処理部５０６に出力する。また、高精度モード制御部５０３は、サブフレームｈＬとサブフレームｈＳを、ＨＤＲ合成部５０５に出力する。
【０３２３】
ＨＤＲ合成部５０５は、図３３に示したフローチャートを参照して説明した場合と同様の処理を行うことで、高周波ＨＤＲ画像を生成し、統合処理部５０６に出力する。統合処理部５０６は、サブフレームｌＬと高周波ＨＤＲ画像のそれぞれに含まれる検出信号Ａと検出信号Ｂを用いて、距離を算出し、複数の候補から一意に距離を特定する。
【０３２４】
ステップＳ５０５において、撮影は終了か否かが判定される。ステップＳ５０５において、撮影は終了していないと判定された場合、ステップＳ５０１に処理が戻され、それ以降の処理が繰り返され、撮影は終了したと判定された場合、図４１に示したフローチャートの処理は終了される。
【０３２５】
高精度モード時にも、露光長を変更するようにした場合、ステップＳ５０７からステップＳ５０５に処理が進められるとき、最適露光長が算出されるようにしても良い。
【０３２６】
このように、所定のトリガーが入力されたとき、通常モードから高精度モードに切り替わるようにすることで、消費電力や処理負荷を低減させることができる。
【０３２７】
このようなトリガーの入力により通常モードと高精度モードを切り替える信号処理部１３の適用例を、図４２に示す。図４２に示した信号処理部１３ｆは、ＲＧＢセンサ５５１からの信号を入力し、処理する機能が追加されている。ＲＧＢセンサ５５１からは、通常のカラー画像を取得することができる。
【０３２８】
信号処理部１３ｆは、カラー画像から、例えば背景を削除し、人を残すといった処理を行う。このような処理を行う図４２に示した信号処理部１３は、図４０に示した信号処理部１３ｄにマッピング部５６１とエフェクト部５６２をさらに追加した構成とされている。
【０３２９】
マッピング部５６１は、統合処理部５０６から出力される距離を、カラー画像上の対応する画素位置にマッピングする。すなわち、得られるカラー画像に対応する距離画像を生成する。例えば、図４３の距離画像Ａが生成される。この距離画像Ａが得られたときにＲＧＢセンサ５５１で得られたカラー画像は、例えば、図４３のカラー画像Ｂである。
【０３３０】
カラー画像Ｂは、人と背景が撮影されている。このカラー画像Ｂに対応する距離画像が、距離画像Ａであり、人の部分は、略同一の距離を表す色で表示され、背景の部分は、人の部分とは異なる距離であることを表す色で表示される。
【０３３１】
エフェクト部５６２は、距離画像Ａで略同一の距離であり、近景にある部分を残し、他の部分を削除する処理を行う。この場合、近景に居る人が残り、背景が削除されることで、エフェクト画像Ｃ（図４３）が得られる。
【０３３２】
図４２に示したような信号処理部１３を有する装置においては、通常モードのときには、統合処理部５０６から距離画像Ａ、または／およびＲＧＢセンサ５５１から得られたカラー画像Ｂが出力されるようにすることができる。
【０３３３】
高精度モードのときには、高精度での撮像が行われることで距離画像Ａが取得され、その距離画像Ａに基づき、カラー画像Ｂに対してエフェクト処理が実行される。そしてエフェクト後のエフェクト画像Ｃが出力される。高精度モードのときには、距離画像Ａ、カラー画像Ｂ、エフェクト画像Ｃのうちのいずれか１つの画像、または複数の画像を出力するようにすることができる。
【０３３４】
＜第６の実施の形態＞
＜シーンによる切替＞
第５の実施の形態では、所定のトリガーにより通常モードと高精度モードを切り替える場合を例に挙げて説明した。第６の実施の形態として、所定のシーンにより通常モードと高精度モードを切り替える場合を例に挙げて説明する。
【０３３５】
図４４に、所定のシーンにより通常モードと高精度モードを切り替える信号処理部１３ｇの構成例を示す。図４４に示した信号処理部１３ｇは、図４０に示した信号処理部１３ｆと比較し、モード切替部５０４の代わりに、シーン判定部６０１を備えた構成とされている点が異なり、他の部分は同様である。
【０３３６】
シーン判定部６０１は、統合処理部５０６から出力される画像から、所定のシーンであるか否かを判定し、所定のシーンであると判定したとき、通常モード制御部５０１による制御から、高精度モード制御部５０３による制御に切り替える。
【０３３７】
所定のシーンとは、顔が検出されたシーンとすることができる。例えば、顔認証のときに、高精度モードで測距が行われるようにすることができる。
【０３３８】
図４４に示した信号処理部１３の動作について、図４５に示したフローチャートを参照して説明する。第５の実施の形態における信号処理部１３ｆと同様の処理については、適宜説明を省略する。
【０３３９】
ステップＳ６０１乃至Ｓ６０４の処理は、ステップＳ５０２乃至Ｓ５０５（図４１）と同じく、通常モード時における処理である。通常モードにおいてフレームｌとフレームｈが取得され、距離画像が生成されると、その生成された距離画像を用いて、シーン判定部６０１は、所定のシーンであるか否かを判定する。
【０３４０】
距離画像ではなく、白黒の画像が用いられて、所定のシーンの判定が行われるようにしても良い。図２に示したように、受光部１２は、フォトダイオード６１（図３）が２次元的に配置されている画素アレイ部４１を備え、撮像を行う。この撮像により、白黒、所謂モノクロの画像を得ることができる。よって、このモノクロ画像を用いて、撮像されている物体を認識し、その物体が人の顔であるか否かを判定することができる。
【０３４１】
ステップＳ６０５において、シーン判定部６０１は、高精度モードに移行するシーンであるか否かを判定する。シーン判定部６０１は、距離画像（またはモノクロ画像）を解析し、例えば、顔と判定できる領域がある場合、所定のシーンであると判定する。
【０３４２】
ステップＳ６０５において、シーン判定部６０１により、高精度出力が必要な所定のシーンではないと判定された場合、ステップＳ６０１に処理が戻され、それ以降の処理が繰り返される。
【０３４３】
一方、ステップＳ６０５において、シーン判定部６０１により、高精度出力が必要な所定のシーンであると判定された場合、ステップＳ６０６に処理が進められる。高精度出力が必要な所定のシーンであると判定されたため、高精度モードによる測距が行われる。
【０３４４】
ステップＳ６０６，Ｓ６０７の処理は、ステップＳ５０６，Ｓ５０７（図４１）と同じく、高精度モード時における処理である。
【０３４５】
このように、所定のシーン、例えば、顔認識が実行されているときには、高精度モードに移行し、高精度で撮像された画像が用いられ、後段の処理部で顔認証の処理が実行できるようにすることができる。
【０３４６】
＜第７の実施の形態＞
＜露光時間の調整の仕方＞
上記した説明においては、受光部１２のイメージセンサの露光時間を調整することで、長時間露光や短時間露光を調整する場合を例に挙げて説明した。
【０３４７】
上記した説明において、例えば高周波の照射光を用いて長時間露光で撮像し、その後、高周波の照射光を用いて短時間露光で撮像するといった場合、図４６のＡに示すように、１周期における光源（発光部１４）の発光時間（オンとされている時間）は、長時間露光のときの発光時間が短時間露光のときの発光時間よりも長く設定されている。また、センサ（受光部１２）の露光時間は、長時間露光（図４６のＡの左図）は、短時間露光（図４６のＢの右図）よりも長い時間とされている。図４６のＡに示すように、光源の発光時間と露光時間は、同時間に設定されている。
【０３４８】
受光側で長時間露光や短時間露光を実現することは、上記したように可能である。発光側の発光を制御することで、長時間露光時の状態と短時間露光時の状態を作り出すこともできる。また発光部１４の発光時間は、長時間露光と短時間露光のときとで、同一としても良いが、短時間露光のときに、発光部１４の発光時間も短くすることで、消費電力を低減することができる。
【０３４９】
図４６のＢは、デューティ比で長時間露光時の状態と短時間露光時の状態を作り出すときを示している。図４６のＢの左図は、長時間露光時の状態を表し、右図は、短時間露光時の状態を表している。
【０３５０】
図４６のＢの下段に示したセンサ側の図を参照するに、センサ側においては長時間露光と短時間露光で同一の露光時間とされている。一方で、図４６のＢの上段に示した光源側の図を参照するに、光源側においては長時間露光時の状態を作り出すために、デューティ比が５０％（図中、Duty=50%）とされ、短時間露光時の状態を作り出すために、デューティ比が２５％（図中、Duty=25%）とされている。
【０３５１】
センサ側で光源の発光により発生した反射光のみを受光すると仮定した場合、センサが露光していても、光源が発光していなければ受光されない。図４６のＢに示した例では、発光時間は、長時間露光に該当する期間では、デューティ比が５０％であるのに対し、短時間露光に該当する期間では、半分の２５％に設定されている。
【０３５２】
よって、センサ側では、長時間露光に該当する期間と短時間露光に該当する期間で、露光時間を同じにしたとしても、実際に受光している時間は、長時間露光に該当する期間において受光している時間の半分程度の時間が、短時間露光に該当する期間において受光している時間となる。
【０３５３】
よって、発光側の発光時間を調整することで、センサ側の露光時間を調整することができる。
【０３５４】
図４６のＣは、発光側の発光強度を制御することで、長時間露光時の状態と短時間露光時の状態を作り出す場合を示している。図４６のＣの左図は、長時間露光時の状態を表し、右図は、短時間露光時の状態を表している。
【０３５５】
図４６のＣの下段に示したセンサ側の図を参照するに、センサ側においては長時間露光と短時間露光で同一の露光時間とされている。一方で、図４６のＣの上段に示した光源側の図を参照するに、光源側においては長時間露光時の状態を作り出すために、光源強度が１００％とされ、短時間露光時の状態を作り出すために、光源強度が５０％とされている。
【０３５６】
センサ側で光源の発光により発生した反射光のみを受光すると仮定した場合、センサが露光していても、光源が発光していなければ受光されない。また光源の発光強度が強ければ、単位時間当たりに受光される光量も増える。
【０３５７】
図４６のＣに示した例では、発光時間は、長時間露光に該当する期間では、発光強度が１００％であるのに対し、短時間露光に該当する期間では、半分の５０％に設定されている。
【０３５８】
よって、センサ側では、長時間露光に該当する期間と短時間露光に該当する期間で、露光時間を同じにしたとしても、単位時間当たりに受光される光量が異なり、長時間露光に該当する期間において受光している時間の半分程度の光量が、短時間露光に該当する期間において受光している光量となる。
【０３５９】
よって、発光側の発光強度を調整することで、センサ側の露光時間を調整することができる。
【０３６０】
このような長時間露光に該当する期間と短時間露光に該当する期間を作り出す方法は、上記した第１乃至第６の実施の形態のいずれとも組み合わせることができる。一例として、第６の実施の形態と組み合わせ場合について説明を加える。
【０３６１】
図４４に示した信号処理部１３の構成例を再度参照する。図４６のＡを参照して説明したセンサ側で露光時間を調整することで、長時間露光に該当する期間と短時間露光に該当する期間を作り出す場合、通常モード制御部５０１または高精度モード制御部５０３は、最適露光算出部５０２から供給される露光長で、受光部１２の露光を制御するための制御信号を、受光部１２に対して出力する。
【０３６２】
通常モード制御部５０１または高精度モード制御部５０３は、高周波の照射光を照射するときには、発光部１４が高周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力し、低周波の照射光を照射するときには、発光部１４が低周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力する。
【０３６３】
図４６のＢを参照して説明した光源側でデューティ比を調整することで、長時間露光に該当する期間と短時間露光に該当する期間を作り出す場合、通常モード制御部５０１と高精度モード制御部５０３は、最適露光算出部５０２から供給される露光長に対応するデューティ比を算出し、そのデューティ比で発光部１４の発光を制御するための制御信号を、発光制御部１５に対して出力する。
【０３６４】
この場合、最適露光算出部５０２は、最適なデューティ比を算出する最適デューティ比算出部とし、通常モード制御部５０１と高精度モード制御部５０３は、最適デューティ比算出部から供給されるデューティ比を、発光制御部１５に対して出力するようにしても良い。
【０３６５】
また通常モード制御部５０１または高精度モード制御部５０３は、デューティ比の他に、高周波の照射光を照射するときには、発光部１４が高周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力し、低周波の照射光を照射するときには、発光部１４が低周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力する。
【０３６６】
図４６のＣを参照して説明した光源側で発光強度を調整することで、長時間露光に該当する期間と短時間露光に該当する期間を作り出す場合、通常モード制御部５０１と高精度モード制御部５０３は、最適露光算出部５０２から供給される露光長に対応する発光強度を算出し、その発光強度で発光部１４の発光を制御するための制御信号を、発光制御部１５に対して出力する。
【０３６７】
この場合、最適露光算出部５０２は、最適な発光強度を算出する最適発光強度算出部とし、通常モード制御部５０１と高精度モード制御部５０３は、最適発光強度算出部から供給される発光強度を、発光制御部１５に対して出力するようにしても良い。
【０３６８】
また通常モード制御部５０１または高精度モード制御部５０３は、発光強度の他に、高周波の照射光を照射するときには、発光部１４が高周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力し、低周波の照射光を照射するときには、発光部１４が低周波の照射光を照射するように制御するための制御信号を、発光制御部１５に対して出力する。
【０３６９】
このように、通常モード制御部５０１または高精度モード制御部５０３により、受光側の露光時間を調整する、光源側のデューティ比を調整する、または光源側の発光強度を調整することで、長時間露光に該当する期間と短時間露光に該当する期間を作り出すことができる。
【０３７０】
上述したように、検出期間Ｑ０乃至Ｑ３（例えば、図１６）において、検出信号Ａ０乃至Ａ２７０と検出信号Ｂ０乃至Ｂ２７０が取得される。これらの検出信号が、発光側の発光のタイミングを０度、９０度、１８０度、２７０度の位相差分ずらして取得される場合、図４６のＢを参照して説明した場合を適用し、位相差とデューティ比が制御されることで、発光が行われるようにしても良い。
【０３７１】
これらの検出信号が、発光側の発光のタイミングを０度、９０度、１８０度、２７０度の位相差分ずらして取得される場合、図４６のＣを参照して説明した場合を適用し、位相差と発光強度が制御されることで、発光が行われるようにしても良い。
【０３７２】
これらの検出信号が、受光側の受光開始のタイミングを０度、９０度、１８０度、２７０度の位相差分ずらして取得される場合、図４６のＡを参照して説明した場合を適用し、位相差と露光時間が制御されることで、受光が行われるようにしても良い。
【０３７３】
本技術によれば、測距可能距離を延ばした測距を行うことができる。また本技術によれば、ダイナミックレンジを向上させた測距を行うことが可能となる。また、本技術によれば、測距可能距離を延ばし、ダイナミックレンジを向上させた測距を行った場合であっても、撮像にかかる時間や処理にかかる時間を短縮し、処理負荷を低減させることができる。
【０３７４】
また本技術によれば、処理するフレーム数を低減することができるため、動被写体耐性を向上させ、より多くのフレームを取得することが可能となるため、より高速な撮影（測距）が可能となる。
【０３７５】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３７６】
図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０３７７】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０３７８】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０３７９】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３８０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、予めインストールしておくことができる。
【０３８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３８２】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０３８３】
図４８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０３８４】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【０３８５】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０３８６】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０３８７】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０３８８】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０３８９】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０３９０】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【０３９１】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０３９２】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０３９３】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０３９４】
図４９は、撮像部１２０３１の設置位置の例を示す図である。
【０３９５】
図４９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０３９６】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０３９７】
なお、図４９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０３９８】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０３９９】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０４００】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０４０１】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０４０２】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４０３】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
【０４０４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４０５】
なお、本技術は以下のような構成も取ることができる。
（１）
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
（２）
前記第１の露光時間は、前記第２の露光時間よりも長い
前記（１）に記載の測距装置。
（３）
前記制御部は、
前記発光部を第１の周波数で発光させ、前記受光部を前記第１の露光時間で露光させる第１の撮像と、
前記発光部を第１の周波数で発光させ、前記受光部を前記第２の露光時間で露光させる第２の撮像と、
前記発光部を第２の周波数で発光させ、前記受光部を前記第１の露光時間で露光させる第３の撮像と、
を制御する
前記（１）または（２）に記載の測距装置。
（４）
前記第１の撮像で得られた第１の画像と前記第２の撮像で得られた第２の画像から、広ダイナミックレンジ画像を生成し、
前記広ダイナミックレンジ画像と、前記第３の撮像で得られた第３の画像を用いて、前記算出部は、前記距離を算出する
前記（３）に記載の測距装置。
（５）
前記広ダイナミックレンジ画像は、前記第１の画像が飽和していない場合、前記１の画像を用い、前記第１の画像が飽和している場合、前記第２の画像を用いることで生成される
前記（４）に記載の測距装置。
（６）
前記制御部は、
前記発光部を前記第２の周波数で発光させ、前記受光部を前記第２の露光時間で露光させる第４の撮像をさらに制御する
前記（３）に記載の測距装置。
（７）
前記第１の周波数は、前記第２の周波数よりも高い周波数である
前記（３）乃至（６）のいずれかに記載の測距装置。
（８）
前記第１の撮像で得られた第１の画像と前記第２の撮像で得られた第２の画像から、第１の広ダイナミックレンジ画像を生成し、
前記第３の撮像で得られた第３の画像と前記第４の撮像で得られた第４の画像から、第２の広ダイナミックレンジ画像を生成し、
前記第１の広ダイナミックレンジ画像と前記第２の広ダイナミックレンジ画像を用いて、前記算出部は、前記距離を算出する
前記（６）または（７）に記載の測距装置。
（９）
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
（１０）
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備える測距装置のコンピュータに、
前記制御部が、
前記受光部を第１の露光時間で露光させる第１の撮像と、
前記受光部を第２の露光時間で露光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
ステップを含む処理を実行させるためのプログラム。
（１１）
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第１のデューティ比で発光させる第１の撮像と、
前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
（１２）
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第１のデューティ比で発光させる第１の撮像と、
前記受光部を前記第１のデューティ比よりも小さい第２のデューティ比で発光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
（１３）
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第１の発光強度で発光させる第１の撮像と、
前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、
前記算出部は、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距装置。
（１４）
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第１の発光強度で発光させる第１の撮像と、
前記受光部を前記第１の発光強度よりも弱い第２の発光強度で発光させる第２の撮像と、を制御し、
前記算出部が、
前記第１の撮像で得られた信号と前記第２の撮像で得られた信号を用いて前記距離を算出する
測距方法。
【符号の説明】
【０４０６】
１０  測距装置，  １１  レンズ，  １２  受光部，  １３  信号処理部，  １４  発光部，  １５  発光制御部，  ３１  フォトダイオード，  ４１  画素アレイ部，  ４２  垂直駆動部，  ４３  カラム処理部，  ４４  水平駆動部，  ４５  システム制御部，  ４６  画素駆動線，  ４７  垂直信号線，  ４８  信号処理部，  ５０  画素，  ５１タップ，  ６１  フォトダイオード，  ６２  転送トランジスタ，  ６３  ＦＤ部，  ６４  選択トランジスタ，  ６５  リセットトランジスタ，  １０１  統合処理部，  ２０１  ＨＤＲ合成部，  ３０１  ＨＤＲ合成部，  ３０２  統合処理部，  ５０１  通常モード制御部，  ５０２  最適露光算出部，  ５０３  高精度モード制御部，  ５０４  モード切替部，  ５０５  ＨＤＲ合成部，  ５０６  統合処理部，  ５５１  ＲＧＢセンサ，  ５６１  マッピング部，  ５６２  エフェクト部，  ６０１  シーン判定部
【図１】
2020134463.tif 000008
【図２】
2020134463.tif 000009
【図３】
2020134463.tif 000010
【図４】
2020134463.tif 000011
【図５】
2020134463.tif 000012
【図６】
2020134463.tif 000013
【図７】
2020134463.tif 000014
【図８】
2020134463.tif 000015
【図９】
2020134463.tif 000016
【図１０】
2020134463.tif 000017
【図１１】
2020134463.tif 000018
【図１２】
2020134463.tif 000019
【図１３】
2020134463.tif 000020
【図１４】
2020134463.tif 000021
【図１５】
2020134463.tif 000022
【図１６】
2020134463.tif 000023
【図１７】
2020134463.tif 000024
【図１８】
2020134463.tif 000025
【図１９】
2020134463.tif 000026
【図２０】
2020134463.tif 000027
【図２１】
2020134463.tif 000028
【図２２】
2020134463.tif 000029
【図２３】
2020134463.tif 000030
【図２４】
2020134463.tif 000031
【図２５】
2020134463.tif 000032
【図２６】
2020134463.tif 000033
【図２７】
2020134463.tif 000034
【図２８】
2020134463.tif 000035
【図２９】
2020134463.tif 000036
【図３０】
2020134463.tif 000037
【図３１】
2020134463.tif 000038
【図３２】
2020134463.tif 000039
【図３３】
2020134463.tif 000040
【図３４】
2020134463.tif 000041
【図３５】
2020134463.tif 000042
【図３６】
2020134463.tif 000043
【図３７】
2020134463.tif 000044
【図３８】
2020134463.tif 000045
【図３９】
2020134463.tif 000046
【図４０】
2020134463.tif 000047
【図４１】
2020134463.tif 000048
【図４２】
2020134463.tif 000049
【図４３】
2020134463.tif 000050
【図４４】
2020134463.tif 000051
【図４５】
2020134463.tif 000052
【図４６】
2020134463.tif 000053
【図４７】
2020134463.tif 000054
【図４８】
2020134463.tif 000055
【図４９】
2020134463.tif 000056