(57)【要約】  距離測定装置（１）は、測距範囲を分割したＮ（Ｎは２以上の整数）個の区分距離に対応するＮ個の区分画像を撮像する撮像部（２）と、前記Ｎ個の区分画像から距離画像を生成する距離画像生成部（８）と、を備え、前記距離画像生成部（８）は、前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、前記最大の信号値が前記しきい値より小さいとき、前記測距範囲外とする。
2020196087.tif 000002
【特許請求の範囲】
【請求項１】
測距範囲を分割したＮ（Ｎは２以上の整数）個の区分距離に対応するＮ個の区分画像を撮像する撮像部と、
前記Ｎ個の区分画像から距離画像を生成する距離画像生成部と、を備え、
前記距離画像生成部は、
前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、
前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、
前記最大の信号値が前記しきい値より小さいとき、測距範囲外とする
距離測定装置。
【請求項２】
前記距離画像生成部は、前記Ｎ個の区分画素の信号値に応じて前記しきい値を動的に算出する
請求項１に記載の距離測定装置。
【請求項３】
前記距離画像生成部は、前記画素位置毎に、前記最大の信号値を有する区分画素を含む少なくとも１つの区分画素を前記Ｎ個の区分画素から除外し、除外した後の区分画素の平均値を算出し、前記平均値に基づいて前記しきい値を算出する
請求項２に記載の距離測定装置。
【請求項４】
前記少なくとも１つの区分画素は、前記Ｎ個の区分画素のうち前記最大の信号値を有する区分画素および２番目に大きな信号値を有する区分画素の２つの区分画素であって、かつ、隣り合う２つの区分距離に属する２つの区分画素である
請求項２または３に記載の距離測定装置。
【請求項５】
前記少なくとも１つの区分画素は、前記最大の信号値を有する区分画素および２番目に大きな値を有する区分画素の２つの区分画素が隣り合う２つの区分距離に属していない場合、前記最大の信号値をもつ１つの区分画素である
請求項４に記載の距離測定装置。
【請求項６】
前記撮像部は、パルス状の発光および露光の組をＮ回繰り返すことによって前記Ｎ個の区分画像を撮像し、
前記露光のパルス幅は前記発光のパルス幅に相当する
請求項４または５に記載の距離測定装置。
【請求項７】
前記距離測定装置は、前記Ｎ個の区分画像から輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、前記画素位置毎に、前記平均値に対応する値を、前記輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項８】
前記距離測定装置は、前記Ｎ個の区分画像から輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、前記画素位置毎に、前記最大の信号値から前記平均値を減算した値に対応する値を、前記輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項９】
前記距離測定装置は、前記Ｎ個の区分画像から輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、前記画素位置毎に、
前記しきい値が所定値より大きい場合、前記Ｎ個の区分画素の和に対応する値を、前記輝度画像の画素値として決定し、
前記しきい値が前記所定値より大きくない場合、前記最大の信号値に対応する値を、前記輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項１０】
前記距離測定装置は、前記Ｎ個の区分画像から輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、前記画素位置毎に、前記Ｎ個の区分画素の和に対応する値を、前記輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項１１】
前記撮像部は、パルス状の発光および露光の組をＮ回繰り返すことによって前記Ｎ個の区分画像を撮像し、
前記距離測定装置は、前記Ｎ個の区分画像から、前記パルス状の発光に対する反射光に依存しない第１輝度画像と、前記パルス状の発光に対する反射光に依存する第２輝度画像とを生成する輝度画像生成部を備える
請求項１〜４の何れか１項に記載の距離測定装置。
【請求項１２】
前記距離測定装置は、前記Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、
前記画素位置毎に、前記平均値に対応する値を、前記第１輝度画像の画素値として決定し、
前記画素位置毎に、前記最大の信号値から前記平均値を減算した値に対応する値を、前記第２輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項１３】
前記距離測定装置は、前記Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、
前記画素位置毎に、前記平均値に対応する値を、前記第１輝度画像の画素値として決定し、
前記画素位置毎に、前記しきい値が所定値より大きい場合、前記Ｎ個の区分画素の和に対応する値を、前記第２輝度画像の画素値として決定し、
前記画素位置毎に、前記しきい値が前記所定値より大きくない場合、前記最大の信号値に対応する値を、前記第２輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項１４】
前記距離測定装置は、前記Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部を備え、
前記輝度画像生成部は、
前記画素位置毎に、前記平均値に対応する値を、前記第１輝度画像の画素値として決定し、
前記画素位置毎に、前記Ｎ個の区分画素の和に対応する値を、前記第２輝度画像の画素値として決定する
請求項３〜６の何れか１項に記載の距離測定装置。
【請求項１５】
前記輝度画像生成部は、前記最大の信号値から前記平均値を減算した値を、前記最大の信号値に対応する区分距離の平方を用いて補正する
請求項８または１２に記載の距離測定装置。
【請求項１６】
前記輝度画像生成部は、前記しきい値が前記所定値より大きい場合、前記Ｎ個の区分画素の画素値を、当該区分画素に対応する区分距離の平方を用いて補正し、補正後の前記Ｎ個の区分画素の和に対応する値を、前記輝度画像の画素値として決定する
請求項９または１３に記載の距離測定装置。
【請求項１７】
前記撮像部は、
発光パルスに従って照射光を発する発光部と、
露光パルスに従って露光することにより前記Ｎ個の区分画像を撮像する受光部と、
１つの距離画像あたり、発光パルスおよび露光パルスの組をＮ組生成することによって前記発光部および前記受光部を制御する制御部とを備え、
前記Ｎ組の発光パルスと露光パルスとの時間差は、前記Ｎ個の区分距離に対応する
請求項１〜４、６〜１０、および１２〜１６の何れか１項に記載の距離測定装置。
【請求項１８】
距離画像を生成する画像生成方法であって、
測距範囲を分割したＮ個の区分距離に対応するＮ個の区分画像を撮像し、
前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、
前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、
前記最大の信号値が前記しきい値より小さいとき、前記測距範囲外とする
画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、距離測定装置および画像生成方法に関する。
【背景技術】
【０００２】
特許文献１は、光飛行型測距装置において、ＴＯＦ（Time Of Flight）距離演算手段の演算結果の信頼性を判定し、判定結果に基づいてＴＯＦ距離演算手段の演算結果及び画像距離演算手段の演算結果のうち何れかを装置出力とするかを選択する信頼性判定手段を備えている。この信頼性判定手段は、画素単位で複数のフレーム間でのＴＯＦ距離演算手段の演算結果のばらつき度を予め規定されている一定レベルと比較することで、ＴＯＦ距離演算手段の演算結果の信頼性を判定し、そのばらつき度が一定レベル未満であると判定し、ＴＯＦ距離演算手段の演算結果の信頼性が相対的に高いと判定した場合には、ＴＯＦ距離演算手段の演算結果を装置出力として選択し、そのばらつき度が一定レベル以上であると判定し、ＴＯＦ距離演算手段の演算結果の信頼性が相対的に低いと判定した場合には、画像距離演算手段の演算結果を装置出力として選択する。これにより、特許文献１は、外乱光の強度が大きい環境下で、画素の容量が飽和してしまったり反射光の相対的な強度が低下したりして測距精度が低下するという課題に対処することを図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６４２７９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の背景技術によれば、背景光の影響で測距の精度が低下するという問題がある。【０００５】
本開示は、背景光による測距精度の低下を抑制する距離測定装置および画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示に係る距離測定装置の一形態は、測距範囲を分割したＮ（Ｎは３以上の整数）個の区分距離に対応するＮ個の区分画像を撮像する撮像部と、前記Ｎ個の区分画像から距離画像を生成する距離画像生成部と、を備え、前記距離画像生成部は、前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、前記最大の信号値が前記しきい値より小さいとき、前記測距範囲外とする。【０００７】
また、本開示に係る画像生成方法の一形態は距離画像を生成する画像生成方法であって、測距範囲を分割したＮ個の区分距離に対応するＮ個の区分画像を撮像し、前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、前記最大の信号値が前記しきい値より小さいとき、前記測距範囲外とする。
【発明の効果】
【０００８】
本開示に係る距離測定装置および画像生成方法によれば、背景光による測距精度の低下を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る距離測定装置の構成例を示すブロック図である。
【図２】図２は、実施の形態に係る撮像部による１フレームの撮像処理の一例を示すタイムチャートである。
【図３】図３は、実施の形態に係る区分画像毎の画素の信号レベル例を示す図である。
【図４】図４は、実施の形態に係る距離画像生成部の構成例を示すブロック図である。
【図５Ａ】図５Ａは、実施の形態に係る輝度画像生成部の第１の構成例を示すブロック図である。
【図５Ｂ】図５Ｂは、実施の形態に係る輝度画像生成部の第２の構成例を示すブロック図である。
【図５Ｃ】図５Ｃは、実施の形態に係る輝度画像生成部の第３の構成例を示すブロック図である。
【図６】図６は、実施の形態に係る距離測定装置における全体の処理例を示すフローチャートである。
【図７】図７は、図６のステップＳ１における区分画像の撮像の処理例を示すフローチャートである。
【図８】図８は、図４および図６のステップＳ２における距離画像生成の処理例を示すフローチャートである。
【図９】図９は、図８のステップＳ２３におけるしきい値算出の一例を示すフローチャートである。
【図１０】図１０は、図５Ａおよび図６のステップＳ３における輝度画像生成の第１処理例を示すフローチャートである。
【図１１】図１１は、図１０のステップＳ３３およびＳ３４の具体例を示すフローチャートである。
【図１２】図１２は、図５Ｂおよび図６のステップＳ３における輝度画像生成の第２処理例を示すフローチャートである。
【図１３】図１３は、図５Ｃおよび図６のステップＳ３における輝度画像生成の第３処理例を示すフローチャートである。
【図１４】図１４は、実施の形態に係る輝度画像の一例を示す図である。
【図１５Ａ】図１５Ａは、実施の形態に係る距離画像の一例を示す図である。
【図１５Ｂ】図１５Ｂは、比較例に係る距離画像の一例を示す図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した従来の測距装置に関し、以下の問題があることを見出した。
【００１１】
特許文献１の測距装置は、式(１)〜式(３)に基づいて距離値Ｄ、輝度値Ａを算出する。
【００１２】
φ＝ｔａｎ−１［（Ｃ１−Ｃ３）／（Ｃ２−Ｃ４）］  ・・・式（１）
Ｄ＝（φ／２π）・（ｃ／２ｆ）  ・・・・・・・・・・・式（２）
Ａ＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４  ・・・・・・・・式（３）
【００１３】
ここで、φは、光が対象物まで往復する飛行時間により生じる位相差（遅延時間）を示し、式(１)で定義される。Ｃ１〜Ｃ４は、パルス発光の発光周期に対して位相を０°、４５°、９０°、１３５°ずらした周期でそれぞれ露光して得られた電荷量を示す。ｃは高速、ｆは発光および露光の周波数(上記発光周期の逆数)である。特許文献１では、「上記した式（１）では、背景光による電荷の電荷量が相殺されるので、背景光の影響を受けずに位相差を演算することができる。」との記載がある。
【００１４】
しかしながら、発光と露光とのタイミングや、測距する環境が異なれば、背景光の影響を受けて測距精度が劣化することがある。
【００１５】
例えば、電荷量Ｃ１は、式(４)のように反射光成分ｓ１と背景光成分ｂ１からなる。電荷量Ｃ２〜Ｃ４も、式(５)〜式（７）で表される。
【００１６】
Ｃ１＝ｓ１＋ｂ１  ・・・式（４）
Ｃ２＝ｓ２＋ｂ２  ・・・式（５）
Ｃ３＝ｓ３＋ｂ３  ・・・式（６）
Ｃ４＝ｓ４＋ｂ４  ・・・式（７）
【００１７】
そうすると、式（１）および式（３）は、次の式（８）および式（９）で表される。
【００１８】
φ＝ｔａｎ−１［（ｓ１＋ｂ１−ｓ３−ｂ３）／（ｓ２＋ｂ２−ｓ４−ｂ４）］  ・・・式（８）
Ａ＝（ｓ１＋ｂ１＋ｓ２＋ｂ２＋ｓ３＋ｂ３＋ｓ４＋ｂ４）／４    ・・・式（９）
【００１９】
式（８）、式（９）に示されるように距離値Ｄおよび輝度値Ａには、次の（ｉ）〜（ｉｉｉ）の課題が生じ得る。
（ｉ）距離値Ｄの精度が低下する。例えば、式（８）中の背景光成分「ｂ１−ｂ３」はノイズとして混入しているので、ＳＮ比を劣化させる。つまり、距離画像の精度が低下するという問題が生じ得る。
（ｉｉ）輝度値Ａのコントラストを低下させる。例えば、式（９）では、反射光成分（ｓ１〜ｓ４）に背景光成分（ｂ１〜ｂ４）が重畳されている。輝度値Ａは、背景光成分（ｂ１〜ｂ４の平均）を含む値となる。その結果、輝度画像のコントラストが低下するという問題が生じ得る。
（ｉｉｉ）距離値Ｄは、測距範囲外の距離値を誤測距する。ここで、測距範囲外の距離値と、測距可能な範囲内に被写体が存在しない場合（または反射光が存在しない場合）の距離値をいう。測距範囲外の距離値は、本来、無限遠を示す値になるはずである。しかし、式（１）、式（２）によれば、背景光成分に起因して、測距範囲外の距離値が誤った距離を示すことがある。
【００２０】
そこで、本開示の第１の目的は、（ｉ）の課題に対して、背景光による測距精度の低下を抑制する距離測定装置および画像生成方法を提供することにある。
【００２１】
また、本開示の第２の目的は、（ｉｉ）の課題に対して、輝度画像のコントラスト低下を抑制する距離測定装置および画像生成方法を提供することにある。
【００２２】
また、本開示の第３の目的は、（ｉｉｉ）の課題に対して、測距範囲外の誤測距を抑制する距離測定装置および画像生成方法を提供することにある。
【００２３】
このような課題を解決するために、本開示の一態様に係る距離測定装置は、測距範囲を分割したＮ（Ｎは３以上の整数）個の区分距離に対応するＮ個の区分画像を撮像する撮像部と、前記Ｎ個の区分画像から距離画像を生成する距離画像生成部と、を備え、前記距離画像生成部は、前記Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、前記最大の信号値がしきい値以上であるとき、前記最大の信号値の区分画素の区分距離を示す値を、前記距離画像における当該画素位置の距離値として決定し、前記最大の信号値が前記しきい値より小さいとき、測距範囲外とする。
【００２４】
この構成によれば、距離測定装置は、背景光による測距精度の低下を抑制することができる。というのは、距離画像の距離値としての画素値は、式（１）、式（２）の（背景光成分を含む）電荷量に基づいて算出されるのではなく、Ｎ個の区分距離の何れかの距離範囲を示すので、背景光の影響を受けにくい。さらに、上記の距離測定装置は、測距範囲外の誤測距を抑制することができる。
【００２５】
以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップおよびステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明する。また、各図は、模式図であり、必ずしも厳密な寸法を表すものではない。
【００２６】
（実施の形態）
［１．１  距離測定装置１の構成］
まず、実施の形態に係る距離測定装置１の構成について説明する。
【００２７】
図１は、実施の形態に係る距離測定装置の構成例を示すブロック図である。同図のように、距離測定装置１は、撮像部２および信号処理部３を備える。撮像部２は、発光部４、受光部５および制御部６を備える。信号処理部３は、メモリ７、距離画像生成部８および輝度画像生成部９を備える。
【００２８】
撮像部２は、パルス状の発光および露光の組をＮ（Ｎは３以上の整数）回繰り返すことによって、測距範囲を分割したＮ個の区分距離に対応するＮ個の区分画像を撮像する。ここで、測距範囲は、距離測定装置１から被写体までの測定可能な全距離範囲をいう。例えば、測距範囲は、０〜Ｄｍａｘ（ｍ）とする。Ｎ個の区分距離は、例えば、測距範囲をＮ等分して得られる部分的な距離範囲をいう。なお、Ｎ個の区分距離は、Ｎ等分に限らず、距離範囲を不均等に分割した部分的な距離範囲としてもよい。例えば、距離測定装置１の測定対象および測定環境に応じて、Ｎ個の区分距離は、小さい距離範囲の区分距離と大きい距離範囲の区分距離を含むように定めてもよい。
【００２９】
発光部４は、パルス発光を指示する発光制御信号に従ってパルス状の照射光を発する。発光部４の照射光は、赤外線を含むものとする。
【００３０】
受光部５は、例えば２次元状に配列された複数の画素を有するイメージセンサであり、露光を指示する露光制御信号に従って露光する。
【００３１】
制御部６は、制御部６は、発光制御信号を発光部４に供給し、露光制御信号を受光部５に供給することによって、Ｎ個の区分画像を撮像するように発光部４および受光部５を制御する。具体的には制御部６は、１フレームの距離画像あたり、発光パルスおよび露光パルスの組をＮ組生成するように、発光制御信号および露光制御信号を生成することによって前記発光部および前記受光部を制御する。
【００３２】
ここで、撮像部２によって撮像されるＮ個の区分画像について、図２および図３を用いて詳しく説明する。
【００３３】
図２は、実施の形態に係る撮像部２による１フレームの撮像処理の一例を示すタイムチャートである。
【００３４】
図２の横軸は時間軸を示す。１フレームＦ１の撮像期間は、第１測定期間Ｔｍ１〜第Ｎ測定期間ＴｍＮのＮ個の測定期間を含む。第１測定期間Ｔｍ１〜第Ｎ測定期間ＴｍＮの各測定期間は、Ｎ等分されたＮ個のタイムスロットＴｓ１〜ＴｓＮからなる。
【００３５】
縦軸の「発光パルス」は、制御部６から発光部４に供給される発光制御信号に含まれる、発光を指示するパルスを示す。発光部４は、発光パルスのハイレベル区間で発光することによりパルス光を発し、ローレベル区間で消灯するものとする。制御部６は、第１測定期間Ｔｍ１〜第Ｎ測定期間ＴｍＮの全ての測定期間において先頭のタイムスロットＴｓ１の区間で発光を指示する発光パルスを生成する。
【００３６】
「反射光」は、発光部４からのパルス光が照射された被写体からの反射光の一例を模式的に示している。反射光が現れるタイミングは、距離測定装置１と被写体との距離に比例する。同図では、タイムスロットＴｓ２の後半とＴｓ３の前半に反射光が現れた例を示している。
【００３７】
「露光パルス」は、制御部６から受光部５に供給される露光制御信号に含まれる、露光を指示するパルスを示す。受光部５は、露光パルスのハイレベル区間で露光し、ローレベル区間で露光しないものとする。
【００３８】
制御部６は、第１測定期間Ｔｍ１〜第Ｎ測定期間ＴｍＮにおいて、発光タイミングと露光タイミングとの時間差が徐々に大きくなるように、露光パルスを生成する。発光タイミングと露光タイミングとの時間差は、当該測定期間に受光部５で受光される反射波を生じさせた被写体の距離（距離範囲）に対応する。つまり、当該測定期間で反射光が受光された場合は、距離測定装置１から被写体までの距離が当該時間差に対応する。
【００３９】
すなわち、制御部６は、測定期間ＴｍｋにおいてタイムスロットＴｓｋの区間で露光を指示する露光パルスを生成する。ここで、ｋは１〜Ｎの何れかの整数である。
【００４０】
例えば、制御部６は、第１測定期間Ｔｍ１においてタイムスロットＴｓ１の区間で露光を指示する露光パルスを生成する。受光部５は、タイムスロットＴｓ１での露光による画像を区分画像＃１として生成する。例えば、各タイムスロットの期間が１０ｎＳであると仮定した場合、受光部５は、タイムスロットＴｓ１ではパルス発光の開始から１０ｎＳ以内に現れる反射光を受光できるが、それ以降に現れる反射光を受光できない。つまり、式（１１）から、タイムスロットＴｓ１では、受光部５は、区分距離＃１＝０〜１．５ｍの距離範囲にある被写体からの反射光を受光でき、区分距離＃１以外にある被写体からの反射光を受光できない。
【００４１】
２×Ｌ１＜１０ｎＳ×ｃ  ・・・式（１１）
【００４２】
ここで、ｃは光速（３×１０８ｍ／ｓ）である。Ｌ１は、区分距離＃１の距離範囲を示す。２×Ｌ１は照射光の往復距離である。
【００４３】
このように、第１測定期間Ｔｍ１で、被写体からの反射波を受光した場合は、被写体の区分距離＃１（例えば０〜１．５ｍ）の範囲内の距離にあることを意味する。
【００４４】
同様に、制御部６は、第ｋ測定期間ＴｍｋにおいてタイムスロットＴｓｋの区間で露光を指示する露光パルスを生成する。受光部５は、タイムスロットＴｓｋでの露光による画像を区分画像＃ｋとして生成する。例えば、各タイムスロットの期間が１０ｎＳである場合、第ｋ測定期間Ｔｍｋでは、受光部５は、タイムスロットＴｓｋの区間に現れる反射光を受光できるが、それ区間外に現れる反射光を受光できない。つまり、式（１２）から、第ｋ測定期間Ｔｍｋでは、受光部５は、距離範囲Ｌｋ＝（（ｋ−１）×１.５ｍからｋ×１．５ｍまでの距離範囲）にある被写体からの反射光を受光でき、それ以外の距離にある被写体らの反射光を受光できない。
【００４５】
（ｋ−１）×１０ｎＳ×ｃ ＜ ２×Ｌｋ ＜ ｋ×１０ｎＳ×ｃ  ・・・式（１２）
【００４６】
ここで、２×Ｌｋは照射光の往復距離である。
【００４７】
このように、第ｋ測定期間Ｔｍｋで、被写体からの反射波を受光した場合は、被写体の区分距離＃ｋ（例えば（ｋ−１）×１.５ｍからｋ×１．５ｍまでの距離範囲）内の距離にあることを意味する。
【００４８】
次に、Ｎ個の区分画像における反射波の現れ方について説明する。
【００４９】
図３は、実施の形態に係るＮ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素の画素信号レベルの一例を示す図である。同図の横軸は、区分画像＃１〜＃Ｎを構成する区分画素のうち同じ画素位置にあるＮ個の区分画素＃１〜＃Ｎを示し、区分距離＃１〜＃Ｎに対応する。縦軸は、区分画素＃１〜＃Ｎの画素信号レベルを示す。
【００５０】
図２では、発光パルス幅と露光パルス幅とが同じなので、パルス状の反射波は、ほとんどケースでは２つの隣り合うタイムロットの境界をまたがるように現れる。ごくまれに１つタイムロットに現れる。図３では、最大値ＭＡＸ１の画素信号レベルを有する区分画素および２番目に大きな値ＭＡＸ２を有する区分画素の２つの区分画素が隣り合う２つ区分画素＃２および＃３であり、被写体からの反射波を示している。この場合の被写体は、２つ区分距離＃２および＃３の平均で示される距離に存在することを意味する。例えば、各タイムスロットが１０ｎＳの場合は、被写体の距離は、２つ区分距離＃２および＃３の平均である、約（３．０＋４．５）／２＝３．７５ｍと判定される。
【００５１】
メモリ７は、撮像部２に生成されたＮ個の区分画像＃１〜＃Ｎを一時的に記憶する。
【００５２】
距離画像生成部８は、メモリ７に記憶されたＮ個の区分画像＃１〜＃Ｎから、距離画像を生成する。距離画像を構成する画素値は距離を示す。
【００５３】
輝度画像生成部９は、メモリ７に記憶されたＮ個の区分画像＃１〜＃Ｎから、第１輝度画像および第２輝度画像を生成する。ここで、第１輝度画像は、パルス状の発光に対する反射光に依存しない輝度画像であり、かつ、背景光に依存する輝度画像であり、以下ではＢＧ）画像とも呼ぶ。ＢＧはｂａｃｋｇｒｏｕｎｄの略である。第２輝度画像は、パルス状の発光に対する反射光に依存する輝度画像であり、以下ではＩＲ画像とも呼ぶ。ＩＲはｉｎｆｒａｒｅｄの略である。
【００５４】
なお、図２において各測定期間タイムスロットは、等分でなく不均一に分割されていてもよい。
【００５５】
［１．２  距離画像生成部８の構成］
次に、距離画像生成部８の構成について、より詳細に説明する。
【００５６】
図４は、実施の形態に係る距離画像生成部８の構成例を示すブロック図である。同図の距離画像生成部８は、最大値判定部８１、しきい値計算部８２、比較部８３、第１距離決定部８４、第２距離決定部８５および合成部８６を備える。
【００５７】
最大値判定部８１は、発光部４により生成されたＮ個の区分画像＃１〜＃Ｎを構成する区分画素のうち同じ画素位置にあるＮ個の区分画素＃１〜＃Ｎの中から、最大値ＭＡＸ１を有する区分画素を判定し、最大値ＭＡＸ１と、当該区分画素の番号＃を出力する。以下、区分画像＃１〜＃Ｎ、区分画素＃１〜＃Ｎ、または区分距離＃１〜＃Ｎの何れか番号を、単に＃と記すことがある。
【００５８】
しきい値計算部８２は、画素位置毎に、Ｎ個の区分画素＃１〜＃Ｎの画素値に応じてしきい値Ｔｈ１を動的に算出する。具体的には、しきい値計算部８２は、画素位置毎に、最大値ＭＡＸ１を有する区分画素を含む少なくとも１つの区分画素をＮ個の区分画素＃１〜＃Ｎから除外し、除外した後の区分画素の平均値ＢＧａを算出し、平均値ＢＧａに基づいてしきい値を算出する。例えば、しきい値計算部８２は、平均値ＢＧａにオフセットσを加算することによってしきい値Ｔｈ１を算出する。このとき、しきい値計算部８２は、画素位置毎に、平均値ＢＧａに応じてオフセットσを動的に決定する。オフセットσは、例えば、平均値ＢＧａの平方根でもよく、背景光のばらつきを示す標準偏差でもよく、背景光の最大値と平均値ＢＧａとの差分に相当する値でもよい。
【００５９】
平均値ＢＧａは、Ｎ個の区分距離＃１〜＃Ｎから、反射光を受光した区分画素を除いた区分画素の平均であり、背景光の平均レベルを示す。上記の「少なくとも１つの区分画素」は、Ｎ個の区分画素＃１〜＃Ｎのうち最大値ＭＡＸ１を有する区分画素および２番目に大きな値ＭＡＸ２を有する区分画素の２つの区分画素であって、かつ、隣り合う２つの区分距離に属する２つの区分画素である。また、上記の「少なくとも１つの区分画素」は、最大値ＭＡＸ１を有する区分画素および２番目に大きな値ＭＡＸ２を有する区分画素の２つの区分画素が隣り合う２つの区分距離に属していない場合、最大値ＭＡＸ１をもつ１つの区分画素である。
【００６０】
比較部８３は、最大値ＭＡＸ１としきい値Ｔｈ１とを比較し、最大値ＭＡＸ１がしきい値Ｔｈ１以上か否かを判定する。
【００６１】
第１距離決定部８４は、最大値ＭＡＸ１がしきい値Ｔｈ１以上であると判定されたとき、最大値ＭＡＸ１の区分画素の区分距離を示す値を、距離画像における当該画素位置の画素値として決定する。
【００６２】
第２距離決定部８５は、最大値ＭＡＸ１がしきい値Ｔｈ１以上でないと判定されたとき、被写体が測距範囲内に存在しないことを示す値を、距離画像における当該画素位置の画素値として決定する。被写体が測距範囲内に存在しないことを示す値は、被写体が測距範囲外にあることを示す値、または、背景である無限遠を示す値を意味し、距範囲内の距離を示す値以外の特定の値でよい。
【００６３】
合成部８６は、第１距離決定部８４および第２距離決定部８５で決定された画素値を合成して、距離画像を生成する。
【００６４】
図４の距離画像生成部８によれば、背景光による測距精度の低下を抑制することができる。具体的には、第１距離決定部８４により決定される画素値は、式（１）、式（２）の（背景光成分を含む）電荷量に基づいて算出されるのではなく、Ｎ個の区分距離＃１〜＃Ｎの何れかの距離範囲を示すので、背景光の影響を受にくく、測距精度の低下を抑制できる。
【００６５】
また、第２距離決定部８５により決定される画素値は、被写体が測距範囲内に存在しないことを示す特別な値なので、測距範囲外の距離値の誤測距を抑制することができる。しかも、しきい値Ｔｈ１を背景光の平均値に基づいて画素位置毎に動的に算出するので、距離測定装置１の環境に依存して背景光が大きく変動する場合であっても、背景光にショットノイズがありばらつく場合であっても、背景光による測距精度の低下を抑制することができる。
【００６６】
次に、輝度画像生成部９の第１の構成例から第３の構成例について説明する。
【００６７】
［１．３  輝度画像生成部９の第１の構成例］
まず、輝度画像生成部９の第１の構成例について、詳細に説明する。
【００６８】
図５Ａは、実施の形態に係る輝度画像生成部９の第１の構成例を示すブロック図である。同図の輝度画像生成部９は、第１輝度決定部９１、合成部９２、第２輝度決定部９３、補正部９４および合成部９５を備える。なお、同図の最大値判定部８１、しきい値計算部８２は輝度画像生成部９の構成要素ではないが、理解の便宜上図示してある。
【００６９】
第１輝度決定部９１は、画素位置毎に、平均値ＢＧａに対応する値を、反射光に依存しない第１輝度画像の画素値Ｐｘとして決定する。例えば、輝度画像の画素値Ｐｘは、平均値ＢＧａの値に決定される。
【００７０】
合成部９２は、第１輝度決定部９１により決定された画素値Ｐｘを２次元状に合成して、１フレームの第１輝度画像（ＢＧ画像）を生成する。
【００７１】
第２輝度決定部９３は、画素位置毎に、最大値から平均値ＢＧａを減算した値に対応する値を、前記輝度画像の画素値として決定する。より具体的には、第２輝度決定部９３は、画素位置毎に、式（１３）または式（１４）に従って最大値から平均値ＢＧａを減算した値を画素値Ｐｘとする。より詳しくは、画素値Ｐｘは、最大値ＭＡＸ１を有する区分画素および２番目に大きな値ＭＡＸ２を有する区分画素が隣り合う２つの区分距離に属する２つの区分画素である場合に、式（１３）により算出される。また、画素値Ｐｘは、最大値ＭＡＸ１を有する区分画素および２番目に大きな値ＭＡＸ２を有する区分画素の２つの区分画素が隣り合う２つの区分距離に属していない場合に、式（１４）により算出される。
【００７２】
Ｐｘ＝（ＭＡＸ１＋ＭＡＸ２）／２−ＢＧａ  ・・・式（１３）
Ｐｘ＝ＭＡＸ１−ＢＧａ                    ・・・式（１４）
【００７３】
式（１３）または式（１４）に従って最大値から平均値ＢＧａを減算することによって、第２輝度画像に反射光と背景光成分とが重畳されてコントラストが低下することを抑制することができる。例えば、被写体からの反射波が図２の例のようにタイムスロットＴｓ２およびＴｓ３で受光された場合、図３のように区分画素＃２および＃３の画素信号レベルが大きくなる。図３では、区分画素＃３は、最大値ＭＡＸ１の画素信号レベルをもつ。区分画素＃２は、２番目に大きな値ＭＡＸ２を持つ。区分画素＃２の画素信号レベルＳ２（ＭＡＸ２）は、背景光成分ＢＧ２を含むと考えられる。区分画素＃３の画素信号レベルＳ２（ＭＡＸ１）は、背景光成分ＢＧ３を含むと考えられる。一方、区分画素＃２および＃３を除く区分画素の画素信号レベル（Ｓ１、Ｓ４〜ＳＮ）は、それぞれ反射光成分を含まず背景光成分（ＢＧ１、ＢＧ４〜ＢＧＮ）そのものを示す。背景光成分ＢＧ２およびＢＧ３の信号レベルを直接測定することは困難または不可能であるけれども、他の区分画素の背景光成分の信号レベルから推定することができ、例えば、背景光の平均値ＢＧａと同等と推定できる。式（１３）および式（１４）は、反射光に背景光成分が重畳された信号レベルから背景光成分を除去するものである。
【００７４】
これにより、第２輝度画像の背景光によるコントラストの低下を抑制するとができる。
【００７５】
補正部９４は、第２輝度決定部９３からの画素値Ｐｘを、当該最大値に対応する区分距離の平方を用いて補正する。具体的には、補正部９４は、画素値Ｐｘが式（１３）で算出された場合は、ＭＡＸ１およびＭＡＸ２に対応する２つの区分距離の平均の平方を、画素値Ｐｘに乗算することで補正する。あるいは、補正部９４は、画素値Ｐｘが式（１４）で算出された場合は、ＭＡＸ１に対応する区分距離の平方を、画素値Ｐｘに乗算することで補正する。
【００７６】
これにより、距離測定装置１から被写体までの距離の平方に反比例する反射光の信号レベルを、距離に依存しない信号レベルに補正する。補正により第２輝度画像のコントラスト低下を抑制することができる。
【００７７】
合成部９５は、補正部９４による補正後の画素値Ｐｘを２次元状に合成して、１フレームの第２輝度画像（ＩＲ画像）を生成する。
【００７８】
［１．４  輝度画像生成部９の第２の構成例］
次に、輝度画像生成部９の第２の構成例について、説明する。
【００７９】
図５Ｂは、実施の形態に係る輝度画像生成部９の第２の構成例を示すブロック図である。同図の輝度画像生成部９は、図５Ａと比べて、第２輝度決定部９３、補正部９４および合成部９５が削除された点と、補正部９６、比較部９７、輝度加算部９８、輝度決定部９９およぎ合成部１００が追加された点とが異なる。以下、同じ点は説明の繰り返しを避けて、異なる点を中心に説明する。
【００８０】
補正部９６、比較部９７、輝度加算部９８、輝度決定部９９および合成部１００は、第２輝度画像（ＩＲ画像）を生成する。
【００８１】
補正部９６は、Ｎ個の区分画素の画素値を、当該区分画素に対応する区分距離の平方を用いて補正する。具体的には、補正部９６は、Ｎ個の区分画素の画素値に、当該区分画素に対応する区分距離の平方を乗算することによってを補正する。
【００８２】
比較部９７は、しきい値Ｔｈ１と所定値Ｔｈ２とを比較し、しきい値Ｔｈ１が所定値Ｔｈ２より大きいか否かを判定する。所定値Ｔｈ２は、動的に算出されたしきい値Ｔｈ１（つまり背景光の平均値ＢＧａ＋オフセットσ）が第２輝度画像（ＩＲ画像）の画質（例えばコントラスト）に影響を与えるほどの大きさか否かを判定するためのしきい値であり、静的な定数でよい。
【００８３】
輝度加算部９８は、記画素位置毎に、しきい値Ｔｈ１が所定値Ｔｈ２より大きいと判定された場合、補正後のＮ個の区分画素の画素信号レベルの和に対応する値を、第２輝度画像の画素値Ｐｘとして決定する。
【００８４】
輝度決定部９９は、画素位置毎に、しきい値Ｔｈ１が前記所定値Ｔｈ２より大きくないと判定された場合、最大値に対応する値を、第２輝度画像の画素値として決定する。
【００８５】
合成部１００は、輝度加算部９８および輝度決定部９９で決定された画素値を合成して、第２輝度画像（ＩＲ画像）を生成する。
【００８６】
なお、補正部９６は、しきい値Ｔｈ１が所定値Ｔｈ２より大きいと判定された場合に、Ｎ個の区分画素の画素値を当該区分画素に対応する区分距離の平方を用いて補正し、しきい値Ｔｈ１が前記所定値Ｔｈ２より大きくないと判定された場合、最大値を、当該区分画素に対応する区分距離の平方を用いて補正してもよい。
【００８７】
輝度画像生成部９の第２の構成例によれば、距離測定装置１から被写体までの距離の平方に反比例する反射光および背景光の信号レベルを距離に依存しない信号レベルに補正し、第２輝度画像のコントラストの低下を抑制することができる。
【００８８】
［１．５  輝度画像生成部９の第３の構成例］
次に、輝度画像生成部９の第３の構成例について、説明する。
【００８９】
図５Ｃは、実施の形態に係る輝度画像生成部９の第３の構成例を示すブロック図である。同図の輝度画像生成部９は、図５Ａと比べて、第２輝度決定部９３、補正部９４および合成部９５が削除された点と、輝度加算部１０１および合成部１０２が追加された点とが異なる。以下、同じ点は説明の繰り返しを避けて、異なる点を中心に説明する。
【００９０】
輝度加算部１０１および合成部１０２は、第２輝度画像（ＩＲ画像）を生成する。
【００９１】
輝度加算部１０１は、記画素位置毎に、Ｎ個の区分画素の画素信号レベルの和に対応する値を、第２輝度画像の画素値Ｐｘとして決定する。
【００９２】
合成部１０２は、輝度加算部１０１で決定された画素値を合成して、第２輝度画像（ＩＲ画像）を生成する。
【００９３】
輝度画像生成部９の第３の構成例によれば、第２輝度画像を生成する処理負荷を低減することができる。
【００９４】
［２．０  距離測定装置１の動作］
以上のように構成された距離測定装置１について、その動作例としての画像生成方法を説明する。
【００９５】
まず、距離測定装置１における画像生成方法の全体の動作例について説明する。
【００９６】
図６は、実施の形態に係る距離測定装置１における全体の処理例を示すフローチャートである。
【００９７】
同図は、距離測定装置１における画像生成方法を示す。まず、撮像部２は、測距範囲を分割したＮ個の区分距離に対応するＮ個の区分画像を撮像する（Ｓ１）。さらに、距離画像生成部８は、Ｎ個の区分画像から距離画像を生成し（Ｓ２）、輝度画像生成部９は、Ｎ個の区分画像から距離画像を生成する（Ｓ３）。
【００９８】
次に、Ｎ個の区分画像の撮像の処理例につい説明する。
【００９９】
図７は、図６のステップＳ１における区分画像の撮像の処理例を示すフローチャートである。撮像部２は、図７のループ１（Ｓ１１〜Ｓ１４）は、Ｎ個の区分画像を生成するためのＮ回の繰り返しを示す。Ｎ回の繰り返しのうち、第ｋ回目の繰り返しでは、撮像部２は、図２に示したタイムスロットＴｓ１で発光し、かつ、ダイムスロットＴｓｋで露光し（Ｓ１２）、この露光により得られた区分画像＃ｋをメモリ７に保存する（Ｓ１３）。
【０１００】
このようにして撮像部２は、区分画像＃１〜＃Ｎを生成する。
【０１０１】
次に、距離画像生成部８による距離画像生成の処理例について説明する。
【０１０２】
図８は、図４および図６のステップＳ２における距離画像生成の処理例を示すフローチャートである。図８のループ１（Ｓ２１〜Ｓ２９）は、輝度画像の画素数Ｍと同じ回数繰り返す処理を示す。１回の繰り返しは、同じ画素位置Ｐａ（または画素アドレスＰａ）の区分画素＃１〜＃Ｎを対象にする。１回の繰り返しにおいて、距離画像生成部８は、まず、Ｎ個の区分画像＃１〜＃Ｎを構成する区分画素のうち同じ画素位置ＰａにあるＮ個の区分画素＃１〜＃Ｎを抽出し（Ｓ２２）、Ｎ個の区分画素＃１〜＃Ｎからしきい値Ｔｈ１を算出し（Ｓ２３）、Ｎ個の区分画素＃１〜＃Ｎから最大値ＭＡＸ１を有する区分画素を判定する（Ｓ２４）。さらに、距離画像生成部８は、最大値ＭＡＸ１がしきい値Ｔｈ１より大きいか否かを判定し（Ｓ２５）、最大値ＭＡＸ１がしきい値Ｔｈ１より大きいと判定した場合、最大値ＭＡＸ１の区分画素の区分距離を示す値を、距離画像における当該画素位置の画素値として決定する（Ｓ２６）。また、距離画像生成部８は、最大値ＭＡＸ１がしきい値Ｔｈ１より大きくないと判定した場合、被写体が測距範囲内にないことを示す値を、距離画像における当該画素位置の画素値として決定する（Ｓ２７）。さらに、合成部８６は、ステップＳ２６おおよびＳ２７で決定された画素値を合成して、距離画像を生成する（Ｓ２８）。
【０１０３】
なお、距離画像生成部８は、ステップＳ２４において最大値ＭＡＸ１を有する区分画素と、２番目に大きい値ＭＡＸ２を有する区分画素とを判定し、最大値ＭＡＸ１を有する区分画素と２番目に大きい値ＭＡＸ２を有する区分画素とが隣り合う２つの区分距離に属する場合にはステップＳ２６において当該隣り合う２つの区分距離の平均値を、距離画像における当該画素位置の画素値として決定してもよい。
【０１０４】
次に、しきい値計算部８２によるしきい値Ｔｈ１の算出例について説明する。
【０１０５】
図９は、図８のステップＳ２３におけるしきい値算出の一例を示すフローチャートである。図９において、しきい値計算部８２は、Ｎ個の区分画素から、最大値ＭＡＸ１を有する区分画素と、２番目に大きい値ＭＡＸ２を有する区分画素とを判定し（Ｓ２３１）、最大値ＭＡＸ１を有する区分画素の区分距離と２番目に大きい値ＭＡＸ２を有する区分画素の区分距離とが隣り合うか否かを判定する（Ｓ２３２）。さらにしきい値計算部８２は、当該２つの区分距離が隣り合う場合には、式（１５）により平均値ＢＧａを算出する（Ｓ２３３）。
【０１０６】
ＢＧａ＝（ｓｕｍ−ＭＡＸ１−ＭＡＸ２）／（Ｎ−２）  ・・・式（１５）
【０１０７】
ここで、ｓｕｍは区分画素＃１〜＃Ｎの画素信号レベルの合計である。ＢＧａは、反射光を除いた背景光の平均レベルを示す。
【０１０８】
また、しきい値計算部８２は、当該２つの区分距離が隣り合わない場合には、式（１６）により平均値ＢＧａを算出する（Ｓ２３４）。
【０１０９】
ＢＧａ＝（ｓｕｍ−ＭＡＸ１）／（Ｎ−１）            ・・・式（１６）
【０１１０】
さらに、しきい値計算部８２は、平均値ＢＧａにオフセットσを加算することによりしきい値Ｔｈ１を算出する。オフセットσは、例えば、平均値ＢＧａの平方根でよい。
【０１１１】
このように、しきい値Ｔｈ１は、画素位置毎に動的に算出されるので、背景光に変動がある場合や、背景光がショットノイズとなる場合であっても、適切な値にすることができる。
【０１１２】
続いて、輝度画像生成部９による第１輝度画像（ＢＧ画像）と第２輝度画像（ＩＲ画像）を生成する第１の処理例について説明する。
【０１１３】
図１０は、図５Ａおよび図６のステップＳ３における輝度画像生成の第１処理例を示すフローチャートである。図１０に従う輝度画像生成部９は、図５Ａに示した第１の構成例である。図１０のループ１（Ｓ３１〜Ｓ３６）は、画素位置毎の繰り返し処理を示す。１回の繰り返しにおいて、まず、輝度画像生成部９は、当該画素位置における平均値ＢＧａに対応する値を、第１輝度画像（ＢＧ画像）の画素値として決定および保存する（Ｓ３２）。さらに、輝度画像生成部９は、最大値ＭＡＸ１から平均値ＢＧａを減算した輝度値を算出し（Ｓ３３）、当該輝度値を、最大値のＭＡＸ１の区分距離に応じて補正し（Ｓ３４）、補正した値を、第２輝度画像（ＩＲ）の画素値として決定および保存する（Ｓ３５）。
【０１１４】
ステップＳ３２およびＳ３３について図１１を用いてより詳しく説明する。
【０１１５】
図１１は、図１０のステップＳ３３およびＳ３４の具体例を示すフローチャートである。図１１において輝度画像生成部９は、Ｎ個の区分画素から、最大値ＭＡＸ１を有する区分画素と、２番目に大きい値ＭＡＸ２を有する区分画素とを判定し（Ｓ３３１）、最大値ＭＡＸ１を有する区分画素の区分距離と２番目に大きい値ＭＡＸ２を有する区分画素の区分距離とが隣り合うか否かを判定する（Ｓ３３２）。さらに輝度画像生成部９は、当該２つの区分距離が隣り合う場合には、式（１７）により輝度値Ｐｘを算出し（Ｓ３３３）、式（１８）により輝度値Ｐｘを補正する（Ｓ３３４）。
【０１１６】
Ｐｘ＝（ＭＡＸ１＋ＭＡＸ２）／２−ＢＧａ            ・・・式（１７）
Ｐｘ＝Ｐｘ×（（＃ＭＡＸ１＋＃ＭＡＸ２）／２）２    ・・・式（１８）
【０１１７】
ここで、＃ＭＡＸ１は、ＭＡＸ１の区分距離の距離値を示す。＃ＭＡＸ２は、ＭＡＸ２の区分距離の距離値を示す。
【０１１８】
また、輝度画像生成部９は、当該２つの区分距離が隣り合わない場合には、式（１９）により輝度値Ｐｘを算出し（Ｓ３３５）、式（２０）により輝度値Ｐｘを補正する（Ｓ３３６）。
【０１１９】
Ｐｘ＝ＭＡＸ１−ＢＧａ            ・・・式（１９）
Ｐｘ＝Ｐｘ×＃ＭＡＸ１２          ・・・式（２０）
【０１２０】
ステップＳ３３４およびＳ３３６の補正後の画素値Ｐｘは、第２輝度画像（ＩＲ画像）の画素として保存される。
【０１２１】
式（１７）および式（１９）では画素信号レベルから背景光成分を除去するので、第２輝度画像の背景光によるコントラストの低下を抑制することができる。また、式（１８）および式（２０）の補正では、距離測定装置１から被写体までの距離の平方に反比例する反射光の信号レベルを、距離に依存しない信号レベルに補正する。この補正によっても第２輝度画像のコントラスト低下を抑制することができる。
【０１２２】
次に、輝度画像生成部９による第１輝度画像（ＢＧ画像）と第２輝度画像（ＩＲ画像）を生成する第２の処理例について説明する。
【０１２３】
図１２は、図５Ｂおよび図６のステップＳ３における輝度画像生成の第１処理例を示すフローチャートである。図１２に従う輝度画像生成部９は、図５Ｂに示した第２の構成例である。図１２において第１輝度画像（ＢＧ画像）を生成するステップＳ３２は、図１０のステップＳ３２と同じである。以下、第２輝度画像（ＩＲ画像）の生成を中心に説明する。輝度画像生成部９は、Ｎ個の区分画素の画素値を、当該区分画素に対応する区分距離の平方を用いて補正する（Ｓ４２）。図中の＃は当該区分画素に対応する区分距離を示し、区分距離の範囲内の距離値であって、例えば中心値、最大値、最小値の何れかでよい。
【０１２４】
さらに、輝度画像生成部９は、しきい値Ｔｈ１が所定値Ｔｈ２より大きいか否かを判定する（Ｓ４３）。輝度画像生成部９は、しきい値Ｔｈ１が所定値Ｔｈ２より大きいと判定した場合、Ｎ個の区分画素の加算値を算出し（Ｓ４４）、加算値を第２輝度画像の画素値として決定および保存する（Ｓ４５）。また、輝度画像生成部９は、しきい値Ｔｈ１が所定値Ｔｈ２より大きくないと判定した場合、Ｎ個の区分画素から最大値を検出し（Ｓ４６）、当該最大値を第２輝度画像の画素値として決定および保存する（Ｓ４７）。
【０１２５】
なお、輝度画像生成部９は、ステップＳ４６で最大値としてＭＡＸ１およびＭＡＸ２を検出し、ステップＳ４７で、ＭＡＸ１とＭＡＸ２が隣り合う距離区分に属する場合はＭＡＸ１とＭＡＸ２の平均を最大値とし、ＭＡＸ１とＭＡＸ２が隣り合う距離区分に属さない場合はＭＡＸ１を最大値とする。
【０１２６】
図１２の第２の処理例によれば、背景光の信号レベルを距離に依存しない信号レベルに補正して、第２輝度画像のコントラストの低下を抑制することができる。
【０１２７】
次に、輝度画像生成部９による第１輝度画像（ＢＧ画像）と第２輝度画像（ＩＲ画像）を生成する第３の処理例について説明する。
【０１２８】
図１３は、図５Ｃおよび図６のステップＳ３における輝度画像生成の第１処理例を示すフローチャートである。図１３に従う輝度画像生成部９は、図５Ｃに示した第３の構成例である。図１３に従う輝度画像生成部９は、図５Ｃに示した第３の構成例である。図１３において第１輝度画像（ＢＧ画像）を生成するステップＳ３２は、図１０のステップＳ３２と同じである。以下、第２輝度画像（ＩＲ画像）の生成を中心に説明する。輝度画像生成部９は、Ｎ個の区分画素の加算した加算値を算出し（Ｓ５２）、当該加算値を第２輝度画像の画素値として決定および保存する（Ｓ５３）。
【０１２９】
以上説明してきたように実施の形態に係る距離測定装置１よれば、（ｉ）距離画像の精度低下を抑制し、（ｉｉ）第１輝度画像（ＢＧ）および第２輝度画像（ＩＲ）のコントラスト低下を抑制し、（ｉｉｉ）測距可能な範囲内に被写体が存在しない場合の背景光により誤測距を抑制するという効果がある。
【０１３０】
次に、距離画像および輝度画像の例について説明する。
【０１３１】
図１４は、実施の形態に係る輝度画像の一例を示す図である。同図は、図５Ｃの輝度画像生成部９により生成された第２輝度画像（ＩＲ画像）を示す。図１５Ａは、実施の形態に係る距離画像の一例を示す図である。同図は、図４の距離画像生成部８により生成された距離画像の一例を示す。また、図１５Ｂは、比較例にかかる距離画像の一例を示す図である。同図は、図４の距離画像生成部８において画素位置毎のしきい値Ｔｈ１を強制的に０に固定した場合に得られる距離画像の一例を示す。
【０１３２】
図１５Ａにおいて４つの被写体（人）に対して左から２５ｍ、５０ｍ、５５ｍ、４０ｍの距離値が得られている。また、「範囲外」と記した領域は、被写体（人）以外の領域で黒で表示された領域を含み、測距範囲内に被写体が存在しないことを明示的に示している。
【０１３３】
図１５Ｂにおいても４つの被写体（人）に対して左から２５ｍ、５０ｍ、５５ｍ、４０ｍの距離値が得られている。ところが、図１５Ｂの領域のうち、図１５Ａの「範囲外」の領域に対応する領域は、何らかの距離値を示すことからノイズまたは誤測距が多く発生している。この点、図１５Ａでは、これらのノイズまたは誤測距を抑制されていることがわかる。
【０１３４】
以上のように実施の形態に係る距離測定装置１は、測距範囲を分割したＮ（Ｎは２以上の整数）個の区分距離に対応するＮ個の区分画像を撮像する撮像部２と、Ｎ個の区分画像から距離画像を生成する距離画像生成部８と、を備え、距離画像生成部８は、Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、最大の信号値がしきい値以上であるとき、最大の信号値の区分画素の区分距離を示す値を、距離画像における当該画素位置の距離値として決定し、最大の信号値がしきい値より小さいとき、測距範囲外とする。
【０１３５】
これによれば、距離画像の精度低下を抑制し、測距可能な範囲内に被写体が存在しない場合の背景光により誤測距を抑制することができる。
【０１３６】
ここで、距離画像生成部８は、最大の信号値がしきい値より小さいとき、測距範囲外を示す値を、距離画像における当該画素位置の距離値として決定してもよい。
【０１３７】
ここで、距離画像生成部８は、Ｎ個の区分画素の信号値に応じてしきい値を動的に算出してもよい。
【０１３８】
これによれば、しきい値を画素位置毎に動的に算出するので、距離測定装置の環境に依存して背景光が大きく変動する場合であっても、背景光にショットノイズがありばらつく場合であっても、背景光による測距精度の低下を抑制することができる。
【０１３９】
ここで、距離画像生成部８は、画素位置毎に、最大の信号値を有する区分画素を含む少なくとも１つの区分画素をＮ個の区分画素から除外し、除外した後の区分画素の平均値を算出し、平均値に基づいてしきい値を算出してもよい。
【０１４０】
これによれば、上記の平均値は反射波成分を含まない背景光の平均を示し、この平均値に基づいて算出されたしきい値により、測距精度の低下をより抑制することができる。
【０１４１】
ここで、少なくとも１つの区分画素は、Ｎ個の区分画素のうち最大の信号値を有する区分画素および２番目に大きな値を有する区分画素の２つの区分画素であって、かつ、隣り合う２つの区分距離に属する２つの区分画素であってもよい。
【０１４２】
ここで、少なくとも１つの区分画素は、最大の信号値を有する区分画素および２番目に大きな値を有する区分画素の２つの区分画素が隣り合う２つの区分距離に属していない場合、最大の信号値をもつ１つの区分画素であってもよい。
【０１４３】
これによれば、平均値の算出において、最大の信号値と２番目に大きな信号値とが隣り合う区分距離に属する場合も属さない場合も反射光の成分を適切に除外することができる。
【０１４４】
ここで、撮像部は、パルス状の発光および露光の組をＮ回繰り返すことによってＮ個の区分画像を撮像し、露光のパルス幅は発光のパルス幅に相当してもよい。
【０１４５】
ここで、距離測定装置は、Ｎ個の区分画像から輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、平均値に対応する値を、輝度画像の画素値として決定してもよい。
【０１４６】
これによれば、反射光に依存しない背景光よる輝度画像（ＢＧ画像）を生成することができる。
【０１４７】
ここで、距離測定装置は、Ｎ個の区分画像から輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、最大の信号値から平均値を減算した値に対応する値を、輝度画像の画素値として決定してもよい。
【０１４８】
これによれば、最大の信号値から背景光の平均レベルを示す平均値を減算するので、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１４９】
ここで、距離測定装置は、Ｎ個の区分画像から輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、しきい値が所定値より大きい場合、Ｎ個の区分画素の和に対応する値を、輝度画像の画素値として決定し、しきい値が所定値より大きくない場合、最大の信号値に対応する値を、輝度画像の画素値として決定してもよい。
【０１５０】
これによれば、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１５１】
ここで、距離測定装置は、Ｎ個の区分画像から輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、Ｎ個の区分画素の和に対応する値を、輝度画像の画素値として決定してもよい。
【０１５２】
これによれば、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１５３】
ここで、撮像部は、パルス状の発光および露光の組をＮ回繰り返すことによってＮ個の区分画像を撮像し、距離測定装置は、Ｎ個の区分画像から、パルス状の発光に対する反射光に依存しない第１輝度画像と、パルス状の発光に対する反射光に依存する第２輝度画像とを生成する輝度画像生成部９を備えてもよい。
【０１５４】
これによれば、距離画像に加えて、反射光に依存しない第１輝度画像と反射光に依存する第２輝度画像を生成するので、第１輝度画像および第２輝度画像の少なくとも一方において背景光によるコントラスト低下を抑制することできる。
【０１５５】
ここで、距離測定装置は、Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、平均値に対応する値を、第１輝度画像の画素値として決定し、画素位置毎に、最大の信号値から平均値を減算した値に対応する値を、第２輝度画像の画素値として決定してもよい。
【０１５６】
これによれば、最大の信号値から背景光の平均レベルを示す平均値を減算するので、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１５７】
ここで、距離測定装置は、Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、平均値に対応する値を、第１輝度画像の画素値として決定し、画素位置毎に、しきい値が所定値より大きい場合、Ｎ個の区分画素の和に対応する値を、第２輝度画像の画素値として決定し、画素位置毎に、しきい値が所定値より大きくない場合、最大の信号値に対応する値を、第２輝度画像の画素値として決定してもよい。
【０１５８】
これによれば、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１５９】
ここで、距離測定装置は、Ｎ個の区分画像から第１輝度画像および第２輝度画像を生成する輝度画像生成部９を備え、輝度画像生成部９は、画素位置毎に、平均値に対応する値を、第１輝度画像の画素値として決定し、画素位置毎に、Ｎ個の区分画素の和に対応する値を、第２輝度画像の画素値として決定してもよい。
【０１６０】
これによれば、輝度画像における背景光によるコントラスト低下を抑制することができる。
【０１６１】
ここで、輝度画像生成部９は、最大の信号値から平均値を減算した値を、最大の信号値に対応する区分距離の平方を用いて補正してもよい。
【０１６２】
これによれば、距離測定装置から被写体までの距離の平方に反比例する反射光の信号レベルを、距離に依存しない信号レベルに補正することができ、第２輝度画像の画質（たとえコントラスト）低下をより抑制することができる。
【０１６３】
ここで、輝度画像生成部９は、しきい値が所定値より大きい場合、Ｎ個の区分画素の画素値を、当該区分画素に対応する区分距離の平方を用いて補正し、補正後のＮ個の区分画素の和に対応する値を、輝度画像の画素値として決定してもよい。
【０１６４】
これによれば、区分画素の信号レベルを距離に依存しない信号レベルに補正して、第２輝度画像のコントラストの低下を抑制することができる。
【０１６５】
ここで、撮像部２は、発光パルスに従って照射光を発する発光部４と、露光パルスに従って露光することによりＮ個の区分画像を撮像する受光部５と、１つの距離画像あたり、発光パルスおよび露光パルスの組をＮ組生成することによって発光部および受光部を制御する制御部６とを備え、Ｎ組の発光パルスと露光パルスとの時間差は、Ｎ個の区分距離に対応してもよい。
【０１６６】
これによれば、Ｎ個の区分画像を容易に生成することができる。
【０１６７】
また、画像生成方法は、距離画像を生成する画像生成方法であって、測距範囲を分割したＮ個の区分距離に対応するＮ個の区分画像を撮像し、Ｎ個の区分画像を構成する区分画素のうち同じ画素位置にあるＮ個の区分画素から最大の信号値を有する区分画素を判定し、最大の信号値がしきい値以上であるとき、最大の信号値の区分画素の区分距離を示す値を、距離画像における当該画素位置の距離値として決定し、最大の信号値がしきい値より小さいとき、測距範囲外と決定する。
【０１６８】
これによれば、距離画像の精度低下を抑制し、測距可能な範囲内に被写体が存在しない場合の背景光により誤測距を抑制することができる。
【０１６９】
以上、本開示に係る距離測定装置１および画像生成方法について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態および変形例における一部の構成要素を任意に組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【産業上の利用可能性】
【０１７０】
本開示は、距離測定装置および画像生成方法に適しており、例えばＴＯＦカメラシステムに適している。
【符号の説明】
【０１７１】
１  距離測定装置
２  撮像部
３  信号処理部
４  発光部
５  受光部
６  制御部
７  メモリ
８  距離画像生成部
９  輝度画像生成部
８１  最大値判定部
８２  しきい値計算部
８３、９７  比較部
８４  第１距離決定部
８５  第２距離決定部
８６、９２、９５、１００、１０２  合成部
９１  第１輝度決定部
９３  第２輝度決定部
９４、９６  補正部
９８、１０１  輝度加算部
９９  輝度決定部
【図１】
2020196087.tif 000003
【図２】
2020196087.tif 000004
【図３】
2020196087.tif 000005
【図４】
2020196087.tif 000006
【図５Ａ】
2020196087.tif 000007
【図５Ｂ】
2020196087.tif 000008
【図５Ｃ】
2020196087.tif 000009
【図６】
2020196087.tif 000010
【図７】
2020196087.tif 000011
【図８】
2020196087.tif 000012
【図９】
2020196087.tif 000013
【図１０】
2020196087.tif 000014
【図１１】
2020196087.tif 000015
【図１２】
2020196087.tif 000016
【図１３】
2020196087.tif 000017
【図１４】
2020196087.tif 000018
【図１５Ａ】
2020196087.tif 000019
【図１５Ｂ】
2020196087.tif 000020
【国際調査報告】
2020196087.tif 000021
2020196087.tif 000022
2020196087.tif 000023
2020196087.tif 000024