(57)【要約】      （修正有）【課題】物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供する。【解決手段】照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、レーザ光の受光部が受光した反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、レーザ光の受光部が受光した反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、照射部がレーザ光を照射してから、第一の閾値又は第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする。【選択図】図２７
2020153797.tif 000002
【特許請求の範囲】
【請求項１】
照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、
前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、
前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、
前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする検出装置。
【請求項２】
前記レーザ光の受光部が受光した前記反射信号にアンダーシュートを生じさせるアンダーシュート付加部と、
前記反射信号のベース電圧よりも小さい第三の閾値以下かどうかで、アンダーシュートした前記反射信号を二値化する第三の二値化部と、
前記第二の二値化部が二値化した信号と前記第三の二値化部が二値化した信号とを用いて、前記第二の閾値以上の反射信号が得られた時間のうち、物体で反射することで反射信号が前記第二の閾値以上になった時間を決定する時間決定部と、
を有することを特徴とする請求項１に記載の検出装置。
【請求項３】
前記第二の閾値は前記反射信号のベース電圧よりも大きい正の値で、前記第三の閾値は前記反射信号のベース電圧よりも小さい負の値であることを特徴とする請求項２に記載の検出装置。
【請求項４】
前記時間決定部は、ベース電圧よりも大きい前記第二の閾値以上かどうかで二値化された前記反射信号と、ベース電圧よりも小さい前記第三の閾値以下かどうかで二値化された前記反射信号とが所定の関係にある場合、
前記第三の閾値以下の反射信号と前記所定の関係にある前記第二の閾値以上の反射信号が得られた時間を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項２又は３に記載の検出装置。
【請求項５】
前記レーザ光が複数回、照射され、前記受光部が受光した複数回の前記反射信号を、前記第二の二値化部と前記第三の二値化部がそれぞれ二値化し、
前記第二の二値化部により二値化された信号に基づいて物体がある旨が投票された第一のヒストグラムを作成する第一のヒストグラム作成部と、
前記第三の二値化部により二値化された信号に基づいて物体がある旨が投票された第二のヒストグラムを作成する第二のヒストグラム作成部と、を有し、
前記時間決定部は、前記第一のヒストグラムと前記第二のヒストグラムに所定の関係にある場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項２〜４のいずれか１項に記載の検出装置。
【請求項６】
前記第一のヒストグラムのピークの位置から、前記第二のヒストグラムのピークの位置までの距離が、所定の条件を満たす場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項５に記載の検出装置。
【請求項７】
前記第一のヒストグラムのピークの幅と前記第二のヒストグラムのピークの幅が、所定の条件を満たす場合、前記第一のヒストグラムがピークを示す位置を、物体で反射することで反射信号が前記第二の閾値以上になった時間に決定することを特徴とする請求項５又は６に記載の検出装置。
【請求項８】
前記所定の条件は、前記アンダーシュート付加部の回路の設計値によって決まっていることを特徴とする請求項５〜７のいずれか１項に記載の検出装置。
【請求項９】
前記レーザ光が複数回、照射され、前記受光部が受光した複数回の前記反射信号を、前記第二の二値化部と前記第三の二値化部がそれぞれ二値化し、
前記反射信号がベース電圧よりも大きい前記第二の閾値以上であると判断された時間から、所定時間内に、前記反射信号がベース電圧よりも小さい前記第三の閾値以下であると判断された場合、
前記反射信号が前記第二の閾値以上であると判断された時間に物体が存在する旨が投票された第三のヒストグラムを作成する第三のヒストグラム作成部と、
前記第三のヒストグラムで頻度が最大となる時間を決定する最大値検出部と、
を有することを特徴とする請求項８に記載の検出装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の検出装置と、
ステレオカメラが撮像した複数の画像データのマッチング評価値を生成するステレオ画像演算部と、を有し、
前記検出装置は、前記ステレオ画像演算部が生成したマッチング評価値に基づいて、前記検出装置が前記時間を決定する範囲とする処理範囲を前記ステレオ画像演算部から取得し、
前記検出装置は前記処理範囲の中で前記時間を決定し、前記時間から変換された距離情報を前記ステレオ画像演算部に出力して、
前記ステレオ画像演算部は前記距離情報と、前記マッチング評価値で決定した距離情報とを統合することを特徴とする測距装置。
【請求項１１】
照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置が行う時間測定方法であって、
第一の二値化部が、前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化するステップと、
第二の二値化部が、前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化するステップと、
時間計測部が、前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定するステップと、
を有することを特徴とする時間測定方法。
【請求項１２】
照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置を、
前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、
前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、
前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部、
として機能させるためのプログラム。
【請求項１３】
請求項１〜９のいずれか１項に記載の検出装置を有する移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置、測距装置、検出方法、プログラム、及び、移動体に関する。
【背景技術】
【０００２】
ステレオカメラが撮像した２枚の画像データの視差値を画素ごとに計算する視差計算アルゴリズムが知られている。視差計算アルゴリズムは探索視差空間にコストを投票する方式であり、コスト最小を与える視差値を整数視差値ｄとして得て、整数視差値ｄからサブピクセル視差を推定後、整数視差値ｄとサブピクセル視差を視差推定値Ｄとして得る。そして、距離Ｚと視差推定値Ｄの対応式（Z=Bf/D）により各画素に対応する距離を計算する（Ｂは基線長、ｆは焦点距離）。
【０００３】
このような視差空間コスト投票方式では、整数視差値ｄが小さい（距離Ｚが大きい）遠方領域は、距離分解能を確保することが難しく、また視差計算結果のばらつき（分散）が距離の分散に大きな影響を与えるという課題がある。また、ステレオカメラを使用する産業界（例えば車載業界投）では遠方での測距性能を向上させ、ステレオカメラの低コスト化、小型化、及び、環境ロバスト性能の向上を期待されている。
【０００４】
ステレオカメラの課題を補うために、空間分解能は低いが距離分解能が高いＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を利用する試みがある。ＬｉＤＡＲは、物体にレーザ光を照射して反射信号が戻ってくるまでの時間により物体までの距離を算出する測定方法である。連続的に受光される反射信号から物体に起因する部分を特定する方法の一例として反射信号のピークを検出する方法がある。空間分解能は高いが遠方の距離分解能が低いステレオカメラと空間分解能は低いが距離分解能が高いＬｉＤＡＲの測定結果を統合（これをフュージョンと呼ぶ場合がある）することで両者の利点を活かすことができる。
【０００５】
このＬｉＤＡＲにおいて測距精度を向上させる技術が知られている（例えば、特許文献１参照。）。特許文献１には、物体からのレーザ光の反射信号に意図的にアンダーシュートを発生させ、物体反射信号の立下りを急峻にすることで、ＬｉＤＡＲの測距精度を高める方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、小さい反射信号を検出することが困難であるという問題がある。例えば、遠方の物体からの反射信号は外光などのノイズに紛れてしまい、ノイズとの区別が付きにくいため、遠方の物体までの距離の精度が低下する傾向になる。
【０００７】
本発明は、上記課題に鑑み、物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、照射部が照射したレーザ光が物体で反射した反射信号を検出する検出装置であって、前記レーザ光の受光部が受光した前記反射信号を第一の閾値以上かどうかで二値化する第一の二値化部と、前記レーザ光の受光部が受光した前記反射信号を、背景光のノイズと同程度である第二の閾値以上かどうかで二値化する第二の二値化部と、前記照射部が前記レーザ光を照射してから、前記第一の閾値又は前記第二の閾値以上の反射信号が得られるまでの時間を測定する時間計測部と、を有することを特徴とする。
【発明の効果】
【０００９】
物体からの反射信号が小さい場合の距離の検出精度を向上させる検出装置等を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】測距装置の外観構成及び取り付け例を説明する図の一例である。
【図２】測距装置の全体的な構成図の一例を示す図である。
【図３】測距装置のハードウェア構成例を示す図である。
【図４】三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置から物体までの距離を測定する原理について説明する図である。
【図５】視差値と距離の対応をグラフ形式で示す図である。
【図６】ブロックマッチングによる整数視差の算出を説明する図の一例である。
【図７】照射されたレーザ光が物体で反射して受光されるまでの時間ｔの測定を模式的に示す図である。
【図８】レーザレーダ測距部の機能をブロック状に示す機能ブロック図の一例である。
【図９】ステレオ画像演算部の機能をブロック状に示す機能ブロック図の一例である。
【図１０】近傍と遠方での受信される信号強度の違いの一例を説明する図である。
【図１１】ステレオ画像演算部の機能を詳細に説明する機能ブロック図の一例である。
【図１２】第１合成コスト算出部の機能構成の詳細を示す図である。
【図１３】第１経路コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。
【図１４】範囲決定部による処理範囲の決定方法を説明するための図である。
【図１５】範囲決定部により決定された処理範囲を示す図である。
【図１６】第２コスト算出部の機能構成の詳細を示す図である。
【図１７】第２合成コスト算出部の機能構成の詳細を示す図である。
【図１８】基準画素領域ｐにおける第２合成コストＳ'の算出結果を示す図である。
【図１９】遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。
【図２０】一般的なＰＤ出力検出部の構成例を示す図である。
【図２１】アンダーシュート付加回路を有するＰＤ出力検出部の構成例を示す図である。
【図２２】アンダーシュート付加回路の別の構成例と出力信号を説明する図である。
【図２３】反射信号の処理系統の一例を説明する図である。
【図２４】閾値と反射信号のレベルの関係を説明する図である。
【図２５】ベース電圧に対して正側と負側のコンパレータで信号を検出することの有効性について説明する図である。
【図２６】アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したＰＤ出力検出部の構成例を示す図である。
【図２７】ヒストグラム作成部と時間決定部の処理の手順を示すフローチャート図の一例である。
【図２８】ヒストグラムの作成を模式的に説明する図である。
【図２９】ヒストグラムと処理範囲の関係の一例を示す図である。
【図３０】フィルタリング処理を説明する図の一例である。
【図３１】２つの処理系統を有するＰＤ出力検出部の構成例を示す図である。
【図３２】図３１のヒストグラム作成部が作成したヒストグラムの一例を示す図である。
【図３３】図３１の構成におけるＰＤ出力検出部の処理の手順を示すフローチャート図の一例である。
【図３４】隊列被写体の一例を示す図である。
【図３５】アンダーシュート処理された隊列被写体の反射信号の一例を示す図である。
【図３６】ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャート図の一例である。
【図３７】ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャート図の一例である。
【図３８】距離空間をベースにして視差を算出する方法を説明する図の一例である。
【図３９】距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。
【図４０】測距装置が搭載された車両の構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の一例として、測距装置と測距装置が行う時間測定方法について図面を参照しながら説明する。
【００１２】
＜用語について＞
アンダーシュートとは、何らかの検出対象の検出により検出前より大きくなった信号が検出前の値に戻る際に検出前の値よりも小さくなることをいう。検出前の値がゼロであればアンダーシュートによりマイナスの値になるが、ベース電圧を調整することでアンダーシュートしてもマイナスの値にならないようにすることができる。反転処理と称される場合もある。
【００１３】
ベース電圧は基準となる電圧であり通常はゼロであるが、反射信号に正又は負の電圧を印加することでベース電圧も正又は負になる。
【００１４】
測距装置は、後述するレーザレーダ測距部とステレオカメラ部を有することから測距システムと称してもよい。この他、距離測定装置、測距部などと呼ばれてもよい。
【００１５】
＜測距装置の外観構成及び取り付け例＞
まず、図１を用いて、測距装置の外観構成及び取り付け例について説明する。図１は、測距装置の外観構成及び取り付け例を説明する図の一例である。
【００１６】
測距装置１００は、ステレオカメラ部１１０と、レーザレーダ測距部１２０とを有する。ステレオカメラ部１１０は、右カメラ（第１の撮像装置）１１１と左カメラ（第２の撮像装置）１１２とを備え、レーザレーダ測距部１２０は、右カメラ１１２と左カメラ１１１との間に配置される。レーザレーダ測距部１２０とステレオカメラ部１１０との測定結果を統合（フュージョン）することで、周囲環境の３次元情報をより高精度に取得することが可能になる。
【００１７】
右カメラ１１２と左カメラ１１１は、所定のフレーム周期で同期を取りそれぞれが撮像を行い、撮像画像を生成する。
【００１８】
レーザレーダ測距部１２０は、レーザ光を照射しその反射光を受光することで、ＴＯＦ（Time Of Flight）方式で照射位置（照射方向にある物体）までの距離を測定する。
【００１９】
測距装置１００は、例えば、車両１４０のフロントウィンドウの内側の天井よりの中央部分に取り付けられる。このとき、ステレオカメラ部１１０及びレーザレーダ測距部１２０は、いずれも車両１４０の前方方向に向かって取り付けられる。つまり、車両１４０において、測距装置１００は、ステレオカメラ部１１０の光軸と、レーザレーダ測距部１２０のレーザ光の照射方向の中心とが、同じ方向になるように取り付けられる。
【００２０】
なお、図１の取り付け位置は一例に過ぎず、車両のダッシュボード、ルーフ、又は、バンパ内などに取り付けられてもよい。また、図１の取り付け位置は車両の前方の３次元情報を取得するためのものであり、車両の右側方、左側方、又は後方の３次元情報を取得できるように取り付けられてもよい。
【００２１】
＜測距装置のハードウェア構成＞
続いて、図２に基づき測距装置１００の全体的な構成例について説明する。図２は、測距装置１００の全体的な構成図の一例を示す図である。
【００２２】
測距装置１００は、レーザレーダ測距部１２０とステレオカメラ部１１０とが相互に必要な情報を送受信できるように構成される。ステレオカメラ部１１０は上記のように右カメラと左カメラに加え、基準画像と比較画像を処理して距離画像を出力するステレオカメラ部１１０を有している。
【００２３】
レーザレーダ測距部１２０は後述するようにステレオカメラ部１１０から処理範囲を取得して、処理範囲で物体を絞り込み、絞り込みで得た照射方向ごとの距離情報をステレオカメラ部１１０に出力する。ステレオカメラ部１１０は照射方向ごとの距離情報を使って詳細な距離画像を生成し、ＥＣＵ１９０（Electronic Control Unit：電子制御ユニット）に出力する。このように、レーザレーダ測距部１２０とステレオカメラ部１１０がフュージョンされることでより高精度な３次元情報の取得が可能になる。
【００２４】
図２では一例として、距離画像と基準画像がＥＣＵ１９０に送出されている。ＥＣＵ１９０は車両の電子制御ユニットである。なお、車載された測距装置１００を車載装置という。ＥＣＵ１９０は、測距装置１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。
【００２５】
運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。
【００２６】
また、ＥＣＵ１９０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ＥＣＵ１９０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。
【００２７】
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報したりすることで被害を軽減する。
【００２８】
図３は、測距装置１００のハードウェア構成例を示す図である。測距装置１００は、センサステイ２０１と制御基板収納部２０２とを有する。センサステイ２０１には、左カメラ１１１、右カメラ１１２及び光学処理部１２１が取り付けられている。左カメラ１１１と右カメラ１１２に挟まれるこれらの直線上に光学処理部１２１が配置されることで、測距装置１００の小型化及び低コスト化を実現している。左カメラ１１１と右カメラ１１２の間隔を基線長というが、基線長が長い方が視差を稼ぎやすい。測距装置１００を小型化するには基線長を短くする必要があり、基線長を短くしながら精度を損なわないことが求められる。
【００２９】
制御基板収納部２０２には、レーザ信号処理部２４０、ステレオ画像演算部２５０、メモリ２６０、及び、ＭＰＵ（Micro Processing Unit）２７０が収納されている。レーザ信号処理部２４０と光学処理部１２１とを別体とすることで、測距装置１００の設計の自由度が増しサイズを小さくすることができる。
【００３０】
これにより、本実施形態では、光学処理部１２１とレーザ信号処理部２４０を有するレーザレーダ測距部１２０を左カメラ１１１と右カメラ１１２との間へ配置されている。
【００３１】
なお、図３の例では、レーザ信号処理部２４０とステレオ画像演算部２５０とを、別の回路基板として構成しているが、レーザ信号処理部２４０とステレオ画像演算部２５０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。
【００３２】
続いて、センサステイ２０１側の各部について説明する。図３に示すように、左カメラ１１１は、カメラレンズ２１１と、撮像素子２１２と、センサ基板２１３とを備える。カメラレンズ２１１を介して入射された外部の光は、撮像素子２１２に受光され、所定のフレーム周期で光電変換される。光電変換されることで得た信号は、センサ基板２１３において処理され、１フレームごとの撮像画像が生成される。生成された撮像画像は、比較画像として、順次、ステレオ画像演算部２５０に送信される。
【００３３】
なお、右カメラ１１２も、左カメラ１１１と同様の構成を有しており、同期制御信号に基づいて左カメラ１１１と同期して撮像する。撮像画像は、基準画像として、順次、ステレオ画像演算部２５０に送信される。
【００３４】
光学処理部１２１は、光源駆動回路２３１と、レーザ光源２３２と、照射レンズ２３３とを備える。光源駆動回路２３１は、レーザ信号処理部２４０からの同期制御信号に基づいて動作し、レーザ光源２３２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２３２ではレーザ光を照射する。レーザ光源２３２より照射されたレーザ光は、照射レンズ２３３を介して外部に照射される。
【００３５】
なお、本実施形態では、レーザ光源２３２として、赤外半導体レーザダイオード（ＬＤ：Laser Diode）が用いられ、レーザ光として波長８００ｎｍ〜９５０ｎｍの近赤外光が照射されるものとする。また、レーザ光源２３２は、光源駆動回路２３１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に照射するものとする。更に、レーザ光源２３２は、数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に照射するものとする。ただし、レーザ光の波長やパルス幅をこれらに限定するものではない。
【００３６】
レーザ光源２３２から照射されたパルス状のレーザ光は、照射レンズ２３３を介して照射ビームとして外部に照射された後、レーザ光の照射方向にある物体に照射される。なお、レーザ光源２３２から照射されるレーザ光は、照射レンズ２３３によって略平行光にコリメートされているため、照射された物体（オブジェクト）における照射範囲は、予め設定された微小面積に抑えられる。
【００３７】
光学処理部１２１は、更に、受光レンズ２３４と、受光素子２３５（受光部の一例）と、受光信号増幅回路２３６とを備える。照射方向の物体に照射されたレーザ光は、一様な方向に散乱する。そして、光学処理部１２１から照射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として受光レンズ２３４を介して受光素子２３５に導かれる。
【００３８】
本実施形態では、受光素子２３５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられる。受光素子２３５は、反射光を光電変換することで反射信号を生成し、受光信号増幅回路２３６は、生成された反射信号を増幅した後、レーザ信号処理部２４０に送信する。
【００３９】
続いて、制御基板収納部２０２側の各部について説明する。レーザ信号処理部２４０は、光学処理部１２１より送信された反射信号に基づいて、照射方向の物体までの距離を算出し、算出した距離情報をステレオ画像演算部２５０に送信する。
【００４０】
ステレオ画像演算部２５０は、例えば、ＦＰＧＡ（Field−Programmable gate array）や、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路により構成される。ステレオ画像演算部２５０は、左カメラ１１１、右カメラ１１２及びレーザ信号処理部２４０に対して、撮像タイミング及びレーザ光の投受光タイミングを制御するための同期制御信号を出力する。
【００４１】
また、ステレオ画像演算部２５０は、左カメラ１１１より送信された比較画像、右カメラ１１２より送信された基準画像、レーザ信号処理部２４０より送信された距離情報に基づいて、視差画像を生成する。ステレオ画像演算部２５０は、生成した視差画像をメモリ２６０に格納する。
【００４２】
メモリ２６０は、ステレオ画像演算部２５０にて生成された視差画像を格納する。また、メモリ２６０は、ステレオ画像演算部２５０及びＭＰＵ２７０が各種処理を実行する際のワークエリアを提供する。
【００４３】
ＭＰＵ２７０は、制御基板収納部２０２に収納された各部を制御すると共に、メモリ２６０に格納された視差画像を解析する解析処理を行う。
【００４４】
＜ステレオカメラによる測距原理＞
図４を用いて、ステレオカメラによる測距原理について説明する。図４は、三角測量により比較画像と基準画像から物体に対する視差値を導き出し、視差値によって測距装置１００から物体までの距離を測定する原理について説明する図である。
【００４５】
まず、右カメラ１１２，左カメラ１１１が平行等位に設置されているものとする。３次元空間内の物体Ｅ上のＳ点は、右カメラ１１２，左カメラ１１１の同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）及び基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）において撮像される。このとき、視差値ｄ（ここでは整数視差値）は、Ｓａ（ｘ，ｙ）とＳｂ（ｘ'，ｙ）とを用いて、式（１）のように表される。
ｄ＝ｘ'−ｘ  式（１）
図４に示すように、比較画像Ｉａ中の点Ｓａ（ｘ，ｙ）と右カメラ１１２から撮像面上におろした垂線の交点との距離をΔａにし、基準画像Ｉｂ中の点Ｓｂ（ｘ'，ｙ）と左カメラ１１１から撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄ＝Δａ＋Δｂとなる。
【００４６】
また、視差値ｄを用いることで、右カメラ１１２、左カメラ１１１と物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、カメラレンズ２１１の焦点位置とカメラレンズ２２１の焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。カメラレンズ２１１及びカメラレンズ２２１の焦点距離ｆ、カメラレンズ２１１及びカメラレンズ２２１の間の長さである基線長Ｂ、及び視差値ｄを用いて、式（２）により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／ｄ    式（２）
この式（２）により、視差値ｄが大きいほど距離Ｚは小さく、視差値ｄが小さいほど距離Ｚは大きくなる。式（２）から明らかなように、カメラが小さくなるほど（基線長Ｂが小さくなるほど）、１整数視差に対応する距離が大きくなる。
【００４７】
図５は、視差値と距離の対応をグラフ形式で示す図である。図５では、基線長Ｂ＝８０mm、焦点距離ｆ＝５mm、撮像素子２１２、２２２のセルサイズ（画素ピッチ）＝３umとした。図５から明らかなように、視差値ｄが小さくなると１整数視差の変化で距離が急激に大きくなる。このことは、遠方になるほど（視差値ｄが小さくなるほど）距離分解が急激に悪化することを意味する。
【００４８】
＜＜ブロックマッチングによる整数視差の演算＞＞
続いて、図６を用いて視差値の算出方法を説明する。図６はブロックマッチングによる整数視差の算出を説明する図の一例である。図６は、右カメラ１１２により撮像された比較画像Ｉａと左カメラ１１１により撮像された基準画像Ｉｂにおける、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。
【００４９】
基準画像Ｉｂと比較画像Ｉａは撮像位置が異なるため、撮像画像上の同じ位置の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じ物体を指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを１×１画素とし、基準画像Ｉｂ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、比較画像Ｉａ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。
【００５０】
次に、比較画像Ｉａ上の注目している画素ｐを１画素分、右方向にシフトさせる。つまり、視差値ｄ＝１としたときのＳＡＤを算出する。具体的には、比較画像Ｉａ上の注目している画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、基準画像Ｉｂ上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値を算出する。
【００５１】
以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図６の例では、ｄ＝３の場合に、基準画像Ｉｂの注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示す物体と比較画像Ｉａの注目している画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示す物体とが同じとなるものとする。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。算出されたＳＡＤはコストと呼ばれ、ある決まった探索幅（例えば６４画素）においてｄ＝１，２、３、・・・と変化させたコストのうち最小のコストを示す視差が求める視差値（整数視差）となる。この後、パラボラフィッティングや高次多項式などにより小数視差が求められる。
【００５２】
＜レーザ信号処理部による時間計測＞
次に、図７を用いてレーザ信号処理部２４０による時間計測の原理を説明する。図７は照射されたレーザ光が物体で反射して受光されるまでの時間ｔの測定を模式的に示す図である。図７（ａ）はアナログ信号を模式的に示し、図７（ｂ）はデジタル信号を模式的に示す。図７（ａ）に示すように、ある時刻にパルス状のレーザ光が照射され、時間ｔだけ後にパルス状の反射光が受光される。したがって、時刻ｔに空気中の光の速度を乗じることで照射方向の物体までの距離を算出することができる。
【００５３】
図７（ｂ）は同様の原理を２値化された照射光と反射光で示している。レーザレーダ測距部１２０は反射光以外のノイズを受光するため、図７（ａ）のように反射光のみが明確に得られることは少ない。そこで、レーザレーダ測距部１２０が受光する信号と閾値とを比較し、閾値を超えた信号を反射信号として検出する処理を行うことが一般的である。レーザ信号処理部２４０は閾値により受光する信号を２値化するので、図７（ｂ）に示すように０又は１の信号が得られる。
【００５４】
＜レーザ信号処理部の構成例＞
次に、図８を用いてレーザレーダ測距部１２０の構成例を説明する。図８はレーザレーダ測距部１２０の機能をブロック状に示す機能ブロック図の一例である。
【００５５】
測距装置１００は、一例として、移動体である車両に搭載され、レーザ光を照射し、物体（例えば先行車両、停車車両、障害物、歩行者等）で反射（散乱）された光を受光して該物体の有無や、該物体までの距離等の物体に関する情報を検出する。レーザレーダ測距部１２０は、例えば車両のバッテリ（蓄電池）から電力の供給を受ける。
【００５６】
レーザレーダ測距部１２０は、照射系１０、受光光学系３０、検出系４０、時間計測部４５、同期系５０、測定制御部４６などを備えている。照射系１０（照射部の一例）は、光源としてのＬＤ（レーザダイオード）、ＬＤ駆動部１２、照射光学系２０を含む。本実施例では、光源としてＬＤ１１を用いているが、これに限られない。例えば、ＶＣＳＥＬ（面発光レーザ）、有機ＥＬ素子、ＬＥＤ（発光ダイオード）等の他の発光素子を用いてもよい。
【００５７】
ＬＤ１１はＬＤ駆動部１２により駆動され、レーザ光源２３２に対応し周期的にパルス状のレーザ光を照射する。ＬＤ駆動部１２は、測定制御部４６から出力されるＬＤ駆動信号（矩形パルス信号）を用いてＬＤ１１を点灯（発光）させる。ＬＤ駆動部１２は、一例として、ＬＤ１１に電流を供給可能に接続されたコンデンサ、該コンデンサとＬＤ１１との間の導通／非導通を切り替えるためのトランジスタ、該コンデンサを充電可能な充電手段等を含む。
【００５８】
本実施例では例えば、反射ミラーを回転させて光ビームを走査する。同期系５０は、この操作方法を利用して、ＬＤ１１からの光ビームを、ある所定の角度のときの反射ミラーで反射した光ビームの光路上に配置された同期検知用ＰＤ５４と、該同期検知用ＰＤ５４の出力電流（光電流）に基づく電圧信号（受光信号）を検出するＰＤ出力検出部５６と、を含む。同期検知用ＰＤの信号によって、反射ミラーの角度を検出でき、システムの走査方向の同期を取ることができる。つまり、同期信号が得られた時の反射ミラーの角度を基準に各レーザ光の照射方向を決定している。
【００５９】
検出系４０は、照射レンズ２３３に相当する照射光学系２０から照射され、物体で反射及び散乱された光を、受光レンズ２３４に相当する受光光学系３０を介して受光する時間計測用ＰＤ４２（フォトダイオード）と、該時間計測用ＰＤ４２の出力電流（光電流）に基づく電圧信号（受光信号）を検出するＰＤ出力検出部４４と、を含む。受光素子としては、ＰＤ（ｐｈｏｔｏｄｉｏｄｅ）やＡＰＤ（ａｖａｌａｎｃｈｅ  ｐｈｏｔｏｄｉｏｄｅ）、ガイガーモードＡＰＤであるＳＰＡＤ（ｓｉｎｇｌｅ  ｐｈｏｔｏｎ  ａｖａｌａｎｃｈｅ  ｄｉｏｄｅ）などを用いても良い。
【００６０】
時間計測用ＰＤ４２は受光素子２３５等に相当し、物体で反射した反射光や背景光などを受光する。ＰＤ出力検出部４４は（検出装置の一例）、時間計測用ＰＤ４２からのアナログ信号（出力電圧）を、必要に応じて増幅し、閾値電圧を基準に二値化し、その二値化信号（デジタル信号）を時間計測部４５に出力する。なお、二値化とは反射信号を閾値と比較して１又は０の信号に変換することをいう。ＰＤ出力検出部４４は本実施形態の特徴的な構成を有するものであり、後に詳細に説明される。
【００６１】
時間計測部４５は、該二値化信号から、該受光タイミングとＬＤ駆動信号の立ち上がりタイミングに基づいて該物体までの往復時間を計測し、時間計測結果として測定制御部４６に出力する。すなわち、時間計測部４５はレーザ光を照射してから反射信号のピークを検出するまでの時間を物体までの距離情報に変換する。
【００６２】
測定制御部４６は、車載装置からの測定制御信号（測定開始信号や測定停止信号）を受けて測定開始や測定停止を行う。同期信号に基づいてＬＤ駆動信号を生成し、ＬＤ駆動部１２及び時間計測部４５に出力する。また、時間計測部４５からの時間計測結果を距離に変換することで物体までの往復距離を算出し、該往復距離の１／２を物体までの距離情報としてステレオ画像演算部２５０に出力する。
【００６３】
＜ステレオ画像演算部の機能について＞
図９は、ステレオ画像演算部２５０の機能をブロック状に示す機能ブロック図の一例である。図９に示すように、ステレオ画像演算部２５０は、歪み補正部１３、及び、距離演算部１４を有する。右カメラ１１２及び左カメラ１１１によりステレオカメラが形成されている。なお、本実施形態において、右カメラ１１２により撮像される撮像画像を基準画像として用い、左カメラ１１１により撮像される撮像画像を比較画像として用いる。
【００６４】
歪み補正部１３、及び、距離演算部１４は専用の電子回路を用いて実現してもよいし、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。したがって、ステレオ画像演算部２５０は情報処理装置の機能を有する。また、画像を処理するという点から画像処理装置でもある。
【００６５】
歪み補正部１３は、基準画像と比較画像に一般的な歪み補正を行う。この画像補正により、基準画像と比較画像は視差以外の差異が生じないように補正される。画像補正は事前のキャリブレーションにより可能になる。左カメラ１１１と右カメラ１１２は設置される際に、例えば、校正用の被写体（例えば市松模様のチャート）を撮像する。２つの画像を比較して、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）が生成されている。歪み補正部１３はこのようなＬＵＴを参照して画像補正を行う。
【００６６】
距離演算部１４は基準画像と比較画像にブロックマッチングやＳＧＭ伝播方式などのアルゴリズムを適用して視差を算出する。また、詳細は後述するが距離演算部１４は、距離画像を出力する際に、レーザレーダ測距部１２０が出力する距離情報から算出した画素ごとのコストとステレオマッチングコストとを重み付けして最終的なコストを算出する。なお、マッチングコストはブロックマッチングにおけるマッチングの度合いである。マッチングコストはマッチング評価値とも言う。
【００６７】
なお、図９の構成は一例にすぎず、レーザレーダ測距部１２０とステレオ画像演算部２５０が一体に構成されていてもよい。また、ＥＣＵ１９０がステレオ画像演算部２５０の機能を有していてもよい。
【００６８】
＜ＴＯＦ方式の測距方法の課題＞
レーザを照射したときから、この反射光を受光した時点までの時間によって、距離が計測される。しかし、時間計測用ＰＤ４２が受信する反射信号の強さは、距離の２乗に反比例して小さくなることが知られている。例えば、物体までの距離が２倍になると（例えば１０〔m〕の場合と２０〔m〕の場合）では、信号強度は１/４になってしまう。したがって、物体までの距離が遠方になるほど急激に信号強度が低下する。なお、送信波を強くする、光利用効率を上げる、受光素子の面積を大きくするなどの方法があるが、送信波を大きくした場合、近距離部で信号が強すぎてサチュレーションを起こし、ピークがわからなくなって誤差が発生する可能性があるし、コストもかかる。光利用効率を大きくするとモジュールが大きくなる、受光素子を向上するにも劇的な向上は見込めない、などの不都合がある。
【００６９】
図１０は、近傍と遠方での受信される信号強度の違いの一例を説明する図である。図１０（ａ）は、近傍の物体からの反射信号を示す。物体までの距離を示す反射信号はピークを示す部分８１であり、それ以外はノイズである。図１０（ａ）に示すように、近傍の物体の信号強度は強くノイズと区別して検出可能である。反射信号を検出した時点までの時間によって距離が算出される。どのようにして物体までの距離を示す反射信号を決定するかについては、種々の方法がある。たとえば、最大ピーク位置を検出する、又は、閾値以上の位置を複数検出する（マルチ検出）などの方法がある。
【００７０】
図１０（ｂ）は遠方の物体からの反射信号を示す。遠方の物体は信号強度が弱く、反射信号８３がノイズ８２の強さとほとんど変わらない。このような状況では、最大ピーク位置を検出する方法、又は、閾値以上の信号強度を検出する方法のいずれの手法を使っても、反射信号の検出が難しい。
【００７１】
一般的には、近い距離から順に閾値以上の信号を物体までの距離を示す反射信号とみなしたり、ピーク位置を検出したりする方法が用いられる。しかし、図１０（ｂ）の例では、実質的な反射信号８３の強さは、その前に検出されているノイズ８２と同様のレベルであり、全体的に見て反射信号８３をレーザレーダ測距部１２０が検出することは困難である。レーザレーダ測距部１２０は原理的にこの様な課題を抱えている。そこで、ステレオ画像演算部２５０は処理範囲を算出して、レーザレーダ測距部１２０が遠方の物体からの微弱な反射信号の検出を支援する。
【００７２】
＜ステレオ画像演算部の機能＞
図１１は、ステレオ画像演算部２５０の機能を詳細に説明する機能ブロック図の一例である。なお、図１１では、ステレオ画像演算部２５０の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成（例えば、同期制御信号を送信するための機能等）については省略してある。
【００７３】
ステレオ画像演算部２５０は、処理範囲算出部７１０と視差画像生成部７２０とを有する。処理範囲算出部７１０は、更に、第１コスト算出部７１１、第１合成コスト算出部７１２、第１視差演算部７１３、範囲決定部７１４を有する。
【００７４】
また、視差画像生成部７２０は、更に、第２コスト算出部７２１、第２合成コスト算出部７２２、第２視差演算部７２３を有する。以下、処理範囲算出部７１０及び視差画像生成部７２０の各部の詳細について説明する。
【００７５】
＜＜処理範囲算出部の各部の詳細＞＞
はじめに、処理範囲算出部７１０の各部の詳細について説明する。まず、第１コスト算出部７１１は、すでに図６で説明したようにブロックマッチングによりコストを算出する。このコストを第１コストという。
【００７６】
第１合成コスト算出部７１２は、第１コスト算出部７１１より通知された各画素領域のコストＣ（ｐ，ｄ）を合成することで第１合成コストＳを算出し、合成結果を得る。第１合成コスト算出部７１２は、例えば、ＳＧＭ（Semi−Global Matching）等の処理方法を用いて、複数の第１経路コストＬｒを算出し、それぞれの第１経路コストＬｒを、基準画素領域ｐに集約させることで、第１合成コストＳを算出する。
【００７７】
図１２は、第１合成コスト算出部の機能構成の詳細を示す図である。図１２に示すように、第１合成コスト算出部７１２は、第１経路コスト計算部１００１と、第１合成コストＳ計算部１００２とを有する。第１経路コスト計算部１００１は、第１コスト算出部７１１よりコストＣ（ｐ，ｄ）を取得すると、下式（３）に基づいて、第１経路コストＬｒ（ｐ，ｄ）を算出する。
【００７８】
【数１】
2020153797.tif 000003
ここで、上式（３）は、ＳＧＭを用いた経路コストＬｒの一般的な式である。また、上式（３）においてＰ１、Ｐ２は固定のパラメータである。
【００７９】
上式（３）のもと、第１経路コスト計算部１００１では、基準画素領域ｐのコストＣ（ｐ，ｄ）に、図１３に示されているｒ方向の各画素領域における第１経路コストＬｒの最小値を加算することで、第１経路コストＬｒ（ｐ，ｄ）を求める。なお、図１３は、第１経路コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。
【００８０】
図１３に示すように、第１経路コスト計算部１００１では、基準画素領域ｐのｒ方向（例えば、ｒ１３５方向）の一番端の画素領域において第１経路コストＬｒ（例えば、Ｌｒ１３５（ｐ−２ｒ，ｄ））を求める。続いて、第１経路コスト計算部１００１では、ｒ方向に沿って第１経路コストＬｒ（Ｌｒ１３５（ｐ−ｒ，ｄ））を求める。本実施形態において、第１経路コスト計算部１００１は、これらの処理を繰り返すことで得られる第１経路コストＬｒ（例えば、Ｌｒ１３５（ｐ，ｄ））を、８方向について算出し、第１経路コストＬｒ０（ｐ，ｄ）〜Ｌｒ３１５（ｐ，ｄ）を得る。
【００８１】
第１合成コストＳ計算部１００２は、第１経路コスト計算部１００１において求めた８方向の第１経路コストＬｒ０（ｐ，ｄ）〜Ｌｒ３１５（ｐ，ｄ）に基づいて、下式（４）により第１合成コストＳ（ｐ，ｄ）を算出する。
【００８２】
【数２】
2020153797.tif 000004
第１合成コストＳ計算部１００２は、算出した第１合成コストＳ（ｐ，ｄ）を、第１視差演算部７１３に通知する。
【００８３】
第１視差演算部７１３は、第１合成コスト算出部７１２により算出された第１合成コストＳ（ｐ，ｄ）に基づいて、基準画素領域ｐに対応する比較画像Ｉａ内の対応画素領域
を抽出し、基準画素領域ｐの視差を演算する。なお、第１コスト算出部７１１及び第１合成コスト算出部７１２は、基準画像Ｉｂ内の他の基準画素領域についても同様の処理を行う。そして、第１視差演算部７１３では、各基準画素領域について、それぞれの視差（第１視差）を演算し、演算結果を範囲決定部７１４に通知する。
【００８４】
範囲決定部７１４は、第１視差演算部７１３より通知された視差（第１視差）の演算結果のうち、基準画素領域ｐ及びその周辺の画素領域の視差を抽出し、処理範囲を決定する。図１４を参照しながら、具体的に説明する。
【００８５】
図１４は、範囲決定部による処理範囲の決定方法を説明するための図であり、基準画像Ｉｂのうち、レーザレーダ測距部１２０によりレーザ光が照射された照射位置（点５３０）及びその周辺の画素領域を示している。
【００８６】
図１４に示すように、基準画像Ｉｂのうち、点５３０の座標（ｘｌ，ｙｌ）により特定される位置に対応する実空間の物体にレーザ光が照射されたとする。なお、座標（ｘｌ，ｙｌ）は、基準画素領域ｐの座標（ｘ，ｙ）と一致していてもよいし、多少ずれていてもよい。
【００８７】
このような場合、範囲決定部７１４では、照射位置（ｘｌ，ｙｌ）を中心として、横方向に±（１／２）ａ画素分、縦方向に±（１／２）ｂ画素分の画素領域を抽出する。
【００８８】
範囲決定部７１４は、更に、第１視差演算部７１３において演算されたそれぞれの視差のうち、抽出した画素領域について演算された視差を抽出する。なお、図１４の例は、紙面の都合上、範囲決定部７１４が抽出した画素領域について演算された視差のうち、左上の画素領域、右上の画素領域、左下の画素領域、右下の画素領域についてそれぞれ演算された視差のみを示している。
【００８９】
範囲決定部７１４は、更に、抽出した視差の中から、演算頻度が最大の視差を抽出する。そして、範囲決定部７１４は、演算頻度が最大の視差±１画素に相当する距離を、レーザ信号処理部２４０がレーザ受光信号を処理する際の処理範囲として決定する。
【００９０】
具体的には、範囲決定部７１４は、抽出した視差のうち、演算頻度が最大の視差＋１画素に相当する最小距離から、演算頻度が最大の視差−１画素に相当する最大距離までの範囲を、レーザ受光信号を処理する際の処理範囲に決定する。なお、視差から距離への変換には式（２）を使用する。
【００９１】
更に、範囲決定部７１４は、決定した処理範囲をレーザ信号処理部２４０に通知する。これにより、レーザ信号処理部２４０は、レーザ受光信号のうち、通知された処理範囲を対象として、物体での反射を示す信号を検出し、例えば、点５３０の距離情報を算出する。なお、レーザ信号処理部２４０は、通知された処理範囲を規定する最小距離と最大距離とをそれぞれ光速で除算することで時間範囲に変換した処理範囲を対象として、物体での反射を示す信号を検出する。
【００９２】
図１５は、範囲決定部７１４により決定された処理範囲を示す図である。図１５において、横軸は、レーザ光を照射してから受光するまでの応答時間を表し、縦軸は、レーザ受光信号の信号強度を表している。図１５において、処理範囲１３１０、１３２０は、範囲決定部７１４により決定された処理範囲（時間範囲に変換した処理範囲）である。
【００９３】
図１５（ａ）は、レーザ光が照射される物体までの距離Ｌが短い場合のレーザ受光信号の一例を示している。図１５（ａ）に示すように、レーザ光が照射される物体までの距離Ｌが短い場合、処理範囲１３１０において、物体での反射を示す反射信号の信号強度（６１１）と、物体以外での反射を示す信号の信号強度（１３１２）との差は更に大きくなる。このため、物体での反射を示す反射信号の検出が更に容易になる。
【００９４】
また、図１５（ｂ）は、レーザ光が照射される物体までの距離Ｌが長い場合のレーザ受光信号の一例を示している。図１５（ｂ）に示すように、レーザ光が照射される物体までの距離Ｌが長い場合であっても（例えば、点５３０についても）、処理範囲１３２０によれば、信号強度（６２１）と信号強度（１３２２）との差を大きくすることができる。つまり、物体での反射を示す反射信号の信号強度と、物体以外での反射を示す反射信号の信号強度との差を大きくすることができる。このため、物体での反射を示す反射信号を容易に検出することが可能となり、物体以外での反射を示す反射信号を、物体での反射を示す反射信号と誤検出してしまう可能性を低減させることができる。
【００９５】
なお、上記説明では、範囲決定部７１４が抽出した視差のうち、演算頻度が最大の視差±１画素に相当する距離を処理範囲に決定する場合について説明したが、処理範囲の決定方法はこれに限定されない。例えば、範囲決定部７１４は、下式（５）に基づいて算出される視差に相当する処理範囲を決定するようにしてもよい。
【００９６】
【数３】
2020153797.tif 000005
式（５）において、ｄｍｏｄｅは、基準画素領域ｐ及びその周辺の画素領域について演算された視差のうち、演算頻度が最大の視差である。ｗは、演算頻度が最大の視差から、標準偏差に対して、どれくらいの幅をもたせるかを示す係数である。ｎ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差の数を表している。ｄ'は、基準画素領域ｐ及びその周辺の画素領域について演算された整数の視差のうち、演算頻度が最大の視差に対して、±１画素以内に入っている視差を表している。
【００９７】
式（５）によれば、視差のばらつきが大きい場合に、処理範囲を広くし、視差のばらつきが小さい場合に、処理範囲を狭くすることができる。
【００９８】
＜＜視差画像生成部の各部の詳細＞＞
続いて、視差画像生成部７２０の各部の詳細について説明する。
【００９９】
図１６は、第２コスト算出部の機能構成の詳細を示す図である。第２コスト算出部７２１は、基準画像取得部１４０１、比較画像取得部１４０２、コストＣ計算部１４０３、コストＣ調整部１４０４を有する。また、第２コスト算出部７２１は、距離情報取得部１４１１、コストＣｌ計算部１４１２、重み付け加算部１４２０を有する。
【０１００】
基準画像取得部１４０１は、右カメラ１１２から基準画像Ｉｂを取得する。また、取得した基準画像Ｉｂから、基準画素領域ｐを抽出する。比較画像取得部１４０２は、左カメラ１１１から比較画像Ｉａを取得する。
【０１０１】
コストＣ計算部１４０３は、基準画素領域ｐのコストＣ（ｐ，ｄ）を算出する。なお、コストＣ（ｐ，ｄ）の算出方法は、図６を用いて説明済みである。
【０１０２】
コストＣ調整部１４０４は、コストＣ計算部１４０３により算出された基準画素領域ｐのコストＣ（ｐ，ｄ）を、信頼度に基づいて調整する。コストＣ調整部１４０４は、下式（６）を用いて調整することで、調整後のコストＣ'（ｐ，ｄ）を得る。
【０１０３】
【数４】
2020153797.tif 000006
ここで、Ｄは、シフト量（視差）の最大値を表している。ｋはシフト量のカウント値を表している。また、Ｑ（ｐ）は、基準画素領域ｐのコストＣ（ｐ，ｄ）の信頼度を示している。信頼度Ｑ（ｐ）は、例えば、下式（７）を用いて算出される。
【０１０４】
【数５】
2020153797.tif 000007
ここで、Ｃｍｉｎ１、Ｃｍｉｎ２は、所定範囲（０〜Ｄ）でシフト量ｄを変化させることで算出されたそれぞれのコストＣ（ｐ，ｄ）のうち、最も低いコストと２番目に低いコストを表している。なお、上式（５）に基づいて算出される信頼度Ｑ（ｐ）は、Ｃｍｉｎ１、Ｃｍｉｎ２に基づいて算出した値を、０〜１．０未満に正規化し、信頼度が高いほど１．０に近づくよう補正したうえで、上式（６）に用いられるものとする。
【０１０５】
コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）は、例えば、テクスチャが少ない領域（隣り合う画素領域間の画素値の変化が少ない領域）に基準画素領域ｐがあり、信頼度Ｑ（ｐ）が低い場合には、より大きな値となる。
【０１０６】
距離情報取得部１４１１は、レーザ信号処理部２４０より距離情報を取得する。レーザ信号処理部２４０より取得する距離情報は、処理範囲を限定したことで誤検出の可能性が低減された距離情報である。ここでは、レーザ信号処理部２４０より取得した距離情報を、Ｚｌとおく。距離情報取得部１４１１は、取得した距離情報ＺｌをコストＣｌ計算部１４１２に通知する。
【０１０７】
コストＣｌ計算部１４１２は、距離情報取得部１４１１より通知された距離情報Ｚｌに基づいて、コストＣｌを算出する。コストＣｌとは、取得した距離情報Ｚｌに基づいて導出される位置にある比較画像Ｉａ内の画素領域と、基準画素領域ｐとの非類似度を示すパラメータである。
【０１０８】
具体的には、コストＣｌ計算部１４１２では、まず、距離情報Ｚｌに基づいて、下式（８）を用いてシフト量ｄｌを算出する。これにより、距離情報Ｚｌに基づいて導出される位置にある比較画像Ｉａ内の画素領域が抽出される。
【０１０９】
【数６】
2020153797.tif 000008
上式（８）において、Ｂは、カメラレンズ２１１とカメラレンズ２２１との間の基線長である。ｆは、カメラレンズ２１１、カメラレンズ２２１の焦点距離である。
【０１１０】
コストＣｌ計算部１４１２は、続いて、シフト量ｄｌにおけるコストＣｌ（ｐ，ｄｌ）を算出する。上記したコストＣ（ｐ，ｄ）の算出と同様に、コストＣｌ計算部１４１２では、シフト量ｄｌの位置における画素領域５１１の画素値と基準画素領域ｐの画素値との非類似度として、コストＣｌ（ｐ，ｄｌ）を算出する。
【０１１１】
重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２において算出されたコストＣｌ（ｐ，ｄｌ）とを用いて、下式（９）に基づいて重み付け加算し、重み付けコストを算出する。
【０１１２】
【数７】
2020153797.tif 000009
ここで、ｗｄは、コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）のいずれを優先するかを示す重み係数である。コストＣ調整部１４０４により調整された調整後のコストＣ'（ｐ，ｄ）を優先させる場合には、ｗｄの値を大きくする。一方、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）を優先させる場合には、ｗｄの値を小さくする。
【０１１３】
具体的には、シフト量ｄ≠ｄｌの場合、ｗｄの値を大きくする。これにより、比較画像Ｉａ内の画素領域５１１のうち、シフト量ｄ≠ｄｌの画素領域の重み付けコストをより大きくすることができる。なお、調整後のコストＣ'（ｐ，ｄ）は、例えば、テクスチャが少ない領域等においてより大きな値となっており、ｗｄの値を大きくして調整後のコストＣ'（ｐ，ｄ）を優先させることで、シフト量ｄ≠ｄｌの画素領域の重み付けコストはより大きな値となる。
【０１１４】
一方、シフト量ｄ＝ｄｌの場合、ｗｄの値を小さくする。これにより、比較画像Ｉａ内の画素領域５１１のうち、シフト量ｄ＝ｄｌの画素領域の重み付けコストをより小さくすることができる。なお、コストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）は、コストＣ調整部１４０４により算出された調整後のコストＣ'（ｐ，ｄ）よりも小さい値となっている。このため、ｗｄの値を小さくしてコストＣｌ計算部１４１２により算出されたコストＣｌ（ｐ，ｄｌ）を優先させることで、シフト量ｄ＝ｄｌの画素領域の重み付けコストはより小さな値となる。
【０１１５】
つまり、上式（９）によれば、シフト量ｄ＝ｄｌの画素領域とそれ以外の画素領域との間のコストの差を、重み付けコストとして、より顕在化させることができる。
【０１１６】
この結果、第２合成コスト算出部７２２により算出される第２合成コストＳ'から対応画素領域を抽出する際に、比較画像Ｉａ内のｄ＝ｄｌの画素領域が抽出しやすくなる。つまり、基準画素領域ｐに対応する対応画素領域の位置５１２を精度よく抽出することが可能となる。
【０１１７】
なお、上式（９）において、ｗｄの値は、固定値であってもよいし、距離情報Ｚｌの値に応じて変更してもよい。あるいは、周囲環境に応じて（例えば、日中か夜間かに応じて）変更するように構成してもよい。
【０１１８】
重み付け加算部１４２０は、上式（９）に基づいて算出した重み付けコストを、第２合成コスト算出部７２２に通知する。
【０１１９】
図１７は、第２合成コスト算出部の機能構成の詳細を示す図である。図１７に示すように、第２合成コスト算出部７２２は、第２経路コスト計算部１５０１と、第２合成コストＳ'計算部１５０２とを有する。
【０１２０】
第２合成コスト算出部７２２は、第２コスト算出部７２１より通知された各画素領域の重み付けコストを合成することで第２合成コストＳ'を算出し、合成結果を得る。第２合成コスト算出部７２２は、例えば、ＳＧＭ（Semi−Global Matching）等の処理方法を用いて、複数の第２経路コストＬｒ'を算出し、それぞれの第２経路コストＬｒ'を、基準画素領域ｐに集約させることで、第２合成コストＳ'を算出する。
【０１２１】
第２合成コスト算出部７２２は重み付けコストを取得すると、下式（１０）に基づいて、第２経路コストＬｒ'（ｐ，ｄ）を算出する。
【０１２２】
【数８】
2020153797.tif 000010
ここで、式（１０）は、ＳＧＭを用いた経路コストの一般的な式において、コストＣ（ｐ，ｄ）を、重み付けコストに置き換えたものである。また、上式（１０）においてＰ１、Ｐ２は固定のパラメータである。
【０１２３】
式（１０）によれば、第２合成コスト算出部７２２は、基準画素領域ｐの重み付けコストに、ｒ方向の各画素領域における第２経路コストＬｒ'の最小値を加算することで、ｒ方向の第２経路コストＬｒ'（ｐ，ｄ）を求める。なお、第２合成コスト算出部７２２は、ｒ０〜ｒ３１５方向それぞれについて、第２経路コストを算出することで、第２経路コストＬｒ０'（ｐ，ｄ）〜Ｌｒ３１５'（ｐ，ｄ）を得る。
【０１２４】
第２合成コスト算出部７２２は、８方向の第２経路コストＬｒ０'（ｐ，ｄ）〜Ｌｒ３１５'（ｐ，ｄ）に基づいて、下式（１１）により第２合成コストＳ'（ｐ，ｄ）を算出する。
【０１２５】
【数９】
2020153797.tif 000011
第２視差演算部７２３は、第２合成コスト算出部７２２により算出された第２合成コストＳ'に基づいて、基準画素領域ｐに対応する比較画像Ｉａ内の対応画素領域を抽出し、基準画素領域ｐの視差を再演算する。
【０１２６】
図１８は、基準画素領域ｐにおける第２合成コストＳ'の算出結果を示す図である。第２視差演算部７２３は、所定範囲（０〜Ｄ）において、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量ｄｍｉｎを算出することで、比較画像Ｉａより対応画素領域を抽出する。これにより、第２視差演算部７２３では、抽出した対応画素領域と基準画素領域との視差（第２視差）として、シフト量ｄｍｉｎを取得できる。
【０１２７】
なお、第２視差演算部７２３は、基準画像Ｉｂ内の他の基準画素領域についても同様の処理を行い視差（第２視差）の再演算結果を取得することで、視差画像を生成し、生成した視差画像をメモリ２６０に格納する。
【０１２８】
＜反射信号が極めて微弱な場合に備えたアンダーシュート処理＞
処理範囲から反射信号を検出することで、レーザ信号処理部２４０は受光信号における反射信号の検出精度を上げることができる。しかし、そもそも反射信号が極めて弱い場合には処理範囲から反射信号を検出することが困難になる。図１９を用いて説明する。
【０１２９】
図１９は、遠方が撮像された画像データとこのような遠方の物体からの反射信号の一例を示す図である。図１９（ａ）は例えば右カメラ１１２が撮像した基準画像の全体であり、図１９（ｂ）は図１９（ａ）の一部を拡大した画像である。図１９（ａ）では１４３〔m〕先にレーザ光の反射率が低い物体（黒い幕）が置かれており、図１９（ｂ）はレーザ光の反射率が低い物体（黒い幕）を示す。
【０１３０】
また、図１９（ｃ）はレーザ光の反射率が低い物体（黒い幕）を照射方向とするレーザ光の反射信号である。レーザ光の反射率が低い物体（黒い幕）は１４３〔ｍ〕先にあるため、往復の時間を考慮すると照射してから約１×１０−6秒に反射信号のピークが現れる。図１９（ｃ）では丸７０１で囲んだ部分がレーザ光の反射率が低い物体からの反射信号を示す。
【０１３１】
図１９（ｃ）に示すように、この反射信号は周囲のノイズに紛れているため、予めピークがどこにあるかを知っていなければ人間が見た場合でも判断が付かないほど小さい信号強度になっている。
【０１３２】
距離による減衰に加えて、進行方向の前方から太陽光が差し込む逆光の状況では（車載用途では容易に起こる）、太陽光（外光）によってノイズも非常に大きくなってしまい、更に状況が悪化する。この様な状況であっても、物体からの反射信号を強調する技術について説明する。
【０１３３】
図２０は一般的なＰＤ出力検出部４４の構成例を示す。図２０のＰＤ出力検出部４４はアンダーシュートを生じさせない場合の構成である。図２０（ａ）のＰＤ出力検出部４４は、電流電圧変換器４４ａ、及び、二値化回路４４ｃを含む。時間計測用ＰＤ４２で受光された物体からの反射信号は、時間計測用ＰＤ４２が電流値に変換し、該電流値が出力電流としてＰＤ出力検出部４４に入力される。
【０１３４】
ＰＤ出力検出部４４は反射信号をデジタル信号に変換するため、ＡＤＣ（アナログデジタルコンバータ）及びコンパレータを有する。ＡＤＣ及びコンパレータは電圧動作であるため、電流電圧変換器４４ａ（例えばＴＩＡ：Trance−impedance−Amplifier）は入力された電流値を電圧値に変換する。
【０１３５】
また、電流電圧変換器４４ａ単独では反射信号の大きさが不足する場合には、図２０（ｂ）に示すように、電圧増幅器４４ｂ（例えば、ＶＧＡ：Variable Gain Amplifier）を使用する場合がある。
【０１３６】
続いて、図２１を用いてアンダーシュートを発生させる場合のＰＤ出力検出部４４の構成について説明する。図２１はアンダーシュート付加回路４７（アンダーシュート付加部の一例）を有するＰＤ出力検出部４４の構成例を示す図である。図２１（ａ）に示すように、アンダーシュート付加回路４７はＣＲ回路（微分回路）である。電流電圧変換器４４ａの出力はコンデンサ４７ａを経て、抵抗４７ｂとＰＤ出力検出部４４に入力される。このようなＣＲ回路はハイパスフィルタ（カットオフ周波数以上の周波数の信号を通過させる）として機能する。
【０１３７】
そして、コンデンサ容量Ｃと抵抗値Ｒにより定まるハイパスフィルタの帯域が、入力パルスの帯域に対して近い場合にはアンダーシュートが発生する。したがって、ＣＲ回路の値を適切に設定することで、反射信号の形状を変更することができる。
【０１３８】
図２１（ｂ）はアンダーシュート付加回路４７への入力信号とアンダーシュート付加回路４７の出力信号の一例を示す。入力信号にはアンダーシュートが生じていないが、出力信号にはアンダーシュートが発生している。
【０１３９】
図２１（ｃ）は複数のアンダーシュート付加回路４７を有するＰＤ出力検出部４４の構成例を示す図である。それぞれのアンダーシュート付加回路４７のコンデンサ容量と抵抗値を変更することでアンダーシュートの形状を変更することができる。
【０１４０】
なお、本実施形態では、複数のアンダーシュート付加回路４７は必須でなく、１つ以上あればよい。
【０１４１】
図２２は、アンダーシュート付加回路４７の別の構成例と出力信号を説明する図である。図２２（ａ）のアンダーシュート付加回路４７では、ＣＲ回路の抵抗４７ｂに、別の抵抗４７ｃを介して電源４７ｄが接続されており、電源４７ｄの電圧が反射信号に印加される。図２２の回路のハイパスフィルタとしての周波数特性はコンデンサ容量Ｃ、抵抗値Ｒ１，Ｒ２で定まる。
【０１４２】
コンデンサ容量Ｃ、抵抗値Ｒ１，Ｒ２を変更すれば、アンダーシュートを生じさせ、また、アンダーシュートの形状を変更することができる。また、抵抗４７ｃに電圧(Vol)を印加することで、ベース電圧を任意に設定することができる。図２２（ｂ）は入力信号を示し、図２２（ｃ）はハイパスフィルタの帯域と入力パルスの帯域が近くない場合のアンダーシュート付加回路４７の出力信号を示し、図２２（ｄ）はハイパスフィルタの帯域と入力パルスの帯域が近い場合の出力信号を示す。図示するように、ハイパスフィルタの帯域と入力パルスの帯域が近い場合にはアンダーシュートが生じている。
【０１４３】
また、抵抗４７ｃに電圧(Vol)を印加することで、ゼロであったベース電圧がゼロより大きくなっている。
【０１４４】
このように、アンダーシュートを生じさせると共に形状を変更できる。つまり、アンダーシュートの形状（アンダーシュートする部分が直前のピークからどの位離れるか、アンダーシュート部分の波の幅）は設計値であるので、コンデンサ容量Ｃ，抵抗値Ｒ１、Ｒ２の値から形状は計算で求められる。
【０１４５】
なお、アンダーシュート付加回路４７の構成は図２２に示したものには限られず、アンダーシュートを生じさせることができる回路であればよい。例えば、アナログの受光信号をデジタル値に変換させてオフセットを乗せ、デジタル信号処理でバンドパスフィルタをかけることでアンダーシュートを生じさせてもよい。
【０１４６】
＜処理の概略＞
以上のようにアンダーシュートされた反射信号は、後述するように微弱な信号の検出に有効である。一方、後述するように、隊列被写体の複数の物体の分離が困難になる。そこで、本実施形態では反射信号を以下のように複数の系統で処理する。
【０１４７】
図２３は、反射信号の処理系統の一例を説明する図である。図２３に示すように、レーザレーダ測距部１２０は異なる閾値で二値化する複数（図では２つ）のコンパレータ１〜３（図２６の二値化回路が対応）でそれぞれ反射信号を二値化する（処理系統１，２）。これらは、アンダーシュートが生じていないので、隊列被写体の分離性能を向上できる。
【０１４８】
また、レーザレーダ測距部１２０は、反射信号にアンダーシュートを生じさせる処理系統３も有している。これにより、ノイズに紛れている微弱信号の検出を可能にする。
【０１４９】
処理系統１，２のコンパレータの第一の閾値，第二の閾値について説明する。処理系統１、２のコンパレータの第一の閾値，第二の閾値を決定する際には、ノイズの大きさが考慮される。ノイズとは、目的以外の信号をいう。本実施形態では、ノイズには背景光によるものと電気的なノイズがある。背景光のノイズは周囲の光源（例えば、西日などの太陽光）が受光光学系３０に入射することで生じ、電気的なノイズは電気回路の熱雑音やショットノイズなどである。一般に、背景光のノイズの方が電気的なノイズよりも大きい。したがって、背景光のノイズの大きさを考慮して第一の閾値，第二の閾値が決定される。
【０１５０】
処理系統１のコンパレータの第一の閾値は、近傍の物体や反射率がよい物体を検出するための閾値なので、例えばノイズの数倍から数十倍に設定される。例えば、近い距離に存在する物体、又は、やや遠方だが反射率の高い物体であれば、処理系統１の処理により検出できる。
【０１５１】
これに対し、処理系統２のコンパレータの第二の閾値は、ノイズと同程度、ノイズよりもやや大きい値（例えば、１．１倍〜２倍未満）、又は、ノイズよりもやや小さい値（例えば、０．５倍〜１倍未満）に設定される。したがって、第二の閾値は第一の閾値の数分の一から数十分の一の大きさである。なお、背景光の強さは時間帯、季節、地域などによって異なる。このため、レーザレーダ測距部１２０はレーザ光を照射せずに背景光の強さを定期的に監視して、第二の閾値を背景光に応じて変更することが好ましい。
【０１５２】
このように、第二の閾値はノイズに紛れた反射信号を捉えることができ、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。第二の閾値を用いた反射信号の具体的な処理方法については後述する。なお、従来は、ノイズに紛れた反射信号を検出する閾値は設定されていなかった。
【０１５３】
図２４は、閾値と反射信号のレベルの関係を説明する図である。図２４（ａ）は、第一の閾値，第二の閾値と反射信号のレベルの関係を模式的に示す図の一例である。図２４（ａ）に示すように、第一の閾値では検出できない反射信号のピークを第二の閾値により検出可能になる。
【０１５４】
次に、処理系統３の第三の閾値について説明する。反射信号にアンダーシュートが生じたことにより、本実施形態ではベース電圧より小さい第三の閾値を設定できる。すなわち、アンダーシュートした部分の波形を第三の閾値で捉えることが可能になり、これを利用してノイズに紛れている微弱な反射信号が物体によるものか、ノイズによるものかを判別できるようになる。
【０１５５】
図２４（ｂ）はアンダーシュートした反射信号とベース電圧より小さい第三の閾値の関係を模式的に示す図の一例である。第三の閾値を適切に設定することで、アンダーシュートした反射信号を検出できる。第三の閾値の大きさはノイズに紛れる程度の微弱な反射信号をアンダーシュートさせた場合に、ベース電圧より下側にどの位の振幅を示すかによって決定される。したがって、ＣＲ回路のコンデンサ容量Ｃ、抵抗値Ｒ（上記の例では１つ又は２つ）と、捉えたい反射信号の大きさによって決めればよい。例えば、
第三の閾値＝ベース電圧−第二の閾値
などと決定したり、更に第三の閾値の絶対値を小さくしたり大きくしたりする。
【０１５６】
図２４（ｂ）ではアンダーシュートした反射信号に対し、ベース電圧より大きい第二の閾値も示されている。これは処理系統２の第二の閾値を表しており、処理系統２、３によりベース電圧を挟むように第二の閾値，第三の閾値を設定できることを示している。ベース電圧より大きい側と小さい側の両方にコンパレータが存在することによって、効率的に信号形状を捉え、信号検出確率を向上させることができる。
【０１５７】
なお、ベース電圧がゼロの場合、第二の閾値は正で第三の閾値は負である。このため、便宜的に、第二の閾値を正側の閾値、第三の閾値を負側の閾値という場合があるが、ベース電圧が大きければ第三の閾値が正の場合もある。
【０１５８】
次に、図２５を用いて、アンダーシュートした反射信号の正側と負側の両方にコンパレータ２，３が存在することを利用した、本実施形態の信号処理方法を説明する。図２５は、ベース電圧に対して正側と負側のコンパレータで信号を検出することの有効性について説明する図である。
【０１５９】
図２５（ａ）はノイズが少ない反射信号と、二値化された信号を示す。第二の閾値以上の反射信号が"１""０"に二値化されており、第三の閾値以下の反射信号が"１"に二値化されている。アンダーシュートした反射信号は第二の閾値で二値化された"１"と第三の閾値で二値化された"１"がセットで現れる。
【０１６０】
図２５（ｂ）はノイズが多い反射信号と、二値化された信号を示す。第二の閾値以上の反射信号が"１"に二値化されており、第三の閾値以下の反射信号が"１"に二値化されている。物体が１つでもノイズが多いため、４つの物体があるかのように反射信号が二値化されている。従来は、単に閾値を小さくするとノイズを物体であると誤検出して、物体までの距離を精度よく特定できなかった。本実施形態では、第三の閾値以下の反射信号が"１"に二値化されることを利用して、二値化されたどの信号が物体までの距離を表しているかを決定できる。このように、アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定することで、ノイズが多い場合でも物体に起因する反射信号のピークの抽出が可能になる。
【０１６１】
＜３つの処理系統を有するＰＤ出力検出部の構成例＞
図２６は、アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したＰＤ出力検出部４４の構成例を示す図である。図２３に示したように、図２６のＰＤ出力検出部４４は３つの処理系統を有している。
処理系統１：アンダーシュートなし（第一の閾値）
処理系統２：アンダーシュートなし（第二の閾値）
処理系統３：アンダーシュートあり（第三の閾値）
処理系統１はアンダーシュート処理がなく第一の閾値も大きいため、微弱な反射信号から物体までの距離を検出する処理には向かないが、近い距離に存在する物体、やや遠方だが反射率の高い物体、又は、隊列被写体に含まれる複数の物体の反射信号から各物体に対応したピークを検出できる。
【０１６２】
処理系統２は第二の閾値が小さいため、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。また、処理系統２は、ヒストグラム作成部４４ｄ２（第一のヒストグラム作成部の一例）と時間決定部４４ｅを有している。ヒストグラム作成部４４ｄ２は二値化回路４４ｃ２（第二の二値化部の一例）で反射信号が二値化され"１"となっている時間（ビン）に物体が存在する旨を投票する。ビンとは、時間軸において頻度（投票数）が集計される幅（集計幅）である。また、ヒストグラムを作成するにはレーザ光のＮ回の照射が必要となるが、これについては後述する。
【０１６３】
時間決定部４４ｅは処理系統３のヒストグラム作成部４４ｄ３（第二のヒストグラム作成部の一例）が作成した第二のヒストグラムと、処理系統２のヒストグラム作成部４４ｄ２が作成した第一のヒストグラムに基づいて、後述するフィルタリングを行う。すなわち、時間決定部４４ｅは、ベース電圧よりも大きい第二の閾値以上かどうかで二値化された反射信号と、ベース電圧よりも小さい第三の閾値以下かどうかで二値化された反射信号とが所定の関係にある場合、第二の閾値以上の反射信号が得られた時間を、物体で反射することで第二の閾値以上になった時間（ピーク）に決定する。これにより、ノイズに紛れている物体に起因する信号を抽出し、正しい物体の位置（ＴＯＦ）を推定する。
【０１６４】
処理系統３は、負側の第三の閾値を有する二値化回路４４ｃ３（第三の二値化部）により、遠方に存在する物体、又は、やや遠方だが反射率の低い物体を検出できる。また、処理系統３はヒストグラム作成部４４ｄ３を有している。ヒストグラム作成部４４ｄ３は二値化回路４４ｃ３で反射信号が二値化され"１"となっている時間（ビン）に物体が存在する旨を投票する。
【０１６５】
処理系統２と３でアンダーシュートした反射信号の正側と負側の両方にコンパレータを設定したことになり、ノイズに紛れている物体に起因する信号の抽出が可能になる。
【０１６６】
なお、アンダーシュートなしとは、全くアンダーシュートがないことまでは必要なく、反射信号がわずかにアンダーシュートすることも含んでよい。すなわち、隊列被写体の各物体の分離が可能であればわずかなアンダーシュートは許容される。
【０１６７】
時間計測部４５は、処理系統１で二値化された信号が"１"となっている時間、時間決定部４４ｅが推定した正しい物体の位置（時間）のそれぞれから、物体までの時間を測定する。したがって、近傍の物体（反射信号が強い物体）、及び、遠方の物体（反射信号が極めて微弱な物体）までの時間（ＴＯＦ）を測定できる。
【０１６８】
＜処理系統２，３の処理について＞
図２７〜図３０を用いて処理系統２，３の処理について詳細に説明する。まず、図２７はヒストグラム作成部４４ｄ２，４４ｄ３と時間決定部４４ｅの処理の手順を示すフローチャート図の一例である。
【０１６９】
S201、S202：ヒストグラム作成部４４ｄ２は第二の閾値で二値化されたＮ個の二値化信号からヒストグラムを作成し、ヒストグラム作成部４４ｄ３は第三の閾値で二値化されたＮ個の二値化信号からヒストグラムを作成する。ここで「Ｎ個」とはヒストグラムを作成するために照射されるレーザ光の照射数である。
【０１７０】
図２８はヒストグラムの作成を模式的に説明する図である。図２８（ａ）は１回目のレーザ照射により得られた二値化前の反射信号を、図２８（ｂ）は２回目のレーザ照射により得られた二値化前の反射信号を、図２８（ｃ）は３回目のレーザ照射により得られた二値化前の反射信号をそれぞれ示す。図２８の反射信号は説明の便宜上、ノイズが少ないものを示したが、本来、各瞬間で取れる反射信号の波形はノイズに混入し、見にくい形になる（図１９（ｃ）参照）。
【０１７１】
しかし、本出願人は、複数回、同じ物体にレーザ光を照射してその反射信号を得て二値化し、ヒストグラムを作成すると、物体が存在するビンの頻度が増加し、ノイズとの分離ができるとの知見を得た。図２８（ｄ）は、図２８（ａ）〜（ｃ）の反射信号を二値化して"１"となったビンに物体がある旨を投票したヒストグラムの一例である。図２８（ｄ）では時刻ｔ１に２つ、時刻ｔ２に１つ、物体がある旨が投票されている。
【０１７２】
したがって、同じ物体に照射できるレーザ光の回数が多ければ、図２８（ｄ）のようなヒストグラムを作成することで、物体からの反射信号の大きさがノイズと紛れる状況でも物体までの距離を推定できる。
【０１７３】
しかし、実際の車両の走行中は、車両に対し物体が相対的に移動するため、数多くのレーザ光を同じ物体に照射することは困難な場合が多い。そこで、本実施形態では、実用的な照射数で作成したヒストグラムから、物体に反射して生じた反射信号のピークを検出する。
【０１７４】
なお、レーザ光の照射回数Ｎは、物体の相対速度などの影響を受けにくい実用的な数とする（例えば、１０回未満）であるが、レーザレーダ測距部１２０の性能などにより変わりうる。
【０１７５】
S203,S204：図２７に戻って説明する。時間決定部４４ｅはヒストグラムのうち、ステレオ画像演算部２５０から取得した処理範囲に相当する時間の範囲を取り出す。
【０１７６】
図２９は、ヒストグラムと処理範囲の関係の一例を示す図である。図２９では複数の時間（距離）でヒストグラムの頻度が最大値を示している。したがって、物体までの距離を一意に特定しにくい。そこで、まず、時間決定部４４ｅはヒストグラムのうち処理範囲で特定される時間に着目する（この時間は、物体までの距離と同等の情報を有している）。
【０１７７】
しかしながら、処理範囲の中においても複数の時間（距離）でヒストグラムの頻度が最大値を示している。このような一目では物体の正しい距離がわかりにくいヒストグラムであっても、第二の閾値に基づく処理系統２の第一のヒストグラムと第三の閾値に基づく処理系統３の第二のヒストグラムとを使用して、時間決定部４４ｅが第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。
【０１７８】
S205：時間決定部４４ｅは、第一のヒストグラムのピークの位置と第二のヒストグラムのピークの位置の関係を使って第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。詳細は、図３０にて説明する。
【０１７９】
S206：時間決定部４４ｅは、第一のヒストグラムのピークの幅と第二のヒストグラムのピークの幅の関係を使って第一のヒストグラム又は第二のヒストグラムのピークをフィルタリングする。詳細は、図３０にて説明する。
【０１８０】
ステップS205,S206のフィルタリングにより、同じ物体に数多くのレーザ光を照射することが困難でも物体までの正しい距離を推定できる。なお、ステップS205,S206はどちらが先に実行されてもよいし、どちらか一方のみが実行されてもよい。このフィルタリングにより、図２５（ｂ）のようなノイズを含む二値化信号から、図２５（ａ）のような第二の閾値で二値化された"１"と第三の閾値で二値化された"１"のセットを検出することができる。
【０１８１】
図３０はフィルタリング処理を説明する図の一例である。図３０は図２９のヒストグラムから処理範囲のみを取りだしたヒストグラムである。図３０（ａ）はステレオ画像演算部２５０から取得した処理範囲に相当する第一のヒストグラムを示し、図３０（ｂ）は処理範囲に相当する第二のヒストグラムを示す。第一のヒストグラムと第二のヒストグラムのいずれもノイズが多く、複数の時間（ビン）で頻度が最大となっている。
【０１８２】
そこで、まず、ステップS205のフィルタリング処理は、第二の閾値により得られる第一のヒストグラムのピーク８５の位置と、第三の閾値により得られる第二のヒストグラムのピーク８６の位置の位置関係を使用する。このピーク位置は最大値を示すビンの中央である。複数のビンで連続して最大値を示す場合、複数のビンの中央がピーク位置である。
【０１８３】
ピーク８５とピーク８６がノイズでなく物体からの反射信号である場合、ピーク８５とピーク８６は、ＣＲ回路の設計値（例えばＡ[m]）で決まるある幅だけ離れて現れる。許容誤差をe[m]とした場合、第一のヒストグラムから得られた頻度の最も高いピーク８５に対して、そのＡ±e[m]後ろに、第二のヒストグラムのピーク８６があるか否かを、時間決定部４４ｅが判断する。これを満たさない場合はノイズと判断する。
【０１８４】
時間決定部４４ｅは、第一のヒストグラムのピーク８５、８７のそれぞれで、第二のヒストグラムにおいてそれよりも時間的に後のピーク８６，８８を検出する。そして、ピーク８５からＡ±e[m]に、第二のヒストグラムのピークがあるか否かをピーク８５に近い順に判断する。つまり、ピーク８５の位置からＡ±e[m]にピーク８６が含まれるか、ピーク８５の位置からＡ±e[m]にピーク８８が含まれるかを判断する。第一のヒストグラムのピーク８５の位置からＡ±e[m]に第二のヒストグラムのピークが見つかれば、処理を打ち切る。ピーク８５についてＡ±e[m]に第二のヒストグラムのピークが見つからない場合は、ピーク８７に着目して同様の処理を行う。
【０１８５】
このように、第一のヒストグラムのピーク８５、８７と、第二のヒストグラムのピーク８６、８８が、アンダーシュート付加回路の設計値により定まる所定の条件を満たす場合、時間決定部４４ｅは第一のヒストグラムのピーク８５を物体で反射したレーザ光により反射信号が第二の閾値を超えた時間に決定する。図３０ではピーク８５とピーク８６がこの所定の条件を満たしているので、第一のヒストグラムのピーク８５の位置が物体で反射したレーザ光が受光されるまでの時間である。
【０１８６】
ステップS206のフィルタリング処理は、第二の閾値により得られる第一のヒストグラムのピーク８５の幅(Ｂ[m])と、第三の閾値により得られる第二のヒストグラムのピーク８６の幅(Ｃ[m])の関係を使用する。ＣＲ回路の設計値は、第一のヒストグラムのピーク８５の幅よりも第二のヒストグラムのピーク８６の幅が広くなるように設計されている。したがって、時間決定部４４ｅはＢ＜Ｃとなる関係の第一のヒストグラムのピーク８５と第二のヒストグラムのピーク８６がペアで存在しているか否かを判断する。時間決定部４４ｅはこれを満たす場合は物体によるヒストグラムのピークと判断し、満たさない場合はノイズと判断する。
【０１８７】
時間決定部４４ｅは、第一のヒストグラムのピーク８５、８７のそれぞれで、第二のヒストグラムにおいてそれよりも時間的に後のピーク８６，８８を検出する。そして、Ｂ＜Ｃの関係を満たすかをピーク８５に近い順に判断する。ピーク８５の幅とピーク８６の幅を比較し、次いで、ピーク８５の幅とピーク８８の幅を比較し、Ｂ＜Ｃの関係を満たすピークが第２のヒストグラムで見つかると、処理を打ち切る。ピーク８５についてＢ＜Ｃの関係を満たすピークが第二のヒストグラムで見つからない場合は、ピーク８７に着目して同様の処理を行う。
【０１８８】
このように、第一のヒストグラムのピークの幅と、第二のヒストグラムのピークの幅が、アンダーシュート付加回路の設計値により定まる所定の条件を満たす場合、時間決定部４４ｅは第一のヒストグラムのピーク８５の位置を物体で反射したレーザ光により反射信号が第二の閾値を超えた時間に決定する。図３０ではピーク８５とピーク８６が所定の条件を満たしているので、第一のヒストグラムのピーク８５の位置が物体で反射したレーザ光が受光されるまでの時間である。
【０１８９】
なお、ステップS205の所定の条件を満たす第一のヒストグラムのピーク８５についてのみ、ステップS206の処理を行ってもよい。ステップS205とステップS206のいずれか一方のみを満たすピークの位置を、物体で反射したレーザ光が受光されるまでの時間と見なしてよい。
【０１９０】
なお、ＣＲ回路の設計値は、第一のヒストグラムのピークの幅よりも第二のヒストグラムのピークの幅が狭くなるように設計されてもよい。この場合、Ｂ＞Ｃとなる関係の第一のヒストグラムのピークと第二のヒストグラムのピークがペアで存在しているか否かを判断する。時間決定部４４ｅはこれを満たさす場合は物体によるヒストグラムのピークと判断し、満たさない場合はノイズと判断する。
【０１９１】
なお、第一のヒストグラム及び第二のヒストグラムは反射信号の立ち上がり位置のみの統計でもよいし、立下り位置のみの統計でもよい。あるいは、反射信号の立ち上がり位置と立下り位置のペアで見て、間を補完するような平滑化処理をかけて作成してもよい。つまり、時間軸の全域でヒストグラムを作成しなくてもよい。
【０１９２】
＜ヒストグラム作成方法の別の例＞
アンダーシュートした反射信号の正側と負側の両方にコンパレータを設定して物体までの距離を正しく検出する場合、第一のヒストグラムと第二のヒストグラムを別々に作成するのでなく、正側の二値化信号と負側の二値化信号をセットにして１つのヒストグラムを作成してもよい。
【０１９３】
図３１は、２つの処理系統１，３を有するＰＤ出力検出部４４の構成例を示す。図３１のＰＤ出力検出部４４は処理系統１と処理系統３を有している。処理系統１は図２６と同様でよい。これに対し処理系統３は２つの二値化回路４４ｃ２、４４ｃ３を有し、その後段に抽出部４４ｆ、ヒストグラム作成部４４ｄ４、及び、最大値検出部４４ｇを有している。
【０１９４】
二値化回路４４ｃ２は第二の閾値で反射信号を二値化し、二値化回路４４ｃ３は第三の閾値で反射信号を二値化する。そして、抽出部４４ｆは、第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続しているか否かを判断する。完全に連続する必要はなく、第二の閾値以上の反射信号が検出されてから所定時間内に第三の閾値以下の反射信号が検出されればよい。
【０１９５】
ヒストグラム作成部４４ｄ４は、抽出部４４ｆが第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続していると判断した場合、第二の閾値以上の反射信号が検出された時間に、物体がある旨を投票する。ヒストグラム作成部４４ｄ４（第三のヒストグラム作成部の一例）は、Ｎ回のレーザ照射に対して得られたＮ個の反射信号に基づいて、１つのヒストグラム（第三のヒストグラム）を作成する。
【０１９６】
図３２は図３１のヒストグラム作成部４４ｄ４が作成したヒストグラムの一例を示す。図３２（ａ）は反射信号を模式的に示し、図３２（ｂ）はヒストグラムを示す。時刻ｔ１では反射信号が第二の閾値以上となり、時刻ｔ２では反射信号が第三の閾値以下となっている。時刻ｔ１とｔ２は連続している（所定時間内）ので、時刻ｔ１においてヒストグラムの頻度が1つ大きくなっている。
【０１９７】
これに対し、時刻ｔ３では反射信号が第二の閾値以上となり、時刻ｔ４では反射信号が第三の閾値以下となっているが、時刻ｔ３とｔ４は連続していない（所定時間内でない）ので、時刻ｔ３（又はｔ４）においてヒストグラムの頻度は大きくならない。
【０１９８】
図３１に戻り、最大値検出部４４ｇは頻度が最大値を示す時間を検出して時間計測部４５に送出する。図３２の方法は、第二の閾値を超えその直後の反射信号が第三の閾値以下の場合、反射信号はノイズでない可能性が高いと判断する方法であり、この方法では、ＣＲ回路の設計値を考慮することなく、物体までの距離を測定できる。ただし、ＣＲ回路の設計値を考慮してもよい。
【０１９９】
図３３は、図３１の構成におけるＰＤ出力検出部４４の処理の手順を示すフローチャート図の一例である。
【０２００】
S301：抽出部４４ｆは、第二の閾値以上となった反射信号から時間的に連続して第三の閾値以下となる反射信号を抽出する。
【０２０１】
S302：ヒストグラム作成部４４ｄ４は、レーザ光のＮ回の照射によって得た反射信号におけるステップS301の抽出結果を使って、ヒストグラムを作成する。
【０２０２】
S303：最大値検出部４４ｇは、ステレオ画像演算部２５０から取得した処理範囲に相当する時間範囲をヒストグラムから取得する。
【０２０３】
S304：次に、最大値検出部４４ｇは処理範囲の中で頻度数が最大値を示す時間を決定する。
【０２０４】
図３１の構成においても、ヒストグラムは、第二の閾値に対する立ち上がり位置（第二の閾値を小から大に超える位置）のみで投票されてもよいし、第三の閾値に対する立ち上がり位置（第三の閾値を小から大に超える位置）のみで投票されてもよい。あるいは、第二の閾値を超える立ち上がり位置と第三の閾値を超える立ち上がり位置のセットの間を補完するような平滑化処理をかけて作成してもよい。
【０２０５】
＜アンダーシュート処理により生じる不都合＞
以上のようにアンダーシュート処理は微弱な反射信号から物体までの距離を測定する上で有効であるが、アンダーシュート処理により不都合が生じる場合がある。すなわち、反射信号にアンダーシュート信号を発生させた場合、隊列被写体の分離が困難になる。隊列被写体とは、複数の物体（例えば人と車）がレーザレーダ測距部１２０から見て同じ方向に列を成すように並んでいる状態の被写体をいう。
【０２０６】
図３４は、隊列被写体の一例を示す。図３４では、車両の手前に歩行者が存在しているため、レーザレーダ測距部１２０から見て歩行者８１１と車両８１０が列をなしている。隊列被写体の複数の物体の距離が近い場合、手前の物体の反射信号のアンダーシュート部分と、奥の物体の反射信号が重なってしまい、結果として反射信号の形がひずんでしまうという不都合が生じる。
【０２０７】
図３５は、アンダーシュート処理された隊列被写体の反射信号の一例を示す。なお、図３５は実際の反射信号ではなくアンダーシュート処理された反射信号の不都合を説明するための信号例である。図３５に示すように、車の反射信号のピーク７０３と人の反射信号７０４のアンダーシュート部分が打ち消しあい、車の反射信号のピーク７０３が消失している。すなわち、奥の物体である車の反射信号のピーク７０３が完全に消えてしまい、実際に得られる反射信号７０２の形状が期待しているものとは大きく違ってしまっている。
【０２０８】
上記のように、本実施形態では、処理系統１がアンダーシュート処理を有さないため、極めて微弱な反射信号から物体までの距離を検出する処理には向かないが、隊列被写体に含まれる複数の物体の反射信号から各物体に対応したピークを検出できる。
【０２０９】
＜動作手順＞
図３６は、ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。図３６に示すフローチャートは、レーザレーダ測距部１２０によりレーザ光が照射された照射位置に対応する１の基準画素領域ｐについての視差を演算する処理を示したものである。したがって、視差画像の生成にあたり、ステレオ画像演算部２５０とレーザ信号処理部２４０は同様の各基準画素領域について図３６に示すフローチャートを実行する。
【０２１０】
まず、ステレオ画像演算部２５０の処理について説明する。基準画像取得部８０１は、基準画像Ｉｂを取得し、基準画素領域ｐを抽出する（ステップＳ−１０）。
【０２１１】
次に、コストＣ計算部８０３は、比較画像取得部８０２にて取得された比較画像Ｉａ内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する（ステップＳ−２０）。
【０２１２】
次に、第１経路コスト計算部１００１は、コストＣ（ｐ，ｄ）に基づいて、各第１経路コストＬｒ（ｐ，ｄ）を算出する（ステップＳ−３０）。
【０２１３】
第１合成コストＳ計算部１００２は、各第１経路コストＬｒ（ｐ，ｄ）に基づいて、第１合成コストＳ（ｐ，ｄ）を算出する（ステップＳ−４０）。
【０２１４】
第１視差演算部７１３は、第１合成コストＳ（ｐ，ｄ）が最小となるシフト量（第１視差）を算出する（ステップＳ−５０）。これにより、第１視差演算部７１３は、比較画像Ｉａより対応画素領域を抽出すると共に、抽出した対応画素領域と基準画素領域ｐとの視差（第１視差）の演算結果を取得する。
【０２１５】
なお、より高速又はラフに計算するためにブロックマッチングだけで済ませてもよい（ステップＳ−２０までの処理で留める）。あるいは、高速又はラフに計算するために機械学習（ディープラーニング）を用いてもよい。
【０２１６】
範囲決定部７１４は、レーザ信号処理部２４０がレーザ受光信号を処理する際の処理範囲を、視差の演算結果に基づいて決定する（ステップＳ−６０）。また、範囲決定部７１４は、決定した処理範囲を、レーザ信号処理部２４０に通知する。
【０２１７】
これにより、レーザ信号処理部２４０は、物体での反射を示す信号を検出し、距離情報Ｚｌを算出する。
【０２１８】
次に、コストＣ計算部１４０３は、比較画像取得部１４０２にて取得された比較画像Ｉａ内のシフト量ｄの位置における画素領域５１１の画素値と、基準画素領域ｐの画素値とに基づいて、コストＣ（ｐ，ｄ）を算出する（ステップＳ−７０）。
【０２１９】
コストＣ調整部１４０４は、算出されたコストＣ（ｐ，ｄ）を信頼度Ｑ（ｐ）に基づいて調整し、調整後のコストＣ'（ｐ，ｄ）を算出する（ステップＳ−８０）。
【０２２０】
距離情報取得部１４１１は、基準画素領域ｐの位置に対応する実空間の物体までの距離を示す距離情報Ｚｌを、レーザレーダ測距部１２０より取得する（ステップＳ−９０）。
【０２２１】
コストＣｌ計算部１４１２は、距離情報取得部１４１１において取得された距離情報Ｚｌに基づいて、コストＣｌを算出する（ステップＳ−１００）。
【０２２２】
重み付け加算部１４２０は、コストＣ調整部１４０４において調整された調整後のコストＣ'（ｐ，ｄ）と、コストＣｌ計算部１４１２において算出されたコストＣｌ（ｐ，ｄ）とを重み付け加算し、重み付けコストを算出する（ステップＳ−１１０）。
【０２２３】
第２経路コスト計算部１５０１は、重み付けコストを用いて各第２経路コストＬｒ'（ｐ、ｄ）を算出する（ステップＳ−１２０）。
【０２２４】
第２合成コストＳ'計算部１５０２は、各第２経路コストＬｒ'（ｐ，ｄ）に基づいて、第２合成コストＳ'（ｐ，ｄ）を算出する（ステップＳ−１３０）。
【０２２５】
第２視差演算部７２３は、第２合成コストＳ'（ｐ，ｄ）が最小となるシフト量（ｄｍｉｎ）を算出することで、比較画像Ｉａより対応画素領域を抽出する（ステップＳ−１４０）。これにより、第２視差演算部７２３は、抽出した対応画素領域と基準画素領域ｐとの視差（第２視差）の再演算結果を取得する。
【０２２６】
次に、レーザレーダ測距部１２０の処理について説明する。まず、照射光学系２０がレーザ光のパルスを照射する（ステップＬ−１０）。受光光学系３０が反射信号を受光する（ステップＬ−２０）。
【０２２７】
次に、ＰＤ出力検出部４４の処理系統１〜３が並行して反射信号を処理する。まず、処理系統３の電流電圧変換器４４ａ３は反射信号の電流を電圧に変換し、アンダーシュート付加回路４７が反射信号にアンダーシュートを付加する（ステップＬ−８０）。
【０２２８】
一方、処理系統１の電流電圧変換器４４ａ１は反射信号の電流を電圧に変換し、処理系統１の二値化回路４４ｃ１（第一の二値化部）が処理系統１の処理範囲の反射信号を二値化する（ステップＬ−３０）。
【０２２９】
また、処理系統２の電流電圧変換器４４ａ２は反射信号の電流を電圧に変換し、処理系統２の二値化回路４４ｃ２が処理系統２の反射信号を二値化する（ステップＬ−４０）。この時点で処理範囲を考慮してもよい。
【０２３０】
次に、処理系統２のヒストグラム作成部４４ｄ２が、反射信号が二値化された二値化信号から第一のヒストグラムを作成する（ステップＬ−５０）。
【０２３１】
同様の処理を処理系統３でも行っているため、処理系統３の電流電圧変換器４４ａ３は反射信号の電流を電圧に変換し、処理系統３の二値化回路４４ｃ３が処理系統３の反射信号（アンダーシュート済み）を二値化する（ステップＬ−９０）。この時点で処理範囲を考慮してもよい。
【０２３２】
次に、処理系統３のヒストグラム作成部４４ｄ３が、反射信号が二値化された二値化信号から第二のヒストグラムを作成する（ステップＬ−１００）。なお、ステップＬ−１０〜Ｌ−１００（Ｌ−６０，７０を除く）の処理はＮ回繰り返される。
【０２３３】
次に、処理系統２の時間決定部４４ｅは、処理範囲を考慮して、上記のように処理系統２の第一のヒストグラムのピーク位置と処理系統３の第二のヒストグラムのピーク位置でフィルタリングを行う（ステップＬ−６０）。
【０２３４】
また、処理系統２の時間決定部４４ｅ、処理範囲を考慮して、上記のように処理系統２の第一のヒストグラムのピークの幅と処理系統３の第二のヒストグラムのピークの幅でフィルタリングを行う（ステップＬ−７０）。ステップＬ−６０、又は、Ｌ−７０の両方のフィルタリングでフィルタリングされた時間が、物体から反射したレーザ光のＴＯＦである。ただし、ステップＬ−６０、又は、Ｌ−７０のいずれかのみのフィルタリングを使用してもよい。
【０２３５】
次に、時間計測部４５は計測された時間（ＴＯＦ）を距離情報Ｚ１に変換する（ステップＬ−１１０）。レーザ信号処理部２４０はこの距離情報Ｚ１とレーザ光の照射方向をステレオ画像演算部２５０に送出する。例えば、物体が近傍にいる場合は、処理系統１の時間（ＴＯＦ）が距離情報Ｚ１に変換され、物体が遠方にいる場合は、処理系統２の時間（ＴＯＦ）が距離情報Ｚ１に変換される。ただし、同じ方向に複数の物体が存在する場合には、物体の数だけ時間計測されてよい。
【０２３６】
なお、LiDARの検出結果を視差に反映させる方法については、図３６に記載の方法以外の方法を採用してよい。これらについては図３８，図３９に説明する。
【０２３７】
＜動作手順＞
ＰＤ出力検出部４４が図３１の構成の場合の動作手順について説明する。図３７は、ステレオ画像演算部とレーザ信号処理部による視差画像生成処理の流れを示すフローチャートである。なお、図３７の説明では主に図３６との相違を説明する。
【０２３８】
図３７では処理系統３の処理が図３６と異なっている。まず、処理系統３の電流電圧変換器４４ａ３は反射信号の電流を電圧に変換し、アンダーシュート付加回路４７が反射信号にアンダーシュートを付加する（ステップＬ−１４０）。
【０２３９】
処理系統３の二値化回路４４ｃ２は処理系統３の反射信号を第二の閾値で二値化する（ステップＬ−１５０）。同様に二値化回路４４ｃ３は処理系統３の反射信号を第三の閾値で二値化する（ステップＬ−１６０）。
【０２４０】
次に、処理系統３の抽出部４４ｆは、第二の閾値以上の反射信号と第三の閾値以下の反射信号が時間的に連続してい時間を特定する（ステップＬ−１７０）。
【０２４１】
処理系統３のヒストグラム作成部４４ｄ４は第二の閾値以上の反射信号と第三の閾値以下の反射信号が連続している時間（ビン）に、物体が存在する旨を投票してヒストグラムを作成する（ステップＬ−１８０）。なお、ステップＬ−１１０〜Ｌ−１８０の処理はＮ回繰り返される。
【０２４２】
最大値検出部４４ｇは頻度が最大となる時間を決定する（ステップＬ−１９０）。以降の処理は図３６と同様でよい。
【０２４３】
＜LiDARの検出結果を視差に反映させる方法の他の例＞
図１６では重み付け加算部１４２０がレーザレーダ測距部１２０の距離情報とステレオ画像演算部２５０のコストを重み付けしてフュージョンしていたが、レーザレーダ測距部１２０の検出結果を距離空間に変換されたステレオ画像演算部２５０のコストにフュージョンすることができる。
【０２４４】
図３８は、距離空間をベースにして視差を算出する方法を説明する図の一例である。
（１）図３６のステップＬ−６０，７０のフィルタリングにより時間を決定できた場合、レーザ信号処理部２４０は該当する時間の反射信号を人為的に大きくする。この反射信号はアナログでもよいし、デジタルでもよい。
（２）レーザ信号処理部２４０は反射信号を上下に反転する。すなわち、何らかの値（例えば、平均値やベース電圧）を基準に、各反射信号の値を上下対称な値に変換する。また、この時、時間軸を距離に変換する。
（３）ステレオ画像演算部２５０は、ステレオ画像から算出された視差空間のコストＣ（ｐ，ｄ）を、距離空間のコストＣ（ｐ、ｚ）に変換する。
（４） ステレオ画像演算部２５０は、（２）のアナログ信号と（３）のコストＣ（ｐ、ｚ）を足し合わせた合成コストを得る。
【０２４５】
合成コストの最小値を探すことで視差を得ることができる。
【０２４６】
図３９は、距離空間をベースにして視差を簡易的に算出する方法を説明する図の一例である。
（１）ステレオ画像演算部２５０は、ステレオ画像から算出された視差空間のコストＣ（ｐ，ｄ）を、距離空間のコストＣ（ｐ，ｚ）に変換する。
（２）ステレオ画像演算部２５０は、ステップＬ−６０，７０のフィルタリングにより決定された時間に対応するコストＣ（ｐ，ｚ）の距離において、コスト値を予め定めた値だけ小さくして改変コストを得る。改変コストの最小値を探すことで、視差を得ることができる。
【０２４７】
＜車両への搭載例＞
図４０は、測距装置１００が搭載された車両１４０の構成例を示す。車両１４０はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１００、エンジンＥＣＵ（Electronic Control Unit）１２００、表示システム１０００、ブレーキＥＣＵ１３００、ステアリングＥＣＵ１４００、及び測距装置１００を有している。
【０２４８】
カーナビゲーションシステム１１００は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両１４０の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１００は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両１４０に送信したり経路検索を行ったりすることができる。
【０２４９】
エンジンＥＣＵ１２００は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンＥＣＵ１２００はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。
【０２５０】
ブレーキＥＣＵ１３００は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。
【０２５１】
ステアリングＥＣＵ１４００は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。
【０２５２】
＜まとめ＞
以上説明したように、本実施形態の測距装置１００は、ステレオカメラで得られる物体までの処理範囲を用いてレーザレーダ測距部１２０が受信した反射信号の着目領域を絞ることで、ノイズを物体として誤検出してしまうことを低減できる。しかし、反射信号がノイズに紛れてしまうほど微弱な場合、反射信号の着目領域を絞っても物体を特定しにくい。そこで、反射信号にアンダーシュートを意図的に発生させてベース電圧を挟む複数の第二の閾値，第三の閾値で二値化することで、物体から反射信号の検出を容易にする。
【０２５３】
更に、物体に複数回レーザ光を照射し、物体からの反射パルスは似たような位置に現れる特性を利用し、二値化された信号のヒストグラムを作成し、同じ位置に複数回現れる反射パルスの形状に基づいて物体による反射信号のピークを検出する。これらにより、物体が遠い、又は/及び、黒いなどの理由により微弱な反射信号しか得られない物体までの距離の検出精度を高めることができる。
【０２５４】
また、アンダーシュートを意図的に発生させると、隊列被写体がある場合に、手前の物体の反射信号で発生させたアンダーシュート部分に、後ろの物体の反射信号が重なってしまって、隊列被写体の分離が不可能になるという不都合が起きる。これに対応するため、アンダーシュートありの処理系統とアンダーシュートなしの処理系統を有するハードウェア構成とすることで、隊列被写体の分離を可能にすることができる。すなわち、アンダーシュートありの反射信号は主に遠方の物体の検出用として用い、アンダーシュートなしの反射信号は隊列被写体の検出に使用することができる。
【０２５５】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２５６】
上記実施形態では、画素領域についてコストＣを算出する場合について説明したが、コストＣの算出は、１画素ごとに行うように構成してもよい。つまり、上記実施形態に記載の"画素領域"には、１又は複数の画素が含まれるものとする。
【０２５７】
また、上記実施形態では、ステレオカメラ部１１０とレーザレーダ測距部１２０とが一体的に構成される場合について示したが、ステレオカメラ部１１０とレーザレーダ測距部１２０とは、別体により構成されてもよい。
【０２５８】
また、上記実施形態では、レーザ信号処理部２４０では主にアナログ信号からピークを取りだし、ステレオ画像演算部２５０ではデジタル信号を扱っていたが、受光素子２３５が反射信号を受光した直後にレーザ信号処理部２４０がデジタル信号に変換して、デジタル信号からピークを取り出してもよい。
【０２５９】
また、上記実施形態では、レーザ信号処理部２４０とステレオ画像演算部２５０が、専用の集積回路により構成されるものとして説明した。しかしながら、例えば、レーザ信号処理部２４０、ステレオ画像演算部２５０の機能を実現するソフトウェアのプログラムコードが記録された記憶媒体を情報処理装置が実行することで本実施形態の機能を実現してもよい。
【０２６０】
また、上記実施形態では、レーザ信号処理部２４０により算出された距離情報を、ステレオ画像演算部２５０に入力し、視差の再演算に用いるものとして説明したが、視差の再演算以外の用途に用いてもよい。
【０２６１】
また、上記実施形態では、測距装置１００を車両１４０に取り付ける場合について説明した。しかしながら、測距装置１００の取り付け先は車両１４０に限定されず、バイク、自転車、車椅子、農業用の耕運機等であってもよい。あるいは、自律移動ロボット等の移動体であってもよい。あるいは、ドローンなどの飛行体でもよい。あるいは、ＦＡ（Factory Automation）において固定設置される工業用ロボット等であってもよい。
【符号の説明】
【０２６２】
１〜３      処理系統
４４        ＰＤ出力検出部
４４ａ１〜４４ａ３      電流電圧変換器
４４ｂ      信号増幅器
４４ｃ１〜４４ｃ３      二値化回路
４４ｄ２〜４４ｄ４      ヒストグラム作成部
４５        時間計測部
１００      測距装置
１１０      ステレオカメラ部
１２０      レーザレーダ測距部
【先行技術文献】
【特許文献】
【０２６３】
【特許文献１】特開2017−062169号公報
【図１】
2020153797.tif 000012
【図２】
2020153797.tif 000013
【図３】
2020153797.tif 000014
【図４】
2020153797.tif 000015
【図５】
2020153797.tif 000016
【図６】
2020153797.tif 000017
【図７】
2020153797.tif 000018
【図８】
2020153797.tif 000019
【図９】
2020153797.tif 000020
【図１０】
2020153797.tif 000021
【図１１】
2020153797.tif 000022
【図１２】
2020153797.tif 000023
【図１３】
2020153797.tif 000024
【図１４】
2020153797.tif 000025
【図１５】
2020153797.tif 000026
【図１６】
2020153797.tif 000027
【図１７】
2020153797.tif 000028
【図１８】
2020153797.tif 000029
【図１９】
2020153797.tif 000030
【図２０】
2020153797.tif 000031
【図２１】
2020153797.tif 000032
【図２２】
2020153797.tif 000033
【図２３】
2020153797.tif 000034
【図２４】
2020153797.tif 000035
【図２５】
2020153797.tif 000036
【図２６】
2020153797.tif 000037
【図２７】
2020153797.tif 000038
【図２８】
2020153797.tif 000039
【図２９】
2020153797.tif 000040
【図３０】
2020153797.tif 000041
【図３１】
2020153797.tif 000042
【図３２】
2020153797.tif 000043
【図３３】
2020153797.tif 000044
【図３４】
2020153797.tif 000045
【図３５】
2020153797.tif 000046
【図３６】
2020153797.tif 000047
【図３７】
2020153797.tif 000048
【図３８】
2020153797.tif 000049
【図３９】
2020153797.tif 000050
【図４０】
2020153797.tif 000051