(57)【要約】【課題】走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供すること。【解決手段】第１の対象物検出手段１１が検出していた対象物の消失を検出する消失検出手段１３と、消失検出手段が消失を検出した対象物の方向に基づき、前記第２の対象物検出手段１２が光を照射するタイミングを制御する照射タイミング制御手段３１と、を有し、出力手段１４は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする。【選択図】図２
2015172934.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、
照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、
前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置であって、
前記第１の対象物検出手段が検出していた対象物の消失を検出する消失検出手段と、
前記消失検出手段が消失を検出する前に前記第１の対象物検出手段が検出していた対象物の過去の方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御する照射タイミング制御手段と、を有し、
前記出力手段は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする物体認識装置。
【請求項２】
前記消失検出手段は、前記第１の対象物検出手段が消失前に検出していた対象物の画像における撮影範囲の画素値を解析することで、対象物の消失を検出する、
ことを特徴とする請求項１記載の物体認識装置。
【請求項３】
前記消失検出手段は、前記撮影範囲の分散値が閾値以下の場合に、前記第１の対象物検出手段が検出していた対象物の消失を検出する、
ことを特徴とする請求項２記載の物体認識装置。
【請求項４】
前記出力手段は、前記第１の対象物検出手段が検出した対象物の距離情報と方向情報を前記第２の対象物検出手段が検出した対象物の距離情報と方向情報よりも優先して出力するものであり、
前記出力手段が、前記第２の対象物検出手段が検出した対象物の距離情報と方向情報を出力し始めた後、前記第２の対象物検出手段が検出した対象物を、前記第１の対象物検出手段が検出した場合、
前記出力手段は、前記第１の対象物検出手段が検出した対象物の距離情報と方向情報の出力を再開する、ことを特徴とする請求項１〜３いずれか１項記載の物体認識装置。
【請求項５】
前記消失検出手段が消失を検出した対象物の方向に基づいて前記照射タイミング制御手段が制御した光の照射タイミングでは、前記第２の対象物検出手段が対象物を検出できない場合、
前記照射タイミング制御手段は、前記消失検出手段が消失を検出した対象物の方向を中心として右及び左方向に所定角度、照射方向が変わる照射タイミングで光を照射する、ことを特徴とする請求項１〜４いずれか１項記載の物体認識装置。
【請求項６】
前記第２の対象物検出手段は、定期的に光を照射するものであり、
前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段は、前記消失検出手段が消失を検出した対象物の方向の前後の照射タイミングで光の照射を停止する、ことを特徴とする請求項１〜５いずれか１項記載の物体認識装置。
【請求項７】
前記第２の対象物検出手段は、定期的に光を照射するものであり、
前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段は、定期的な照射に加え、前記消失検出手段が消失を検出した対象物の方向に光を照射する、
ことを特徴とする請求項１〜５いずれか１項記載の物体認識装置。
【請求項８】
前記第１の対象物検出手段はステレオカメラが撮影した複数の画像から対象物までの距離情報と方向情報を検出し、
前記第２の対象物検出手段は、レーザー光を照射して距離情報と方向情報を検出する、ことを特徴とする請求項１〜７いずれか１項記載の物体認識装置。
【請求項９】
撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、
照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、
前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置の物体認識方法であって、
消失検出手段が、前記第１の対象物検出手段が検出していた対象物の消失を検出するステップと、
照射タイミング制御手段が、前記消失検出手段が消失を検出した対象物の前記第１の対象物検出手段が検出していた方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御するステップと、
前記消失検出手段が対象物の消失を検出した場合、前記出力手段が、前記第２の対象物検出手段が検出した対象物の距離情報を出力するステップと、
を有することを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の距離と方向を検出する物体認識装置等に関する。
【背景技術】
【０００２】
距離情報を取得可能なカメラを用いて、自車両の前方にある他車両、歩行者、設置物などの対象物を認識し、認識結果をドライバーに警告したり車両を制御する運転支援技術が知られている。車両の走行環境は、場所や時間帯、地域、気象条件などにより大きく変化するため、走行環境の変化に対応して対象物を認識することが求められる。
【０００３】
しかしながら、カメラが使用するＣＭＯＳセンサやＣＣＤセンサ等の撮像素子のダイナミックレンジの制限により、急激な照度変化に対し露出制御が間に合わず、画像処理装置が画像データから対象物を認識することが困難になる場合があった。例えば、夜間に対向車が照射するヘッドライトが急にカメラに照射されたり、トンネルの出口が急に撮像範囲に入ったりする場合である。
【０００４】
そこで、カメラ以外のセンサを利用してカメラでは対象物を認識困難な走行環境において対象物の認識を補助することが考えられる（例えば、特許文献１参照。）。特許文献１には、ステレオカメラとスキャニングレーザレーダそれぞれで対象物を認識し、周囲状況に応じて、認識結果に対し各測距手段毎の信頼性に応じた重み付けを行ない対象物が存在すると判断する障害物認識装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、走行環境が急激に変化したためカメラが対象物を消失した場合、一般的に、ステレオカメラによる対象物検知の解像度に比べてレーザーレーダによる水平解像度は低いため、レーザーレーダにより対象物を検出可能とは限らないという問題がある。以下、図を用いて説明する。
【０００６】
図１（ａ）は、カメラが撮影した画像において物体認識装置が認識している対象物を示す図の一例である。図１（ａ）では、自車両がトンネル内を走行しており、先行車１００２と前方車両１００１を認識している。
【０００７】
図１（ｂ）は、トンネル出口のような明るい光源と先行車１００２が重なった場合にカメラが撮影した画像の一例である。明るい光源で白つぶれ（輝度が最大値に近い値に飽和し階調表現が不十分な状態）が生じ、先行車１００２が明瞭に撮影されなくなり、物体認識装置は先行車１００２を認識ができなくなる。
【０００８】
このような走行環境では、逆光に強いレーザーレーダで先行車１００２の捕捉を補助することが考えられる。しかし、図１（ｃ）に示すように、レーザーレーダの照射位置１００３に逆光と重なった先行車１００４が存在するとは必ずしも限らない。すなわち、レーザー光は、自車両から見て等間隔の間を空けて不連続に照射されるため、水平解像度が低く、白つぶれした先行車１００４にレーザー光が当たるとは限らない。このため、従来のレーザーレーダはカメラを補助して対象物を捕捉するには十分でない場合があった。
【０００９】
本発明は、上記課題に鑑み、走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題に鑑み、本発明は、撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置であって、前記第１の対象物検出手段が検出していた対象物の消失を検出する消失検出手段と、前記消失検出手段が消失を検出する前に前記第１の対象物検出手段が検出していた対象物の過去の方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御する照射タイミング制御手段と、を有し、前記出力手段は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする。
【発明の効果】
【００１１】
走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】カメラが撮影した画像とレーザーレーダによるスキャンの不都合について説明する図の一例である。
【図２】物体認識装置の概略的な動作を説明する図の一例である。
【図３】物体認識装置の全体的な構成図の一例である。
【図４】ステレオカメラ測距部の概略構成図の一例である。
【図５】三角測量の原理を説明する図の一例である。
【図６】レーザーレーダ測距部の概略構成図の一例である。
【図７】ポリゴンミラーの１面で照射されるレーザー光の照射角度を説明する図の一例である。
【図８】認識消失検知部による対象物消失の検知について説明する図の一例である。
【図９】認識消失検知部が取得する対象物データを説明する図の一例である。
【図１０】照射されるレーザー光について説明する図の一例である。
【図１１】物体認識装置の動作手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１４】
図２は、本実施形態の物体認識装置の概略的な動作を説明する図の一例である。本実施形態の物体認識装置は、レーザー光のスキャン位置（照射方向）をコントロールし、カメラが見失った先行車の位置に向けてレーザー光を照射することで、レーザーレーダによるカメラの補助性能を向上させる。
Ｉ．自車両はトンネル内を走行しており、カメラにより車両Ａと車両Ｂを認識している。
II．先行車がトンネルに接近したり抜けたりすることで、自車両の前方にトンネルの出口が現れる。このため、カメラが出口の明るさに適応させるために露光制御する間、白つぶれが生じ、車両Ａが認識されなくなる。以下、この現象を「消失」という。
III．物体認識装置は、それまでカメラで認識されていた車両Ａが消失した場合、車両Ａが認識されていた方向にレーザー光を照射する。車両Ａはレーザー光の照射方向に存在するはずなので、レーザー光が反射され、物体認識装置は車両Ａを引き続き認識することができる。
【００１５】
したがって、カメラが直前まで認識していた車両Ａが存在する方向にピンポイントにレーザー光を照射することで、レーザーレーダの水平解像度が低い場合でも、カメラを補助し車両Ａを認識して運転支援することが可能になる。
【００１６】
〔構成例〕
図３は、物体認識装置１００の全体的な構成図の一例を示す。物体認識装置１００は、ステレオカメラ測距部１１、レーザーレーダ測距部１２、認識消失検知部１３、測距結果選択部１４、及び、運転支援部１５を有している。
【００１７】
ステレオカメラ測距部１１は、２つ以上のカメラを用いて対象物を含む前方を撮影し、視差情報から画素毎の距離を検出する。詳しくは後述する。ステレオカメラ測距部１１は画像を解析することで認識された対象物の対象物データ（距離、位置など）を認識消失検知部１３を介して測距結果選択部１４に出力する。位置は方向情報の一例である。
【００１８】
認識消失検知部１３は、ステレオカメラ測距部１１が認識していた対象物を認識できなくなったこと、すなわち対象物を消失したことを検出する。この場合、消失前まで認識していた対象物の方向と共にレーザー光の照射要求をレーザーレーダ測距部１２に通知する。
【００１９】
レーザーレーダ測距部１２はレーザー光を照射して、対象物に反射して帰ってくるまでの時間に基づき対象物までの距離を検出する。詳しくは後述する。レーザーレーダ測距部１２は検出された対象物の対象物データ（距離、位置など）を測距結果選択部１４に出力する。
【００２０】
測距結果選択部１４は、ステレオカメラ測距部１１又はレーザーレーダ測距部１２のどちらの対象物データを運転支援部１５に出力するかを判断し出力する。ステレオカメラ測距部１１はＣＭＯＳセンサ、ＣＣＤセンサ等の画像センサを受光素子として使うことから、２次元の高解像度な対象物データを出力することが可能である。しかし、レーザーレーダ測距部１２は、空間の解像度が低い状態で対象物データを出力する。このため、測距結果選択部１４は、原則的に、ステレオカメラ測距部１１の対象物データをレーザーレーダ測距部１２の対象データよりも優先して運転支援部１５に出力する。例外的に、認識消失検知部１３が対象物の消失を検出すると、レーザーレーダ測距部１２の対象物データを出力する。なお、認識消失検知部１３が対象物を認識できなくなった場合、測距結果選択部１４は、ステレオカメラ測距部１１及びレーザーレーダ測距部１２の両方の対象物データを出力してもよい。
【００２１】
運転支援部１５は、ステレオカメラ測距部１１又はレーザーレーダ測距部１２の対象物データを用いて各種の運転支援を行う。運転支援は車両によって様々であるが、例えば、対象物の位置が自車両の車幅の延長線と重なる場合、ＴＴＣ(Time To Collision)に応じて警報、制動、などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向に操舵する。
【００２２】
また、運転支援部１５は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ステレオカメラ測距部１１が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御を行うことができる。
【００２３】
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報することで被害を軽減する。
【００２４】
なお、複数の対象物が前方に存在する場合、運転支援部１５にはステレオカメラ測距部１１又はレーザーレーダ測距部１２から複数の対象物の対象物データが入力される場合がある。この場合、運転支援部１５は最も衝突の可能性が高い対象物に対し運転支援を行う。例えば、横位置が自車両から閾値以内の対象物のうち最もＴＴＣが小さい対象物である。
【００２５】
〔ステレオカメラ測距部の構成と原理〕
図４は、ステレオカメラ測距部１１の概略構成図の一例を、図５は三角測量の原理を説明する図の一例をそれぞれ示す。ステレオカメラ測距部１１は、レンズ２１Ｒ、２１Ｌ、一定の距離（基線長）をもって配置された２つのＣＭＯＳセンサ２２Ｒ，２２Ｌ、輝度画像入力部２３、視差画像計算部２６、物体認識処理部２４、及び、距離計算部２５を有している。左右のＣＭＯＳセンサ２２Ｒ，２２Ｌはそれぞれ周期的に撮像した画像を出力する。右のＣＭＯＳセンサ２２Ｒが撮影した右画像、及び、左のＣＭＯＳセンサ２２Ｌが撮影した左画像は、それぞれ輝度画像入力部２３と視差画像計算部２６に入力される。
【００２６】
輝度画像入力部２３は右画像又は左画像から１つの輝度画像を抽出し出力する。例えば、予め固定された右画像若しくは左画像の一方、右画像若しくは左画像のうち画質がよい方（例えばコントラストが良好な方、エッジ数が多い方）、又は、右画像と左画像の重複部分などが抽出される。
【００２７】
物体認識処理部２４は、輝度画像から対象物を認識する。本実施形態の対象物は、主に車両、歩行者、自転車などであるが、これらに限られず信号機などの静止物を認識してもよい。対象物の認識は、例えば、事前に用意された車等のパターン認識用のブロック画像と、輝度画像とのマッチングにより行う。予めオプティカルフローなどで同程度の速度の画像範囲を特定しておき、マッチング範囲を絞り込むと共に、その縦横比から適切なパターン認識用のブロック画像を選択してもよい。画面全体をマッチングするよりも対象物を認識するまでの時間を短縮できる。なお、輝度画像は周期的に出力されるので、一度、車などであると認識された対象物は、該画像における認識位置などに基づき次の画像で追跡することが可能になる。
【００２８】
視差画像計算部２６は、図５に示すように、右画像と左画像を用いて、ＣＭＯＳセンサ２２Ｒ，２２Ｌ上における同じ対象物の位置の差を視差として計算し、視差画像を出力する。視差画像と輝度画像は同期しており、画像中の座標は対応している。例えば、右画像をブロックに分割して、左画像のうち右画像のブロックと画素値が最も一致する範囲（ブロックと同じサイズ）を決定する。右画像のブロックと左画像の範囲の水平方向の位置の差が視差ｄである。なお、視差ｄは画素毎に算出可能であるが、画素ブロック毎に算出してもよい。１つの画像において同じ対象物が撮影されている範囲はほぼ同程度の視差を有している。
【００２９】
基線長をＢ、対象物までの距離をＺ、焦点距離をｆとすると、左右のＣＭＯＳセンサ２２Ｒ，２２Ｌ上の同じ対象物同士にＢ＋ｄの距離の差がある。
【００３０】
距離計算部２５は視差画像から測定対象までの距離を計算する。図５のように各距離を定義すると、下式により対象物である被写体までの距離Zを算出することができる。
Z : B = Z+f : B+d   → Z = Bf / d
対象物が撮影されている画像内の位置（画素）と焦点距離ｆにより、実空間の位置を算出できる。また、距離Ｚが算出されているので位置から方向を求めることもできる。
【００３１】
なお、本実施形態では、距離情報を検出する撮像手段としてステレオカメラを例にして説明するが、画素の一部を距離検出に用いる単眼のTOFカメラや、カメラが動いているという前提で複数のフレームを比較して視差を算出する単眼カメラなどのカメラでもよい。単眼カメラでは基線長を合わせるキャリブレーションなどが不要になるのでコストを抑制できる。
【００３２】
また、ステレオカメラは車両前方を撮像可能なように搭載されるが、前方だけでなく後方、後側方などを撮像可能なように搭載されてもよい。
【００３３】
〔レーザーレーダ測距部の構成と原理〕
図６は、レーザーレーダ測距部１２の概略構成図の一例である。レーザーレーダ測距部１２は、レーザーダイオード３２からパルス状のレーザー光を発射し、対象物に当った反射光を受光する。レーザー光の発射から受光までの時間を計測することで、物体までの距離を計測する。また、レーザー光を照射した方向と距離から位置を算出できる。
【００３４】
照射タイミング制御部３１は、レーザーダイオード３２がレーザー光を照射するタイミングを制御する。従来、照射タイミング制御部３１がなかったか、又は、あったとしても定期的にレーザ光を照射するだけであった。本実施形態の照射タイミング制御部３１は、照射トリガ信号でレーザーダイオード３２にレーザー光を定期的に照射させることができ、さらに、照射するタイミングを任意に制御することができる。
【００３５】
なお、定期的なレーザ光は、常に固定方向に照射されてもよいし、定期的だが照射方向はレーザーダイオード３２がレーザー光を照射する時のポリゴンミラー３３の角度により変化してもよい。
【００３６】
レーザーダイオード３２から照射されるレーザー光は、ポリゴンミラー３３に反射して照射される。ポリゴンミラー３３は一定速度で回転しているため、ポリゴンミラー３３の１面毎に、水平方向に角度を変えて複数のレーザー光が照射される。
【００３７】
図７は、ポリゴンミラー３３の１面で照射されるレーザー光の照射角度を説明する図の一例である。ポリゴンミラー３３が５面体の場合、１つの面がレーザーダイオード３２と対向している時間は、ポリゴンミラー３３が７２（＝３６０／５）度回転する時間である。この時間に照射タイミング制御部３１が例えば５回、照射トリガ信号を照射することで、７２／５＝約１５度ずつ方向を変えてレーザー光を照射できる。
【００３８】
ポリゴンミラー３３に反射したレーザー光は、その後、対象物に到達して反射され、反射光がレンズ３６で集光され、１Ｄ（次元）アレイ型受光素子３５で受光される。１Ｄアレイ型受光素子３５では各受光素子が水平方向の１次元に配列されている。水平方向のどの受光素子で閾値以上のレーザー光が検出されるかにより対象物の方向を検出することができる。
【００３９】
なお、レーザーダイオード３２がレーザー光を照射するタイミングとポリゴンミラー３３の角度により対象物の方向を検出する場合、１Ｄアレイ型受光素子３５は２次元型の受光素子でもよい。１Ｄアレイ型受光素子３５は、レーザー光を受光したことを示す受光トリガ信号を時間計測部３４に出力する。１Ｄアレイ型受光素子３５はレーザー光の波長に強い感度を有していることが好ましい。
【００４０】
時間計測部３４は、レーザー光の照射トリガ信号が入力されたタイミングから受光トリガ信号が入力されるタイミングまでの時間を計測し、計測した時間と光速に基づき、対象物までの距離を計算する。
【００４１】
反射光を、他車両の前照灯や信号機などの光と区別して１Ｄアレイ型受光素子３５が受光するため（反射光の強度を稼ぐために）、レーザーダイオード３２の発光強度を強くすることが望ましい。しかしながら、強度を強くすると、レーザーダイオード自体が劣化してしまうことから、発光強度に応じて一定時間のパルス間隔を確保しなければいけない。その結果、パルス間が広がるため、高い水平解像度が得られないという不都合がある。
【００４２】
たとえば、図７に示したように、ポリゴンミラー３３の１面ごとにレーザー光を水平に５点しか照射できない場合、正面の先行車７００２はレーダー光で検出可能であるが、レーザー光の照射位置から外れている先行車７００３は検出されない。先行車７００３が、自車両に接近し、例えば先行車７００４の位置に存在する場合、検出される可能性が増大するが、距離が縮まることで適切な運転支援が間に合わなくなるリスクが高くなる。したがって、レーザー光による対象物の検出では、他車両が自車両に接近することを待つのでなく、遠方の先行車７００３を検出できることが好ましい。
【００４３】
そこで本実施形態のレーザーレーダ測距部１２は、照射タイミング制御部３１を備え、レーザー照射のタイミングを制御することで、レーザー光の照射角度を制御する。その結果、１次元方向（水平方向）の画角の中で、照射方向を任意に制御することを可能とする。
【００４４】
なお、レーザーダイオード３２が照射するレーザー光は可視光である必要はなく、可視光及び可視光以外の光を含んでいてよい。すなわち、レーザーダイオード３２は電磁波を照射して受信できればよい。
【００４５】
また、本実施形態では、方向を変えながらレーザー光をパルス状に照射し、１Ｄアレイ型受光素子３５又は照射角度から対象物の方向を検出している。しかしながら、例えば、フェーズドアレイアンテナのように、機械的な動作を含まずに電磁波の照射方向を変えて照射してもよい。
【００４６】
〔認識消失検知部の機能について〕
図８は、認識消失検知部１３による対象物消失の検知について説明する図の一例である。ステレオカメラ測距部１１の物体認識処理部２４は、上記のように１つの画像毎に距離と位置を算出する。なお、物体認識処理部２４は、時系列の画像で画像内のほぼ同じ位置（少なくとも一部が重複している）で検出される対象物について、距離の差と画像が撮影される時間間隔から相対速度を算出する。
【００４７】
対象物の消失を検出するため、ステレオカメラ測距部１１は、対象物データに加え輝度画像を認識消失検知部１３に出力する。また、認識消失検知部１３は、図９に示すように、対象物毎に距離、位置、相対速度、画像位置を得ることができる。
【００４８】
図９は、認識消失検知部１３が取得する対象物データを説明する図の一例である。対象物データには、対象物番号に対応づけて、距離、位置、相対速度及び画像位置が時系列（過去のものを含む）に登録されている。なお、画像位置（x1,y1）（x2,y2）は対象物を囲む外接矩形の対角頂点の座標である。ｔ１、ｔ２、ｔ３はそれぞれ１つの輝度画像が取得されるタイミングと対応しており、各輝度画像から検出された対象物データが登録されている。なお、ｔ１＜ｔ２＜ｔ３とするが逆にｔ１＞ｔ２＞ｔ３でもよい。
【００４９】
図９に示すようにｔ１，ｔ２では対象物１，２のどちらも距離等が検出されているが、ｔ３では対象物２の距離等が検出されていない。本実施例ではステレオカメラ測距部１１は検出できなかった対象物の対象物データを「NULL」と表すものとする。対象物データにＮＵＬＬと登録される状況が生じるのは、例えば、対象物が撮影範囲から離脱した場合、対象物が別の他車両や地物に隠れた場合、又は、白つぶれが生じた場合などがある。
【００５０】
認識消失検知部１３は、対象物データに「NULL」が登録されている対象物について、直前の対象物データを参照して、対象物が白つぶれで消失したか否かを判定する。すなわち、対象物２のｔ２の画像位置２２を読み出し、ｔ３の輝度画像の画像位置２２において、例えば以下のようにして白つぶれが生じているか否かを判定する。
(i)   画像位置２２の矩形領域（x1,y1）（x2,y2）の画素の分散値を算出し閾値以下の場合、白つぶれが生じていると判定する。白つぶれが生じると、ダイナミックレンジの制限から、対象物が撮影されていた矩形領域（x1,y1）（x2,y2）の一部の画素の輝度値は最大輝度近くになり、一部の画素の輝度値は低い値になる。このため、白つぶれが生じる前よりも分散値が小さくなる。なお、閾値は、白つぶれが生じた画像と生じていない画像の分散値をそれぞれ算出し、実験的に求める。
(ii)   画像位置２２の矩形領域（x1,y1）（x2,y2）の画素のヒストグラムを算出し、十分に明るい画素（例えば０〜２５５段階で２２０以上）と十分に暗い画素（例えば０〜２５５段階で３０以下）が全画素に占める割合が閾値以上の場合、白つぶれが生じていると判定する。考え方は(i)と同じであり、画像位置２２の矩形領域（x1,y1）（x2,y2）の多くの画素の輝度値が最大輝度近くになることを利用する。
(iii)  画像位置２２の矩形領域（x1,y1）（x2,y2）の画素を縦方向又は横方向の少なくとも一方で微分し、微分結果の合計が閾値以下の場合、白つぶれが生じていると判定する。白つぶれが生じると、隣接した画素同士の画素値の差が小さくなるので、微分結果の合計が閾値以下の場合、白つぶれが生じていると判定できる。
【００５１】
認識消失検知部１３は、対象物が消失したことを検知するとレーザーレーダ測距部１２に対象物の方向を通知する。この方向は、車両の正面方向ゼロとしてをｔ２の横位置と距離から以下のように求めることができる。
方向＝arcsin（横位置／距離）
また、認識消失検知部１３は測距結果選択部１４に対し、レーザーレーダ測距部１２による検出結果を選択させる選択要求を通知する。これにより、測距結果選択部１４は、レーザーレーダ測距部１２の対象物データを用いて、画像から消失した対象物の距離や方向を選択して、運転支援部１５に出力できる。なお、認識消失検知部１３はステレオカメラ測距部１１が作成した対象物データを測距結果選択部１４に出力し続ける。しかし、測距結果選択部１４はレーザーレーダ測距部１２の対象物データのみを出力する。上記のように、ステレオカメラ測距部１１とレーザーレーダ測距部１２の両方の対象物データを出力してもよい。
【００５２】
なお、図９はステレオカメラ測距部１１の対象物データを示しているが、レーザーレーダ測距部１２の対象物データは画像位置が無い他は、ステレオカメラ測距部１１の対象物データと同じである。または、レーザーレーダ測距部１２に特徴的なデータ（例えば照射方向など）を含んでいてもよい。
【００５３】
〔照射タイミング制御部のタイミング制御〕
レーザーレーダ測距部１２は認識消失検知部１３から通知された方向にレーダー光を照射するので、輝度画像では白つぶれにより消失した対象物をレーザー光で検出できる。レーザーダイオード３２のレーザー光の照射方向は固定なので、ポリゴンミラー３３の１面とレーダーダイオードのレーザー光の照射方向のなす角により、車両からのレーザー光の照射角度は定まる。照射タイミング制御部３１は、例えば、ポリゴンミラー３３の１面とレーダーダイオードのレーザー光の照射方向とのなす角が90度になったタイミングを検知して、そのタイミングを起点にクロックをカウントし、クロック数に応じて車両からのレーザー光の照射角度を算出する。クロック数と車両からのレーザー光の照射角度の関係は予め保持されている。算出した照射角度が、認識消失検知部１３から通知された方向と一致する場合に、照射トリガ信号をレーザーダイオード３２に出力する。照射タイミング制御部３１は、この処理をポリゴンミラー３３の面が切り替わる毎に繰り返す。
【００５４】
図１０（ａ）は、照射されるレーザー光について説明する図の一例である。ポリゴンミラー３３の１つの面で５つの方向にレーザー光を照射するとする。図示するように、１番目、２番目、消失点、３番目、４番目、５番目のタイミングでレーザー光が照射される。
【００５５】
なお、消失した対象物の方向を通知された場合、定期的な照射を一切停止し、消失点の方向にのみレーザー光を照射してもよい。
【００５６】
また、消失した対象物の方向を通知された場合、レーザーレーダ測距部１２が、図１０（ａ）のように、定期的なレーザー光の照射を継続する場合、レーザーレーダ測距部１２は、定期的なレーザー光のうち、消失点の方向の前後の照射を行わないことが好適な場合がある。
【００５７】
図１０（ｂ）は、消失点の方向の前後の照射を行わない場合のレーザー光について説明する図の一例である。消失点が、２番目の方向と３番目の方向の間の場合、照射タイミング制御部３１は２番目と３番目のタイミングでは照射タイミング信号を出力しない。したがって、１番目、消失点、４番目、５番目のタイミングでレーザー光が照射される。これにより、消失点にレーザー光を照射しても、照射する時間間隔を空けることができるので、レーザーダイオード３２が劣化することを抑制できる。
【００５８】
なお、定期的なレーザー光の照射が、レーザーダイオード３２が劣化しないように十分に広間隔で行われている場合は、２番目と３番目のタイミングにおいてもレーザー光を照射してよい。これにより水平解像度を向上させることができる。
【００５９】
また、２番目と３番目の照射方向のうち、一方のタイミングにおいてのみレーザー光を照射してもよい。例えば、消失点の方向が３番目の照射方向から閾値以内の場合（３番目の照射方向に十分近い場合）、２番目の照射方向では照射してもレーザーダイオード３２の劣化を抑制できる。同様に、消失点の方向が２番目の照射方向から閾値以内の場合（２番目の照射方向に十分近い場合）、３番目の照射方向では照射してもレーザーダイオード３２の劣化を抑制できる。
【００６０】
ところで、消失点の対象物と自車両との相対位置は変化する可能性があるため、レーザー光を消失点の方向に繰り返し照射している間に、対象物を検出できなくなるおそれがある。例えば、先行車が横移動するような場合である。この場合、レーザーレーダ測距部１２は消失点へのレーザー光では反射波が検出されないことから、先行車の横移動を検出する。照射タイミング制御部３１は、図１０（ｃ）に示すように、消失点の方向を中心に、水平方向前後に、たとえば±３度の位置で（すなわち水平方向の右方向と左方向に角度を変えて）照射されるように照射トリガ信号を再度制御する。これにより、消失点の対象物が横移動しても、再度、捕捉することが可能になる。
【００６１】
なお、±３度の位置で照射しても対象物が検出されなかった場合、徐々に（例えば、±１度ずつ）角度を大きくすることで、確実に消失点の対象物を検出できる。なお、前後に変更する際の最大の照射幅を定期的な照射方向と一致する範囲までとする。それ以上は定期的な照射で検出可能だからである。
【００６２】
〔レーザーレーダ側距部からステレオカメラ側距部への切り換え〕
続いて、レーザー光による検出から輝度画像による認識結果への切り替えについて説明する。先行車に続いて自車両もトンネルを出て、ステレオカメラ測距部１１が消失した先行車の認識が可能となった場合、レーザーレーダ測距部１２は消失点の方向へのレーザー光の照射を停止する。測距結果選択部１４はステレオカメラ測距部１１の対象物データの出力に切り替える。
【００６３】
この切り換えは、ステレオカメラ測距部１１による認識からレーザーレーダ測距部１２による検出への切り換えと逆に行えばよい。すなわち、レーザーレーダ測距部１２は、検出されている対処物の対象物データをステレオカメラ測距部１１に出力する。ステレオカメラ測距部１１は、レーザー光により検出された方向と距離に相当する画像位置において対象物を物体認識する。対象物が認識されている場合、消失したはずの対象物が輝度画像により再度、認識されたと判定できる。
【００６４】
ステレオカメラ測距部１１は、レーザーレーダ測距部１２に消失点の方向へのレーザー光の照射を停止するよう要求する。これにより、レーザーレーダ測距部１２は定期的なレーザー光の照射に戻る。また、ステレオカメラ測距部１１は認識消失検知部１３を介して測距結果選択部１４に対し、ステレオカメラ測距部１１の対象物データを選択するよう要求する。
【００６５】
〔動作手順〕
図１１は、物体認識装置１００の動作手順を示すフローチャート図の一例である。
ステレオカメラ測距部１１は、画像から対象物を認識する処理を繰り返し行っている（Ｓ１０）。
【００６６】
認識消失検知部１３は対象物データを参照して対象物を消失したか否かを判定する（Ｓ２０）。
【００６７】
対象物を消失した場合（Ｓ２０のＹｅｓ）、認識消失検知部１３はレーザーレーダ測距部１２に対し対象物の方向にレーザー光を照射するよう要求する（Ｓ３０）。また、認識消失検知部１３は測距結果選択部１４に対し、レーザーレーダ測距部１２による検出結果を選択させる選択要求を通知する。なお、認識消失検知部１３がこの要求を行っても、ステレオカメラ測距部１１は認識可能な範囲で輝度画像から対象物の認識を繰り返している。
【００６８】
次に、ステレオカメラ測距部１１は消失した対象物を認識できたか否かを判定する（Ｓ４０）。
【００６９】
消失した対象物を認識できた場合（Ｓ４０のＹｅｓ）、ステレオカメラ測距部１１は認識消失検知部１３を介して測距結果選択部１４に対しステレオカメラ測距部１１による対象物データの選択を要求する（Ｓ５０）。これにより、測距結果選択部１４はステレオカメラ測距部１１による対象物データの選択を再開する。
【００７０】
そして、ステレオカメラ測距部１１は、対象物の方向へレーザー光を照射することの停止要求をレーザーレーダ測距部１２に出力する（Ｓ６０）。
【００７１】
続いて、レーザーレーダ測距部１２の動作手順について説明する。
レーザーレーダ測距部１２は、定期的にレーザー光を照射して対象物を検出する（Ｓ１１０）。
【００７２】
そして、消失した対象物へのレーザー光の照射要求がある場合（Ｓ１２０のＹｅｓ）、レーザーレーダ測距部１２は定期的な照射方向に加え消失点にレーザー光を照射して対象物を検出する（Ｓ１３０）。
【００７３】
次いで、レーザーレーダ測距部１２は、レーザー光の照射の停止要求があるか否かを判定する（Ｓ１４０）。
【００７４】
レーザー光の照射の停止要求があった場合（Ｓ１４０のＹｅｓ）、レーザーレーダ測距部１２は消失点へのレーザー光の照射を停止する（Ｓ１５０）。
【００７５】
したがって、以上説明したように、本実施形態の物体認識装置１００は、急激な走行環境の変化に対し、ステレオカメラで物体検知できなくなる直前の対象物の方向にレーザー光を照射させることで、レーザーレーダの低い水平解像度でも、ステレオカメラで消失した物体を検知することができる。
【００７６】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００７７】
例えば、トンネルの出口を例に説明したが、対向車のヘッドライトが急に撮影された場合や西日が急に差し込んだ場合など照度が急に変化する走行環境で好適に適用できる。
【符号の説明】
【００７８】
１１    ステレオカメラ測距部
１２    レーザーレーダ測距部
１３    認識消失検知部
１４    測距結果選択部
１５    運転支援部
１００  物体認識装置
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特開２０１３‐２１５８０４号公報
【図１】
2015172934.tif 000003
【図２】
2015172934.tif 000004
【図３】
2015172934.tif 000005
【図４】
2015172934.tif 000006
【図５】
2015172934.tif 000007
【図６】
2015172934.tif 000008
【図７】
2015172934.tif 000009
【図８】
2015172934.tif 000010
【図９】
2015172934.tif 000011
【図１０】
2015172934.tif 000012
【図１１】
2015172934.tif 000013