(57)【要約】【課題】車両制御や警報等を適切に実行するために撮像画像により検出される信号機の種別を的確に判定する。【解決手段】自車両の進行方向を撮像した撮像画像内で信号機の存在を検出する。そして検出した１又は複数の信号機についての自車両からの距離分布を判定する処理を行う。この距離分布の判定結果を用いて、撮像画像から検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行い、判定情報を生成する。【選択図】図２
2014215697.tif 000002
【特許請求の範囲】
【請求項１】
自車両の進行方向を撮像した撮像画像内で信号機の存在を検出する信号機検出部と、
前記信号機検出部で検出された信号機についての自車両からの距離分布を用いて、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行い、種別判定結果を示す判定情報を生成する信号機種別判定部と、を備えた
車外環境認識装置。
【請求項２】
前記信号機種別判定部は、さらに、撮像画像内で検出された信号機の発光形状を判定し、発光形状の判定結果も前記種別判定に用いる
請求項１に記載の車外環境認識装置。
【請求項３】
前記信号機種別判定部は、さらに、検出された信号機の周囲に、自車両からの前方距離が前記信号機と同一と判定される掲示板状物体が存在するか否かを判定し、掲示板状物体の存在の判定結果も前記種別判定に用いる
請求項１又は請求項２に記載の車外環境認識装置。
【請求項４】
前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、前記信号機検出部で検出した信号機のうち特定の信号機と当該特定の信号機の前後所定距離内に存在する他の信号機の数、他の信号機が存在する場合の互いの信号機間の水平方向距離、および当該信号機と他の信号機の互いの発光色情報に基づき、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行う
請求項１に記載の車外環境認識装置。
【請求項５】
前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、前記信号機検出部で信号機が２個以上検出された場合、処理対象とする距離範囲内で自車両からの前方距離が最も近い信号機を特定し、特定した当該信号機の前後所定距離内に当該信号機と発光色が同色の他の信号機が存在するか否かを判定し、他の同色の信号機が存在する場合、当該信号機と他の信号機との水平方向距離が所定間隔以上の時は当該信号機と他の信号機を交通信号機として判定するとともに、当該信号機と他の信号機との水平方向距離が所定の間隔未満の時は当該信号機と他の信号機とを指示信号機として判定する
請求項１または請求項４に記載の車外環境認識装置。
【請求項６】
前記信号機種別判定部は、信号機の自車両からの三次元位置を取得し、前記信号機検出部で信号機が３個以上検出された場合、当該３個以上の信号機が前後所定距離以内に全て存在する場合、当該３個以上の信号機を指示信号機として判定する
請求項１、請求項４、請求項５のいずれかに記載の車外環境認識装置。
【請求項７】
前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、信号機検出部で少なくとも青発光状態の信号機を含む信号機が２個以上検出され、かつ当該青発光状態の信号機から所定の範囲内に赤発光状態の信号機が存在する場合、当該青発光状態の信号機を交通信号機から除外した上で、自車両からの距離分布に基づいて信号機の種別判定を行う
請求項１、請求項４、請求項５、請求項６のいずれかに記載の車外環境認識装置。
【請求項８】
前記信号機種別判定部は、少なくとも前記距離分布の判定結果から前記指示信号機と判定される場合において、当該指示信号機が自車両の幅方向中心から所定の左右距離以内に存在する赤発光状態であって、当該指示信号機までの前方距離が所定距離以内に接近したことを検知した場合は、当該指示信号機を交通信号機として再判定する
請求項１乃至請求項７のいずれかに記載の車外環境認識装置。
【請求項９】
前記信号機種別判定部は、信号機の発光色情報と輝度情報を取得し、信号機検出部で検出した信号機が１個の場合、当該信号機の所定領域内に設定した少なくとも１つ以上のサンプリング領域の輝度値を用いて当該信号機が交通信号機か指示信号機であるかの種別判定を行う
請求項２に記載の車外環境認識装置。
【請求項１０】
前記所定領域は、前記信号機の発光部分を囲む矩形領域であって、前記サンプリング領域は前記矩形領域の中心部に設定した中心領域と、４辺のうち少なくとも１辺の中間部に設定した中間領域であって、各サンプリング領域の輝度値と信号機の発光色情報に基づき信号機が交通信号機か指示信号機であるかの種別判定を行う
請求項９に記載の車外環境認識装置。
【請求項１１】
前記信号機種別判定部は、前記信号機検出部で検出した信号機が１個の場合、撮像画像内で前記信号機の上方に設定した掲示板探索範囲内の各画素ごとの距離情報を参照し、各画素ごとの距離情報と前記信号機の自車からの前方距離とを比較する第１の比較結果と、前記掲示板探索範囲の色情報を参照し、前記掲示板探索範囲の色情報が所定の色情報であるか否かを比較する第２の比較結果とに基づいて前記信号機の上方に掲示板状物体が存在すると判定し、前記信号機を指示信号機として判定する
請求項３に記載の車外環境認識装置。
【請求項１２】
前記信号機種別判定部にて前記信号機が交通信号機であると判定された場合、当該交通信号機の発光色情報と距離情報に基づきブレーキ制御もしくは警報制御を行う運転支援制御部をさらに備えた
請求項１乃至請求項１１のいずれかに記載の車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の進行方向を撮像した撮像画像を用いて前方の信号機の判定を行う車外環境認識装置についての技術分野に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００７−３４６９３
【特許文献２】特開２００５−１７０１５４
【背景技術】
【０００３】
例えば先行車両やその他の障害物の接近を検知して車両を制動させるなどの衝突回避や、オートクルーズ等といった運転者を支援するための運転支援技術が知られている。このような運転支援技術では、車両前方に存在する物体までの距離を検出し、その結果に基づきブレーキ制御やスロットル制御等の車両制御が行われたり、運転者に対する警報を行う。
走行中に前方に存在する交通信号機の検出も車両制御には重要である。例えば赤信号に応じた警報や自動停止制御などのために交通信号機検出が行われる。
【０００４】
車両に取り付けたカメラによる撮像画像から前方の赤信号を検出する技術が、上記特許文献１、２に開示されている。
特許文献１では、自車両の進行路上にある信号機が赤信号であるか否かを判定するために、赤信号の形状を用いている。即ち自車両の正面にある信号機であるほど真円に近く、離れる程楕円形に近づくことを利用している。
特許文献２においては、車両停止制御の条件として交通信号機の検出を行うことが開示されており、具体的には自車両の進行方向の交差点に２以上の赤信号を検出した場合に、その交差点の停止線を停止地点として運転支援制御を行うことが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで車両が走行する道路上には、交差点等で円滑な交通のための交通整理を行う通常の交通信号機以外にも、多様な信号機が存在する。例えば有料道路の料金所ゲートの開閉を示す信号機、車線を示す信号機などである。これらを説明上「指示信号機」と呼ぶこととする。これらの指示信号機が検出された場合に、交差点等の交通信号機の場合と同様に車両制御や警報を行うことは適切でない場合がある。
例えば上記特許文献１、２の技術は、共に赤信号の検出を行うものであるが、信号機の種別を考慮していない。有料道路の料金所や中央線を指示する信号機は赤色で複数個点灯していることがあるため、交差点の信号機等と誤検出をすることが生じたり、或いは料金所の隣のレーンの赤信号を、赤の交通信号と判定して停止制御を行うなどが生じるおそれがある。このため適切な運転支援制御のために、交通信号機と、それ以外の交通信号機に似た特徴を持つ発光体（指示信号機）を区別することが求められる。
【０００６】
そこで本発明は、自車両の進行方向を撮像した撮像画像内で検出される信号機が、交通信号機か指示信号機かを判定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
第１に、本発明に係る車外環境認識装置は、自車両の進行方向を撮像した撮像画像内で信号機の存在を検出する信号機検出部と、前記信号機検出部で検出された信号機についての自車両からの距離分布を用いて、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行い、種別判定結果を示す判定情報を生成する信号機種別判定部と、を備えたものである。
料金所ゲートや車線指示等のための指示信号機は、ほとんどの場合、車両からの前方距離が略等しい位置に複数個存在する。自車両からの距離分布によりこの点を判定することで、指示信号機の場合を、交差点や横断歩道等設置箇所などに設けられている交通信号機と区別できる。
【０００８】
第２に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、さらに、撮像画像内で検出された信号機の発光形状を判定し、発光形状の判定結果も前記種別判定に用いることが望ましい。
指示信号機の中には、例えば◎状や×状等、交通信号機の●状とは異なる発光形状のものがある。従って発光形状も交通信号機と指示信号機の種別判定の要素として用いることができる。
【０００９】
第３に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、さらに、検出された信号機の周囲に、自車両からの距離が前記信号機と同一と判定される掲示板状物体が存在するか否かを判定し、掲示板状物体の存在の判定結果も前記種別判定に用いることが望ましい。
料金所等の指示信号機の場合、信号機とともに掲示板が設けられていることが多い。従って掲示板状物体の存在も、種別判定の要素として用いることができる。
【００１０】
第４に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、前記信号機検出部で検出した信号機のうち特定の信号機と当該特定の信号機の前後所定距離内に存在する他の信号機の数、他の信号機が存在する場合の互いの信号機間の水平方向距離、および当該信号機と他の信号機の互いの発光色情報に基づき、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行うことが望ましい。
所定前後距離内に存在する他の信号機の数は検出された信号機の距離分布から得られる。この情報と、信号機間の水平方向距離（間隔）、および発光色情報を用いることで、より精度の高い信号機種別判定を実現する。
【００１１】
第５に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、前記信号機検出部で信号機が２個以上検出された場合、処理対象とする距離範囲内で自車両からの前方距離が最も近い信号機を特定し、特定した当該信号機の前後所定距離内に当該信号機と発光色が同色の他の信号機が存在するか否かを判定し、他の同色の信号機が存在する場合、当該信号機と他の信号機との水平方向距離が所定間隔以上の時は当該信号機と他の信号機を交通信号機として判定するとともに、当該信号機と他の信号機との水平方向距離が所定の間隔未満の時は当該信号機と他の信号機とを指示信号機として判定することが望ましい。
距離分布として得られる情報から、処理対象とする距離範囲内で自車両からの前方距離が最も近い信号機を特定することは、自車にとって最も優先して判定すべき信号機を特定することになる。この場合に、他の同色の信号機の有無や、信号期間の水平距離を用いることで、より正確な信号機種別判定を実現する。
【００１２】
第６に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、信号機の自車両からの三次元位置を取得し、前記信号機検出部で信号機が３個以上検出された場合、当該３個以上の信号機が前後所定距離以内に全て存在する場合、当該３個以上の信号機を指示信号機として判定する
自車両の前方距離として、所定の前後距離以内に３個以上の信号機が存在するのは、高い確率で料金所ゲートの信号機、つまり指示信号機と判断できる。
【００１３】
第７に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、信号機検出部で少なくとも青発光状態の信号機を含む信号機が２個以上検出され、かつ当該青発光状態の信号機から所定の範囲内に赤発光状態の信号機が存在する場合、当該青発光状態の信号機を交通信号機から除外した上で、自車両からの距離分布に基づいて信号機の種別判定を行うことが望ましい。
青発光状態の信号機から所定の範囲内に赤発光状態の信号機が存在する場合、青発光状態の信号機とは矢印信号である可能性が高いため除外することが適切となる。
【００１４】
第８に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、少なくとも前記距離分布の判定結果から前記指示信号機と判定される場合において、当該指示信号機が自車両の幅方向中心から所定の左右距離以内に存在する赤発光状態であって、当該指示信号機までの前方距離が所定距離以内に接近したことを検知した場合は、当該指示信号機を交通信号機として再判定することが望ましい。
例えば指示信号機であっても、赤発光状態であるときに、その指示信号機に向かって自車両が走行している場合、交通信号機の赤発光状態の場合と同等の車両制御や警報等が行われることが適切である。そこで赤信号接近状況に応じた判定情報が得られるようにする。
【００１５】
第９に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、信号機の発光色情報と輝度情報を取得し、信号機検出部で検出した信号機が１個の場合、当該信号機の所定領域内に設定した少なくとも１つ以上のサンプリング領域の輝度値を用いて当該信号機が交通信号機か指示信号機であるかの種別判定を行うことが望ましい。
信号機が１つの場合、発光形状の判定結果を信号機種別判定に用いることが好適である。そして信号機の発光形状の判定には、１つ以上のサンプリング領域を設定し、各サンプリング領域の輝度値を用いることで可能となる。
第１０に、上記した本発明に係る車外環境認識装置においては、前記所定領域は、前記信号機の発光部分を囲む矩形領域であって、前記サンプリング領域は前記矩形領域の中心部に設定した中心領域と、４辺のうち少なくとも１辺の中間部に設定した中間領域であって、各サンプリング領域の輝度値と信号機の発光色情報に基づき信号機が交通信号機か指示信号機であるかの種別判定を行うことが望ましい。
このようなサンプリング領域の設定により、◎状、×状、●状の判定が容易に可能となる。
【００１６】
第１１に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部は、前記信号機検出部で検出した信号機が１個の場合、撮像画像内で前記信号機の上方に設定した掲示板探索範囲内の各画素ごとの距離情報を参照し、各画素ごとの距離情報と前記信号機の自車からの前方距離とを比較する第１の比較結果と、前記掲示板探索範囲の色情報を参照し、前記掲示板探索範囲の色情報が所定の色情報であるか否かを比較する第２の比較結果とに基づいて前記信号機の上方に掲示板状物体が存在すると判定し、前記信号機を指示信号機として判定することが望ましい。
信号機が１つの場合、掲示板状物体の存在の判定結果を信号機種別判定に用いることが好適である。その場合に、上記の第１，第２の比較結果を用いることで、信号機の上方に掲示板状物体が存在することを正確に判定できる。
【００１７】
第１２に、上記した本発明に係る車外環境認識装置においては、前記信号機種別判定部にて前記信号機が交通信号機であると判定された場合、当該交通信号機の発光色情報と距離情報に基づきブレーキ制御もしくは警報制御を行う運転支援制御部をさらに備えることが望ましい。これにより、交通信号機の赤信号に基づくブレーキ制御や警報制御が実行できる。
【発明の効果】
【００１８】
本発明よれば、撮像画像から信号機が検出される場合に、交通信号機と指示信号機を区別した判定情報を生成することができる。この判定情報は例えば適切な車両制御や警報等の運転支援制御に有用な情報となる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態の車外環境認識装置を含む車両システム構成の説明図である。
【図２】実施の形態の信号機判定処理及び交通信号機誤検出抑制処理のフローチャートである。
【図３】実施の形態の距離分布判定処理のフローチャートである。
【図４】実施の形態の距離分布判定の説明図である。
【図５】実施の形態の発光形状判定処理及び掲示板判定処理のフローチャートである。
【図６】実施の形態の発光形状判定の説明図である。
【図７】実施の形態の掲示板判定の説明図である。
【図８】実施の形態の誤検出抑制解除判定処理及び誤検出抑制判定処理のフローチャートである。
【図９】実施の形態の誤検出抑制解除判定の条件の説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を説明するが、まず本明細書及び請求項で用いている「交通信号機」「指示信号機」について説明しておく。
「交通信号機」とは、道路上の交差点や横断歩道等設置箇所などにおいて交通の円滑化や安全のために設置され、車両の進行／停止を示す赤発光・青発光等が切り換えられて交通整理を行う信号機のことをいう。
「指示信号機」とは、料金所ゲート等の閉鎖／開放を示すための信号機、車線指示のために道路上に設置された信号機等であって、上記の交通信号機以外の信号機のことをいう。
【００２１】
＜１．車両制御システム構成＞
図１により、本発明の実施の形態としての車外環境認識ユニット２を含む車両制御システム１について説明する。車外環境認識ユニット２は、当該車両制御システム１による運転支援制御を行うために交通信号機と指示信号機を判別する機能を有する装置となり、請求項でいう車外環境認識装置に相当する。
図１に示すように、車両制御システム１は、車外環境認識ユニット２、車両制御部１０、表示制御部１１、アクチュエータ１２、ディスプレイ１３、センサ類１４を備えている。
【００２２】
アクチュエータ１２は、車両の走行・制動のためのアクチュエータを包括的に表したものである。例えばエンジン関連アクチュエータ１２として、スロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等が設けられる。またトランスミッション関連アクチュエータとして、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等が設けられる。またブレーキ関連アクチュエータとして、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等が設けられる。
ディスプレイ１３は、例えばＭＦＤ（Multi Function Display）とされて運転者に各種情報を提示する。例えばディスプレイ１３では走行速度、エンジン回転数、燃料計、ギア表示、ギアシフト指示、各種警報などの表示が可能とされている。
センサ類１４とは、エンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、ブレーキスイッチ等、車両及びエンジン運転の状態を検出するセンサ類を包括的に表している。
【００２３】
車両制御部１０は、車両走行に係る各部の状態を制御するもので、センサ類１４としての各センサからの検出信号に基づきアクチュエータ１２の動作制御を行う。例えば、燃料噴射タイミング、噴射パルス幅、スロットル弁の開度等の制御を行う。また、車外環境認識ユニット２（後述の運転支援制御部６）からの制御要求に応じて運転支援のためのアクチュエータ制御、例えばブレーキ制御等も行う。
表示制御部１１は、車両制御部１０や車外環境認識ユニット２からの要求や情報に基づいて上記のような各種表示をディスプレイ１３に実行させるように表示制御を行う。また、車外環境認識ユニット２（後述の運転支援制御部６）からの表示要求に応じて警報表示等の制御も行う。
車両制御部１０、表示制御部１１、車外環境認識ユニット２は、バス１５を介しての相互のデータ通信が可能とされる。
【００２４】
この車両制御システム１では、車外環境認識ユニット２が車両前方に存在する物体を認識し、認識した物体に応じて運転支援の制御を行うことができるようにされている。
このため車外環境認識ユニット２は、撮像部３Ａ、３Ｂ、画像処理部４、メモリ部５、運転支援制御部６を備えている。
【００２５】
撮像部３Ａ、３Ｂは、車両において進行方向（前方）を撮像可能に設置されている。特には、撮像部３Ａ、３Ｂとしての２つのカメラが、いわゆるステレオ法による測距が可能となるように設置されており、撮像部３Ａ、３Ｂからは、それぞれで撮像された２系統の画像データ（第１撮像画像データ、第２撮像画像データと呼ぶ）が、それぞれ毎フレーム出力される。
【００２６】
画像処理部４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えた半導体集積回路で構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
本実施の形態の場合、画像処理部４は、撮像部３Ａ、３Ｂから供給される第１撮像画像データ、第２撮像画像データとしての各フレーム画像データをメモリ部５に格納していく。そして各フレームの第１撮像画像データ、第２撮像画像データに基づき、外部環境として車両前方に存在する物体を認識するための各種処理を実行する。
なお各種の物体認識及びそれに応じた車両制御は多様であるが、本実施の形態では、特に物体として信号機を検出し、その種別を判定するための処理を行う。この信号機の検出及び種別判定のために、画像処理部４は以下の処理を行う。
【００２７】
先ず、メモリ部５に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する距離画像生成処理を実行する。距離画像とは、ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差として求め、その視差を用いて三角測量の原理により実空間上における対応点までの距離を画像上に表したデータである。
次に、距離画像生成処理で生成した距離画像に基づく領域選択処理を実行し、領域選択処理の結果を用いて距離画像について画像内に存在する物体を検出する物体検出処理を実行する。本実施の形態の動作に関連しては、特に車両前方に存在する信号機の検出を行う。
さらに上記処理で検出された信号機について信号機種別判定処理を行う。即ち検出された信号機についての自車両からの距離分布を判定する処理を行う。そして距離分布の判定結果を用いて、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行い、種別判定結果を示す判定情報を生成する。
本例の場合には、距離画像生成処理、物体（信号機）検出処理、信号機種別判定処理は、ＲＯＭに格納されたプログラムに従ったＣＰＵによるソフトウェア処理で実現される。図１中では便宜的に、これらの処理を実行するハードウェアがそれぞれ存在するものと擬制し、それぞれ距離画像生成部４ａ、信号機検出部４ｂ、信号機種別判定部４ｃと表している。
【００２８】
このような画像処理部４の処理で生成された、信号機種別判定処理の結果としての判定情報や、その他の物体認識に関する情報は、運転支援制御部６に供給される。
運転支援制御部６は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えた半導体集積回路で構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。運転支援制御部６には、画像処理部４からの物体認識に関する情報や、センサ類１４としての例えばアクセル開度センサ、車速センサ、ブレーキスイッチ等の各センサ信号が入力される。これらの入力に基づいて、各種運転支援、例えば衝突回避やオートクルーズ等といった運転者を支援するための制御を行う。
特に上述の信号機種別判定処理の結果としての判定情報に応じて、例えば赤信号（赤発光状態の信号機）としての交通信号機判定に応じた停止動作を車両制御部１０に要求したり、ディスプレイ１３に警報表示を実行させるように表示制御部１１に要求するなどの制御処理を行う。画像処理部４からの判定情報には、交通信号機と指示信号機の判定結果が含まれていることで、信号機種別に応じた制御が可能となる。
【００２９】
＜２．信号機判定の全体処理＞
以下、車外環境認識ユニット２の画像処理部４において実行する信号機判定処理について説明していく。信号機判定処理とは、車両の前面に存在する物体として信号機を認識し、さらに信号機の種別を判定して、その判定情報を生成する処理である。
【００３０】
図２Ａは画像処理部４が実行する信号機判定の処理の全体を示すフローチャートである。
画像処理部４はステップＳ１で画像データを取得する。即ち上述の第１撮像画像データ、第２撮像画像データとしての各１フレームを取得する。なお、この図２Ａの信号機判定処理は、第１撮像画像データ、第２撮像画像データとしての各１フレームの取得毎に繰り返し実行される。
【００３１】
ステップＳ２では、第１撮像画像データ、第２撮像画像データを用いて上述の距離画像生成部４ａの機能により距離画像を生成する。
ステップＳ３では、上述の信号機検出部４ｂの機能により距離画像内に存在する物体として信号機を検出する。特に検出した信号機については、その時点の信号機の色（発光色）と、自車両に対する信号機の実環境三次元位置の情報を求める。
なお信号機の検出処理の具体的な手法は各種考えられる。例えば信号機形状についてのパターンマッチングや信号発光部分としての高輝度領域検出などを用いることなどで検出可能であるが、他の手法を用いてもよい。
【００３２】
画像処理部４は、ステップＳ３で信号機が検出されなければ、ステップＳ４から図２Ａの処理を終了し、再びステップＳ１から次のフレームの第１、第２撮像画像データを用いた処理を開始する。
ステップＳ３で１又は複数の信号機が検出された場合は、画像処理部４はステップＳ４からＳ５に進み、上述の信号機種別判定部４ｃとしての機能により、交通信号機誤検出抑制処理を実行する。これはステップＳ３で検出された信号機について、交通信号機であるか指示信号機であるかの判別する処理である。原則的には指示信号機を交通信号機と認識してしまう誤検出を抑制する処理としての意味を持つ。
【００３３】
このステップＳ５の交通信号機誤検出抑制処理を、図２Ｂに詳しく示す。
交通信号機誤検出抑制処理としては、図示のように距離分布判定処理（Ｓ１０）、発光形状判定処理（Ｓ１２）、掲示板判定処理（Ｓ１３）、誤検出抑制解除判定処理（Ｓ１４）、誤検出抑制判定処理（Ｓ１６）、及び条件に応じた分岐処理（Ｓ１１，Ｓ１５）が含まれる。
距離分布判定処理（Ｓ１０）は、検出した信号機の距離と個数、即ち信号機の距離分布から交通信号機と指示信号機を区別する処理である。
発光形状判定処理（Ｓ１２）は、距離分布判定処理（Ｓ１０）で判定不能の場合に●形状や×形状としての発光形状によって信号機種別を判定する処理である。
掲示板判定処理（Ｓ１３）は、同じく距離分布判定処理（Ｓ１０）で判定不能の場合に、信号機周辺に存在する料金所等の指示標識（掲示板）を検出することで信号機種別を判定する処理である。
誤検出抑制判定処理（Ｓ１６）は、上記各処理の結果を基に交通信号機か指示信号機かを最終的に判定する判定情報を生成する処理である。
誤検出抑制解除判定処理（Ｓ１４）は、指示信号機であると判定された場合でも、赤信号に正面から進行し、かつ、一定距離以上近づいた場合に限り、指示信号機判定を解除する処理である。
各処理についてはそれぞれ後述するが、結果として図２ＡのステップＳ５においては、ある時点で判定情報が生成される。判定情報には、検出された信号機が交通信号機であるか指示信号機であるかの区別を示す種別判定情報や、指示信号機であったとしても運転支援制御のために交通信号機と同視すべきことを示す赤信号接近判定情報が含まれる。
【００３４】
そして画像処理部４は、図２ＡのステップＳ６で、上記の交通信号機誤検出抑制処理の結果として生成された判定情報を運転支援制御部６に出力する。この判定情報は運転支援制御としての警報表示や車両制御のために用いられる。
【００３５】
＜３．距離分布判定処理＞
図２ＢのステップＳ１０として実行される距離分布判定処理の詳細を図３に示す。
画像処理部４はステップＳ１００で信号機情報を取得する。信号機情報とは図２のステップＳ３で検出された信号機の発光色の情報と実環境での自車両からの三次元位置の情報である。これらの情報は撮像画像及び距離画像から得ることができる。
主な検出対象としている、料金所や中央線を指示するための指示信号機は、車両からの前方距離が等しい位置に複数個、存在する。距離分布判定処理は、この特徴を利用し、検出した信号機の距離と個数の分布の状況により交通信号機と指示信号機とを区別する。
【００３６】
ここで図２Ｂの交通信号機誤検出抑制処理では非交通信号機フラグＮＳＦが用いられる。
非交通信号機フラグＮＳＦは、各時点で判定対象の信号機が交通信号機ではないと判定されたときに“SET（セット）”値が設定され、交通信号機と判定されたときに“CLR（クリア）”値が設定されるフラグである。判定不能の場合には“NEXT”値が設定される。そして画像処理部４は、各時点で非交通信号機フラグＮＳＦ＝“SET”と設定される毎に、内部のカウンタとして保持するポイント（以下「ＮＦＳポイント」）を１ポイントを加算する。非交通信号機フラグＮＳＦ＝“CLR”と設定された際にはカウンタ（ＮＦＳポイント）のインクリメントは行わない。なお、ＮＳＦ＝“CLR”の場合、ＮＳＦポイントのデクリメントやゼロリセットを行うようにしてもよい。
【００３７】
図３のステップＳ１０１では、画像処理部４は検出している信号機の数が１個であるか否かを判断する。１個である場合は、ステップＳ１０２に進み、非交通信号機フラグＮＳＦを“NEXT”値とする。そして図３の距離分布判定処理を終える。
図２ＢのステップＳ１１で非交通信号機フラグＮＳＦが“NEXT”であるか否かの判断が行われるが、この場合は、ステップＳ１０の距離分布判定処理で信号機種別の判定ができなかったことから、ステップＳ１２（発光形状判定処理）、及びステップＳ１３（掲示板判定処理）に進むことになる。
【００３８】
図３に戻って説明する。検出された信号機数が複数の場合、ステップＳ１０１からＳ１０３に進み、画像処理部４は距離グループ振り分けを行う。
距離グループ分けでは、ステップＳ１００で取得した自車両からの前方距離を基に信号機のグループ分けを行う。このグループを距離グループ呼ぶ。距離グループとは、例えば図４に示すように、自車両から０ｍ〜１５０ｍまでの距離を１０ｍ毎に分割した１５個のグループ（ＧＰ１〜ＧＰ１５）のことである。
画像処理部４は、検出した複数の信号機について、自車両からの距離によって、１５個の距離グループのいずれかに振分ける。１つの距離グループＧＰには、自車両からの前方距離が前後所定距離内にある信号機が振り分けられることになる。なお１５０ｍ以上遠くの信号機を検出した場合は、全て距離グループＧＰ１５に振分ける。
同時に画像処理部４は、各距離グループに振分けられた信号機の数をカウントする。
図４において赤信号は●、青信号（青発光状態の信号機）は斜線を付した〇で示している。例えば図４Ａは、距離グループＧＰ７に赤信号の信号機が１つと、距離グループＧＰ１０に赤信号の信号機が１つが振り分けられた状態を示している。
【００３９】
続いて画像処理部４はステップＳ１０４で矢印判定を行う。この処理では各距離グループに振分けられた青信号の中から矢印信号を検出する。距離グループ内に１つ以上の青信号が存在する場合は、矢印信号の可能性があるため、当該青信号から所定の範囲内、例えば周囲数メートル以内に赤信号がないかを探索する。もし、赤信号が存在すれば、その青信号は矢印信号だと判断し矢印信号フラグを立てる。
そしてステップＳ１０５で距離グループ振分け更新を行う。この処理ではステップＳ１０４の矢印判定で矢印信号フラグを立てられた信号機を各距離グループから除外する。従って各距離グループＧＰ１〜ＧＰ１５として矢印信号以外の信号機の距離分布の情報が得られる。
【００４０】
ステップＳ１０６で画像処理部４は、分布パターン判定を行う。この処理では、検出している信号機の分布パターンを判定し、直近の信号機が交通信号か指示信号かを判定する。図４Ａ〜図４Ｅでは、検出された直近の信号機が含まれる距離グループを直近グループＮｇとしている。この直近グループＮｇを特定し、直近グループＮｇに含まれる信号機に注目して判定を行う。
なお本実施の形態では、距離グループＧＰ１〜ＧＰ４、及びＧＰ１５は処理対象から外している。距離グループＧＰ１５は１５０ｍ以上の信号が全て振分けられており、グループ分けができていない意味のないグループなので使用しない。距離グループＧＰ１〜ＧＰ４は自車両から近すぎるため、既に判定されている信号が存在しているか、判定しても遅い場合が多いため処理しない。これら以外での直近グループＮｇに対して処理を行うのは自車両が今から通過しようとしている信号機に対して判定を行うためである。従って、処理対象とする距離範囲内（距離グループＧＰ４〜ＧＰ１４）で自車両からの前方距離が最も近い直近グループＮｇに含まれる信号機を特定することは、自車にとって最も優先して判定すべき信号機を特定することになる。
【００４１】
分布パターン判定では、具体的には直近グループＮｇに含まれる信号機の数と、色及び信号機間隔を判定条件に用いる。
図４Ａや図４Ｂのように、直近グループＮｇに振分けられた信号機の数が１つだった場合は、交通信号機であると判定する。図４Ａは直近に１つ信号を検出していて、少し遠くにもう一つ信号を検出している場合である。図４Ｂは、直近グループＮｇに青信号と赤信号が振分けられていたが、青信号が矢印だったためステップＳ１０５で除外された場合としている。これらのような場合は、図３の処理はステップＳ１０７からＳ１０９に進み、非交通信号機フラグＮＳＦ＝“CLR”と設定する。つまりＮＦＳポイントを加算しない。
図４Ｅのように、直近グループＮｇに３つ以上の信号機が振分けられた場合は、指示信号機であると判定する。この場合ステップＳ１０７からＳ１０８に進んで非交通信号機フラグＮＳＦ＝“SET”と設定する。つまりＮＳＦポイントを１加算する。自車両の前方距離として直近グループＮｇに３個以上の信号機が存在するのは、高い確率で料金所ゲートの指示信号機と判断できるためである。
【００４２】
図４Ｃや図４Ｄのように直近グループＮｇに２つの信号機が振分けられた場合は、まずステップＳ１０７からＳ１１０に進み、画像処理部４は２つの信号機間の水平方向距離（信号機間隔）を算出する。交通信号機の場合は５ｍより広い間隔を開けて設置されている場合が殆どである。そのため、検出した２つの信号機の間隔を交通信号機か指示信号機かを判定する１つの要素とする。またステップＳ１００で取得している発光色も判定要素とする。交通信号機の場合、同じ自車位置からの距離が同じ信号機は同じ発光色であることが通常であるためである。
そこで画像処理部４はステップＳ１１１で、信号機間隔と発光色で信号機の種別を判定する。つまり発光色が同じであって、かつ信号機間隔が５ｍ以上であれば交通信号機と判定し、ステップＳ１０９に進み非交通信号機フラグＮＳＦ＝“CLR”とする。この条件を満たさなければ、指示信号機と判定してステップＳ１０８に進み、非交通信号機フラグＮＳＦ＝“SET”とする。
なお、交通信号機であっても、２つの信号機間の距離が短い場合も稀に存在するが、それは後述する誤検出抑制解除判定処理（Ｓ１４）により、運転支援制御として赤信号対応が行われないような状況を回避できる。
【００４３】
＜４．発光形状判定及び掲示板判定処理＞
次に図２ＢのステップＳ１２の発光形状判定処理を図５Ａで説明する。図３の距離分布判定処理においてステップＳ１０２で非交通信号機フラグＮＳＦ＝“NEXT”とされ、図２ＢにおいてステップＳ１１からＳ１２に進んだ場合、つまり信号機が１つしか検出されておらず、距離分布によっては信号機種別が判定不能とされた場合に行われる処理となる。
指示信号機の中には、単純に●形状で発光せず、◎形状や×形状で発光するものがある。発光形状判定処理では、この特徴を利用し、◎形状や×形状で点灯していることを判定することで交通信号機と指示信号機を区別する。
【００４４】
この発光形状判定処理では、図５ＡのステップＳ２００として、画像処理部４は画像上の信号領域と色情報を取得する。信号領域とは、信号機の発光部分に相当する画像上の領域であり、例えば図６Ａに破線で示す正方形の領域とする。信号領域内に観測される発光形状は図６Ｃの青◎形状、図６Ｄの青●形状（赤と区別のため図では斜線を付している）、図６Ｆの赤×形状、図６Ｇの赤●形状がある。
これらを判別するために、図６Ａに示すようにサンプリング領域Ｐ１〜Ｐ５を設定し、ステップＳ２０１では、各サンプリング領域Ｐ１〜Ｐ５の画素の輝度をサンプリングする。なお、各サンプリング領域Ｐ１〜Ｐ５は１ピクセルの領域でもよいし、複数ピクセルのブロック領域としてもよい。
【００４５】
そしてステップＳ２０２では、各サンプリング領域Ｐ１〜Ｐ５の輝度値から発光形状を判定する。青発光の場合、図６Ｃの青◎形状、図６Ｄの青●形状は、図６Ｅに示す輝度差から判別できる。即ち青●形状の場合、各サンプリング領域Ｐ１〜Ｐ５で高い輝度値が得られるが、青◎形状の場合、サンプリング領域Ｐ５の輝度値が極端に低くなる。また赤発光の場合、図６Ｆの赤×形状、図６Ｇの赤●形状は、図６Ｈに示す輝度差から判別できる。即ち赤●形状の場合、各サンプリング領域Ｐ１〜Ｐ５で高い輝度値が得られるが、赤×形状の場合、サンプリング領域Ｐ１〜Ｐ４の輝度値が極端に低くなる。
【００４６】
発光形状として、青◎形状、又は赤×形状としての輝度パターンが観測された場合、その信号機は指示信号機と判定できる。そこで画像処理部４はステップＳ２０３で、輝度パターンが青◎形状、又は赤×形状の条件を満たしている場合は、ステップＳ２０５に進み、非交通信号機フラグＮＳＦ＝“SET”とする。青◎形状、又は赤×形状の輝度パターン条件を満たしていなければ、ステップＳ２０４で非交通信号機フラグＮＳＦ＝“CLR”とする。この場合は、意味的には交通信号機という判定ではなく、指示信号機との判定は留保するというものとなる。
【００４７】
なお、発光形状判定のためにサンプリング領域Ｐ１〜Ｐ５の輝度値をサンプリングすることによれば、ＬＥＤ（Light Emitting Diode）信号機の点滅にも正しく対応できる。図２Ａの信号機判定処理はフレーム画像データ単位で行われるが、このため、システム処理周期とＬＥＤ信号の点滅周期との関係で、処理対象の画像が、ＬＥＤ信号機が発光していないタイミングに当たる場合もある。そのような場合、サンプリング領域Ｐ１〜Ｐ５の輝度値がすべて極端に低い値となる。この場合は、ステップＳ２０３で輝度パターン条件を満たさない（ＬＥＤ信号が写っていない）と判定として、非交通信号機フラグＮＳＦを“SET”値に設定しないようにする。これにより、指示信号機と誤判定をすることを防止できる。
また、サンプリング領域Ｐ１〜Ｐ５は、例えば図６Ｂのように設定してもよい。この場合も輝度パターンにより青◎形状、青●形状の区別、及び赤×形状、赤●形状の区別が可能である。
さらにサンプリング領域は、少なくとも１以上とし、発光形状によって輝度が異なる位置に設定すればよい。例えば、図６Ａのサンプリング領域Ｐ１とＰ５の中間位置に１つだけ設定すれば、その輝度値から●形状、◎形状、×形状の区別が可能である。また例えばサンプリング領域Ｐ３とＰ５の２つであっても●形状、◎形状、×形状の区別が可能である。このようにサンプリング領域の設定は多様に考えられるが、複数のサンプリング領域を設定することで、より正確な形状判定ができる。
また、図６Ａや図６Ｂのような各サンプリング領域Ｐ１〜Ｐ５の輝度値の判定には、実際には所定の閾値を比較基準として用いて、高輝度か低輝度かを判定すればよい。閾値は赤発光、青発光によらず一定値でもよいが、赤と青での輝度の違いを考慮して、青発光状態と赤発光状態とで異なる閾値を用いるようにしてもよい。
【００４８】
続いて図２ＢのステップＳ１３として掲示板判定処理を行う。
指示信号機としての主な検出対象としている有料道路の料金所の場合、信号機の上部に料金所の状態を示す標識を有していることが多い。そこで掲示板判定処理では、標識等の掲示板の距離と色の特徴を利用して、料金所の指示信号機か否かを判定する。
【００４９】
ステップＳ１３としての掲示板判定処理を図５Ｂに示す。画像処理部４はステップＳ３００で掲示板位置判定を行う。この処理では検出した信号機の上方スペースの大きさを確認する。そして上方スペースの大きさに応じて掲示板探索範囲を決定する。あまり上方スペースが広すぎる場合や、狭すぎる場合は、掲示板探索範囲を変更する。
図７に料金所の指示信号機７０の上方に掲示板７１が設置されている状態を示している。破線ＳＡ１が信号機上方のスペースの判定結果の例である。この結果を基に、例えば破線ＳＡ２で示す掲示板探索範囲を決定する。
掲示板探索範囲ＳＡ２は実際の有料道路料金所の掲示板サイズを基に決定すればよい。信号機上方スペースＳＡ１と掲示板探索範囲ＳＡ２の関係も、実際に設置されている掲示板に基づいて決定することが望ましい。
【００５０】
ステップＳ３０１で画像処理部４は、決定した掲示板探索位置ＳＡ２の距離情報をチェックする。即ち距離画像から、掲示板探索範囲ＳＡ２内の各画素ごとの距離情報を参照し、各画素ごとの距離情報と、信号機の自車からの前方距離とを比較して、同じ距離かどうかを判定する。なお厳密には距離情報に多少の差があっても所定差以内なら同一とみなす判定を行えばよい。
掲示板探索範囲ＳＡ２に含まれる物体（物体を写した画素）が、一定以上の割合で信号機と同一距離（略同一も含む）だった場合は、ステップＳ３０２で信号機と同一距離に何か物体があると判定し、ステップＳ３０４に進む。
一方、信号機と同一距離の部分が一定未満であった場合は、信号機の周囲に等距離の物体（掲示板）が存在しないため、指示信号機と判定できないとし、ステップＳ３０２からＳ３０３に進んで非交通信号機フラグＮＳＦ＝“CLR”とする。つまり指示信号機との判定を留保するという意味である。
【００５１】
信号機と同一距離に掲示板らしき物体が存在すると判断してステップＳ３０４に進んだ場合、画像処理部４は掲示板位置色チェックを行う。即ちステップＳ３００で決定した掲示板探索範囲ＳＡ２の色情報をチェックする。即ち掲示板探索範囲ＳＡ２内の各画素の色情報を参照し、掲示板探索範囲ＳＡ２内の各画素の色情報が所定の色情報であるか否かを比較する処理を行う。
探索する色は、一般ゲートの緑、ＥＴＣゲートの紫、閉鎖中ゲートの白である。掲示板探索範囲ＳＡ２内に探索色（掲示板の色である緑、紫、白のいずれか）が或る一定以上の割合で含まれていれば、ステップＳ３０５で、当該掲示板探索範囲ＳＡ２内の物体は有料道路掲示板と判定し、ステップＳ３０６で非交通信号機フラグＮＳＦ＝“SET”とする。つまり有料道路料金所等の指示信号機と判定する。探索色が或る一定以上の割合で含まれていなければ、有料道路料金所等の指示信号機とは判定できないとして、ステップＳ３０５からＳ３０３に進み、非交通信号機フラグＮＳＦ＝“CLR”とする。
【００５２】
なお、掲示板判定処理は、計算量を考慮して例えば赤信号に対してのみ行ったり、青信号に対してのみ行なってもよい。
またステップＳ３０１の看板位置距離チェックでは、信号機と同距離かどうかの判定のための一定の割合を例えば６割以上、ステップＳ３０４の看板位置色チェックでは探索色の判定のための一定の割合を例えば２割〜４割とすることが考えられるが、これらは適切な割合を任意に設定することができる。
【００５３】
＜５．誤検出抑制解除判定処理及び誤検出抑制判定処理＞
続いて、図２ＢのステップＳ１４の誤検出抑制解除判定処理、及びステップＳ１６の誤検出抑制判定処理をそれぞれ図８Ａ、図８Ｂで説明する。
ステップＳ１６の誤検出抑制判定処理は、指示信号機との判定、つまり上述の各処理での非交通信号機フラグＮＳＦ＝“SET”の判定に基づいて、最終的にこれから通過する信号機についての指示信号機と交通信号機の種別の判定結果を生成する処理である。換言すれば、指示信号機としての判定結果の信頼性を担保するための処理である。
一方ステップＳ１４の誤検出抑制解除判定処理は、「誤検出抑制判定処理」の結果を解除させる処理であり、指示信号機との判定が行われる場合でも、特定の場合に指示信号機との判定を解除し、交通信号機の場合と同等の運転支援が行われるようにする処理である。
【００５４】
まず先に、ステップＳ１６の誤検出抑制判定処理を図８Ｂで説明する。図２ＢのステップＳ１２の発光形状判定処理、ステップＳ１３の掲示板判定処理が行われてステップＳ１６へ進んだ場合、或いはステップＳ１０の距離分布判定処理が行われ、後述のステップＳ１４の誤検出抑制解除判定処理でキャンセルフラグＣＦがセットされずにステップＳ１６へ進んだ場合、図８のような誤検出抑制判定処理を行う。
【００５５】
ステップＳ５００で画像処理部４は、これまでの判定結果を算出する。具体的には、非交通信号機フラグＮＳＦ＝“SET”に応じて内部カウンタで加算されたＮＦＳポイントを確認する。そしてステップＳ５０１でＮＦＳポイントが閾値以上であれば、ステップＳ５０３に進んで、種別判定情報ＲＳＬ＝“指示信号機”とする。ＮＦＳポイントが閾値未満であれば、ステップＳ５０２に進んで、種別判定情報ＲＳＬ＝“交通信号機”とする。
閾値は例えば「５」など、適切な値に設定する。
上述のように、図２Ａの処理は繰り返し、現フレーム画像データを対象に行われていき、指示信号機が検出される場合は、１フレームの処理において１又は複数回、ＮＦＳポイントが加算されていく。その処理の繰り返し過程で、ＮＳＦポイントが閾値以上となった場合にはじめて、種別判定情報ＲＳＬ＝“指示信号機”とされることになる。これにより、指示信号機と判定される場合の信頼性を向上する。
【００５６】
画像処理部４は、このような種別判定情報ＲＳＬを、図２ＡのステップＳ６で運転支援制御部６に送信する。
このように指示信号機判定の精度を高めるのは、判定精度が低い状態で指示信号機との判定情報が運転支援制御部６に送信されてしまい、信号機検出に応じた運転支援（停止制御等）が実行されないことを回避するためである。
【００５７】
なお、図２ＢのステップＳ１０の距離分布判定処理に関しては、そのときに直近グループＮｇとして検出している全ての信号に対して共通に非交通信号機フラグＮＳＦの設定が行われる。ステップＳ１２の発光形状判定処理、ステップＳ１３の掲示板判定処理は、検出した信号機について個別に非交通信号機フラグＮＳＦの設定が行われる。
従って、距離分布判定処理が行われてステップＳ１６に進んだ場合は、直近グループＮｇとして検出された全ての信号に対して共通に種別判定情報ＲＳＬが生成される。発光形状判定処理、掲示板判定処理が行われた場合は、信号機毎に種別判定情報ＲＳＬが生成される。
【００５８】
図２ＢのステップＳ１４の誤検出抑制解除判定処理を図８Ａで説明する。これはステップＳ１０の距離分布判定処理において指示信号機か否かの判定が行われた場合に、ステップＳ１１からＳ１４に進んで実行される。そしてこの誤検出抑制解除判定処理は、距離分布判定処理（Ｓ１０）で指示信号機であると判定した場合でも、赤信号に正面から進行する場合に限り、交通信号と同等の運転支援が行われるようにするために、ステップＳ１６へは進まないようにする（つまり指示信号機としての種別判定情報ＲＳＬを出力させないようにする）処理である。
要するに、指示信号機と判定した場合でも赤色点灯している時は進入不可な場合が多いため交通信号機と同等に扱った方が適切である。そこで赤信号に向かって進行しながら一定距離以上近づいた場合に限り、指示信号機判定を解除し、交通信号機として再判定する意味をもつ。
【００５９】
図８ＡのステップＳ４００で画像処理部４は、信号機情報を取得する。この場合、信号機が自車両の中心から何ｍずれているかという左右距離情報と、色情報を取得する。
ステップＳ４０２で発光色を判定し、赤でなければステップＳ４０３でクリアフラグＣＦ＝“CLR（クリア）”として処理を終える。この場合は、続いてステップＳ１６の誤検出抑制判定処理が行われる。
【００６０】
発光色が赤であった場合、画像処理部４はステップＳ４０４で、自車両進行方向判定として自車両の正面に赤信号が存在するか否かを確認する。即ち撮像画像データ上で、図９の自車両９１の幅Ｗｍ以内に赤信号が検出されているか否かを確認する。さらに、自車両との距離Ｄｘを確認する。
なお、自車両９１の幅Ｗｍ以内であるか否かの判断は、例えば自車両の中心から左右のずれ１ｍ以内の赤信号であるか否かとして行えばよいが、その範囲は任意に設定することが可能である。
【００６１】
赤信号が自車両９１の幅Ｗｍ以内でない場合、又は距離Ｄｘが所定距離以内ではない場合は、自車両は赤信号に向かって進行しているとは判定せず、ステップＳ４０５からＳ４０３に進み、クリアフラグＣＦを“CLR”として処理を終える。
【００６２】
自車両９１の幅Ｗｍ以内に赤信号が検出されており、かつ距離Ｄｘが所定距離以内であった場合、自車両は赤信号に向かって進行していると判定する。その場合はステップＳ４０５からＳ４０６に進み、キャンセルフラグＣＦ＝“SET（セット）”として処理を終える。この場合、図２ＢのステップＳ１５の分岐処理により、ステップＳ１６をスキップすることになる。
【００６３】
即ちステップＳ１４で誤検出抑制解除判定処理が行われても、キャンセルフラグＣＦ＝“CLR”の場合は、ステップＳ１６で誤検出抑制判定処理が行われ、種別判定情報ＲＳＬが生成されて、図２ＡのステップＳ６で、指示信号機か交通信号機かの種別判定情報ＲＳＬが運転支援制御部６に出力される。
一方、キャンセルフラグＣＦ＝“SET”となった場合は、ステップＳ１６の誤検出抑制判定処理がおこなわれず、この場合、図２ＡのステップＳ６で運転支援制御部６に出力される判定情報とは、キャンセルフラグＣＦ＝“SET”の情報、つまり赤信号接近判定情報（指示信号機判定を交通信号機として再判定した情報）となる。
【００６４】
運転支援制御部６は、画像処理部４のステップＳ６の処理で供給される判定情報（種別判定情報ＲＳＬ又は赤信号接近判定情報）に応じて運転支援制御を行う。例えば種別判定情報ＲＳＬ＝“交通信号機”の場合、もしくは赤信号接近判定情報が供給された場合は、停止制御や警報制御を実行する。種別判定情報ＲＳＬ＝“指示信号機”の場合は停止制御や警報制御は実行しない。
【００６５】
なお、図８Ａの処理は直前のステップＳ１０で指示信号機と判定（非交通信号機フラグＮＳＦ＝“SET”）された場合のみに行われればよいが、ステップＳ１０での判定にかかわらず行うようにしてもよい。
【００６６】
＜６．まとめ＞
本実施の形態では車外環境認識ユニット２の画像処理部４において以上の処理が行われることで、次のような効果が得られる。
まず、交通信号機と指示信号機を区別する判定情報が得られることで的確な運転支援制御が可能になるという効果がある。指示信号機は赤発光している場合が多く、誤って交通信号機として処理を行うと赤信号と認識してしまうため、後の運転支援制御処理に悪影響を与えてしまう。例えば料金所ゲートにおいて、自車レーンの隣のレーンの指示信号機が赤発光していると、赤信号として停止制御されてしまうようなことが生ずる可能性がある。これに対し本実施の形態では、交通信号機と指示信号機を区別できるようにしている。これによって運転支援制御部６は的確な運転支援制御を実現できる。
【００６７】
また本実施の形態の形態では信号機の距離分布を用いて、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行う。指示信号機は交通信号機と大きさや設置位置が類似しており、撮像画像からの単純な発光体検出では区別することが難しいところ、距離分布判定により、高い精度で交通信号機と指示信号機の判定が可能となる。
特に画像処理部４の信号機種別判定部４ｃは、信号機の発光色情報と信号機の自車両からの三次元位置情報を取得し、信号機検出部４ｂで検出した信号機のうち特定の信号機と当該特定の信号機の所定前後距離（同一の距離グループＧＰ）内に存在する他の信号機の数、他の信号機が存在する場合の互いの信号機間の水平方向距離、および当該信号機と他の信号機の互いの発光色情報に基づき、検出された信号機が交通信号機であるか指示信号機であるかの種別判定を行う。これにより交通信号機と指示信号機の配置上・発光動作上の特徴を用いた精度の高い信号機種別判定を実現している。
【００６８】
信号機が２個以上検出された場合、処理対象とする距離範囲内で自車両からの前方距離が最も近い信号機を特定し、特定した当該信号機の前後所定距離内（同一の距離グループＧＰである直近グループＮｇ内）に当該信号機と発光色が同色の他の信号機が存在するか否かを判定し、他の同色の信号機が存在する場合、当該信号機と他の信号機との水平方向距離が所定間隔以上の時は当該信号機と他の信号機を交通信号機として判定することで、交通信号機の設置上の特徴に基づく判定ができる。道路上で、同じ発光色となる交通信号機が近接して設置されることは殆どないためである。
逆に水平方向距離が所定の間隔未満の時は当該信号機と他の信号機とを指示信号機として判定する。これにより、例えば料金所の指示信号機など、比較的狭い間隔で配置される指示信号機の特徴に基づく判定ができる。
そして距離分布として得られる情報から、処理対象とする距離範囲内で自車両からの前方距離が最も近い信号機を特定して判定を行うことで、自車にとって最も優先して判定すべき信号機についての判定が行われることになり、運転支援のための判定として適している。
また３個以上の信号機が前後所定距離以内（直近グループＮｇ内）に全て存在する場合、当該３個以上の信号機を指示信号機として判定することも、料金所ゲートの指示信号機の特徴に基づく確度の高い判定となる。
【００６９】
また、少なくとも青発光状態の信号機を含む信号機が２個以上検出され、かつ当該青発光状態の信号機から所定の範囲内に赤発光状態の信号機が存在する場合、当該青発光状態の信号機を交通信号機から除外した上で、自車両からの距離分布に基づいて信号機の種別判定を行う。これによって矢印信号が除外されることになり、距離分布に基づく判定精度を高めることができる。
【００７０】
また検出される信号機の数が１つの場合で距離分布判定ができない場合、発光形状として指示信号機に特有の形状を判定する。この発光形状の判定結果も信号機の種別判定に用いている。これにより、高い精度で指示信号機の判定が可能となる。
特に発光形状判定においては上述のようにサンプリング領域（Ｐ１〜Ｐ５）を設定することにより、各サンプリング領域の輝度値を用いて◎状、×状、●状の判定が容易に可能となる。
同様に検出される信号機の数が１つの場合で距離分布判定ができない場合、掲示板判定処理として、検出された信号機の周囲に、自車両からの距離が信号機と同一と判定される掲示板が存在か否かを判定する処理を行い、掲示板の存在の判定結果も信号機の種別判定に用いている。これにより料金所の指示信号機を高い精度で判定することが可能となる。
この掲示板判定については、上述の例のように、撮像画像内で信号機の上方に設定した掲示板探索範囲ＳＡ２内の各画素ごとの距離情報を参照し、各画素ごとの距離情報と信号機の自車からの前方距離とを比較する第１の比較結果と、掲示板探索範囲ＳＡ２の色情報を参照し、掲示板探索範囲ＳＡ２の色情報が所定の色情報であるか否かを比較する第２の比較結果とに基づいて信号機の上方に掲示板状物体が存在するか否かを判定することで、指示信号機に併設される掲示板の位置や色の特徴に基づいた判定が可能となる。
【００７１】
また誤検出抑制判定処理（Ｓ１６、図８ＢのＳ５００〜Ｓ５０３）により、上記の距離分布判定処理、発光形状判定処理、掲示板判定処理での指示信号機との判定に応じたＮＳＦポイントが閾値以上となったときにはじめて、種別判定情報ＲＳＬ＝“指示信号機”としている。これにより、指示信号機としての判定精度を著しく高めることができる。
【００７２】
また誤検出抑制解除判定処理（Ｓ１４，図８ＡのＳ４００〜Ｓ４０６）により、距離分布判定処理において指示信号機としての判定がなされた場合でも、赤信号に向かって進行して所定距離以内に接近したことを検知した場合は、交通信号機の場合と同様の運転支援制御が行われるように赤信号接近判定情報が出力される。
即ち信号機種別判定部４ｃは、少なくとも距離分布の判定結果から指示信号機と判定される場合において、当該指示信号機が自車両の幅方向中心から所定の左右距離以内に存在する赤発光状態であって、当該指示信号機までの前方距離が所定距離以内に接近したことを検知した場合は、当該指示信号機を交通信号機として再判定し、赤信号接近判定情報を出力する。
これにより、指示信号であったとしても必要な運転支援制御（停止制御や警報等）を実行でき、運転安全性をより高めることができる。
また、仮に距離分布判定処理（Ｓ１０，図３のステップＳ１００〜Ｓ１０９）において誤判定がなされた場合も、適切な運転支援制御が可能となる。例えば狭い道に交通信号機が２機設置されている環境では、距離分布判定において指示信号機と誤判定する可能性がある。しかしこの場合も赤信号接近判定情報により、交通信号機と同様な運転支援制御が実行されるようにすることができるためである。
【００７３】
以上の各処理が状況に応じて実行されることで検出性能（ロバスト性）を向上させることができ、また安全性をより向上させることが可能となる。
【００７４】
本発明の車外環境認識装置は、実施の形態の構成及び処理に限定されず、各種の変形例が考えられる。例えば図２Ｂの処理において、発光形状判定処理（Ｓ１２）、掲示板判定処理（Ｓ１３）は、いずれか一方のみが行われるようにしてもよい。また発光形状判定処理（Ｓ１２）、掲示板判定処理（Ｓ１３）が行われた後にも、誤検出抑制解除判定処理（Ｓ１４）が行われるようにしてもよい。
図１において運転支援制御部６は車外環境認識ユニット２内に示したが、車外環境認識ユニット２の外部に運転支援制御部６を設けてもよい。また運転支援制御部６が車両制御部１０と一体化されてもよい。また車両制御部１０は、実際には例えばエンジンＥＣＵ（electronic control unit）、ブレーキＥＣＵ、トランスミッションＥＣＵなどとして複数のマイクロコンピュータで構成されてもよい。さらに表示制御部１１と車両制御部１０が一体化されていてもよい。
【符号の説明】
【００７５】
１…車両制御システム、２…車外環境認識ユニット、３Ａ，３Ｂ…撮像部、４…画像処理部、４ａ…距離画像生成部、４ｂ…信号機検出部、４ｃ…信号機種別判定部、５…メモリ部、６…運転支援制御部、１０…車両制御部、１１…表示制御部、１２…アクチュエータ、１３…ディスプレイ、１４…センサ類
【図１】
2014215697.tif 000003
【図２】
2014215697.tif 000004
【図３】
2014215697.tif 000005
【図４】
2014215697.tif 000006
【図５】
2014215697.tif 000007
【図６】
2014215697.tif 000008
【図７】
2014215697.tif 000009
【図８】
2014215697.tif 000010
【図９】
2014215697.tif 000011