(57)【要約】【課題】自車両周囲の物体による信号機の遮蔽による影響を低減しつつ、自車両が交差点遠方から交差点まで走行する際に、信号機の状態を継続して認識することができる信号機認識方法及び信号機認識装置を提供する。【解決手段】信号機認識方法及び信号機認識装置は、自車両の位置、自車両の前方の信号機の位置、自車両の前方の物体の有無に基づいて、停止線の位置まで自車両が走行する間に、信号機が遮蔽され得るか否かを判定し、信号機が遮蔽され得ると判定した場合に、自車両の前方を第１撮像部によって撮像した第１画像と、第１画像の撮像可能範囲よりも遠方を第１画像よりも画角が狭い第２撮像部によって撮像した第２画像のうち、第１画像を処理画像として選択し、処理画像に基づいて信号機の検出を行う。【選択図】図１
2020109559.tif 000002
【特許請求の範囲】
【請求項１】
車載され自車両の前方を撮像する第１撮像部、によって撮像した第１画像と、
車載され前記自車両の前方を撮像する第２撮像部であって、前記第１撮像部よりも画角が狭く且つ前記自車両からみて前記第１撮像部による撮像可能範囲よりも遠方を撮像する前記第２撮像部、によって撮像した第２画像と、
の少なくとも一方を処理画像として選択し、前記処理画像に基づいて前記自車両の前方の信号機を認識する信号機認識方法であって、
前記自車両の位置及び前記信号機の位置を取得し、
前記自車両の前方の物体を検出し、
第２画像を処理画像として選択している際に、前記信号機の位置、前記物体の有無に基づいて、前記自車両の位置から前記信号機に対応する停止線の位置までの走行経路を前記自車両が走行する間に、前記物体によって第２撮像部から見て前記信号機が遮蔽され得るか否かを判定し、
前記信号機が遮蔽され得ると判定した場合に、前記第１画像を前記処理画像として選択し、
前記処理画像に基づいて前記信号機の検出を行うこと
を特徴とする信号機認識方法。
【請求項２】
請求項１に記載の信号機認識方法であって、
前記信号機の位置と前記第１撮像部の画角によって定まる、前記信号機を前記第１撮像部で撮像可能な前記走行経路上の位置であって、前記停止線から最も遠い位置における前記停止線までの距離を第１距離として、
前記停止線と前記自車両の間の距離が、前記第１距離よりも大きい場合には、前記第２画像を前記処理画像として選択すること
を特徴とする信号機認識方法。
【請求項３】
請求項２に記載の信号機認識方法であって、
前記信号機の位置と前記第２撮像部の画角によって定まる、前記信号機を前記第２撮像部で撮像可能な前記走行経路上の位置であって、前記停止線に最も近い位置における前記停止線までの距離を第２距離として、
前記停止線と前記自車両の間の距離が、前記第２距離以下となる場合には、前記第１画像を前記処理画像として選択すること
を特徴とする信号機認識方法。
【請求項４】
請求項３に記載の信号機認識方法であって、
前記物体は、前記自車両が走行する車線と同一の車線上を走行する先行車両であること
を特徴とする信号機認識方法。
【請求項５】
請求項４に記載の信号機認識方法であって、
前記先行車両によって前記信号機が遮蔽され得ると判定された場合、前記停止線と前記自車両の間の距離が、前記第２距離よりも大きく、且つ、前記第１距離以下となっている間に、前記処理画像を前記第２画像から前記第１画像に切り替えること
を特徴とする信号機認識方法。
【請求項６】
請求項５に記載の信号機認識方法であって、
前記先行車両によって前記信号機が遮蔽され得ると判定された場合であって、且つ、前記自車両が前記先行車両に自動追従していない場合には、前記停止線と前記自車両の間の距離が前記第１距離となるタイミングで、前記処理画像を前記第２画像から前記第１画像に切り替えること
を特徴とする信号機認識方法。
【請求項７】
請求項３に記載の信号機認識方法であって、
前記物体は、前記自車両が走行する車線と隣接する車線上を走行する隣接車両であること
を特徴とする信号機認識方法。
【請求項８】
請求項７に記載の信号機認識方法であって、
前記隣接車両によって前記信号機が遮蔽され得ると判定された場合、前記停止線と前記自車両の間の距離が前記第１距離となるタイミングで、前記処理画像を前記第２画像から前記第１画像に切り替えること
を特徴とする信号機認識方法。
【請求項９】
請求項１〜８のいずれか一項に記載の信号機認識方法であって、
前記第１撮像部の焦点距離は、前記第２撮像部の焦点距離よりも短いこと
を特徴とする信号機認識方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の信号機認識方法であって、
前記第１撮像部は、前記第２撮像部と比較して、前記自車両の運転者の目の位置に近い位置に設置されていること
を特徴とする信号機認識方法。
【請求項１１】
車載され自車両の前方を撮像する第１撮像部と、
車載され前記自車両の前方を撮像する第２撮像部であって、前記第１撮像部よりも画角が狭く且つ前記第１撮像部による撮像可能範囲よりも前記自車両からみて遠方を撮像する前記第２撮像部と、
コントローラと、
を備える信号機認識装置であって、
前記コントローラは、
前記第１撮像部によって撮像した第１画像と前記第２撮像部によって撮像した第２画像のうち一方を処理画像として選択して、前記処理画像に基づいて信号機の検出を行い、
前記自車両の位置及び前記自車両の前方の前記信号機の位置を取得し、
前記自車両の前方の物体を検出し、
前記自車両の位置、前記信号機の位置、前記物体の有無に基づいて、前記信号機に対応する停止線の位置まで前記自車両が走行する間に、前記信号機が遮蔽され得るか否かを判定し、
前記第２画像を選択している際に前記信号機が遮蔽され得ると判定した場合に、第１画像を処理画像として選択すること
を特徴とする信号機認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機認識方法及び信号機認識装置に関する。
【背景技術】
【０００２】
自車両の前方を撮像した前方カメラ画像から信号機を認識する車外認識装置として、前方カメラ画像から検出された車外の検出対象（信号機または一時停止標識など）と、道路構造とに基づいて、自車線の信号機を認識する車外認識装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５７２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術によれば、自車両の周囲の物体の存在によって認識対象の信号機が遮蔽された場合に、前方カメラ画像に基づいて信号機を認識できなくなるおそれがあり、その結果、交差点遠方から交差点までの区間において信号機の状態を継続して認識することができない場合が生じうる。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、自車両周囲の物体による信号機の遮蔽による影響を低減しつつ、自車両が交差点遠方から交差点まで走行する際に、信号機の状態を継続して認識することができる信号機認識方法及び信号機認識装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、自車両の位置、自車両の前方の信号機の位置、自車両の前方の物体の有無に基づいて、停止線の位置まで自車両が走行する間に、信号機が遮蔽され得るか否かを判定し、信号機が遮蔽され得ると判定した場合に、自車両の前方を第１撮像部によって撮像した第１画像と、第１画像の撮像可能範囲よりも遠方を第１画像よりも画角が狭い第２撮像部によって撮像した第２画像のうち、第１画像を処理画像として選択し、処理画像に基づいて信号機の検出を行う。
【発明の効果】
【０００７】
本発明によれば、自車両周囲の物体による信号機の遮蔽による影響を低減しつつ、自車両が交差点遠方から交差点まで走行する際に、信号機の状態を継続して認識することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。
【図２】図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。
【図３】図３は、先行車両及び隣接車両が存在しない場合における、処理画像の切替の位置を示す模式図である。
【図４Ａ】図４Ａは、先行車両が存在する場合における、処理画像の切替の位置を示す模式図である。
【図４Ｂ】図４Ｂは、隣接車両が存在する場合における、処理画像の切替の位置を示す模式図である。
【発明を実施するための形態】
【０００９】
次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。
【００１０】
［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置１は、広角カメラ２２（第１撮像部）と、望遠カメラ２４（第２撮像部）と、コントローラ１００とを備え、コントローラ１００は、コントローラ１００は、車両制御装置２００と接続される。また、コントローラ１００は、信号機位置取得部５２と、周囲物体位置算出部５４と、自車両位置取得部５６と、遮蔽可能性判定部６０と、処理画像選択部７０と、信号機検出部８０と、出力部９０とを備える。なお、信号機認識装置１は、図示しない自車両に搭載される。
【００１１】
広角カメラ２２及び望遠カメラ２４は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、自車両の前方を撮像して自車両の進行方向前方のデジタル画像を取得する。広角カメラ２２及び望遠カメラ２４は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、自車両の周囲の所定の範囲を撮像する。広角カメラ２２及び望遠カメラ２４は、取得した撮像画像を後述する処理画像選択部７０に出力する。
【００１２】
広角カメラ２２と比較して、望遠カメラ２４は、広角カメラ２２よりも狭い画角の範囲を撮像するが、広角カメラ２２が撮像可能な領域よりも遠方の領域を撮像可能である。より具体的には、広角カメラ２２は、自車両の近傍を撮像可能なように、焦点距離が短く設定され、広角で撮像可能である。望遠カメラ２４は、広角カメラ２２による撮像可能な範囲よりも遠方を撮像可能なように、焦点距離が長く設定され、狭角で撮像可能である。
【００１３】
なお、広角カメラ２２及び望遠カメラ２４の車載位置は、自車両の前方を撮像可能なように、自車両のフロント部分に取り付けられることが望ましい。
【００１４】
また、自車両の前方を走行する先行車両や、自車両が走行する車線に隣接する車線上を走行する隣接車両によって、広角カメラ２２及び望遠カメラ２４から同時に特定方向の信号機が見えなくなってしまうこと（オクルージョン）を防ぐため、広角カメラ２２と望遠カメラ２４は、なるべく離して配置するものであってもよい。例えば、広角カメラ２２は、自車両の運転者の目の位置に近い位置に設置し、望遠カメラ２４は、広角カメラ２２の設置位置から自車両の幅方向に離れた、助手席側の位置に配置するものであってもよい。
【００１５】
なお、広角カメラ２２によって複数台の信号機が認識できる場合（例えば、自車両が走行する車線の上方に取り付けられた信号機の他にも、対向車線の上方に取り付けられた信号機を認識できる場合）であれば、オクルージョンの問題は生じにくい。この場合、広角カメラ２２及び望遠カメラ２４を同じ場所に配置もしくは近接して配置するものであってもよい。
【００１６】
広角カメラ２２及び望遠カメラ２４によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶されるものであってもよい。例えば、広角カメラ２２及び望遠カメラ２４は、所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。
【００１７】
信号機位置取得部５２は、自車両周囲の道路構造内の信号機の位置を取得する。信号機位置取得部５２は、自車両の位置や姿勢、地図情報に基づいて、道路構造内の信号機の位置を取得するものであってもよいし、若しくは、過去に取得した撮像画像を画像解析することで、道路構造内の信号機の位置を取得するものであってもよい。
【００１８】
地図情報は、図示しない地図取得部によって取得されるものであってもよい。地図取得部は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得しても構わない。地図取得部が取得する地図情報には、車線の絶対位置や車線の接続関係、相対位置関係、停止線の位置、停止線に対応する信号機の位置、信号機の種別などの道路構造の情報が含まれる。
【００１９】
周囲物体位置算出部５４は、自車両に搭載された、レーザレーダ、ミリ波レーダ、カメラなどの物体検出センサを備える。周囲物体位置算出部５４は、複数の物体検出センサを用いて自車両の周囲の物体を検出する。また、周囲物体位置算出部５４は、自車両の前方または側方の物体を検出する。周囲物体位置算出部５４は、他車両、バイク、自転車、歩行者を含む移動物体、及び駐車車両、建物を含む静止物体を検出する。例えば、周囲物体位置算出部５４は、移動物体及び静止物体の自車両に対する位置、姿勢（ヨー角）、大きさ、速度、加速度、ジャーク、減速度、ヨーレートを検出する。
【００２０】
自車両位置取得部５６は、自車両に搭載された、ＧＰＳ（グローバル・ポジショニング・システム）、オドメトリなど自車両の絶対位置を計測する位置検出センサを備える。自車両位置取得部５６は、位置検出センサを用いて、自車両の絶対位置、すなわち、所定の基準点に対する自車両の位置、車速、加速度、操舵角、姿勢を計測する。自車両位置取得部５６には、慣性航法装置（Ｉｎｅｒｔｉａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓｙｓｔｅｍ、ＩＮＳ）や、ブレーキペダルやアクセルペダルに設けられたセンサや、車輪側センサやヨーレートセンサなど車両の挙動を取得するセンサや、レーザレーダ、カメラなどが含まれていてもよい。
【００２１】
遮蔽可能性判定部６０は、信号機の位置、自車両の周囲の物体の有無に基づいて、自車両の位置から信号機に対応する停止線の位置までの走行経路を自車両が走行する間に、周囲物体位置算出部５４で検出した物体によって信号機が遮蔽され得るか否かを判定する。具体的には、遮蔽可能性判定部６０は、自車両周囲の道路構造上に存在する、信号機に対応する停止線の位置を取得する。そして、現在の自車両の位置から取得した停止線の位置を結ぶ経路に沿って自車両が走行する間に、自車両に車載されている広角カメラ２２及び望遠カメラ２４から見た信号機が遮蔽されるか否かを判定する。
【００２２】
ここで、信号機位置取得部５２における信号機の位置の取得と同様に、自車両の位置や姿勢、地図情報に基づいて、信号機に対応する停止線の位置を取得するものであってもよいし、若しくは、過去に取得した撮像画像を画像解析することで、信号機に対応する停止線の位置を取得するものであってもよい。
【００２３】
また、遮蔽可能性判定部６０によって、信号機が遮蔽されるか否かを判定する際には、自車両の周囲の物体の有無の情報に加えて、自車両の周囲の物体の位置、大きさ、幅、高さの情報を用いてもよい。その他、遮蔽可能性判定部６０は、自車両の周囲の物体について想定される運動軌跡等、当該物体について予想される挙動を計算し、予想される挙動に基づいて、信号機が遮蔽されるか否かを判定するものであってもよい。
【００２４】
処理画像選択部７０は、停止線と自車両の間の距離や、遮蔽可能性判定部６０での判定結果、その他、広角カメラ２２及び望遠カメラ２４の撮像可能範囲などに基づいて、広角カメラ２２によって撮像した広角画像（第１画像）と、望遠カメラ２４によって撮像した望遠画像（第２画像）のいずれか一方を、信号機の検出処理の対象となる「処理画像」として選択する。「処理画像」の選択方法については、後述する。
【００２５】
信号機検出部８０は、処理画像選択部７０において選択された処理画像に基づいて、信号機の検出を行う。なお、信号機検出部８０は、処理画像に写ると予想される信号機ごとに検出領域を処理画像上に設定し、設定された検出領域内の画素を解析することにより、処理画像に写ると予想される信号機を検出するものであってもよい。
【００２６】
出力部９０は、信号機検出部８０による信号機の検出結果を、車両制御装置２００に対して出力する。
【００２７】
［処理画像の選択方法］
次に、図３、図４Ａ、図４Ｂを用いて、処理画像選択部７０で行う「処理画像」の選択方法について説明する。
【００２８】
まず、先行車両若しくは隣接車両による信号機の遮蔽の可能性がないと考えられる場合の、処理画像の選択方法について説明する。図３は、先行車両及び隣接車両が存在しない場合における、処理画像の切替の位置ＰＣを示す模式図である。なお、位置Ｐ０は信号機ＴＳに対応する停止線の位置とし、位置ＰＡは信号機認識の処理を開始する位置（例えば望遠画像に基づく信号機認識処理が可能で且つ信号機ＴＳから最も遠い位置）とする。
【００２９】
ここで、位置ＰＣは、位置ＰＡから位置Ｐ０までの自車両Ｖ１の走行経路上において、信号機ＴＳの位置と望遠カメラ２４の画角によって定まる、信号機ＴＳを望遠カメラ２４で撮像可能な位置のうち、位置Ｐ０に最も近い位置である。位置ＰＣよりも更に位置Ｐ０に近い位置にまで自車両Ｖ１が進行すると、信号機ＴＳは望遠カメラ２４の画角から外れてしまい。信号機ＴＳを望遠カメラ２４によって撮像することができない。
【００３０】
先行車両及び隣接車両が存在せず、自車両Ｖ１が位置ＰＡから位置ＰＣまで走行する間に望遠カメラ２４からみて信号機ＴＳが遮蔽される可能性がない場合には、処理画像選択部７０は、自車両Ｖ１が位置ＰＡから位置ＰＣまで走行する間において望遠画像を処理画像として選択し、自車両Ｖ１が位置ＰＣから位置Ｐ０まで走行する間において広角画像を処理画像として選択する。すなわち、処理画像選択部７０は、位置ＰＣにおいて、処理画像を望遠画像から広角画像に切り替える。
【００３１】
さらに言い換えると、処理画像選択部７０は、位置ＰＣから位置Ｐ０までの距離を第２距離として、停止線のある位置Ｐ０と自車両Ｖ１の間の距離が、第２距離以下となる場合には、広角画像を処理画像として選択する。
【００３２】
この理由は、自車両Ｖ１が位置ＰＣから位置Ｐ０まで走行する間、信号機ＴＳは望遠カメラ２４の画角から外れてしまい。信号機ＴＳを望遠カメラ２４によって撮像することができないからである。したがって、信号機の検出ができるよう、広角画像を処理画像として選択する。
【００３３】
一方、処理画像選択部７０は、停止線のある位置Ｐ０と自車両Ｖ１の間の距離が、第２距離よりも大きくなる場合には、望遠画像を処理画像として選択する。すなわち、自車両Ｖ１が位置ＰＡから位置ＰＣまで走行する間に望遠カメラ２４からみて信号機ＴＳが遮蔽される可能性がない場合には、処理画像選択部７０は、なるべく位置ＰＣに近い位置に到達するまで、望遠画像に基づいて信号機の検出ができるよう、望遠画像を処理画像として選択する。
【００３４】
次に、先行車両による信号機の遮蔽の可能性があると考えられる場合の、処理画像の選択方法について説明する。図４Ａは、先行車両Ｖ２が存在する場合における、処理画像の切替の位置ＰＳを示す模式図である。
【００３５】
ここで、位置ＰＢは、位置ＰＡから位置Ｐ０までの自車両Ｖ１の走行経路上において、信号機ＴＳの位置と広角カメラ２２の画角によって定まる、信号機ＴＳを広角カメラ２２で撮像可能な位置のうち、位置Ｐ０から最も遠い位置である。位置ＰＢよりも位置Ｐ０から離れた位置に自車両Ｖ１がある場合には、信号機ＴＳまでの距離が大きいために広角カメラ２２によって撮像した広角画像において信号機ＴＳが所定の画素数以下の画素数を有して写る結果、広角画像から信号機ＴＳを認識できない。
【００３６】
先行車両Ｖ２が存在し、自車両Ｖ１が位置ＰＡから位置ＰＣまで走行する間に自車両Ｖ１からみて（望遠カメラ２４から見て）信号機ＴＳが遮蔽される可能性がある場合には、処理画像選択部７０は、位置ＰＣと位置ＰＢの間の区間（位置ＰＣ及び位置ＰＢを含む区間）に位置する位置ＰＳを決定する。自車両Ｖ１が位置ＰＡから位置ＰＳまで走行する間において望遠画像を処理画像として選択し、自車両Ｖ１が位置ＰＳから位置Ｐ０まで走行する間において広角画像を処理画像として選択する。すなわち、処理画像選択部７０は、位置ＰＳにおいて、処理画像を望遠画像から広角画像に切り替える。
【００３７】
なお、信号機ＴＳの遮蔽がなければ、位置ＰＣと位置ＰＢの間の区間では、望遠画像及び広角画像の両方で信号機ＴＳを撮像可能であることに留意する。
【００３８】
さらに言い換えると、処理画像選択部７０は、位置ＰＢから位置Ｐ０までの距離を第１距離として、停止線のある位置Ｐ０と自車両Ｖ１の間の距離が、第１距離よりも大きい場合には、処理画像選択部７０は、望遠画像を処理画像として選択する。
【００３９】
一方、停止線のある位置Ｐ０と自車両Ｖ１の間の距離が、位置ＰＣから位置Ｐ０までの距離である第２距離以下となる場合には、処理画像選択部７０は、望遠画像を処理画像として選択する。
【００４０】
また、停止線のある位置Ｐ０と自車両Ｖ１の間の距離が、第２距離よりも大きく、第１距離以下となる場合には、所定の位置ＰＳにおいて、処理画像を望遠画像から広角画像に切り替える。なぜなら、先行車両Ｖ２によって信号機ＴＳが遮蔽される可能性がある場合、望遠画像よりも広角画像を処理画像として用いたほうが、遮蔽の影響を受けにくく、信号機を継続して検出できる可能性が高くなるからである。
【００４１】
なお、自車両Ｖ１が先行車両Ｖ２に自動追従していない場合には、先行車両Ｖ２による信号機ＴＳの遮蔽の影響を低く抑えつつ、なるべく信号機ＴＳを継続して検出する必要性がある。そのため、位置ＰＢに自車両Ｖ１が位置するタイミングで、処理画像選択部７０は、処理画像を望遠画像から広角画像に切り替えることが望ましい。
【００４２】
一方、自車両Ｖ１が先行車両Ｖ２に自動追従している場合には、信号機ＴＳを検出できない状況にあっても、先行車両Ｖ２の走行に基づいて、自車両Ｖ１は発進・停止できるため、位置ＰＢに自車両Ｖ１が位置するタイミングで、処理画像を望遠画像から広角画像に切り替える必要は小さい。そのため、位置ＰＢを過ぎて、位置ＰＣに向かって走行している間に、処理画像選択部７０は、処理画像を望遠画像から広角画像に切り替えるものであってもよい。
【００４３】
次に、隣接車両による信号機の遮蔽の可能性があると考えられる場合の、処理画像の選択方法について説明する。図４Ｂは、隣接車両Ｖ３が存在する場合における、処理画像の切替の位置ＰＢを示す模式図である。
【００４４】
隣接車両Ｖ３が存在し、自車両Ｖ１が位置ＰＡから位置Ｐ０まで走行する間に自車両Ｖ１からみて信号機ＴＳが遮蔽される可能性がある場合には、処理画像選択部７０は、自車両Ｖ１が位置ＰＡから位置ＰＢまで走行する間において望遠画像を処理画像として選択し、自車両Ｖ１が位置ＰＢから位置Ｐ０まで走行する間において広角画像を処理画像として選択する。すなわち、処理画像選択部７０は、位置ＰＢにおいて、処理画像を望遠画像から広角画像に切り替える。
【００４５】
この理由は、例えば自車両Ｖ１が走行する道路がカーブしている場合など、自車両Ｖ１が走行する車線に隣接する車線を走行する隣接車両Ｖ３によって信号機が遮蔽される可能性がある場合には、なるべく信号機ＴＳを継続して検出する必要性があるからである。
【００４６】
［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置１による信号機認識の処理手順を、図２のフローチャートを参照して説明する。図２に示す信号機認識の処理は、車両のイグニッションがオンされると開始し、イグニッションがオンとなっている間、繰り返し実行される。
【００４７】
ステップＳ１０１において、望遠カメラ２４は、車両の周囲の所定の範囲を撮像する。望遠カメラ２４は、取得した望遠画像を処理画像選択部７０に出力する。
【００４８】
ステップＳ１０３において、広角カメラ２２は、車両の周囲の所定の範囲を撮像する。広角カメラ２２は、取得した広角画像を処理画像選択部７０に出力する。
【００４９】
なお、広角カメラ２２及び望遠カメラ２４における設定情報（焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度など）は、事前に設定されていてもよいし、コントローラ１００からの指令により、都度、設定されるものであってもよい。広角カメラ２２及び望遠カメラ２４によって撮像された撮像画像は、所定の期間の間、図示しない記憶部に記憶されるものであってもよい。
【００５０】
ステップＳ１０５において、自車両位置取得部５６は、自車両の位置を取得する。
【００５１】
ステップＳ１０７において、信号機位置取得部５２は、自車両周囲の道路構造内の信号機の位置を取得する。
【００５２】
ステップＳ１０９において、周囲物体位置算出部５４は、自車両の周囲の物体を検出する。特に、周囲物体位置算出部５４は、自車両の前方の物体を検出し、検出した物体の位置、速度などを合わせて検出する。
【００５３】
ステップＳ１１１において、遮蔽可能性判定部６０は、信号機の位置、自車両の周囲の物体の有無に基づいて、自車両の位置から信号機に対応する停止線の位置までの走行経路を自車両が走行する間に、周囲物体位置算出部５４で検出した物体によって信号機が遮蔽され得るか否かを判定する。
【００５４】
ステップＳ１１３において、処理画像選択部７０は、停止線と自車両の間の距離や、遮蔽可能性判定部６０での判定結果、その他、広角カメラ２２及び望遠カメラ２４の撮像可能範囲などに基づいて、広角画像と、望遠画像のいずれか一方を、信号機の検出処理の対象となる「処理画像」として選択する。
【００５５】
ステップＳ１１５において、信号機検出部８０は、処理画像選択部７０において選択された処理画像に基づいて、信号機の検出を行う。
【００５６】
ステップＳ１１７において、出力部９０は、信号機検出部８０による信号機の検出結果を、車両制御装置２００に対して出力する。
【００５７】
［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、  車載され自車両の前方を撮像する第１撮像部、によって撮像した第１画像と、車載され自車両の前方を撮像する第２撮像部であって、第１撮像部よりも画角が狭く且つ自車両からみて第１撮像部による撮像可能範囲よりも遠方を撮像する第２撮像部、によって撮像した第２画像と、の少なくとも一方を処理画像として選択し、処理画像に基づいて自車両の前方の信号機を認識する際に、自車両の位置及び信号機の位置を取得し、自車両の前方の物体を検出し、信号機の位置、物体の有無に基づいて、自車両の位置から信号機に対応する停止線の位置までの走行経路を自車両が走行する間に、第２画像を選択している際に物体によって第２撮像部から見て信号機が遮蔽され得るか否かを判定し、第２撮像部から見て信号機が遮蔽され得ると判定した場合には、第１画像を処理画像として選択し、処理画像に基づいて信号機の検出を行う。
【００５８】
これにより、自車両の前方の物体によって信号機が遮蔽される可能性が有る場合には処理画像を第２画像から第１画像に変更することができ、信号機を継続して検出することができる。その結果、物体の有無による信号機の遮蔽が、信号機の認識の性能に与える影響を低減することができる。
【００５９】
また、本実施形態に係る信号機認識方法及び信号機認識装置は、信号機の位置と第１撮像部の画角によって定まる、信号機を第１撮像部で撮像可能な走行経路上の位置であって、停止線から最も遠い位置における停止線までの距離を第１距離として、停止線と自車両の間の距離が、第１距離よりも大きい場合には、第２画像を処理画像として選択するものであってもよい。
【００６０】
これにより、第１撮像部によって撮像可能な距離よりも遠い距離を撮像可能な第２撮像部によって撮像した第２画像に基づいて、信号機を検出することができる。つまり、画角の異なる２つの撮像部の特性を考慮して、停止線までの距離に応じて２つの撮像部を切り替えることができる。その結果、停止線に向かって自車両が走行する際に、停止線までの距離が遠い場所から近い場所に至るまでの連続した区間において、信号機を継続して検出することができる。特に、停止線までの距離が大きいために第１撮像部によって撮像した第１画像において信号機が所定の画素数以下の画素数を有して写る結果、第１画像から信号機を認識できない場合に、第１画像の代わりに第２画像を用いて、信号機の認識を行うことができる。
【００６１】
さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、信号機の位置と第２撮像部の画角によって定まる、信号機を第２撮像部で撮像可能な走行経路上の位置であって、停止線に最も近い位置における停止線までの距離を第２距離として、停止線と自車両の間の距離が、第２距離以下となる場合には、第１画像を処理画像として選択するものであってもよい。
【００６２】
これにより、第２撮像部によって撮像可能な距離よりも近い距離を撮像可能な第１撮像部によって撮像した第１画像に基づいて、信号機を検出することができる。つまり、画角の異なる２つの撮像部の特性を考慮して、停止線までの距離に応じて２つの撮像部を切り替えることができる。その結果、信号機に向かって自車両が走行する際に、停止線までの距離が遠い場所から近い場所に至るまでの連続した区間において、信号機を継続して検出することができる。特に、停止線までの距離が近いために第２撮像部の画角から外れてしまう場合に、第２画像の代わりに第１画像を用いて、信号機の認識を行うことができる。
【００６３】
また、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両が走行する車線と同一の車線上を走行する先行車両を物体として検出するものであってもよい。先行車両により、第２撮像部で撮像する画像に写るはずの信号機が遮蔽されるおそれがある。信号機を遮蔽する物体として先行車両を特定することで、信号機が遮蔽され得るか否かの判定に必要な情報を正確に得ることができる。
【００６４】
さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、先行車両によって信号機が遮蔽され得ると判定された場合、停止線と自車両の間の距離が、第２距離よりも大きく、且つ、第１距離以下となっている間に、処理画像を第２画像から第１画像に切り替えるものであってもよい。先行車両によって信号機が遮蔽される可能性がある場合、自車両から遠い領域を狭角で撮像した第２画像よりも、自車両に近い領域を広角で撮像した第１画像を処理画像として用いたほうが、広角である分、先行車両による信号機の遮蔽の影響を受けにくい。遮蔽の影響を受けにくいため、信号機を継続して検出できる可能性を高くすることができる。
【００６５】
また、本実施形態に係る信号機認識方法及び信号機認識装置は、先行車両によって信号機が遮蔽され得ると判定された場合であって、且つ、自車両が先行車両に自動追従していない場合には、停止線と自車両の間の距離が第１距離となるタイミングで、処理画像を第２画像から第１画像に切り替えるものであってもよい。停止線に向かって自車両が走行する際に、第１画像による信号機の認識が可能となる位置であって、停止線から最も遠い位置から第１画像を用いて信号機の認識を開始することで、先行車両による信号機の遮蔽の影響を低く抑えつつ、信号機を継続して検出することができる。
【００６６】
さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、自車両が走行する車線と隣接する車線上を走行する隣接車両を物体として検出するものであってもよい。隣接車両により、第１撮像部及び第２撮像部で撮像する画像に写るはずの信号機が遮蔽されるおそれがある。信号機を遮蔽する物体として隣接車両を特定することで、信号機が遮蔽され得るか否かの判定に必要な情報を正確に得ることができる。
【００６７】
また、本実施形態に係る信号機認識方法及び信号機認識装置は、隣接車両によって信号機が遮蔽され得ると判定された場合、停止線と自車両の間の距離が第１距離となるタイミングで、処理画像を第２画像から第１画像に切り替えるものであってもよい。停止線に向かって自車両が走行する際に、第１画像による信号機の認識が可能となる位置であって、停止線から最も遠い位置から第１画像を用いて信号機の認識を開始することで、隣接車両による信号機の遮蔽の影響を低く抑えつつ、信号機を継続して検出することができる。隣接車両によって信号機が遮蔽され得る場合には、自車両が走行する車線を挟んで隣接車両が走行する車線とは、反対側の車線において信号機を認識することができ、信号機を継続して認識することができる。
【００６８】
さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、第１撮像部の焦点距離は、第２撮像部の焦点距離よりも短いものであってもよい。第１撮像部によって撮像する領域と第２撮像部によって撮像する領域が異なり、第１撮像部と第２撮像部を切り替えて信号機の認識を行うことで、信号機に対応する停止線までの距離が遠い場所から近い場所に至るまでの連続した区間において、信号機を継続して検出することができる。
【００６９】
また、本実施形態に係る信号機認識方法及び信号機認識装置は、第１撮像部は、第２撮像部と比較して、自車両の運転者の目の位置に近い位置に設置されているものであってもよい。これにより、第２撮像部と比較して広角の領域を撮像できる第１撮像部が撮像する画像は、自車両の運転者の視点から見る画像と似通ったものとなり、第１画像に基づいて信号機の認識を行い、運転制御、運転支援を行った場合に、運転者に与える違和感を低減することができる。
【００７０】
上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。
【００７１】
以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。
【００７２】
本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【００７３】
１      信号機認識装置１
２２    広角カメラ（第１撮像部）
２４    望遠カメラ（第２撮像部）
５２    信号機位置取得部
５４    周囲物体位置算出部
５６    自車両位置取得部
６０    遮蔽可能性判定部
７０    処理画像選択部
８０    信号機検出部
９０    出力部
１００  コントローラ１００
Ｖ１    自車両
Ｖ２    先行車両
Ｖ３    隣接車両
【図１】
2020109559.tif 000003
【図２】
2020109559.tif 000004
【図３】
2020109559.tif 000005
【図４Ａ】
2020109559.tif 000006
【図４Ｂ】
2020109559.tif 000007