(57)【要約】【課題】信号機を検出するための処理の不適切な繰り返しを抑制することができる信号機検出装置を提供する。【解決手段】信号機検出装置２０は、カメラ２１０による撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定する領域決定部２１と、その撮影画像のうちの決定された信号機推定領域から信号機を探索する信号機探索部２２と、信号機の探索において信号機が検出されなかった場合には、カメラ２１０による撮影が行われた撮影状況が、撮影画像に信号機が映し出されない特定撮影状況であったか否かを判定する分析部２３とを備え、撮影状況が特定撮影状況であったと判定された場合には、その撮影画像からの信号機の再探索を禁止して、撮影画像の後に取得される後続撮影画像に対する処理を行う。【選択図】図１
2020199994.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
カメラによる撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定し、
前記撮影画像のうちの決定された前記信号機推定領域から前記信号機を探索し、
前記信号機の探索において前記信号機が検出されなかった場合には、前記カメラによる撮影が行われた撮影状況が、前記撮影画像に前記信号機が映し出されない特定撮影状況であったか否かを判定し、
前記撮影状況が前記特定撮影状況であったと判定された場合には、前記撮影画像からの前記信号機の再探索を禁止して、前記撮影画像の後に取得される後続撮影画像に対する処理を行う、
信号機検出装置。
【請求項２】
前記プロセッサは、
前記信号機の探索において前記信号機が検出されなかった場合には、さらに、前記撮影状況が、前記信号機推定領域に複数の信号機が映し出される第１撮影状況であったか否かを判定し、
前記撮影状況が前記第１撮影状況であったと判定された場合には、前記信号機推定領域に対する前記信号機の再探索を実行する、
請求項１に記載の信号機検出装置。
【請求項３】
前記プロセッサは、前記信号機の再探索では、
前記信号機推定領域に映し出されている複数の信号機のそれぞれの向き、大きさ、および位置のうちの少なくとも１つに基づいて、前記複数の信号機から探索対象の前記信号機を検出する、
請求項２に記載の信号機検出装置。
【請求項４】
前記プロセッサは、前記特定撮影状況の判定では、
前記撮影状況が、前記特定撮影状況のうちの第２撮影状況であったか否かを判定し、
前記第２撮影状況は、前記カメラと前記信号機との間に障害物が存在することによって前記撮影画像に前記信号機が映し出されない状況である、
請求項１〜３の何れか１項に記載の信号機検出装置。
【請求項５】
前記プロセッサは、前記第２撮影状況の判定では、
前記撮影画像に移動物体が映し出され、かつ、前記移動物体の少なくとも一部が前記信号機推定領域に含まれているか否かを判定することによって、前記撮影状況が、前記障害物として前記移動物体が存在する前記第２撮影状況であったか否かを判定する、
請求項４に記載の信号機検出装置。
【請求項６】
前記プロセッサは、前記特定撮影状況の判定では、
前記撮影状況が、前記特定撮影状況のうちの第３撮影状況であったか否かを判定し、
前記第３撮影状況は、前記カメラを搭載する車両が走行している道路の上または下にある他の道路に前記信号機が存在するために、前記撮影画像に前記信号機が映し出されない状況である、
請求項１〜５の何れか１項に記載の信号機検出装置。
【請求項７】
前記プロセッサは、前記第３撮影状況の判定では、
前記車両が走行している道路の上または下に他の道路が存在するか否かを、地図情報を参照して判定することによって、前記撮影状況が前記第３撮影状況であるか否かを判定する、
請求項６に記載の信号機検出装置。
【請求項８】
前記プロセッサは、前記特定撮影状況の判定では、
前記撮影状況が、前記特定撮影状況のうちの第４撮影状況であったか否かを判定し、
前記第４撮影状況は、前記信号機推定領域の決定のために用いられる情報に誤りがあるために、前記撮影画像に前記信号機が映し出されない状況である、
請求項１〜７の何れか１項に記載の信号機検出装置。
【請求項９】
前記プロセッサは、前記撮影状況が前記第４撮影状況であったと判定すると、
前記信号機推定領域の決定のために用いられる情報に誤りがあることを前記信号機検出装置の外部のデバイスに通知する、
請求項８に記載の信号機検出装置。
【請求項１０】
コンピュータが信号機を検出する信号機検出方法であって、
カメラによる撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定し、
決定された前記信号機推定領域から前記信号機を探索し、
前記信号機の画像の探索において前記信号機が検出されなかった場合には、前記カメラによる撮影が行われた撮影状況が、前記撮影画像に前記信号機が映し出されない特定撮影状況であったか否かを判定し、
前記撮影状況が前記特定撮影状況であったと判定された場合には、前記撮影画像からの前記信号機の再探索を禁止して、前記撮影画像の後に取得される後続撮影画像に対する処理を行う、
信号機検出方法。
【請求項１１】
コンピュータが信号機を検出するためのプログラムであって、
カメラによる撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定し、
前記撮影画像のうちの決定された前記信号機推定領域から前記信号機を探索し、
前記信号機の画像の探索において前記信号機が検出されなかった場合には、前記カメラによる撮影が行われた撮影状況が、前記撮影画像に前記信号機が映し出されない特定撮影状況であったか否かを判定し、
前記撮影状況が前記特定撮影状況であったと判定された場合には、前記撮影画像からの前記信号機の再探索を禁止して、前記撮影画像の後に取得される後続撮影画像に対する処理を行う、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮影画像に映し出されている信号機を検出する信号機検出装置などに関する。
【背景技術】
【０００２】
従来、車両の前方に存在する信号機を検出する信号機検出装置が提案されている（例えば、特許文献１参照）。この信号機検出装置は、車両の位置および地図データを用いて、撮影画像に映し出される信号機の位置を予測し、その位置に応じた信号機検出領域を撮影画像に設定する。そして、信号機検出装置は、その信号機検出領域からの信号機の検出を行う。さらに、信号機検出領域から信号機が検出されない場合には、信号機検出装置は、前方または遠方に信号機検出領域を移動させながら信号機の検出を繰り返し行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６３３１８１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の信号機検出装置では、信号機を検出するための処理が不適切に繰り返されることがあるという課題がある。
【０００５】
そこで、本開示は、信号機を検出するための処理の不適切な繰り返しを抑制することができる信号機検出装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る信号機検出装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、カメラによる撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定し、前記撮影画像のうちの決定された前記信号機推定領域から前記信号機を探索し、前記信号機の探索において前記信号機が検出されなかった場合には、前記カメラによる撮影が行われた撮影状況が、前記撮影画像に前記信号機が映し出されない特定撮影状況であったか否かを判定し、前記撮影状況が前記特定撮影状況であったと判定された場合には、前記撮影画像からの前記信号機の再探索を禁止して、前記撮影画像の後に取得される後続撮影画像に対する処理を行う。
【０００７】
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の信号機検出装置は、信号機を検出するための処理の不適切な繰り返しを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態における信号機検出装置の構成を示すブロック図である。
【図２】図２は、実施の形態における領域決定部の処理動作を説明するための図である。
【図３】図３は、実施の形態における撮影画像、信号機推定領域および処理対象画像の一例を示す図である。
【図４】図４は、実施の形態における信号機探索部および灯火色判定部のそれぞれの処理を説明するための図である。
【図５】図５は、実施の形態における信号機探索部によって信号機が検出されない原因となる撮影状況の一例を示す図である。
【図６】図６は、実施の形態における第１撮影状況の一例を示す図である。
【図７】図７は、実施の形態における第２撮影状況の一例を示す図である。
【図８】図８は、実施の形態における第３撮影状況の一例を示す図である。
【図９】図９は、実施の形態における信号機検出装置の処理動作を示すフローチャートである。
【図１０】図１０は、実施の形態における信号機検出装置の具体的な処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
「背景技術」の欄において記載した上記特許文献１の信号機検出装置に関し、以下の問題が生じることを見出した。
【００１１】
上記特許文献１の信号機検出装置は、検出された車両の位置と、地図データと、カメラの角度とから、カメラで撮影された画像における信号機の位置を推定し、その位置を含む領域を信号機検出領域として設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。また、信号機検出領域内に信号機が存在することを確認するために、特徴点検出が行われる。つまり、信号機検出装置は、予め登録されている信号機の特徴点を用いて、その信号機検出領域内において特徴点検出を行う。もし、その信号機検出領域に信号機の特徴点が検出されなかった場合、信号機検出装置は、信号機検出領域を更新する。つまり、信号機検出装置は、信号機検出領域を前方（車両に近づく向き）または遠方（車両から遠ざかる向き）に設定し直して信号機の検出を再び行う。
【００１２】
しかしながら、このような信号機検出装置では、撮影画像に信号機が映し出されていない場合であっても、信号機が映し出されていることを前提に、その信号機を検出するための処理が繰り返し実行される。例えば、検出された車両の位置および地図データなどに基づいて撮影画像に対して信号機検出領域を設定しても、その車両の位置および地図データに誤りがあるために、撮影画像に車両が映し出されていない場合がある。このよう場合、上記特許文献１の信号機検出装置では、撮影画像に信号機が映し出されていないにもかかわらず、上述の信号機検出領域の設定と、その設定された信号機検出領域内における特徴点検出とが繰り返し実行される。例えば、これらの処理の繰り返しは、無限に実行される可能性がある。したがって、無駄な処理が繰り返されることによって、信号機を検出するための処理に負担がかかり、かつ、誤検出を誘発する可能性がある。
【００１３】
このような課題を解決するために、本開示の一態様に係る信号機検出装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、カメラによる撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定し、前記撮影画像のうちの決定された前記信号機推定領域から前記信号機を探索し、前記信号機の探索において前記信号機が検出されなかった場合には、前記カメラによる撮影が行われた撮影状況が、前記撮影画像に前記信号機が映し出されない特定撮影状況であったか否かを判定し、前記撮影状況が前記特定撮影状況であったと判定された場合には、前記撮影画像からの前記信号機の再探索を禁止して、前記撮影画像の後に取得される後続撮影画像に対する処理を行う。
【００１４】
これにより、信号機が検出されなかった場合には、撮影状況が、撮影画像に信号機が映し出されない特定撮影状況であったか否かが判定される。つまり、撮影状況の分析が行われる。そして、撮影状況がその特定撮影状況であった場合には、その撮影画像からの信号機の再探索が禁止される。したがって、撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。つまり、信号機を検出するための処理の不適切な繰り返しを抑制することができる。その結果、信号機検出装置の処理負担を軽減し、誤検出の可能性を低減することができる。
【００１５】
また、前記プロセッサは、前記信号機の探索において前記信号機が検出されなかった場合には、さらに、前記撮影状況が、前記信号機推定領域に複数の信号機が映し出される第１撮影状況であったか否かを判定し、前記撮影状況が前記第１撮影状況であったと判定された場合には、前記信号機推定領域に対する前記信号機の再探索を実行してもよい。例えば、前記プロセッサは、前記信号機の再探索では、前記信号機推定領域に映し出されている複数の信号機のそれぞれの向き、大きさ、および位置のうちの少なくとも１つに基づいて、前記複数の信号機から探索対象の前記信号機を検出してもよい。
【００１６】
これにより、撮影画像の信号機推定領域に複数の信号機が映し出されているために、その信号機推定領域から１つの探索対象である注目すべき信号機が検出されなかった場合には、信号機推定領域からの信号機の再探索が実行される。つまり、信号機の向き、大きさおよび位置のうちの少なくとも１つに基づく探索条件にしたがった再探索が実行される。例えば、信号機の位置が信号機推定領域において最も中央にあることが探索条件として設定される。その結果、再探索では、信号機推定領域において最も中央にある信号機が、その注目すべき信号機として検出される。なお、注目すべき信号機は、例えば、カメラを搭載する車両の走行路にある信号機であって、その車両の走行に最も早く関わる信号機である。したがって、信号機検出装置は、適切に信号機を検出することができる。
【００１７】
また、前記プロセッサは、前記特定撮影状況の判定では、前記撮影状況が、前記特定撮影状況のうちの第２撮影状況であったか否かを判定し、前記第２撮影状況は、前記カメラと前記信号機との間に障害物が存在することによって前記撮影画像に前記信号機が映し出されない状況であってもよい。例えば、前記プロセッサは、前記第２撮影状況の判定では、前記撮影画像に移動物体が映し出され、かつ、前記移動物体の少なくとも一部が前記信号機推定領域に含まれているか否かを判定することによって、前記撮影状況が、前記障害物として前記移動物体が存在する前記第２撮影状況であったか否かを判定してもよい。
【００１８】
これにより、例えば移動物体であるトラックなどの障害物によって信号機が隠されているために、撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。
【００１９】
また、前記プロセッサは、前記特定撮影状況の判定では、前記撮影状況が、前記特定撮影状況のうちの第３撮影状況であったか否かを判定し、前記第３撮影状況は、前記カメラを搭載する車両が走行している道路の上または下にある他の道路に前記信号機が存在するために、前記撮影画像に前記信号機が映し出されない状況であってもよい。例えば、前記プロセッサは、前記第３撮影状況の判定では、前記車両が走行している道路の上または下に他の道路が存在するか否かを、地図情報を参照して判定することによって、前記撮影状況が前記第３撮影状況であるか否かを判定してもよい。
【００２０】
例えば、第３撮影状況は、カメラを搭載する車両が橋を渡り、その橋の下の道路に信号機がある状況である。この場合、車両と信号機との上下方向の位置が不明確であれば、橋を渡っている車両のカメラから得られる撮影画像に対して、その橋の下の道路にある信号機の信号機推定領域が決定されてしまう可能性がある。しかし、この場合には、その撮影画像の信号機推定領域だけでなく撮影画像の他の領域にも、信号機は映し出されない。本開示の一態様に係る信号機検出装置では、このような第３撮影状況では、撮影画像からの信号機の再探索が禁止される。したがって、第３撮影状況のように撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。
【００２１】
また、前記プロセッサは、前記特定撮影状況の判定では、前記撮影状況が、前記特定撮影状況のうちの第４撮影状況であったか否かを判定し、前記第４撮影状況は、前記信号機推定領域の決定のために用いられる情報に誤りがあるために、前記撮影画像に前記信号機が映し出されない状況であってもよい。
【００２２】
例えば、第４撮影状況は、信号機推定領域の決定のために用いられる、カメラの情報、そのカメラが搭載された車両の位置、および、地図情報などに誤りがある状況である。これらの情報に誤りがあれば、撮影画像の信号機推定領域だけでなく撮影画像の他の領域にも、信号機が映し出されていない可能性が高い。本開示の一態様に係る信号機検出装置では、このような第４撮影状況では、撮影画像からの信号機の再探索が禁止される。したがって、第４撮影状況のように撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。
【００２３】
また、前記プロセッサは、前記撮影状況が前記第４撮影状況であったと判定すると、前記信号機推定領域の決定のために用いられる情報に誤りがあることを前記信号機検出装置の外部のデバイスに通知してもよい。
【００２４】
これにより、信号機推定領域の決定のために用いられる情報に誤りがあることが、例えばカメラを搭載する車両を制御するデバイスに通知される。その結果、その誤りを正すための処理を行うことでき、信号機の検出精度の低下を抑制することができる。
【００２５】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００２６】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２７】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００２８】
（実施の形態）
図１は、本実施の形態における信号機検出装置の構成を示すブロック図である。
【００２９】
例えば、車両１０は、信号機検出装置２０と、カメラ２１０と、位置検出部２２０と、地図情報格納部２３０と、灯火色判定部２４０と、車両制御部２５０と、報知部２６０とを備える。
【００３０】
カメラ２１０は、車載カメラであって、例えば車両１０の前方を撮影し、その撮影によって生成される画像（以下、撮影画像という）を信号機検出装置２０に出力する。具体的には、カメラ２１０は、一定のフレームレートで撮影を行い、その撮影によって画像が生成されるたびに、その画像を撮影画像として信号機検出装置２０に出力する。
【００３１】
位置検出部２２０は、車両１０の位置を検出し、その位置を示す車両位置情報を信号機検出装置２０に出力する。この車両１０の位置の検出は、一般的な自己位置推定手法によって実施される。例えば、この自己位置推定手法は、ＧＰＳ（Global Positioning System）を用いた手法であってもよく、ＬＩＤＡＲ（Light Detection and Ranging）および周辺地図を用いて周辺情報を調査することによって自己位置を推定する手法であってもよい。
【００３２】
地図情報格納部２３０は、少なくとも車両１０の周辺の地図を示す地図情報を格納している。なお、この地図情報は、地図を３次元のデータとして示し、具体的には、実空間における少なくとも交差点および信号機のそれぞれの位置を、３次元座標における位置として示す。このような地図情報は、例えば、インターネットなどのネットワークを介してサーバから無線で送信され、地図情報格納部２３０に格納されていてもよい。また、地図情報格納部２３０は、ハードディスクまたはメモリなどから構成されていてもよい。なお、メモリは、不揮発性であってもよく、揮発性であってもよい。また、メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）であってもよい。
【００３３】
信号機検出装置２０は、カメラ２１０による撮影によって生成された撮影画像において、信号機が映し出されていると推定される領域を信号機推定領域として決定する。この信号機推定領域の決定には、例えば、カメラ情報と、位置検出部２２０から出力される車両位置情報と、地図情報格納部２３０の地図情報となどが用いられる。なお、カメラ情報は、カメラ２１０の画角、撮影方向、および、車両１０に取り付けられている位置などを示す。さらに、信号機検出装置２０は、その信号機推定領域から信号機（すなわち信号機の画像）を検出する。そして、信号機検出装置２０は、その検出された信号機の画像を信号機画像として灯火色判定部２４０に出力する。信号機検出装置２０の詳細については、後述する。
【００３４】
灯火色判定部２４０は、信号機検出装置２０から出力される信号機画像を用いて、信号機画像に映し出されている信号機の灯火色を判定し、その判定結果を示す灯火色情報を車両制御部２５０に出力する。灯火色の判定には、パターンマッチングなどに代表される一般的な画像認識アルゴリズムを用いることができる。また、灯火色の判定には、他のアルゴリズムを用いてもよい。
【００３５】
なお、灯火色判定部２４０は、この灯火色の判定において、ノイズ対策のために、過去数フレームの信号機画像に対する判定結果を平滑化してもよい。例えば、灯火色判定部２４０は、過去から現在までの数フレームの信号機画像のそれぞれについて、青色、黄色、および赤色の各灯火色に対する判定確率を保持しておき、過去から現在までの各灯火色の判定確率から、現在の灯火色を判定する。具体的には、灯火色判定部２４０は、過去から現在までのｊ（ｊは２以上の整数）フレームの信号機画像のそれぞれにおける、青色の判定確率の合計値を算出する。同様に、灯火色判定部２４０は、黄色および赤色のそれぞれに対しても、その合計値を算出する。そして、灯火色判定部２４０は、最も合計値が大きい色を、現在の灯火色として判定する。これにより、現在の信号機の灯火色を適切に判定することができる。
【００３６】
車両制御部２５０は、例えば１つまたは複数のＥＣＵ（Electronic Control Unit）からなる。このような車両制御部２５０は、灯火色判定部２４０から出力される灯火色情報を取得し、その灯火色情報によって示される信号機の灯火色に基づいて、車両１０の走行を制御する。つまり、車両制御部２５０は、信号機が配置された道路を車両１０が自動走行するように、その車両１０を制御する。また、車両制御部２５０は、信号機検出装置２０による処理結果に基づいて報知部２６０を制御する。
【００３７】
報知部２６０は、例えば、ディスプレイまたはスピーカなどからなり、車両制御部２５０によって制御される。例えば、信号機検出装置２０によって、地図情報格納部２３０の地図情報に誤りがあると判定されると、報知部２６０は、車両制御部２５０による制御に基づいて、その地図情報に誤りがあることを車両１０のドライバに報知する。
【００３８】
本実施の形態における信号機検出装置２０は、領域決定部２１と、信号機探索部２２と、分析部２３とを備える。
【００３９】
領域決定部２１は、カメラ２１０による撮影によって得られた撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定する。この信号機推定領域の決定は、カメラ情報と、車両位置情報によって示される車両１０の位置と、信号機の位置とに基づいて行われる。また、信号機の位置は、地図情報格納部２３０の地図情報によって示されている。
【００４０】
具体的には、地図情報は、３次元空間における各信号機の位置および形態を示す。つまり、地図情報は、道路および建物の位置を示すだけでなく、その道路に配置されている信号機の位置および形態も示す。信号機の位置は、３次元座標系によって示される。すなわち、信号機の灯箱の位置が、経度および緯度と高さとによって示される。高さは、道路からの高さであっても、標高であってもよい。信号機の形態は、信号機を正面から見たときのその信号機の形状および大きさを含む。領域決定部２１は、地図情報によって示される複数の信号機のうち、車両１０の走行路にある信号機であって、車両１０の走行に最も早く関わる信号機（すなわち注目信号機）を選択する。そして、領域決定部２１は、撮影画像において、その地図情報によって示される注目信号機が中心に位置する領域であって、かつ、その注目信号機の全体を十分に含む領域を推定し、その領域を信号機推定領域として決定する。そして、領域決定部２１は、撮影画像からその信号機推定領域の画像を抽出し、その抽出された信号機推定領域の画像を処理対象画像として信号機探索部２２に出力する。
【００４１】
信号機探索部２２は、領域決定部２１から処理対象画像を取得する。そして、信号機探索部２２は、処理対象画像から信号機を探索する。つまり、信号機探索部２２は、撮影画像において決定された信号機推定領域から信号機を探索する。つまり、信号機の画像が探索される。また、信号機探索部２２は、その信号機の探索において信号機が検出されなかった場合には、信号機が検出されなかったことを分析部２３に通知する。
【００４２】
分析部２３は、信号機探索部２２からの通知を受けると、信号機が検出されなかった原因を分析する。具体的には、分析部２３は、信号機の探索において信号機が検出されなかった場合には、カメラ２１０による撮影が行われた撮影状況が、撮影画像に信号機が映し出されない特定撮影状況であったか否かを判定する。そして、分析部２３は、撮影状況が特定撮影状況であったと判定された場合には、領域決定部２１および信号機探索部２２に対して撮影画像からの信号機の再探索を禁止する。その結果、領域決定部２１および信号機探索部２２は、その撮影画像の後に取得される後続撮影画像に対する処理を行う。
【００４３】
したがって、本実施の形態では、撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。つまり、信号機を検出するための処理の不適切な繰り返しを抑制することができる。その結果、信号機検出装置の処理負担を軽減し、誤検出の可能性を低減することができる。
【００４４】
また、カメラ情報、地図情報または車両位置情報の誤りによって、撮影状況が上述の特定撮影状況となっていた場合には、その後に取得される各撮影画像に対しても信号機が検出されない可能性が高い。したがって、分析部２３は、このような場合には、それらの情報に誤りがあることを車両制御部２５０に通知する。
【００４５】
なお、車両１０に備えられている信号機検出装置２０、位置検出部２２０、地図情報格納部２３０、灯火色判定部２４０、および車両制御部２５０を含む構成要素群は、少なくとも１つのプロセッサと少なくとも１つのメモリとから構成されていてもよい。例えば、その構成要素群のうちの地図情報格納部２３０は、少なくとも１つのメモリからなり、その構成要素群のうちの地図情報格納部２３０を除く残りの各構成要素は、少なくとも１つのプロセッサから構成されていてもよい。
【００４６】
図２は、領域決定部２１の処理動作を説明するための図である。具体的には、図２の（ａ）は、透視投影の処理を示し、図２の（ｂ）は、車両１０の位置を原点とするローカル座標系を示す。
【００４７】
領域決定部２１は、その地図情報によって示される地図に、位置検出部２２０から出力された車両位置情報によって示される位置をマッピングすることによって、車両１０の地図上の位置を特定する。さらに、領域決定部２１は、地図上の車両１０および信号機のそれぞれの位置と、信号機の形態と、車両１０におけるカメラ２１０の取付位置および撮影方向とに基づいて、撮影画像において信号機が映し出されている領域を幾何学的に推定する。その領域の幾何学的な検出には、例えば、３次元座標系を２次元座標系に変換する透視投影などの処理を用いてもよい。
【００４８】
例えば、図２の（ｂ）に示すように、領域決定部２１は、車両１０の位置を原点とする３次元座標系（すなわちローカル座標系）を設定する。この３次元座標系では、車両１０の正面方向に沿ってＸ軸が配置され、水平面においてそのＸ軸と垂直な方向に沿ってＹ軸が配置され、ＸＹ平面において垂直な方向に沿ってＺ軸が配置される。
【００４９】
領域決定部２１は、地図情報によって示される複数の信号機の位置のうち、位置検出部２２０によって検出された車両１０の位置から、カメラ情報によって示される撮影方向に存在する直近の信号機（すなわち注目信号機）の位置を特定する。そして、領域決定部２１は、地図情報によって示される、その特定された信号機の位置、すなわちグローバル座標系において示される信号機の位置を、上述のように設定された３次元座標系の位置、すなわちローカル座標系の位置に変換する。例えば、信号機の位置は、図２の（ａ）に示すように、３次元座標系の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）として示される。
【００５０】
次に、領域決定部２１は、その３次元座標系の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を撮影画像のスクリーンに投影することによって、その位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を２次元座標系の位置ｐ１（ｘ１，ｙ１）に変換する。なお、２次元座標系はｘ軸およびｙ軸からなる座標系であって、ｘ軸は、３次元座標系のＺ軸に対応し、ｙ軸は、３次元座標系のＹ軸に対応する。ここで、カメラ２１０の焦点距離、すなわち、投影されるスクリーンの車両１０からの距離をｆとする場合、領域決定部２１は、例えば、ｘ１＝（ｆ／Ｘ１）×Ｚ１およびｙ１＝（ｆ／Ｘ１）×Ｙ１などによって、位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を２次元座標系の位置ｐ１（ｘ１，ｙ１）に変換する。
【００５１】
そして、領域決定部２１は、撮影画像におけるその位置ｐ１を含む領域を信号機推定領域として推定し、撮影画像からその信号機推定領域の画像を処理対象画像として抽出する。
【００５２】
より具体的には、領域決定部２１は、地図情報に示されるその信号機の大きさ（例えば、幅および高さ）についても、上述と同様に２次元座標系に投影する。これにより、地図情報に示される信号機（具体的には信号機の灯箱）の領域が、撮影画像における２次元座標系の領域に投影される。領域決定部２１は、その投影によって、撮影画像において信号機だけが映し出されている領域、すなわち、図２の（ａ）に示す信号機投影領域を推定する。ここで、その信号機投影領域の位置および大きさには誤差が含まれる。したがって、領域決定部２１は、例えば、その信号機投影領域を中心に含むより大きな領域を信号機推定領域として決定し、撮影画像からその信号機推定領域の画像を処理対象画像として抽出する。
【００５３】
図３は、撮影画像、信号機推定領域および処理対象画像の一例を示す図である。
【００５４】
領域決定部２１は、例えば図３に示す撮影画像を取得し、その撮影画像から、信号機が映し出されていると推定される領域を信号機推定領域として決定する。そして、領域決定部２１は、その撮影画像からその信号機推定領域の画像を処理対象画像として抽出する。この図３に示す例では、処理対象画像には信号機が映し出されている。しかし、カメラ２１０による撮影状況によっては、その処理対象画像に信号機が映し出されていない場合がある。したがって、このような場合に、その処理対象画像から信号機を繰り返し探索する処理は、無駄な処理になってしまう。本実施の形態における信号機検出装置２０は、このような無駄な処理を抑えることができる。
【００５５】
図４は、信号機探索部２２および灯火色判定部２４０のそれぞれの処理を説明するための図である。具体的には、図４の（ａ）は、信号機探索部２２によって処理対象画像から探索された信号機を示し、図４の（ｂ）は、灯火色判定部２４０がその探索された信号機の画像から灯火色を判定する処理を示す。
【００５６】
信号機探索部２２は、図４の（ａ）に示すように、撮影画像から抽出された処理対象画像から信号機（具体的には、信号機の画像）を探索する。このとき、信号機探索部２２は、例えば、処理対象画像から特徴点検出を行うことによって信号機を探索してもよく、パターンマッチングによって信号機を探索してもよい。または、信号機探索部２２は、ディープラーニングなどの機械学習を用いて信号機を探索してもよい。そして、信号機探索部２２は、その探索によって処理対象画像から信号機を検出すると、すなわち信号機を見つけ出すと、その信号機の画像を信号機画像として処理対象画像から切り出して、その信号機画像を灯火色判定部２４０に出力する。
【００５７】
灯火色判定部２４０は、図４の（ｂ）に示すように、信号機探索部２２から信号機画像を取得すると、信号機が有する灯部の数と配置とに基づいて、その信号機画像を分割する。例えば、信号機は、水平方向に沿って配列された３つの灯部を有する。この場合、灯火色判定部２４０は、水平方向に沿って配列された３つの灯部画像にその信号機画像を分割する。次に、灯火色判定部２４０は、それらの３つの灯部画像のうち、何れの他の灯部画像とも類似していない灯部画像を選択する。そして、灯火色判定部２４０は、その類似していない灯部画像の信号機画像中の位置に基づいて、信号機の灯火色を判定する。例えば、信号機は、左端に青色の灯部を有し、中央に黄色の灯部を有し、右端に赤色の灯部を有する。この場合、灯火色判定部２４０は、信号機画像中の右端の灯部画像が、左端の灯部画像および中央の灯部画像の何れにも類似していなと判定すると、信号機の灯火色は赤色であると判定する。
【００５８】
なお、灯火色判定部２４０による上述の灯火色の判定手法は、一例であって、他の判定手法によって灯火色を判定してもよい。
【００５９】
ここで、信号機探索部２２による上述のような信号機の探索では、信号機が検出されない場合がある。つまり、撮影画像に、信号機が映し出されていないために、信号機が検出されない場合と、その撮影画像の信号機推定領域に、信号機が映し出されているにも関わらず、信号機が検出されない場合とがある。このような信号機が検出されない場合は、その撮影画像が得られる時点におけるカメラ２１０の撮影状況によって生じ得る。
【００６０】
図５は、信号機探索部２２によって信号機が検出されない原因となる撮影状況の一例を示す図である。
【００６１】
信号機探索部２２によって信号機が検出されない原因となる撮影状況には、例えば図５に示すように、第１撮影状況、第２撮影状況、第３撮影状況、第４撮影状況、および第５撮影状況がある。
【００６２】
第１撮影状況は、撮影画像のうちの信号機推定領域、すなわち処理対象画像に複数の信号機が映し出されている状況である。このような第１撮影状況では、信号機探索部２２は、処理対象画像からその複数の信号機を検出しても、その複数の信号機の中から、車両１０の走行に最も早く関わる信号機（すなわち、注目信号機）を検出することができない。つまり、第１撮影状況では、撮影画像における信号機推定領域に、信号機が映し出されているにも関わらず、注目信号機が検出されない。
【００６３】
第２撮影状況は、信号機が障害物で隠れている状況である。具体的には、第２撮影状況は、カメラ２１０と信号機との間に障害物が存在することによって撮影画像に信号機が映し出されない状況である。このような第２撮影状況は、撮影画像に信号機が映し出されない特定撮影状況である。
【００６４】
第３撮影状況は、車両１０の走行路の上または下に他の道路がある状況である。具体的には、第３撮影状況は、カメラ２１０を搭載する車両１０が走行している道路の上または下にある他の道路に信号機が存在するために、撮影画像に信号機が映し出されない状況である。このような第３撮影状況は、撮影画像に信号機が映し出されない特定撮影状況である。
【００６５】
第４撮影状況は、カメラ情報、地図情報、または車両位置情報に誤りがある状況である。つまり、第４撮影状況は、信号機推定領域の決定のために用いられる情報に誤りがあるために、撮影画像に信号機が映し出されない状況である。このような第４撮影状況は、撮影画像に信号機が映し出されない特定撮影状況である。なお、本実施の形態では、カメラ情報、地図情報、または車両位置情報は、信号機推定領域の決定のために用いられる情報の一例であって、これらの情報に限定されず、どのような情報であってもよい。
【００６６】
本実施の形態における分析部２３は、信号機探索部２２によって信号機が検出されなかった場合には、信号機が検出されなった原因として、撮影状況が上記第１〜第４の何れの撮影状況であったかを分析する。そして、信号機検出装置２０は、その分析結果に応じた処理を実行する。その処理の一例は、撮影画像からの信号機の再探索の禁止である。具体的には、撮影状況が特定撮影状況であった場合、つまり、撮影状況が第２撮影状況、第３撮影状況または第４撮影状況であった場合には、信号機検出装置２０は、撮影画像からの信号機の再探索を禁止する。その結果、信号機検出装置２０は、その撮影画像の後にカメラ２１０から取得される後続撮影画像に対して信号機の探索を行う。
【００６７】
図６は、第１撮影状況の一例を示す図である。
【００６８】
第１撮影状況では、図６の（ａ）に示すように、処理対象画像には複数の信号機が映し出される。したがって、信号機探索部２２は、図６の（ｂ）に示すように、信号機の探索によって、処理対象画像からそれらの複数の信号機を検出する。しかし、信号機探索部２２は、その複数の信号機のうちの何れの信号機が注目信号機であるかを特定することができないため、その処理対象画像から注目信号機を検出することができないと判定する。
【００６９】
そこで、本実施の形態における分析部２３は、信号機の探索において信号機が検出されなかった場合には、撮影状況が第１撮影状況であったか否かを判定する。そして、分析部２３は、撮影状況が第１撮影状況であったと判定された場合には、信号機探索部２２に対して、信号機推定領域に対する信号機の再探索を実行させる。具体的には、信号機探索部２２は、信号機の再探索では、信号機推定領域に映し出されている複数の信号機のそれぞれの向き、大きさ、および位置のうちの少なくとも１つに基づいて、複数の信号機から探索対象の１つの信号機（すなわち、上述の注目信号機）を検出する。
【００７０】
例えば、分析部２３は、複数の信号機の中から、最も大きく映し出されている信号機を注目信号機として検出するように信号機探索部２２に指示する。または、分析部２３は、複数の信号機の中から、最も正面を向いて映し出されている信号機を注目信号機として検出するように信号機探索部２２に指示する。または、信号機探索部２２は、複数の信号機の中から、その信号機推定領域の最も中央に位置する信号機を注目信号機として検出するように信号機探索部２２に指示する。つまり、分析部２３は、信号機の大きさ、向きおよび位置などに関する探索条件を信号機探索部２２に設定する。信号機探索部２２は、その分析部２３からの指示または設定にしたがって注目信号機を検出する。
【００７１】
このように、本実施の形態では、撮影画像の信号機推定領域に複数の信号機が映し出されているために、その信号機推定領域から注目信号機が検出されなかった場合には、信号機推定領域からの信号機の再探索が実行される。つまり、信号機の向き、大きさおよび位置のうちの少なくとも１つに基づく探索条件にしたがった再探索が実行される。したがって、信号機検出装置２０は、適切に信号機を検出することができる。
【００７２】
図７は、第２撮影状況の一例を示す図である。
【００７３】
第２撮影状況では、図７に示すように、信号機が例えばトラックなどの障害物で隠される。つまり、撮影画像にはトラックが映し出され、信号機推定領域にある信号機がそのトラックによって隠されている。その結果、信号機探索部２２は、撮影画像における信号機推定領域、すなわち処理対象画像から信号機を検出することができない。このような場合に、例えば信号機推定領域を移動させながら、その撮影画像からの信号機の探索を繰り返すことは無駄であって、処理負担が増大してしまう。
【００７４】
そこで、本実施の形態における分析部２３は、信号機の探索において信号機が検出されなかった場合には、撮影状況が上述の特定撮影状況のうちの第２撮影状況であったか否かを判定する。そして、第２撮影状況であったと判定すると、すなわち撮影状況が特定撮影状況であったと判定された場合には、分析部２３は、領域決定部２１および信号機探索部２２に対して、撮影画像からの信号機の再探索を禁止する。これにより、領域決定部２１および信号機探索部２２は、撮影画像の後に取得される後続撮影画像に対する処理を行う。その結果、撮影画像に信号機が障害物によって映し出されていないにも関わらず、その撮影画像からの信号機の探索を繰り返そうとする無駄な処理を省くことができる。
【００７５】
また、分析部２３は、撮影状況が第２撮影状況であったか否かの判定では、撮影画像に対する画像認識を用いてもよい。すなわち、分析部２３は、撮影画像に移動物体が映し出され、かつ、その移動物体の少なくとも一部が信号機推定領域に含まれているか否かを画像認識によって判定する。これによって、分析部２３は、撮影状況が、障害物としてその移動物体が存在する第２撮影状況であるか否かを判定する。
【００７６】
具体的には、分析部２３は、撮影画像から移動物体を画像認識によって認識する。画像認識は、ディープラーニングなどの機械学習を用いた処理であってもよく、パターンマッチングを用いた処理であってもよい。また、分析部２３は、カメラ２１０から順次取得される複数の撮影画像に映し出される各被写体の動きに基づいて、移動物体を認識してもよい。移動物体は、図７に示す例では、トラックであるが、乗用車または列車であってもよく、鳥などの動物であってもよい。
【００７７】
図８は、第３撮影状況の一例を示す図である。
【００７８】
第３撮影状況では、例えば図８に示すように、車両１０の走行路Ｌ１の下に他の道路Ｌ２がある。その走行路Ｌ１は、例えば橋などの高架に敷設されている。
【００７９】
車両１０の位置検出部２２０は、２次元の地図の中で車両１０の位置を検出する。したがって、位置検出部２２０は、図８に示すように上下に複数の道路が重なっているような場合には、車両１０が走行している道路を適切に検出することができない場合がある。つまり、位置検出部２２０は、車両１０が走行路Ｌ１を走行しているにも関わらず、他の道路Ｌ２上の位置を車両１０の位置として誤って検出する場合がある。このような場合には、走行路Ｌ１を走行している車両１０のカメラ２１０による撮影によって取得された撮影画像には、信号機は映し出されていない。しかし、領域決定部２１は、道路Ｌ２上の誤った車両１０の位置に基づいて、その撮影画像から信号機推定領域を決定してしまう。その結果、信号機探索部２２は、撮影画像における信号機推定領域、すなわち処理対象画像から信号機を検出することができない。このような場合にも、例えば信号機推定領域を移動させながら、その撮影画像からの信号機の探索を繰り返すことは無駄であって、処理負担が増大してしまう。
【００８０】
そこで、本実施の形態における分析部２３は、信号機の探索において信号機が検出されなかった場合には、撮影状況が上述の特定撮影状況のうちの第３撮影状況であったか否かを判定する。そして、第３撮影状況であったと判定すると、すなわち撮影状況が特定撮影状況であったと判定された場合には、分析部２３は、領域決定部２１および信号機探索部２２に対して、撮影画像からの信号機の再探索を禁止する。これにより、領域決定部２１および信号機探索部２２は、撮影画像の後に取得される後続撮影画像に対する処理を行う。その結果、撮影画像に信号機が映し出されていないにも関わらず、その撮影画像からの信号機の探索を繰り返そうとする無駄な処理を省くことができる。
【００８１】
また、分析部２３は、撮影状況が第３撮影状況であったか否かの判定では、地図情報格納部２３０に格納されている地図情報を参照してもよい。すなわち、分析部２３は、車両１０が走行している道路の上または下に他の道路が存在するか否かを、地図情報を参照して判定することによって、撮影状況が第３撮影状況であるか否かを判定する。これにより、撮影状況が第３撮影状況であったか否かを適切に判定することができる。
【００８２】
また、本実施の形態における分析部２３は、信号機の探索において信号機が検出されなかった場合には、撮影状況が上述の特定撮影状況のうちの第４撮影状況であったか否かを判定してもよい。例えば、分析部２３は、撮影状況が第１撮影状況、第２撮影情報および第３撮影状況のいずれでもなかった場合に、撮影情報が第４撮影状況であったと判定してもよい。そして、第４撮影状況であったと判定すると、すなわち撮影状況が特定撮影状況であったと判定された場合には、分析部２３は、領域決定部２１および信号機探索部２２に対して、撮影画像からの信号機の再探索を禁止する。これにより、領域決定部２１および信号機探索部２２は、撮影画像の後に取得される後続撮影画像に対する処理を行う。その結果、撮影画像に信号機が映し出されていないにも関わらず、その撮影画像からの信号機の探索を繰り返そうとする無駄な処理を省くことができる。
【００８３】
また、分析部２３は、撮影状況が第４撮影状況であったと判定すると、信号機推定領域の決定のために用いられる情報に誤りがあることを信号機検出装置２０の外部のデバイスに通知してもよい。そのデバイスは例えば車両制御部２５０である。これにより、信号機推定領域の決定のために用いられる情報に誤りがあることが車両制御部２５０に通知される。その結果、車両制御部２５０は、その誤りを正すための処理を行うことでき、信号機の検出精度の低下を抑制することができる。例えば、車両制御部２５０は、その誤りを正すための処理として、その誤りの発生を報知部２６０に報知させる。報知部２６０は、その誤りの発生、つまり異常事象の発生を示すメッセージまたは画像を表示したり、その異常事象の発生を示す音声を出力する。その結果、例えば車両１０のドライバは、その異常事象の発生を容易に把握することができ、その誤りを正すことができる。あるいは、車両制御部２５０は、その誤りを正す処理として、地図情報格納部２３０に格納されている地図情報を自動的にアップデートしてもよい。なお、本実施の形態では、上述のデバイスは、車両制御部２５０であるが、報知部２６０であってもよく、車両１０の外部のデバイスであってもよい。
【００８４】
図９は、本実施の形態における信号機検出装置２０の処理動作を示すフローチャートである。
【００８５】
まず、信号機検出装置２０の領域決定部２１は、カメラ２１０から撮影画像を取得する（ステップＳ１０１）。次に、領域決定部２１は、その撮影画像から信号機推定領域を決定し、信号機探索部２２は、その信号機推定領域から信号機を探索する（ステップＳ１０２）。そして、信号機探索部２２は、信号機を検出したか否かを判定する（ステップＳ１０３）。ここで、信号機が検出されなかったと信号機探索部２２によって判定されると（ステップＳ１０３のＮｏ）、分析部２３は、その撮影画像が取得されたときの撮影状況が上述の特定撮影状況であったか否かを判定する。つまり、分析部２３は、撮影状況が、撮影画像に信号機が映し出されない特定撮影状況であったか否かを判定する（ステップＳ１０４）。
【００８６】
ここで、分析部２３は、その撮影状況が特定撮影状況でなかったと判定すると（ステップＳ１０４のＮｏ）、領域決定部２１および信号機探索部２２に対して、信号機の探索条件の変更または設定を行う（ステップＳ１０５）。
【００８７】
例えば、分析部２３は、撮影状況が特定撮影状況ではなく第１撮影状況であったと判定する。このとき、分析部２３は、信号機推定領域から検出されるべき信号機の大きさ、向き、および位置のうちの少なくとも１つの条件を探索条件として信号機探索部２２に設定する。これにより、信号機探索部２２は、その探索条件にしたがって、再びステップＳ１０２において信号機推定領域からの信号機の探索を行う。つまり、信号機の再探索が行われる。
【００８８】
または、分析部２３は、その撮影状況が特定撮影状況ではなく、かつ、第１撮影状況でもない場合には、信号機推定領域の変更を探索条件の変更として領域決定部２１に指示しもよい。この場合には、領域決定部２１は、再びステップＳ１０２において、分析部２３からの指示にしたがって、先に決定された信号機推定領域のサイズ、形状および位置のうちの少なくとも１つを変更する。そして、信号機探索部２２は、その変更された信号機推定領域から信号機を探索する。つまり、信号機の再探索が行われる。
【００８９】
一方、分析部２３は、ステップＳ１０４において、撮影状況が特定撮影状況であったと判定すると（ステップＳ１０４のＹｅｓ）、その撮影画像からの信号機の再探索を禁止する。
【００９０】
また、信号機探索部２２は、ステップＳ１０３において、信号機が検出されたと判定されると（ステップＳ１０３のＹｅｓ）、その検出結果を灯火色判定部２４０に出力する。つまり、信号機探索部２２は、撮影画像における信号機推定領域から、検出された信号機の画像、すなわち信号機画像を切り出し、その切り出された信号機画像を灯火色判定部２４０に出力する。
【００９１】
そして、信号機検出装置２０は、信号機を検出する処理を終了すべきか否かを判定する（ステップＳ１０７）。例えば、信号機検出装置２０は、カメラ２１０から新たな撮影画像を取得することできない場合に、その処理を終了すべきと判定する。または、信号機検出装置２０は、その処理の終了を指示する信号を受け付けたときに、その処理を終了すべきと判定する。ここで、信号機検出装置２０は、処理を終了すべきでないと判定すると（ステップＳ１０７のＮｏ）、ステップＳ１０１からの処理を繰り返し実行する。
【００９２】
図１０は、本実施の形態における信号機検出装置２０の具体的な処理動作を示すフローチャートである。なお、図１０に示すフローチャートに含まれる各ステップのうち、図９に示すフローチャートに含まれるステップと同じものについては、図９のステップと同じ符号を付し、詳細な説明を省略する。
【００９３】
領域決定部２１は、ステップＳ１０１で取得された撮影画像から信号機推定領域を決定する（ステップＳ１０２ａ）。次に、信号機探索部２２は、その信号機推定領域から信号機を探索する（ステップＳ１０２ｂ）。そして、信号機が検出されなかったと信号機探索部２２によって判定されると（ステップＳ１０３のＮｏ）、分析部２３は、その撮影画像が取得されたときの撮影状況が上述の特定撮影状況であったか否かを判定する。
【００９４】
具体的には、分析部２３は、まず、撮影状況が、特定撮影状況ではない第１撮影状況であったか否かを判定する（ステップＳ１０４ａ）。ここで、分析部２３は、撮影状況が第１撮影状況であったと判定すると（ステップＳ１０４ａのＹｅｓ）、信号機探索部２２に対して信号機の探索条件の設定を行う（ステップＳ１０５ａ）。つまり、分析部２３は、信号機推定領域から検出されるべき信号機の大きさ、向き、および位置のうちの少なくとも１つの条件を探索条件として信号機探索部２２に指示する。これにより、信号機探索部２２は、その探索条件にしたがって、再びステップＳ１０２ｂにおいて信号機推定領域からの信号機の探索を行う。つまり、信号機の再探索が行われる。
【００９５】
一方、分析部２３は、ステップＳ１０４において、撮影状況が第１撮影状況ではないと判定すると（ステップＳ１０４ａのＮｏ）、すなわち、撮影状況が特定撮影状況であったと判定すると、さらに、その撮影状況が第２撮影状況または第３撮影状況であったか否かを判定する（ステップＳ１０４ｂ）。分析部２３は、まず、撮影状況が第２撮影状況であった否かを判定し、第２撮影状況でないと判定する場合に、撮影状況が第３撮影状況であったか否かを判定してもよい。逆に、分析部２３は、まず、撮影状況が第３撮影状況であった否かを判定し、第３撮影状況でないと判定する場合に、撮影状況が第２撮影状況であったか否かを判定してもよい。つまり、第２撮影状況と第３撮影状況との判定の順序は、第２撮影状況が先であっても、第３撮影状況が先であってもよい。
【００９６】
ここで、分析部２３は、撮影状況が第２撮影状況および第３撮影状況の何れでもないと判定すると（ステップＳ１０４ｂのＮｏ）、その撮影状況が第４撮影状況であったと判定する。そして、分析部２３は、その撮影状況が第４撮影状況であったことを車両制御部２５０に通知する（ステップＳ１０８）。この第４撮影状況では、カメラ情報、地図情報、および車両位置情報のうちの少なくとも１つに誤りがある。つまり、異常が発生している。したがって、車両制御部２５０は、分析部２３からの通知を受けると、異常が発生していること報知部２６０に報知させる。
【００９７】
そして、分析部２３は、ステップＳ１０４ｂにおいて、撮影状況が第２撮影状況または第３撮影状況であったと判定したとき（ステップＳ１０４ｂのＹｅｓ）、または、ステップＳ１０８の後には、その撮影画像からの信号機の再探索を禁止する。
【００９８】
以上のように、本実施の形態における信号機検出装置２０では、信号機が検出されなかった場合には、撮影状況が、撮影画像に信号機が映し出されない特定撮影状況であったか否かが判定される。つまり、撮影状況の分析が行われる。そして、撮影状況がその特定撮影状況であった場合には、その撮影画像からの信号機の再探索が禁止される。したがって、撮影画像に信号機が映し出されていない場合にまで、その撮影画像から信号機を検出しようとする無駄な処理を抑えることができる。つまり、信号機を検出するための処理の不適切な繰り返しを抑制することができる。その結果、信号機検出装置の処理負担を軽減し、誤検出の可能性を低減することができる。
【００９９】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態における信号機検出装置を実現するソフトウェアは、図９および図１０に示すフローチャートに含まれる各ステップをコンピュータに実行させる。
【０１００】
以上、信号機検出装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本開示の範囲内に含まれてもよい。
【０１０１】
例えば、上記実施の形態では、信号機探索部２２による１回目の探索よって信号機が検出されなかった場合に、分析部２３がその原因を分析するが、Ｎ回（Ｎは２以上の整数）の探索によって信号機が検出されなかった場合に、分析部２３がその分析を行ってもよい。例えば、そのＮ回の探索のそれぞれでは、信号機推定領域のサイズ、位置、および形状のうちの少なくとも１つが異なっている。つまり、領域決定部２１は、決定された信号機推定領域を（Ｎ−１）回変更し、信号機探索部２２は、信号機推定領域が決定または変更されるごとに、その決定または変更された信号機推定領域から信号機を探索する。このＮ回の探索によっても信号機が検出されなった場合に、分析部２３は、その原因を分析する。具体的には、上記実施の形態のように、分析部２３は、撮影画像が取得されたときの撮影状況が、第１〜第４の何れの撮影状況であったかを判定する。
【０１０２】
また、上記実施の形態では、信号機探索部２２は、撮影状況が第１撮影状況であった場合、１回目の信号機の探索によって１つの注目信号機を検出することができない。そこで、信号機探索部２２は、複数の信号機から１つの注目信号機を検出するための探索条件を予め保持していてもよい。これにより、信号機探索部２２は、撮影状況が第１撮影状況であった場合でも、１回目の信号機の探索において、分析部２３から探索条件の指示または設定を受けることなく、予め保持されている探索条件を用いて、１つの注目信号機を検出することができる。
【０１０３】
また、上記実施の形態では、第２撮影状況および第３撮影状況のそれぞれで同じ処理が行われるが、それぞれの状況で互いに異なる処理が行われてもよい。例えば、第３撮影状況の場合には、信号機検出装置２０は、撮影画像からの信号機の再探索を禁止するとともに、車両位置情報の修正を位置検出部２２０に指示してもよい。例えば、図８に示す例の場合、道路Ｌ２上の位置を車両１０の位置として示す車両位置情報を位置検出部２２０が誤って出力するために、撮影画像の信号機推定領域に信号機が映し出されない状況が生じる。したがって、信号機検出装置２０は、そのような状況が生じた場合には、車両１０の位置をその道路Ｌ２の上または下にある道路（すなわち走行路Ｌ１）上の位置に修正するように位置検出部２２０に指示してもよい。これにより、その撮影画像の後に取得される後続撮影画像に対して誤った信号機推定領域が決定されることを抑制することができる。
【０１０４】
また、上記実施の形態では、第４撮影状況では、撮影画像からの信号機の再探索が禁止されるが、例えば予め定められた回数だけ、信号機推定領域を変更して再探索が行われてもよい。
【０１０５】
また、図１に示す信号機検出装置２０は、プロセッサとメモリとによって構成されていてもよい。プロセッサは、メモリに格納されたプログラムを実行することによって、領域決定部２１、信号機探索部２２および分析部２３のそれぞれの機能を実現する。また、メモリは、プロセッサを制御するためのプログラムを格納していてもよく、カメラ２１０から出力される撮影画像を格納していてもよい。
【産業上の利用可能性】
【０１０６】
本開示は、例えば自動走行車両などに搭載され、その車両の走行路にある信号機を検出および認識する装置などに利用可能である。
【符号の説明】
【０１０７】
１０    車両
２０    信号機検出装置
２１    領域決定部
２２    信号機探索部
２３    分析部
２１０    カメラ
２２０    位置検出部
２３０    地図情報格納部
２４０    灯火色判定部
２５０    車両制御部
２６０    報知部
【図１】
2020199994.tif 000003
【図２】
2020199994.tif 000004
【図３】
2020199994.tif 000005
【図４】
2020199994.tif 000006
【図５】
2020199994.tif 000007
【図６】
2020199994.tif 000008
【図７】
2020199994.tif 000009
【図８】
2020199994.tif 000010
【図９】
2020199994.tif 000011
【図１０】
2020199994.tif 000012