(57)【要約】  信号機検出装置１００は、車両５の周囲に存在する信号機の位置情報を含む地図情報Ｄ０２と車両５の自己位置とに基づいて、信号機の車両５に対する相対位置を推定する信号機位置推定部１３と、信号機の相対位置から撮像部１１により取得された画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する第１検出領域設定部２１と、画像上に複数の信号機が存在することが予測される場合、予測された複数の信号機を含む第２検出領域を画像上に設定する第２検出領域設定部１４と、第２検出領域から検出された信号機のランプ候補に基づいて、第１検出領域を補正することにより第３検出領域を設定する第３検出領域設定部２３と、第３検出領域から信号機を検出する信号機検出部１７とを備える。
2016199225.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周囲を撮像して画像を取得する撮像部１１と、
前記移動体の自己位置を検出する自己位置検出部と、
前記移動体の周囲に存在する信号機の位置情報を含む地図情報と前記自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定する信号機位置推定部と、
前記信号機の相対位置から前記画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定する第１検出領域設定部と、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機を含む第２検出領域を前記画像上に設定する第２検出領域設定部と、
前記第２検出領域から検出された信号機のランプ候補に基づいて、前記第１検出領域を補正することにより第３検出領域を設定する第３検出領域設定部と、
前記第３検出領域から信号機を検出する信号機検出部と
を備えることを特徴とする信号機検出装置。
【請求項２】
前記第３検出領域設定部は、画像全体に対する縮尺が、前記第１検出領域と等しい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項３】
前記第３検出領域設定部は、前記第１検出領域より面積が小さい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項４】
前記信号機検出部は、前記第２検出領域から検出された前記ランプ候補の数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜３のいずれか１項に記載の信号機検出装置。
【請求項５】
前記信号機検出部は、前記画像上において、前記第１検出領域が前記ランプ候補と対応する数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜４のいずれか１項に記載の信号機検出装置。
【請求項６】
前記第３検出領域設定部は、前記画像上において、前記第１検出領域と前記ランプ候補とが最も対応する位置に、前記第１検出領域を補正することにより、第３検出領域を設定することを特徴とする請求項１〜５のいずれか１項に記載の信号機検出装置。
【請求項７】
移動体の周囲に存在する信号機の位置情報を含む地図情報と前記移動体の自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定することと、
前記信号機の相対位置から、前記移動体の周囲を撮像する撮像部により取得された画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定することと、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機を含む第２検出領域を前記画像上に設定することと、
前記第２検出領域から検出された信号機のランプ候補に基づいて、前記第１検出領域を補正することにより第３検出領域を設定することと、
前記第３検出領域から信号機を検出することと
を含むこと特徴とする信号機検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通信号機を検出する信号機検出装置及び信号機検出方法に関する。
【背景技術】
【０００２】
車両の前方を撮影した画像データに対して、車両が走行する道路形状及び車両の現在位置から予測された信号機の位置に基づいて、画像処理領域を決定し、画像処理領域から信号機を検出するシステムが提案されている（特許文献１参照）。このようなシステムは、画像処理の対象領域を限定することにより、画像処理における処理負荷を軽減するとともに、信号機でないものに対する誤検出を低減する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４１４６９号公報
【発明の概要】
【０００４】
しかしながら、特許文献１に記載の技術は、画像処理領域を決定する際に、検出した車両の現在位置に含まれる誤差について考慮されていない。車両の現在位置の誤差は車両の走行状況や周囲環境に応じて大きく変化するため、特許文献１に記載の技術では、車両の現在位置の誤差がある場合、信号機が画像処理領域から外れてしまい、信号機を検出できない可能性がある。
【０００５】
本発明は、上記問題点を鑑み、信号機の検出精度を向上することができる信号機検出装置及び信号機検出方法を提供することを目的とする。
【０００６】
信号機検出装置は、信号機の相対位置に基づいて設定された第１検出領域を、実環境から検出されたランプ候補に基づいて補正することにより、第３検出領域を設定し、第３設定領域から信号機を検出する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の実施の形態に係る信号機検出装置の基本的な構成を説明する模式的なブロック図である。
【図２】図２は、本発明の実施の形態に係る信号機検出装置の構成及びデータフローを説明するブロック図である。
【図３】図３は、本発明の実施の形態に係る信号機検出装置に用いる第２検出領域を説明する図である。
【図４】図４は、本発明の実施の形態に係る信号機検出装置に用いるランプ候補を説明する図である。
【図５】図５は、本発明の実施の形態に係る信号機検出装置が備える信号機検出領域設定部の構成及びデータフローを説明するブロック図である。
【図６】図６は、本発明の実施の形態に係る信号機検出装置に用いる第１検出領域を説明する図である。
【図７】図７は、本発明の実施の形態に係る信号機検出装置による信号検出方法の一例を説明するフローチャートである。
【図８】図８は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の処理の一例を説明するフローチャートである。
【図９】図９は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の全ての信号機ランプがランプ候補として検出された場合の処理の一例を説明する図である。
【図１０】図１０は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の撮像された画像にロール回転を生じている場合の処理の一例を説明する図である。
【図１１】図１１は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の２つのランプ候補しか検出されなかった場合の処理の一例を説明する図である。
【図１２】図１２は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。
【図１３】図１３は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。
【図１４】図１４は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が多い場合の処理の一例を説明する図である。
【図１５】図１５は、本発明の実施の形態に係る信号機検出装置が備える補正算出部の第１検出領域の数に対してランプ候補の検出数が少ない場合の処理の一例を説明する図である。
【図１６】図１６は、本発明の実施の形態に係る信号機検出装置が備える第３検出領域設定部の画像全体に対する縮尺も変更する場合の処理の一例を説明する図である。
【発明を実施するための形態】
【０００８】
図面を参照して、本発明の実施の形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。
【０００９】
（信号機検出装置）
本実施の形態に係る信号機検出装置１００は、図１に示すように、車両（移動体）５に搭載された撮像部（カメラ）により撮像された画像から、車両５が走行する道路周辺に設置された信号機を検出する。信号機検出装置１００は、ランドマーク情報Ｄ０１と、地図情報Ｄ０２と、カメラ情報Ｄ０３とが入力される。信号機検出装置１００は、ランドマーク情報Ｄ０１、地図情報Ｄ０２及びカメラ情報Ｄ０３に基づいて、信号機の検出結果を信号機情報Ｄ０４として出力する。
【００１０】
ランドマーク情報Ｄ０１は、実環境で走行している車両５の地図上の現在位置（自己位置）を検出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）や、及び車両５が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。ランドマーク情報Ｄ０１は、例えば、地図上の地上ランドマークの位置情報を含む。地図情報Ｄ０２は、車両５が走行する道路形状等の位置情報と、予め実環境と地図の間で対応付けされた可能な、地上ランドマーク等の位置情報を含む。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の画像を抽出するために用いられる。例えば、撮像方向を決めるズーム、パン及びチルトの情報や、画像の解像度を決める情報などが設定される。
【００１１】
信号機検出装置１００は、図２に示すように、撮像部（カメラ）１１と、自己位置検出部１２と、信号機位置推定部１３と、第２検出領域設定部１４と、ランプ検出部１５と、信号機検出領域設定部１６と、信号機検出部１７とを備える。
【００１２】
撮像部１１は、車両５に搭載され、車両５の周囲を撮像して画像を取得する。撮像部１１は、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備え、画像処理可能なデジタル画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、カメラの画角、垂直及び水平方向の角度、解像度等を設定し、車両５の周囲の必要な領域に対して撮像した画像を画像データＤ０８として出力する。
【００１３】
自己位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２に基づいて、車両５の地図上の現在位置（自己位置）を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンサにより検出された地上ランドマーク（店舗、名所、観光スポット等）の、車両５に対する相対位置の情報である。自己位置検出部１２は、ランドマーク情報Ｄ０１の地上ランドマークの位置情報と地図情報Ｄ０２の地上ランドマークの位置情報とを照合することにより、車両５の地図上の現在位置（自己位置）を検出することができる。
【００１４】
ここで、本実施の形態において、「位置」は、座標及び姿勢を含む。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両５の現在位置には、車両５の地図上の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる直交座標系における座標及び、各座標軸の回転方向である姿勢を自己位置情報Ｄ０５として出力する。
【００１５】
例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２を用いて車両５の地図上の初期位置を検出し、初期位置に、車両５の移動量を累積加算することで車両５の地図上の現在位置（自己位置）を検出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレートセンサ、舵角センサ等を用いて、単位時間当たりの車両５の移動量、つまり、座標及び姿勢の変化量を推定することができる。
【００１６】
信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５に対する信号機の相対位置を推定する。信号機位置推定部１３は、車両５の周囲に存在する信号機の地図上の座標情報と車両の地図上の現在位置の座標及び姿勢情報とから、車両５に対する信号機の相対座標を推定する。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。相対位置情報Ｄ０６に示される信号機は、車両５に対して交通信号を提示する信号機、すなわち、車両が従うべき信号機である。
【００１７】
第２検出領域設定部１４は、相対位置情報Ｄ０６に示される信号機の相対位置から、撮像部１１により撮像される画像上に複数の信号機が存在することが予測される場合、予測された複数の信号機を含む第２検出領域を画像上に設定する。撮像部１１は車両に固定されているため、撮像部１１の画角及び撮像方向が定まれば、第２検出領域設定部１４は、相対位置情報Ｄ０６から、画像上の信号機の領域を予測することができる。第２検出領域設定部１４は、予測される画像上の信号機の領域に基づいて、複数の信号機を含む第２検出領域を設定し、第２検出領域情報Ｄ０７として出力する。
【００１８】
第２検出領域設定部１４は、車両５の挙動や自己位置情報Ｄ０５に誤差が含まれたとしても各信号機が第２検出領域から外れないように、これらの誤差分を考慮し、予測される画像上の信号機の領域を全て含む第２検出領域を設定する。例えば、図３に示すように、画像データＤ０８が示す画像上に複数の信号機ＴＳ１〜ＴＳ４が存在することが予測される場合、第２検出領域情報Ｄ０７は、複数の信号機ＴＳ１〜ＴＳ４の領域に対して、上下左右の端に、誤差分を考慮した所定のマージンを有するように設定される。
【００１９】
ランプ検出部１５は、撮像部１１により撮像された画像の第２検出領域に対して、信号機のランプを検出するための画像処理を実施することにより、第２検出領域から、信号機のランプの特徴を持ったランプ候補を検出する。例えば、ランプ検出部１５は、商用電源の交流周期に基づく特定の周期で点滅する画素を抽出してその領域をランプ候補として検出する。或いは、ランプ検出部１５は、色相及び形状の類似判定処理を用いて、ランプ候補を検出することができる。このように、ランプ検出部１５は、種々の画像処理方法又はそれらの組み合わせを用いてランプ候補を検出することができる。ランプ検出部１５は、検出したランプ候補の画像上の位置及び領域を、ランプ候補情報Ｄ０９として出力する。
【００２０】
なお、ランプ検出部１５は、撮像部１１により撮像された画像の全領域でなく、画像の一部に設定された第２検出領域のみに対して画像処理を実施することにより、ランプ候補検出のための処理負荷及び処理時間を低減することができる。但し、第２検出領域は、第２検出領域設定部１４により、撮像部１１により撮像された画像の全領域として設定されてもよい。例えば、ランプ検出部１５が、図３に示す例において第２検出領域からランプ候補を検出すると、図４に示すように、点灯する各信号機ＴＳ１〜ＴＳ４のランプの領域にランプ候補情報Ｄ０９が設定される。
【００２１】
信号機検出領域設定部１６は、相対位置情報Ｄ０６及びランプ候補情報Ｄ０９に基づいて、撮像部１１により撮像された画像上に、第２検出領域よりも狭い、各信号機に対応する第３検出領域を設定し、第３検出領域情報Ｄ１０として出力する。信号機検出領域設定部１６についての詳細な説明は後述する。
【００２２】
信号機検出部１７は、撮像部１１により撮像された画像の第３検出領域に対して信号機を検出するための画像処理を実施することにより、第３検出領域から信号機を検出し、信号機情報Ｄ０４として出力する。例えば、信号機検出部１７は、予め信号機の筐体、ランプを含んだ全体の画像の特徴パターンを記憶しておき、第３検出領域内の画像をパターンマッチングにより類似度が高いものを信号機として検出する。ランプ検出部１５と同様の手法を組み合わせても良いし、種々の画像処理方法又はそれらの組み合わせを用いて第３検出領域から信号機を検出することができる。ランプ検出部１５と同様の手法でも、第３検出領域は第２検出領域よりも狭いため、第２検出領域で検出したランプ候補のうち、信号機のランプ以外のものを除き、信号機を検出することができる。
【００２３】
自己位置検出部１２、信号機位置推定部１３、第２検出領域設定部１４、ランプ検出部１５、信号機検出領域設定部１６及び信号機検出部１７は、例えば、中央演算処理装置（ＣＰＵ）、メモリ及び入出力部を備えるマイクロコントローラを用いて実現される。この場合、マイクロコントローラに予めインストールされたコンピュータプログラムをＣＰＵが実行することにより、複数の情報処理部（１２〜１７）がそれぞれ構成される。マイクロコントローラは、例えば自動運転制御等の車両５に関わる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用されてもよい。
【００２４】
信号機検出領域設定部１６は、図５に示すように、第１検出領域設定部２１と、補正算出部２２と、第３検出領域設定部２３とを備える。
【００２５】
第１検出領域設定部２１は、相対位置情報Ｄ０６に示される信号機の相対位置から、撮像部１１により撮像される画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する。撮像部１１は車両に固定されているため、撮像部１１の画角及び撮像方向が定まれば、第１検出領域設定部２１は、相対位置情報Ｄ０６から、画像上の信号機の領域を予測することができる。第２検出領域設定部１４は、予測される信号機毎に第１検出領域を設定し、第１検出領域情報Ｄ１１を出力する。
【００２６】
第１検出領域設定部２１は、例えば、信号機が有するどのランプが点灯していても信号機が第１検出領域に含まれるように、信号機の筐体も含むように第１検出領域を設定するようにしてもよい。
【００２７】
或いは、第１検出領域設定部２１は、自己位置情報Ｄ０５が車両５の進行方向においてずれている可能性を考慮して第１検出領域を設定するようにしてもよい。例えば、自己位置情報Ｄ０５に基づいて、車両５から信号機までの距離が６０ｍと算出される場合において、実際の車両５から信号機までの距離が５０ｍであったとする。このとき、実際の画像上の信号機のサイズは、自己位置情報Ｄ０５から予測される画像上の信号機のサイズの６０／５０倍となる。また、車両５から信号機までの距離がずれると、相対位置情報Ｄ０６もずれる。例えば、図３に示す例において、５０ｍ先にある信号機までの距離が６０ｍと算出される場合、奥の信号機ＴＳ１〜ＴＳ３が左上、手前の信号機ＴＳ４が右上にずれてしまう。このように、第１検出領域設定部２１は、自己位置情報Ｄ０５に生じ得る誤差を考慮して、信号機の画像上のずれを補うことができる領域を加えた第１検出領域として設定するようにしてもよい。
【００２８】
第１検出領域設定部２１は、図３に示すように信号機ＴＳ１〜ＴＳ４が予測される場合、図６に示すように、各信号機ＴＳ１〜ＴＳ４に対応する領域に第１検出領域を設定し、第１検出領域を除いて画像をマスクするマスク画像Ｍを生成する。第１検出領域設定部２１は、マスク画像Ｍを第１検出領域情報Ｄ１１として出力する。
【００２９】
補正算出部２２は、ランプ候補情報Ｄ０９及び第１検出領域情報Ｄ１１に基づいて、第１検出領域に対する補正量（補正値）を算出する。補正算出部２２は、第２検出領域において検出されたランプ候補の位置と、マスク画像Ｍの第１検出領域とを照合して、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置を探す。補正算出部２２は、マスク画像Ｍを、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置に補正するのに必要な補正値を算出し、補正情報Ｄ１２として出力する。補正算出部２２についての詳細な説明は後述する。
【００３０】
第３検出領域設定部２３は、補正情報Ｄ１２が示す補正値に基づいて、第１検出領域情報Ｄ１１により示される第１検出領域の画像上の位置を補正し、補正後の第１検出領域の画像上の位置を第３検出領域とすることにより、撮像部１１により撮像された画像上に第３検出領域を設定し、第３検出領域情報Ｄ１０として出力する。
【００３１】
（信号機検出方法）
以下、図７のフローチャートを用いて、本実施の形態に係る信号機検出装置による信号機検出方法の一例を説明する。
【００３２】
ステップＳ１において、第２検出領域設定部１４は、画像上に複数の信号機が存在することが相対位置情報Ｄ０６に基づいて予測される場合、予測された複数の信号機を含む第２検出領域を、撮像部１１により撮像された画像上に設定する。
【００３３】
ステップＳ２において、ランプ検出部１５は、第２検出領域の画像に対して信号機のランプを検出するための画像処理を実施することにより、第２検出領域から、信号機のランプの特徴を持ったランプ候補を検出する。検出したランプ候補の画像上の位置及び領域を、ランプ候補情報Ｄ０９として出力する。
【００３４】
ステップＳ３において、第１検出領域設定部２１は、信号機の相対位置情報Ｄ０６に基づいて、撮像部１１により撮像された画像上に存在すると予測される信号機毎に、画像上に第１検出領域を設定する。
【００３５】
ステップＳ４において、補正算出部２２は、第２検出領域において検出されたランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置を探す。マスク画像Ｍを画像上で移動させることにより照合し、第１検出領域がランプ候補の位置と最も重なり、対応する位置を探す。補正算出部２２は、この際のランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置へのマスク画像Ｍの移動量を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置に補正するのに必要な補正値として算出する。
【００３６】
ステップＳ５において、第３検出領域設定部２３は、補正算出部２２により算出された補正値分、第１検出領域を移動させることにより補正し、補正後の第１検出領域の画像上の位置を第３検出領域として設定する。
【００３７】
ステップＳ６において、信号機検出部１７は、撮像部１１により撮像された画像の第３検出領域に対して信号機を検出するための画像処理を実施することにより、第３検出領域から信号機を検出する。
【００３８】
（補正算出部２２の処理）
以下、図８に示すフローチャートを用いて、図７のフローチャートのステップＳ４における補正算出部２２の処理について説明する。
【００３９】
ステップＳ４１において、補正算出部２２は、第１検出領域の数をＮとして、カウンタ値ｉの初期値をＮに設定する。ステップＳ４２において、補正算出部２２は、カウンタ値ｉが１か否かを判定する。補正算出部２２は、カウンタ値ｉが１である場合、ステップＳ４３に処理を進め、補正値を０として算出する。補正算出部２２は、カウンタ値ｉが１でない場合、ステップＳ４４に処理を進める。
【００４０】
ステップＳ４４において、補正算出部２２は、マスク画像Ｍの第１検出領域と第２検出領域において検出されたランプ候補の位置とを照合し、ランプ候補の位置が第１検出領域と対応する（重なる）数がｉとなる位置があるか否かを判定する。補正算出部２２は、数がｉとなる位置を探し出せた場合、ステップＳ４５に処理を進め、第１検出領域から数がｉとなる位置までの移動量を補正値として算出する。補正算出部２２は、数がｉとなる位置を探し出せない場合、カウンタ値ｉをデクリメントし、ステップＳ４２に処理を戻す。補正値は、最後のステップＳ４４においてランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応したときの、第１検出領域の移動座標（ｘ，ｙ）及び回転角（θ）とする。
【００４１】
例えば、図９は、第１検出領域の数Ｎが４であり、全ての信号機の点灯するランプがランプ候補として検出された場合の補正値の算出の例である。全ての第１検出領域がランプ候補の位置と重なったとする。この場合、補正算出部２２は、全てのランプ候補が各第１検出部の中央に近くなる位置を、ランプ候補の位置と第１検出領域とが最も対応する位置として補正値を算出する。図１０に示す例では、補正算出部２２は、各第１検出領域を右下に平行移動させることにより、マスク画像Ｍの移動量を算出している。補正値は、移動座標（画素）（ｘ，ｙ）、回転角θ（＝０）のように算出される。
【００４２】
図１０は、第１検出領域の数Ｎが４であり、全ての信号機の点灯するランプがランプ候補として検出されたが、撮像部１１により撮像された画像にロール回転を生じている場合の補正値の算出の例である。第１検出領域がランプ候補の位置と対応する数が４に満たなかったとする。ロール回転は、車両５の挙動により生じ得る。この場合、補正算出部２２は、回転角θ分マスク画像Ｍを回転させることにより、ｉ＝４とする。更に、補正算出部２２は、各ランプ候補の位置が第１検出領域の中央に近くなるような位置を探しだし、補正値を算出する。このとき補正値は、移動座標（ｘ，ｙ）、回転角θのように算出される。
【００４３】
図１１は、第１検出領域の数Ｎが４であるのに対して、撮像部１１の画角の阻害等により、２つのランプ候補しか検出されなかった場合の補正値の算出の例である。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域と重なる位置を探しだす（ｉ＝２）。更に、補正算出部２２は、カウンタ値ｉが２の状態で、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになるような位置を探しだし、補正値を算出する。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
【００４４】
図１２は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、車両５の周囲の物体等により、誤検出を含む７つのランプ候補が検出されたとする。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、４つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになる位置を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置として補正値を算出する（ｉ＝４）。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
【００４５】
図１３は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、３つの誤検出を含む５つのランプ候補が検出されたとする。この場合、補正算出部２２は、マスク画像Ｍを右下に平行移動させることにより、２つのランプ候補の位置がマスク画像Ｍの各第１検出領域の中央近くになる位置を、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応する位置として補正値を算出する（ｉ＝２）。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
【００４６】
図１４は、第１検出領域の数に対してランプ候補の検出数が多い場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、５つのランプ候補が検出されたとする。このとき、補正算出部２２は、マスク画像Ｍを右上又は右下に平行移動させることにより、ランプ候補の位置とマスク画像Ｍの第１検出領域とが最も対応するように補正値を算出する。マスク画像Ｍの第１検出領域を右上に補正して第３検出領域をＡのように仮定すると、ｉ＝２となり、マスク画像Ｍの第１検出領域を右下に補正して第３検出領域をＢのように仮定すると、ｉ＝３となる。この場合、ランプ候補の１つが誤検出である可能性もあるため、補正算出部２２は、補正値（マスク画像Ｍの移動量）が少ない方を選択すればよい。補正値は、移動座標（ｘ，ｙ）、回転角θ（＝０）のように算出される。
【００４７】
或いは、別の選択方法として、補正算出部２２は、複数の補正値が算出可能な場合、ランプ候補を検出したフレームの画像を破棄し、次のフレームの画像に対してランプ検出部１５がランプ候補を検出するようにしてもよい。これにより、補正算出部２２は、誤った信号機の検出結果が出力されることを防止することができる。
【００４８】
図１５は、第１検出領域の数に対してランプ候補の検出数が少ない場合の補正値の算出の例である。例えば、第１検出領域の数Ｎが４であるのに対して、画角の阻害や周囲の物体等により、３つのランプ候補が検出されたとする。また、マスク画像Ｍの第１検出領域を補正しない状態で、第１検出領域がランプ候補と対応する数が１であり、１つのマスク画像Ｍをどのように移動させても、第１検出領域がランプ候補の位置と対応する数が１を超えないとする。このとき、補正算出部２２は、補正値を０（移動座標（０，０）、回転角θ（＝０））とする。すなわち、信号機検出部１７は、第１検出領域情報Ｄ１１が示す第１検出領域から、信号機を検出することになる。なお、補正算出部２２は、検出されたランプ候補の数が１の場合も同様に、補正値を０とする。
【００４９】
図９〜図１５に示す例において、第３検出領域設定部２３は、第１検出領域情報Ｄ１１が示す第１検出領域を、画像全体に対する縮尺を変更せず、座標（ｘ，ｙ）を平行移動させ、場合によっては回転角θ分回転させることにより、第３検出領域を設定しているが、第３検出領域は、画像全体に対する縮尺を第１検出領域に対して変更するようにしてもよい。
【００５０】
第３検出領域設定部２３は、平行移動での補正後の各第１検出領域の中心点或いは補正後の第１検出領域に重なるランプ候補の中心点を基準に、第１検出領域の画像全体に対する縮尺を変更することにより第３検出領域を設定するようにしてもよい。第３検出領域の縮尺は、ランプ候補の大きさに基づいて信号機の筐体の大きさを予測し、画像上において信号機の筐体が第３検出領域に含まれるように設定することができる。これにより、車両の進行方向の現在位置の推定誤差が大きい場合にも対応することができる。
【００５１】
例えば図１６は、画像全体に対する縮尺も変更する場合の補正値の算出例である。第１検出領域を平行移動すると伴に画像全体に対する縮尺を変更することにより、車両の進行方向の現在位置の推定誤差が大きい場合にも対応することができる。図１６Ａは、車両の進行方向の現在位置の推定誤差が信号機に近い方向へ出ている場合で、第１検出領域を平行移動すると伴に画像全体に対する縮尺を小さくして第３検出領域を設定している。図１６Ｂは、信号機のどのランプが点灯しているか不明な場合を想定して、信号機の筐体を含むように、第１検出領域を平行移動すると伴に画像全体に対する縮尺を変更した上、更に、横幅を拡大する例である。信号機の筐体を含むように設定する場合、ランプの配列方向において、少なくとも信号機の２倍の画像上の大きさとする。これにより信号機のとのランプが点灯しているか不明な場合にも、ランプ候補の位置と第１検出領域とが最も照合する位置を探しやすくなる。
【００５２】
本実施の形態に係る信号機検出装置１００によれば、信号機の相対位置に基づいて設定された第１検出領域を、実環境において検出されたランプ候補に基づいて補正することにより、信号機の検出に用いる第３検出領域を設定する。これにより、本実施の形態に係る信号機検出装置は、画像上で、信号機が第３検出領域に含まれる可能性が高くなり、信号機の検出精度を向上することができる。
【００５３】
また、本実施の形態に係る信号機検出装置１００によれば、第３検出領域の画像全体に対する縮尺が第１検出領域と等しい場合、第３検出領域は、ランプ候補の位置に基づいて設定されていることにより、第１検出領域と同じ大きさで、信号機の検出において適切な位置に設定される。よって、信号機検出装置１００は、信号機の誤検出を低減し、信号機の検出精度を更に向上することができる。
【００５４】
また、本発明の実施の形態に係る信号機検出装置１００によれば、第３検出領域が第１検出領域の面積より小さい場合、第３検出領域は、ランプ候補の位置に基づいて設定され、かつ、小さい面積で信号機の検出処理ができる。よって、信号機検出装置１００は、信号機の誤検出を低減し、信号機の検出精度を向上しながら、更に信号機の検出処理の演算量を低減することができる。
【００５５】
また、本実施の形態に係る信号機検出装置１００によれば、ランプ候補が１つしか検出されずに、第１検出領域を適切に補正することができない場合であっても、第１検出領域を第３検出領域として信号機を検出する。これにより、信号機検出装置１００は、信号機の相対位置に基づいて設定した検出領域から信号機を検出することとなり、検出精度の悪化を防止することができる。
【００５６】
また、本実施の形態に係る信号機検出装置１００によれば、第１検出領域がランプ候補と対応する数が１つであり、第１検出領域を適切に補正することができない場合であっても、第１検出領域を第３検出領域として信号機を検出する。これにより、信号機検出装置１００は、信号機の相対位置に基づいて設定した検出領域から信号機を検出することとなり、検出精度の悪化を防止することができる。
【００５７】
また、本実施の形態に係る信号機検出装置１００によれば、第１検出領域とランプ候補とが最も対応する位置に第１検出領域を補正することにより第３検出領域を設定する。これにより、信号機検出装置１００は、画像上において、第３検出領域が信号機を含む可能性が高くなり、信号機の検出精度を更に向上することができる。
【００５８】
上記のように、本発明を上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。その他、上記の各構成を相互に応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【産業上の利用可能性】
【００５９】
本発明によれば、信号機の相対位置に基づいて設定された検出領域を、実環境に基づいて補正することにより、信号機の検出精度を向上する信号機検出装置及び信号機検出方法を提供することができる。
【符号の説明】
【００６０】
５  車両（移動体）
１１  撮像部（カメラ）
１２  自己位置検出部
１３  信号機位置推定部
１４  第２検出領域設定部
１７  信号機検出部
２１  第１検出領域設定部
２３  第３検出領域設定部
１００  信号機検出装置
【図１】
2016199225.tif 000003
【図２】
2016199225.tif 000004
【図３】
2016199225.tif 000005
【図４】
2016199225.tif 000006
【図５】
2016199225.tif 000007
【図６】
2016199225.tif 000008
【図７】
2016199225.tif 000009
【図８】
2016199225.tif 000010
【図９】
2016199225.tif 000011
【図１０】
2016199225.tif 000012
【図１１】
2016199225.tif 000013
【図１２】
2016199225.tif 000014
【図１３】
2016199225.tif 000015
【図１４】
2016199225.tif 000016
【図１５】
2016199225.tif 000017
【図１６】
2016199225.tif 000018
【手続補正書】
【提出日】平成28年3月31日(2016.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体の周囲の画像を撮像するカメラと、
前記移動体の自己位置を検出する自己位置検出回路と、
前記移動体の周囲に存在する信号機の位置情報を含む地図情報と前記自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定する信号機位置推定回路と、
前記信号機の相対位置から前記画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定する第１検出領域設定回路と、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機の領域を含む第２検出領域を前記画像上に設定する第２検出領域設定回路と、
前記第２検出領域から検出された複数の信号機のランプ候補の位置に対応させて、前記第１検出領域の位置を補正することにより前記複数の信号機毎に第３検出領域を設定する第３検出領域設定回路と、
前記第３検出領域から信号機を検出する信号機検出回路と
を備えることを特徴とする信号機検出装置。
【請求項２】
前記第３検出領域設定回路は、画像全体に対する縮尺が、前記第１検出領域と等しい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項３】
前記第３検出領域設定回路は、前記第１検出領域より面積が小さい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項４】
前記信号機検出回路は、前記第２検出領域から検出された前記ランプ候補の数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜３のいずれか１項に記載の信号機検出装置。
【請求項５】
前記信号機検出回路は、前記画像上において、前記第１検出領域が前記ランプ候補と対応する数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜４のいずれか１項に記載の信号機検出装置。
【請求項６】
前記第３検出領域設定回路は、前記画像上において、前記第１検出領域と前記ランプ候補とが最も対応する位置に、前記第１検出領域を補正することにより、第３検出領域を設定することを特徴とする請求項１〜５のいずれか１項に記載の信号機検出装置。
【請求項７】
移動体の周囲に存在する信号機の位置情報を含む地図情報と前記移動体の自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定することと、
前記信号機の相対位置から、カメラにより撮像された前記移動体の周囲の画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定することと、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機の領域を含む第２検出領域を前記画像上に設定することと、
前記第２検出領域から検出された複数の信号機のランプ候補の位置に対応させて、前記第１検出領域の位置を補正することにより前記複数の信号機毎に第３検出領域を設定することと、
前記第３検出領域から信号機を検出することと
を含むこと特徴とする信号機検出方法。
【手続補正書】
【提出日】平成28年9月2日(2016.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体の周囲の画像を撮像するカメラと、
前記移動体の自己位置を検出する自己位置検出部と、
前記移動体の周囲に存在する信号機の位置情報を含む地図情報と前記自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定する信号機位置推定部と、
前記信号機の相対位置から前記画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定する第１検出領域設定部と、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機の領域を含む第２検出領域を前記画像上に設定する第２検出領域設定部と、
前記第２検出領域から検出された複数の信号機のランプ候補の位置に対応させて、前記第１検出領域の位置を補正することにより前記複数の信号機毎に第３検出領域を設定する第３検出領域設定部と、
前記第３検出領域から信号機を検出する信号機検出部と
を備えることを特徴とする信号機検出装置。
【請求項２】
前記第３検出領域設定部は、画像全体に対する縮尺が、前記第１検出領域と等しい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項３】
前記第３検出領域設定部は、前記第１検出領域より面積が小さい前記第３検出領域を設定することを特徴とする請求項１に記載の信号機検出装置。
【請求項４】
前記信号機検出部は、前記第２検出領域から検出された前記ランプ候補の数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜３のいずれか１項に記載の信号機検出装置。
【請求項５】
前記信号機検出部は、前記画像上において、前記第１検出領域が前記ランプ候補と対応する数が１の場合、前記第１検出領域から信号機を検出することを特徴とする請求項１〜４のいずれか１項に記載の信号機検出装置。
【請求項６】
前記第３検出領域設定部は、前記画像上において、前記第１検出領域と前記ランプ候補とが最も対応する位置に、前記第１検出領域を補正することにより、第３検出領域を設定することを特徴とする請求項１〜５のいずれか１項に記載の信号機検出装置。
【請求項７】
移動体の周囲に存在する信号機の位置情報を含む地図情報と前記移動体の自己位置とに基づいて、前記信号機の前記移動体に対する相対位置を推定することと、
前記信号機の相対位置から、カメラにより撮像された前記移動体の周囲の画像上に存在すると予測される信号機毎に、前記画像上に第１検出領域を設定することと、
前記画像上に複数の信号機が存在することが予測される場合、予測された前記複数の信号機の領域を含む第２検出領域を前記画像上に設定することと、
前記第２検出領域から検出された複数の信号機のランプ候補の位置に対応させて、前記第１検出領域の位置を補正することにより前記複数の信号機毎に第３検出領域を設定することと、
前記第３検出領域から信号機を検出することと
を含むこと特徴とする信号機検出方法。
【国際調査報告】
2016199225.tif 000019
2016199225.tif 000020
2016199225.tif 000021