(57)【要約】  車両（５１）の周囲を撮像するカメラ（１１）と、車両周囲の地図情報を取得する地図情報取得部（１７）と、車両の地図上の自己位置を検出する自己位置検出部（１２）と、自己位置及び地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部（１３）と、車両の挙動を推定する車両挙動推定部（１４）と、推定された信号機の画像上の位置と、車両挙動による信号機の画像上の位置の変位量に基づいて、画像上に信号機の検出領域を設定する信号機検出領域算出部（１５）と、検出領域から信号機を検出する信号機認識部（１６）を備える。このような構成により、検出領域を適切な位置に設定することが可能となる。
2017009934.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の自己位置を検出する自己位置検出部と、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部と、
前記車両の挙動を推定する車両挙動推定部と、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定する信号機検出領域設定部と、
前記検出領域から信号機を検出する信号機認識部と、
を備えたことを特徴とする信号機認識装置。
【請求項２】
前記信号機検出領域設定部は、前記車両挙動が予め設定した所定値以上の場合には、前記推定された信号機の画像上の位置及び前記車両挙動による前記信号機の画像上の位置の変位量に基づいて前記検出領域を設定し、
前記車両挙動が前記所定値未満の場合には、前記推定された信号機の画像上の位置に基づいて、前記検出領域を設定すること
を特徴とする請求項１に記載の信号機認識装置。
【請求項３】
前記信号機検出領域設定部は、前記車両挙動と予め設定した所定時間に基づいて車両移動量を推定し、前記推定された信号機の画像上の位置と前記車両移動量に基づいて、前記検出領域を設定すること
を特徴とする請求項１または２に記載の信号機認識装置。
【請求項４】
前記信号機検出領域設定部は、前記撮像部で画像を撮像したタイミングと前記自己位置を検出したタイミングとの間の時間差に基づいて、前記所定時間を設定すること
を特徴とする請求項３に記載の信号機認識装置。
【請求項５】
前記自己位置検出部は、前記車両の自己位置を所定周期で検出し、
前記信号機検出領域設定部は、前記所定周期に応じて、前記時間差を設定すること
を特徴とする請求項４に記載の信号機認識装置。
【請求項６】
前記車両挙動推定部は、車両のヨーレイトを用いて車両の挙動を推定すること
を特徴とする請求項１〜５のいずれか１項に記載の信号機認識装置。
【請求項７】
前記車両挙動推定部は、車両の転舵量を用いて車両の挙動を推定すること
を特徴とする請求項１〜５のいずれか１項に記載の信号機認識装置。
【請求項８】
前記自己位置及び前記地図情報に基づいて、車両が将来走行する走行路を設定する走行路設定部、を更に備え、
前記車両挙動推定部は、車両が将来走行する走行路に基づいて前記車両挙動を推定すること
を特徴とする請求項１〜７のいずれか１項に記載の信号機認識装置。
【請求項９】
前記信号機検出領域設定部は、車両挙動量が大きいほど、前記検出領域を大きく設定すること
を特徴とする請求項１〜８のいずれか１項に記載の信号機認識装置。
【請求項１０】
車両に搭載され、車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定するステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の走行路に存在する信号機を認識する信号機認識装置及び信号機認識方法に関する。
【背景技術】
【０００２】
特許文献１（特開２００７−２４１４６９号公報）には、地図情報と自己位置推定結果に基づいて、車両の走行路に存在する信号機の位置を推定し、カメラで撮像した画像中に信号機の検出領域を設定し、この検出領域内に存在する信号機を画像処理して該信号機の点灯状態を検出することが記載されている。【０００３】
しかしながら、自己位置の推定結果が更新されるタイミングと、カメラで画像が撮像されるタイミングとの間には時間差が生じるので、特許文献１に記載された方法では、信号機の検出領域が時間差だけ過去の位置に設定されてしまい、検出領域から信号機が外れてしまう可能性がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４１４６９号公報
【発明の概要】
【０００５】
上述したように、特許文献１に開示された従来技術では、自己位置の推定結果が更新されるタイミングと、カメラで画像が撮像されるタイミングとの間に時間差が生じるので、車両の挙動が大きい場合には、この時間差により、カメラで撮像した画像上に設定する信号機認識領域が、時間差だけ過去の位置に設定されることになり、カメラで撮像された画像上の適切な位置に信号機の検出領域を設定できなくなる可能性があった。
【０００６】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、自己位置の推定結果が更新されるタイミングとカメラで画像が撮像されるタイミングとの間に時間差が生じる場合であっても、信号機の検出領域を適切に設定することが可能な信号認識装置及び信号機認識方法を提供することにある。
【０００７】
本発明の一態様に係る信号機認識装置は、車両周囲の画像を撮像する撮像部と、車両周囲の地図情報を取得する地図情報取得部と、車両の自己位置を検出する自己位置検出部と、自己位置及び地図情報に基づいて信号機の画像上の位置を推定する信号機位置推定部を備える。更に、車両の挙動を推定する車両挙動推定部と、信号機の画像上の位置と車両挙動による信号機の画像上の位置の変位量に基づいて、画像上に信号機の検出領域を設定する信号機検出領域設定部と、検出領域から信号機を検出する信号機認識部を備える。
【０００８】
本発明の一態様に係る信号機認識方法は、車両周囲の画像を撮像し、車両周囲の地図情報を取得し、車両の地図上の自己位置を検出し、自己位置及び地図情報に基づいて信号機の画像上の位置を推定する。また、車両の挙動を推定し、推定された信号機の画像上の位置と、車両挙動による信号機の画像上の位置の変位量に基づいて、画像上に信号機の検出領域を設定し、検出領域から信号機を検出する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。
【図２】本発明の第１、第２実施形態に係る信号機認識装置の詳細な構成を示すブロック図である。
【図３】本発明の第１実施形態に係る信号機認識装置の処理手順を示すフローチャートである。
【図４】本発明の第１実施形態に係る信号機認識装置の作用を示すタイミングチャートであり、（ａ）は画像が撮像されるタイミングを示し、（ｂ）は自己位置推定結果が更新されるタイミングを示す。
【図５】本発明の第１実施形態に係り、車両がカーブ路を走行する際の自己位置の変化を示す説明図である。
【図６】時間差ΔＴによる車両の移動量を考慮せずに画像上に検出領域を設定した場合の、検出領域の位置を示す説明図である。
【図７】時間差ΔＴによる車両の移動量を考慮して画像上に検出領域を設定した場合の、検出領域の位置を示す説明図である。
【図８】車両挙動量の大きさと検出領域の大きさとの関係を示す特性図である。
【図９】第１実施形態の変形例に係る信号機認識装置の作用を示すタイミングチャートであり、（ａ）は画像が撮像されるタイミングを示し、（ｂ）は自己位置推定結果が更新されるタイミングを示す。
【図１０】本発明の第２実施形態に係る信号機認識装置の処理手順を示すフローチャートである。
【図１１】本発明の第３実施形態に係る信号機認識装置の詳細な構成を示すブロック図である。
【図１２】本発明の第３実施形態に係る信号機認識装置の処理手順を示すフローチャートである。
【図１３】本発明の第３実施形態に係り、（ａ）は車両が車線変更する場合の挙動を示す説明図であり、（ｂ）は時間経過に対するヨーレイトの変化を示す特性図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態の説明］
図１は、本発明の第１実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。また、図２は、図１に示す信号機認識装置１００を詳細に示したブロック図である。
【００１１】
図１に示すように、信号機認識装置１００は車両５１に搭載され、該車両５１に搭載された各種の機器より、地図情報Ｄ０２、カメラ情報Ｄ０３、自己位置情報Ｄ０５、車両挙動情報Ｄ０７、及び画像データＤ０９が入力される。そして、信号機の点灯色を示す点灯色情報Ｄ０４を後段の装置（図示省略）に出力する。この点灯色情報Ｄ０４は、例えば、自動運転制御等に用いられる。
【００１２】
カメラ情報Ｄ０３は、車両５１に対するカメラ１１（図２参照）の設置位置に関する情報である。車両５１の地図上の向きを示す三次元情報が取得されると、カメラ情報Ｄ０３に基づいてカメラ１１による車両周囲の撮像領域を推定することが可能となる。
【００１３】
地図情報Ｄ０２は、車両が走行する走行路の地図データ（車両周囲の地図情報）を含む地図データベースより与えられる情報であり、走行路に存在する地上ランドマーク等の物標の位置情報及び信号機の位置情報等が含まれている。
【００１４】
図２に示すように、信号機認識装置１００は、カメラ１１（撮像部）、自己位置検出部１２、信号機位置推定部１３、車両挙動推定部１４、信号機検出領域算出部１５（信号機検出領域設定部）、信号機認識部１６、地図情報取得部１７、及びランドマーク情報取得部１８を備えている。
【００１５】
カメラ１１は、例えばＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両５１の走行路の周囲を撮像して周辺領域のデジタル画像を取得する。カメラ１１は、撮像した画像を画像データＤ０９として、信号機認識部１６に出力する。また、カメラ１１は、車両５１に対するカメラ１１の設置位置に関する情報を記憶しており、カメラ情報Ｄ０３として、信号機検出領域算出部１５に出力する。カメラ１１の設置位置に関する情報は、例えば、キャリブレーション用のマークなどを車両５１に対して既知の位置に設置して、カメラ１１で撮像された画像上の位置から設置位置を算出することができる。
【００１６】
地図情報取得部１７は、車両が走行する走行路の地図データ（車両周囲近傍の地図情報）を含む地図データベースより走行路近傍に存在する地上ランドマーク等の物標の位置情報、及び信号機の位置情報等を取得する。地図情報Ｄ０２として、自己位置検出部１２と信号機位置推定部１３に出力する。
【００１７】
ランドマーク情報取得部１８は、例えば、車載されたセンシング用カメラ或いはレーザレーダ等であり、地上ランドマーク（路面標示（レーンマーク、停止線、文字）、縁石、信号機、標識等）を認識して、車両５１に対する相対位置の情報を取得する。ランドマーク情報として、自己位置検出部１２に出力する。
【００１８】
自己位置検出部１２は、ランドマーク情報Ｄ０１及び地図情報Ｄ０２を取得し、これらの情報に基づいて、車両５１の地図上の現在位置を検出し、これを自己位置情報Ｄ０５として出力する。前述したように、ランドマーク情報Ｄ０１には、地上ランドマークの車両５１に対する相対的な位置関係を示す情報が含まれている。従って、該ランドマーク情報Ｄ０１の位置情報と、地図情報Ｄ０２に含まれる地上ランドマークの位置情報を照合することにより、車両５１の地図上の現在位置を検出することができる。
【００１９】
ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置にはその座標及び姿勢が含まれ、車両５１の位置にはその座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標（ｘ，ｙ，ｚ）及び各座標軸の回転方向である姿勢(ヨー、ピッチ、ロール)を自己位置情報Ｄ０５として出力する。
【００２０】
信号機位置推定部１３は、地図情報Ｄ０２及び自己位置情報Ｄ０５に基づき、車両５１に対する信号機の相対位置を推定する。地図情報Ｄ０２には、車両５１の走行路上に存在する各信号機の位置情報が座標として登録されている。従って、信号機の座標と、車両５１の座標及び姿勢に基づき、車両５１に対する信号機の相対位置を算出することができる。そして、信号機位置推定部１３は、算出した信号機の相対位置を、信号機相対位置情報Ｄ０６として出力する。
【００２１】
車両挙動推定部１４は、車両５１の車速、ヨーレイト、転舵角（転舵量）等の各種の情報を用いて、自己位置推定結果が更新されるタイミングから画像が撮像されるタイミングまでの時間差（これを「ΔＴ」とする）を算出し、更に、この時間差ΔＴの間の車両５１の移動量を算出する。そして、この移動量を車両挙動情報Ｄ０７として出力する。移動量の演算方法については後述する。なお、上述した転舵角とは、車両の転舵輪が直進方向に対して左右方向に傾斜する角度であり、転舵角は、転舵量として、例えば、ラックアンドピニオン式の転舵機構におけるラック機構のスプラインシャフトの移動量等で代替えすることもできる。
【００２２】
信号機検出領域算出部１５は、カメラ情報Ｄ０３、信号機相対位置情報Ｄ０６及び車両挙動情報Ｄ０７に基づいて、車両５１と信号機との相対位置を補正し、更に、カメラ情報Ｄ０３と補正後の相対位置に基づいて、カメラ１１で撮像された画像中に信号機の検出領域を設定する。この検出領域を信号機検出領域情報Ｄ０８として信号機認識部１６に出力する。
【００２３】
即ち、カメラ１１で画像が撮像されるタイミングと、自己位置検出部１２により車両５１の自己位置推定結果が更新されるタイミングは一致しないので、双方の時間差ΔＴに起因して画像中に存在する信号機の位置を正確に推定できず、ひいては検出領域を正確に設定できなくなる。具体的には、図４に示す時刻ｔ１で自己位置推定結果が更新され、時間差ΔＴだけ経過した時刻ｔ１１で画像が撮像されると、時間差ΔＴの間に車両５１が移動するので、画像中に設定する検出領域が、画像中の信号機の位置とずれた位置になってしまう。
【００２４】
よって、信号機検出領域算出部１５では、車両挙動推定部１４で推定される車両挙動情報Ｄ０７に基づいて、時間差ΔＴの間の車両５１の移動量を推定し、この移動量に基づいて図４の時刻ｔ１１における車両５１の自己位置を推定する。そして、この移動量を考慮して検出領域を設定する。即ち、地図情報Ｄ０２及び自己位置情報Ｄ０５に基づいた信号機の推定位置と、車両挙動に起因する信号機推定位置の変位量に基づいて、信号機の検出領域を設定する。この際、信号機と車両５１との相対位置が求められれば、カメラ１１は、車両５１に固定されており、カメラ情報Ｄ０３の設置情報に基づいて、実空間座標から画像座標へ変換することで、画像中での信号機の位置を推定でき、ひいては検出領域を設定することができることになる。
【００２５】
図２に示す信号機認識部１６は、カメラ１１で撮像された画像データＤ０９及び信号機検出領域情報Ｄ０８に基づいて、信号機の点灯色を認識する。具体的には、画像データＤ０９に設定された検出領域に対して、信号機の点灯色を認識するための画像処理を実施する。
【００２６】
画像処理の方法としては、例えば、信号機が有する信号灯を、商用電源の交流周期に同期した点滅光を検出する方法、或いは、赤、緑、黄の色相及び丸形形状等の特徴の類似判定をする方法等を用いて検出することができる。その他、信号機を検出するための既知の画像処理を適用することができる。信号機の認識処理は、カメラ１１で撮像された画像データＤ０９の全体ではなく、その一部分として設定した検出領域に対して実施することにより、信号機検出のための情報処理の負荷を軽減して、迅速に信号機を検出することができる。そして、点灯色情報Ｄ０４を後段の機器へ出力する。なお、信号機の認識処理は上記の方法に限定されず、その他の方法を採用することも可能である。
【００２７】
次に、図３に示すフローチャートを参照して、上述した車両挙動推定部１４及び信号機検出領域算出部１５による処理手順を説明する。初めに、ステップＳ１１において、車両挙動推定部１４は、自己位置検出部１２で実行される車両５１の自己位置推定結果が更新される周期と、カメラ１１で画像が撮像される周期を取得する。そして、自己位置推定結果が更新されるタイミングと、画像が撮像されるタイミングとの間の時間差ΔＴを算出する。
【００２８】
例えば、図４のタイミングチャートに示すように、画像が撮像される周期Ｔ２が、自己位置推定結果が更新される周期Ｔ１（所定周期）の２倍である場合には、時刻ｔ１，ｔ２，ｔ３，・・のタイミング、即ち周期Ｔ１が経過する度に自己位置情報Ｄ０５が取得される。また、時刻ｔ１１，ｔ１３，ｔ１５，・・のタイミング、即ち、周期Ｔ２が経過する度に画像が撮像される。そして、各タイミングの時間差ΔＴを算出する。具体的には、時刻ｔ１１，ｔ１３，ｔ１５，・・に対して、直前となる自己位置情報の更新タイミングである、時刻ｔ１，ｔ３，ｔ５，・・との時間差ΔＴを算出する。
【００２９】
次いで、ステップＳ１２において、車両挙動推定部１４は、車両５１の走行速度とヨーレイト（或いは、転舵角）に基づいて、図４（ｂ）の時刻ｔ１にて取得された車両５１の自己位置からの車両５１の移動量を算出する。そして、時間差ΔＴの経過後の時刻ｔ１１における車両５１の自己位置を算出する。つまり、図４（ａ）の時刻ｔ１１で撮像された画像と、図４（ｂ）の時刻ｔ１で更新された自己位置情報Ｄ０５を用いて、画像中に検出領域を設定すると、時間差ΔＴの間に車両５１が移動することにより、適切な位置に検出領域を設定できなくなる。よって、車両挙動推定部１４では、時間差ΔＴの間での車両５１の移動量を算出する。更に、信号機検出領域算出部１５では、時刻ｔ１１における車両５１の自己位置を算出する。
【００３０】
以下、自己位置の算出手順について詳細に説明する。車両５１の現在の走行速度をｖ［m/s］、現在のヨーレイトをyawrate［rad/sec］、現在のヨー角をyaw［rad］、現在位置のｘ座標をｃｘ［ｍ］、ｙ座標をｃｙ［ｍ］、そして、時間差をΔＴ［sec］とする。また、ヨーレイトが生じているときの、旋回半径ｒはｒ＝ｖ/yawrateで求められ、回転中心の座標（ｏｘ，ｏｙ）は、ｏｘ＝ｃｘ−ｒ＊cos（yaw），ｏｙ＝ｃｙ−ｒ＊sin（yaw）で求められる。
【００３１】
補正後の車両５１の自己位置、即ち、時間差ΔＴ経過後の車両５１の自己位置座標（ｅｘ，ｅｙ）は、次の（１）式、（２）式で求めることができる。
ｅｘ＝cos（ΔＴ＊yawrate）＊（ｃｘ−ｏｘ）
−sin（ΔＴ＊yawrate）＊（ｃｙ−ｏｙ）＋ｏｘ      …（１）
ｅｙ＝sin（ΔＴ＊yawrate）＊（ｃｘ−ｏｘ）
＋cos（ΔＴ＊yawrate）＊（ｃｙ−ｏｙ）＋ｏｙ      …（２）
【００３２】
また、補正後のヨー角eyawは、eyaw＝yaw＋yawrate＊ΔＴで求められる。
一方、ヨーレイトが生じていない場合には、補正後の車両５１の自己位置座標（ｅｘ，ｅｙ）は、次の（３）式、（４）式で求めることができる。
ｅｘ＝ｃｘ＋ｖ＊ΔＴ＊cos（yaw）      …（３）
ｅｙ＝ｃｙ＋ｖ＊ΔＴ＊sin（yaw）      …（４）
また、補正後のヨー角eyawは、eyaw＝yawである。
【００３３】
即ち、ステップＳ１２では、車両挙動推定部１４より出力される車両挙動情報Ｄ０７及び自己位置情報Ｄ０５より取得された車両５１の自己位置に基づいて上記の演算を実行することにより、時刻ｔ１から時間差ΔＴ経過後の車両５１の自己位置を算出することが可能となる。
【００３４】
その後、図３のステップＳ１３において、信号機検出領域算出部１５は、画像が撮像された時の信号機位置を予測する。即ち、図４（ａ）の時刻ｔ１１の時点での自己位置の情報及びカメラ１１で撮像された画像が得られているので、自己位置と地図情報に含まれる信号機の位置情報から画像中で信号機が存在する位置を推定することができる。
【００３５】
ステップＳ１４において、信号機検出領域算出部１５は、画像内に信号機が含まれる領域を検出領域として設定し、ステップＳ１５において、この情報を信号機検出領域情報Ｄ０８として出力する。その後、信号機認識部１６は、設定された検出領域内から信号機を検出し、該信号機の点灯色を検出する。こうして、画像内に検出領域を設定することができ、該検出領域内に存在する信号機の点灯色を認識することができるのである。
【００３６】
次に、図５〜図７に示した説明図を参照して、時間差ΔＴによる検出領域の変化について説明する。図５は、車両５１が右側に湾曲するカーブ路を走行する場合を示している。図５に示すように、車両５１は時刻ｔ１（図４参照）にてカーブ路の地点Ｚ１を通過し、時間差ΔＴの経過後に地点Ｚ２を通過する場合を考える。
【００３７】
時間差ΔＴの間の車両５１の移動量を考慮しない場合には、車両５１が図５の地点Ｚ１を通過した際に自己位置が推定され、時間差ΔＴが経過した地点Ｚ２を通過した際に画像が取得される。従って、これらに基づいて検出領域を設定すると、図６に示すように、画像中に存在する信号機Ｐ１に対して、右方向に検出領域Ｒ１が設定されてしまい、信号機を検出することができない。
【００３８】
これに対して、時間差ΔＴの間の車両５１の移動量を考慮した場合には、車両５１が図５の地点Ｚ２を通過した際の、車両５１の自己位置及び画像に基づいて検出領域Ｒ１が設定されるので、図７に示すように、画像中に存在する信号機Ｐ１に対して適切な位置に検出領域Ｒ１が設定されることになる。このように、本実施形態では時間差ΔＴの間の車両５１の移動量を考慮することにより、信号機Ｐ１を認識するための検出領域Ｒ１を高精度に設定することが可能となる。
【００３９】
なお、上述した自己位置検出部１２、信号機位置推定部１３、車両挙動推定部１４、信号機検出領域算出部１５、及び信号機認識部１６は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部（１２〜１６）を構成する。マイクロコントローラが備えるメモリの一部は、地図情報Ｄ０２を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両にかかわる他の制御（例えば、自動運転制御）に用いるＥＣＵと兼用してもよい。
【００４０】
このようにして、第１実施形態に係る信号機認識装置１００では、地図情報Ｄ０２より得られる信号機の推定位置と、車両挙動に起因する信号機推定位置の変位量と、に基づいて画像中に検出領域Ｒ１を設定する。従って、信号機Ｐ１を検出するための検出領域Ｒ１を高精度に設定することが可能となる。
【００４１】
また、信号機検出領域算出部１５は、車両挙動と予め設定した所定時間に基づいて、車両移動量を推定し、推定された信号機の画像上の位置と、車両移動量に基づいて検出領域Ｒ１を設定するので、高精度な認識が可能となる。
【００４２】
また、車両５１の自己位置推定結果が更新されるタイミングと、画像が撮像されるタイミングの間に時間差ΔＴが生じる場合であっても、車両挙動に基づいて時間差ΔＴの間の車両５１の移動量を推定することにより、双方のタイミングを一致させることができる。従って、カメラ１１で撮像される画像上に、検出領域Ｒ１を高精度に設定することができ、ひいては信号機Ｐ１の点灯状態、即ち、赤、緑、黄の点灯色、或いは矢印の点灯状態等を高精度に認識することが可能となる。
【００４３】
また、車両５１の自己位置推定結果が更新される所定周期、即ち、図４に示す周期Ｔ１に応じて、時間差ΔＴを変更するように設定することができる。例えば、周期Ｔ１が大きくなった場合には、時間差ΔＴを大きくすることができる。このように設定することにより、自己位置推定結果が更新される周期の変化に応じた適切な検出領域の設定が可能となる。
【００４４】
更に、車両挙動として、車両の走行速度及びヨーレイトを用いて、時間差ΔＴの間の車両５１の移動量を算出するので、車両挙動に起因する信号機推定位置の変位量を高精度に求めることができ、ひいては、高精度な検出領域Ｒ１の設定が可能となる。
【００４５】
また、車両挙動として、車両の走行速度及び転舵角（転舵量）を用いて、時間差ΔＴの間の車両５１の移動量を算出することも可能である。そして、転舵角を用いる場合においても、車両挙動に起因する信号機推定位置の変位量を高精度に求めることができ、ひいては、高精度な検出領域Ｒ１の設定が可能となる。
【００４６】
更に、図５に示した地点Ｚ２での車両５１の自己位置情報は、車両挙動に基づいて推定しているので、車両挙動情報Ｄ０７が大きい場合には自己位置の推定精度が低下する可能性がある。そこで、車両挙動情報Ｄ０７の値が大きい場合には、信号機検出領域算出部１５で設定する検出領域Ｒ１の範囲を大きくすることにより、推定精度の低下を補うことができる。
【００４７】
具体的には、図８の特性図に示すように、通常時の検出領域Ｒ１の大きさを「１」としたとき、車両挙動量の増大に伴って検出領域Ｒ１の大きさを増大させる。そして、ある一定の大きさ、例えば、通常時に対して２倍の大きさを上限として設定し、この大きさに達した場合には、これ以上検出領域Ｒ１を増大させない。こうすることにより、車両挙動量が大きいほど検出領域Ｒ１の範囲が大きくなるので、車両挙動量の増大に起因して信号機位置の推定制度が低下した場合でも、信号機Ｐ１が検出領域Ｒ１からフレームアウトしないように検出領域Ｒ１を設定することが可能となる。
【００４８】
［第１実施形態の変形例の説明］
前述した第１実施形態では、図４に示したように、周期Ｔ１に対して周期Ｔ２が２倍の周期となる例について示した。しかし、周期Ｔ１、Ｔ２が倍数の関係になっていない場合には、時間差ΔＴは変化する。以下、図９に示すタイミングチャートを参照して説明する。
【００４９】
図９（ａ）は、画像が撮像されるタイミングを示し、図９（ｂ）は、自己位置推定結果が更新されるタイミングを示している。そして、自己位置推定結果の更新は周期Ｔ４で実行され、画像の撮像は周期Ｔ３で実行される。この場合、画像が撮像された際には、この時刻以前の直近の自己位置推定結果を用いて、検出領域Ｒ１を設定することになる。
【００５０】
例えば、時刻ｔ２２と時刻ｔ３２の時間差ΔＴ１、時刻ｔ２３と時刻ｔ３３の時間差ΔＴ２のように時間差ΔＴ１〜ΔＴ６を算出し、それぞれの時間差ΔＴ１〜ΔＴ５を用いて、車両５１の移動量を算出する。
【００５１】
そして、このような構成においても上述した第１実施形態と同様に、各時間差ΔＴ１〜Ｔ５の間の車両５１の移動量を算出し、この移動量に基づいて、車両５１の位置を補正するので、画像中に設定する検出領域を高精度に設定することが可能となる。
【００５２】
［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。装置構成は、第１実施形態で示した図１、図２と同様であるので説明を省略する。以下、図１０に示すフローチャートを参照して、第２実施形態に係る信号機認識装置１００の処理手順について説明する。初めに、ステップＳ３１において、車両挙動推定部１４は、車両５１の走行速度、ヨーレイト、転舵角等の各種の情報に基づいて、車両挙動が所定値以上であるか否かを判断する。
【００５３】
そして、車両５１が低速で走行している場合や停止している場合等で、車両挙動が所定値未満であると判断された場合には（ステップＳ３１でＮＯ）、車両５１の自己位置推定結果が更新されるタイミングと画像が撮像されるタイミングとの間の時間差ΔＴの間の車両挙動量は小さく、無視できるものと判断できる。従って、ステップＳ３２において、車両挙動推定部１４は、車両挙動情報Ｄ０７をゼロと見なして、ステップＳ３５に処理を進める。
【００５４】
一方、車両挙動が所定値以上である場合には（ステップＳ３１でＹＥＳ）、ステップＳ３３〜Ｓ３７の処理を実行する。ステップＳ３３〜Ｓ３７の処理は、図３に示したステップＳ１１〜Ｓ１５の処理と同様であるので、説明を省略する。
【００５５】
このように、第２実施形態に係る信号機認識装置１００では、車両５１の挙動に基づき、車両５１の挙動が所定値以上である場合にのみ、時間差ΔＴの間の移動量を算出して車両５１の位置を補正する。換言すれば、車両５１の挙動が小さい場合には、時間差ΔＴの間にて、車両５１の自己位置推定結果と画像が撮像された時の車両５１の自己位置との間の相対的な位置関係、特に進行方向は大きく変化しないものと推定できるので、このような場合には時間差ΔＴの間での車両５１の移動量を算出しない。その結果、不要な演算を省略することができ演算負荷を低減することが可能となる。
【００５６】
［第３実施形態の説明］
次に、本発明の第３実施形態について説明する。図１１は第３実施形態に係る信号機認識装置１０１の構成を示すブロック図である。この信号機認識装置１０１は、前述した図２に示した信号機認識装置１００と対比して、走行路設定部３７を搭載している点で相違する。また、車両挙動推定部３４による処理が相違する。それ以外の構成は、図２と同様であるので、同一符号を付して構成説明を省略する。
【００５７】
走行路設定部３７は、地図情報Ｄ０２と自己位置情報Ｄ０５を入力とし、車両５１が将来走行すると予想される走行路を抽出する。そして、抽出した走行路を走行路情報Ｄ４０として車両挙動推定部３４に出力する。
【００５８】
車両挙動推定部３４は、走行路情報Ｄ４０に基づいて、自己位置推定結果が更新されるタイミングから画像が撮像されるタイミングまでの時間差ΔＴの間の車両５１の移動量を算出し、この移動量を車両挙動情報Ｄ３７として信号機検出領域算出部１５に出力する。
【００５９】
次に、第３実施形態に係る信号機認識装置１０１の処理手順を、図１２に示すフローチャートを参照して説明する。初めに、ステップＳ５１において走行路設定部３７は、自己位置情報Ｄ０５及び地図情報Ｄ０２に基づいて、車両５１の走行路を決定する。この処理では、地図情報Ｄ０２に含まれる車両５１の走行路と自己位置情報Ｄ０５に基づいて、車両５１が現在走行している走行路及び走行位置を認識できるので、車両５１が将来走行するであろう走行路を決定することができる。
【００６０】
ステップＳ５２において、車両挙動推定部１４は、自己位置検出部１２で実行される車両５１の自己位置推定結果が更新される周期と、カメラ１１で撮像される画像が撮像される周期を取得する。そして、自己位置推定結果が更新されるタイミングと、画像が撮像されるタイミングとの時間差ΔＴを算出する。この処理は、図３に示したステップＳ１１の処理と同様であるので詳細な説明を省略する。
【００６１】
次いで、ステップＳ５３において、車両挙動推定部３４は、車両の走行速度と車両の走行路に基づいて、図４（ｂ）の時刻ｔ１にて推定された自己位置に対する、時間差ΔＴの間での車両５１の移動量を算出する。この移動量は、車両挙動情報Ｄ３７として、信号機検出領域算出部１５に出力される。そして、信号機検出領域算出部１５は、この車両挙動情報Ｄ３７に基づいて時刻ｔ１１における車両５１の自己位置を算出する。
【００６２】
その後、ステップＳ５４において、信号機検出領域算出部１５は、画像が撮像された時の信号機の位置を予測する。即ち、ステップＳ５３の処理で算出した時刻ｔ１１における車両５１の自己位置算出結果及び画像に基づいて、車両５１に対する信号機の位置を推定する。
【００６３】
ステップＳ５５において、信号機検出領域算出部１５は、画像内に信号機が含まれる領域を検出領域として設定し、ステップＳ５６において、この情報を信号機検出領域情報Ｄ０８として出力する。その後、信号機認識部１６は、設定された検出領域内から信号機を検出し、該信号機の点灯色を検出する。こうして、画像内に検出領域を設定することができ、該検出領域内に存在する信号機の点灯色を認識することができるのである。
【００６４】
以下、ステップＳ５３の処理において、車両挙動情報Ｄ３７を算出する処理の詳細について、図１３を参照して説明する。図１３（ａ）は、車両５１が二車線道路の右レーンＸ１１から左レーンＸ１２に車線変更する場合の、車両５１の挙動を示す説明図である。また、図１３（ｂ）は時間経過に対するヨーレイトの変化を示す特性図である。車両５１が図１３（ａ）の地点Ｚ３、Ｚ４を走行している時刻が、それぞれ図１３（ｂ）に示す時刻ｔ５１、ｔ５２に対応する。
【００６５】
車両５１が車線変更する際に、ヨーレイトや転舵角を用いて車両５１の自己位置を推定する場合には、自己位置の推定精度が低下する。即ち、車両５１が車線変更をしていない地点Ｚ３では、図１３（ｂ）の時刻ｔ５１に示すように未だヨーレイトが発生していないので、時間差ΔＴの経過後の車両５１の自己位置を推定する精度が低下する。また、車線変更を開始した場合でも、車線変更の場合には、ヨーレイト或いは転舵角の変化率が大きくなり（ｔ５１〜ｔ５２の時間）、このような場合には、車両５１の挙動の検出精度が低下する。
【００６６】
そこで、ステップＳ５３の処理では、走行路情報Ｄ４０及び車両の走行速度を用いて車両５１の移動量を算出する。つまり、（走行速度×ΔＴ）にて車両５１の移動距離Ｌ１が求められるので、画像が撮像された際の直前の自己位置推定結果の更新時（図４の時刻ｔ１の時点）で取得した自己位置に対して、走行路に沿って移動距離Ｌ１だけ進んだ位置を、時間差ΔＴが経過した後の車両５１の自己位置とすればよい。
【００６７】
また、車両５１が自動運転制御により走行している場合には、車線変更の位置を予め認識することができる。従って、図１３（ａ）の地点Ｚ４における車両５１の向きを算出できるので、画像が撮像された時の車両５１の自己位置を算出することができる。こうして、走行路設定部３７にて設定された走行路を用いて車両挙動を推定することにより、時間差ΔＴの間の車両５１に移動量を、より高精度に算出することができるのである。
【００６８】
このようにして、第３実施形態に係る信号機認識装置１０１では、車両５１の走行速度及び車両５１が将来走行するであろう走行路を示す走行路情報Ｄ４０に基づいて、時間差ΔＴの経過後の車両５１の自己位置を推定する。従って、車両５１が車線変更するような場合で、初期的にはヨーレイトが発生せず、その後ヨーレイトが急激に増加する場合においても、高精度に画像が撮像された時の車両５１の自己位置を推定することが可能となる。従って、画像中に設定する検出領域を高精度に設定することが可能となる。
【００６９】
以上、本発明の信号機認識装置及び信号機認識方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【符号の説明】
【００７０】
１１  カメラ（撮像部）
１２  自己位置検出部
１３  信号機位置推定部
１４，３４  車両挙動推定部
１５  信号機検出領域算出部（信号機検出領域設定部）
１６  信号機認識部
１７  地図情報取得部
１８  ランドマーク情報取得部
３７  走行路設定部
５１  車両
１００，１０１  信号機認識装置
Ｄ０１  ランドマーク情報
Ｄ０２  地図情報
Ｄ０３  カメラ情報
Ｄ０４  点灯色情報
Ｄ０５  自己位置情報
Ｄ０６  信号機相対位置情報
Ｄ０７  車両挙動情報
Ｄ０８  信号機検出領域情報
Ｄ０９  画像データ
Ｄ３７  車両挙動情報
Ｄ４０  走行路情報
Ｐ１  信号機
Ｒ１  検出領域
Ｘ１１  右レーン
Ｘ１２  左レーン
【図１】
2017009934.tif 000003
【図２】
2017009934.tif 000004
【図３】
2017009934.tif 000005
【図４】
2017009934.tif 000006
【図５】
2017009934.tif 000007
【図６】
2017009934.tif 000008
【図７】
2017009934.tif 000009
【図８】
2017009934.tif 000010
【図９】
2017009934.tif 000011
【図１０】
2017009934.tif 000012
【図１１】
2017009934.tif 000013
【図１２】
2017009934.tif 000014
【図１３】
2017009934.tif 000015
【手続補正書】
【提出日】平成28年6月8日(2016.6.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載され、車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の自己位置を検出する自己位置検出部と、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部と、
前記車両の挙動を推定する車両挙動推定部と、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定する信号機検出領域設定部と、
前記検出領域から信号機を検出する信号機認識部と、を備え、
前記信号機検出領域設定部は、車両挙動量が大きいほど、前記検出領域を大きく設定すること
を特徴とする信号機認識装置。
【請求項２】
車両に搭載され、車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の自己位置を検出する自己位置検出部と、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部と、
前記車両の挙動を推定する車両挙動推定部と、
前記推定された信号機の画像上の位置と、前記車両の挙動及び前記自己位置の更新タイミングと、に基づいて、前記画像上に、信号機の検出領域を設定する信号機検出領域設定部と、
前記検出領域から信号機を検出する信号機認識部と、
を備えたことを特徴とする信号機認識装置。
【請求項３】
前記信号機検出領域設定部は、前記車両挙動が予め設定した所定値以上の場合には、前記推定された信号機の画像上の位置及び前記車両挙動による前記信号機の画像上の位置の変位量に基づいて前記検出領域を設定し、
前記車両挙動が前記所定値未満の場合には、前記推定された信号機の画像上の位置に基づいて、前記検出領域を設定すること
を特徴とする請求項１または２に記載の信号機認識装置。
【請求項４】
前記信号機検出領域設定部は、前記車両挙動と予め設定した所定時間に基づいて車両移動量を推定し、前記推定された信号機の画像上の位置と前記車両移動量に基づいて、前記検出領域を設定すること
を特徴とする請求項１〜３のいずれか１項に記載の信号機認識装置。
【請求項５】
前記信号機検出領域設定部は、前記撮像部で画像を撮像したタイミングと前記自己位置を検出したタイミングとの間の時間差に基づいて、前記所定時間を設定すること
を特徴とする請求項４に記載の信号機認識装置。
【請求項６】
前記自己位置検出部は、前記車両の自己位置を所定周期で検出し、
前記信号機検出領域設定部は、前記所定周期に応じて、前記時間差を設定すること
を特徴とする請求項５に記載の信号機認識装置。
【請求項７】
前記自己位置及び前記地図情報に基づいて、車両が将来走行する走行路を設定する走行路設定部、を更に備え、
前記車両挙動推定部は、車両が将来走行する走行路に基づいて前記車両挙動を推定すること
を特徴とする請求項１〜６のいずれか１項に記載の信号機認識装置。
【請求項８】
車両に搭載され、車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定し、且つ、車両挙動量が大きいほど、前記検出領域を大きくするステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【請求項９】
車両に搭載され、車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動及び前記自己位置の更新タイミングと、に基づいて、前記画像上に、信号機の検出領域を設定するステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【手続補正書】
【提出日】平成28年11月14日(2016.11.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載され、車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の自己位置を検出する自己位置検出部と、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部と、
前記車両の挙動を推定する車両挙動推定部と、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定する信号機検出領域設定部と、
前記検出領域から信号機を検出する信号機認識部と、を備え、
前記信号機検出領域設定部は、車両挙動量が大きいほど、前記検出領域を大きく設定すること
を特徴とする信号機認識装置。
【請求項２】
車両に搭載され、車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の自己位置を検出する自己位置検出部と、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定する信号機位置推定部と、
前記車両の挙動を推定する車両挙動推定部と、
前記推定された信号機の画像上の位置と、前記車両の挙動と、前記画像の撮像タイミングと、前記自己位置の更新タイミングと、に基づいて、前記画像上に、信号機の検出領域を設定する信号機検出領域設定部と、
前記検出領域から信号機を検出する信号機認識部と、
を備えたことを特徴とする信号機認識装置。
【請求項３】
前記信号機検出領域設定部は、前記車両挙動が予め設定した所定値以上の場合には、前記推定された信号機の画像上の位置及び前記車両挙動による前記信号機の画像上の位置の変位量に基づいて前記検出領域を設定し、
前記車両挙動が前記所定値未満の場合には、前記推定された信号機の画像上の位置に基づいて、前記検出領域を設定すること
を特徴とする請求項１または２に記載の信号機認識装置。
【請求項４】
前記信号機検出領域設定部は、前記車両挙動と予め設定した所定時間に基づいて車両移動量を推定し、前記推定された信号機の画像上の位置と前記車両移動量に基づいて、前記検出領域を設定すること
を特徴とする請求項１〜３のいずれか１項に記載の信号機認識装置。
【請求項５】
前記信号機検出領域設定部は、前記撮像部で画像を撮像したタイミングと前記自己位置を検出したタイミングとの間の時間差に基づいて、前記所定時間を設定すること
を特徴とする請求項４に記載の信号機認識装置。
【請求項６】
前記自己位置検出部は、前記車両の自己位置を所定周期で検出し、
前記信号機検出領域設定部は、前記所定周期に応じて、前記時間差を設定すること
を特徴とする請求項５に記載の信号機認識装置。
【請求項７】
前記自己位置及び前記地図情報に基づいて、車両が将来走行する走行路を設定する走行路設定部、を更に備え、
前記車両挙動推定部は、車両が将来走行する走行路に基づいて前記車両挙動を推定すること
を特徴とする請求項１〜６のいずれか１項に記載の信号機認識装置。
【請求項８】
車両に搭載され、車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定し、且つ、車両挙動量が大きいほど、前記検出領域を大きくするステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【請求項９】
車両に搭載され、車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動と、前記画像の撮像タイミングと、前記自己位置の更新タイミングと、に基づいて、前記画像上に、信号機の検出領域を設定するステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【手続補正書】
【提出日】平成30年2月20日(2018.2.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
そして、このような構成においても上述した第１実施形態と同様に、各時間差ΔＴ１〜ΔＴ５の間の車両５１の移動量を算出し、この移動量に基づいて、車両５１の位置を補正するので、画像中に設定する検出領域を高精度に設定することが可能となる。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動による前記信号機の画像上の位置の変位量と、に基づいて、前記画像上に、信号機の検出領域を設定し、且つ、車両挙動量が大きいほど、前記検出領域を大きくするステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
前記車両の地図上の自己位置を検出するステップと、
前記自己位置及び前記地図情報に基づいて、信号機の画像上の位置を推定するステップと、
前記車両の挙動を推定するステップと、
前記推定された信号機の画像上の位置と、前記車両の挙動と、前記画像の撮像タイミングと、前記自己位置の更新タイミングと、に基づいて、前記画像上に、信号機の検出領域を設定するステップと、
前記検出領域から信号機を検出するステップと、
を備えたことを特徴とする信号機認識方法。
【国際調査報告】
2017009934.tif 000016
2017009934.tif 000017
2017009934.tif 000018
2017009934.tif 000019