(57)【特許請求の範囲】
【請求項１】
車両に搭載した赤外線カメラの撮像画像に基づいて該車両の周辺に存在する物体の認識処理を行う車両周辺監視装置であって、
前記撮像画像中において、上下方向又は横方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群であって、第１の高輝度画像部及び第２の高輝度画像部のそれぞれの輝度分布又は形状に関する相互の類似度が、第３の高輝度画像部と第１及び第２の高輝度画像部の少なくとも一方の画像部との間の相互の類似度よりも高いものとなっているという特徴を有する画像部群である特徴画像部群が存在するか否かを検知し、該特徴画像部群が検知された場合に、少なくとも前記第３の高輝度画像部が信号機構造物の構成要素の画像であると判断する構造物認識手段を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記特徴画像部群は、上下方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群であり、前記構造物認識手段は、該特徴画像部群を検知した場合に、少なくとも前記第３の高輝度画像部が米国の道路に設置された信号機構造物の構成要素の画像であると判断することを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記特徴画像部群は、左右方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群であり、前記構造物認識手段は、該特徴画像部群を検知した場合に、少なくとも前記第３の高輝度画像部が日本国の踏み切りに設置された信号機構造物の構成要素の画像であると判断することを特徴とする車両周辺監視装置。
【請求項４】
請求項２記載の車両周辺監視装置において、
前記構造物認識手段は、前記車両が交差点周辺に存在することを必要条件として、前記撮像画像中に前記特徴画像部群が存在するか否かを検知する処理を実行することを車両周辺監視装置。
【請求項５】
請求項３記載の車両周辺監視装置において、
前記構造物認識手段は、前記車両が踏み切り周辺に存在することを必要条件として、前記撮像画像中に前記特徴画像部群が存在するか否かを検知する処理を実行することを車両周辺監視装置。
【請求項６】
請求項１〜５のいずれか１項に記載の車両周辺監視装置において、
前記撮像画像から、少なくとも人間を含む所定種類の注意喚起対象物の画像を検出する注意喚起対象物検出手段と、該注意喚起対象物の画像が検出された場合に、該注意喚起対象物に対する前記車両の運転者の注意を喚起するための処理を実行する注意喚起処理手段とを備えており、前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、少なくとも該第３の高輝度画像部を前記注意喚起対象物の画像ではないと判断することを特徴とする車両周辺監視装置。
【請求項７】
請求項６記載の車両周辺監視装置において、
前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、前記第３の高輝度画像部が前記注意喚起対象物の画像ではないと判断することを、少なくとも所定時間の間、継続することを特徴とする車両周辺監視装置。
【請求項８】
請求項６又７記載の車両周辺監視装置において、
前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、前記撮像画像中において、前記第３の高輝度画像部の上方に存在する物体の画像を、前記注意喚起対象物の画像ではないと判断することを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両に搭載した赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に見られる如く、車両に搭載した赤外線カメラの撮像画像から、人（歩行者）等、人工構造物以外で運転者の注意を喚起すべき注意喚起対象物の画像を検出し、該注意喚起対象物の画像が検出された場合に、適宜、運転者に対する警報等の注意喚起処理を行うようにした装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８４０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両が米国の道路の交差点付近を走行している場合には、図６に示すような信号機構造物１００が、車両に搭載された赤外線カメラの撮像画像中に写ることが多々ある。この信号機構造物１００は、方形状の信号発光部１０１を有する歩行者用信号機１０２と、上下方向に並ぶ複数の丸形状の信号発光部１０３を有する車両用信号機１０４とを、歩行者用信号機１０２が車両用信号機１０４の下側に配置されるようにして、支柱１０５に取り付けた構造のものである。
【０００５】
また、車両が日本国の道路の踏み切り付近を走行している場合には、図９に示すような信号機構造物１１０が、車両に搭載された赤外線カメラの撮像画像中に写る。この信号機構造物１１０は、横方向に並ぶ複数の丸形状の信号発光部１１１（交互に間欠的に発光する部分。以降、間欠発光部１１１ということがある）と、踏み切りを通過する列車の進行方向を表示する発光を連続的に行なう信号発光部１１２（以降、進行方向表示発光部１１２ということがある）とを、進行方向表示発光部１１２が間欠発光部１１１の下側に配置されるようにして、支柱１１３に取り付けた構造のものである。
【０００６】
これらの信号機構造物１００，１１０は、静止した人工構造物であるので、一般的には、注意喚起対象物から除外すべき物体である。
【０００７】
しかるに、特許文献１に見られる如き従来の装置では、これらの信号機構造物１００，１１０の画像を注意喚起対象物の画像と明確に区別して認識する技術が不十分なものとなっていた。このため、上記信号機構造部１００，１１０の部分的な画像が、注意喚起対象物としての人（歩行者）の画像として誤認識されてしまう場合があることが本願発明者の検討により判明した。
【０００８】
例えば、米国において、赤外線カメラの撮像画像中に図６に示した如き信号機構造物１００が写っている場合、歩行者用信号機１０２の信号発光部１０１の画像が、人の頭部の画像、支柱１０５のうちの歩行者用信号機１０２の下側の部分が、人の胴部の画像に相当するものとして誤認識してしまう場合がある。
【０００９】
また、日本国において、赤外線カメラの撮像画像中に図９に示した如き信号機構造物１１０が写っている場合、該信号機構造物１１０の進行方向表示発光部１１２の画像が、人の頭部の画像、支柱１１３のうちの進行方向表示発光部１１２の下側の部分が、人の胴部の画像に相当するものとして誤認識してしまう場合がある。
【００１０】
本発明はかかる背景に鑑みてなされたものであり、車両に搭載された赤外線カメラの撮像画像中に写る信号機構造物の画像を適切に認識することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の車両周辺監視装置は、かかる目的を達成するために、車両に搭載した赤外線カメラの撮像画像に基づいて該車両の周辺に存在する物体の認識処理を行う車両周辺監視装置であって、前記撮像画像中において、上下方向又は横方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群であって、第１の高輝度画像部及び第２の高輝度画像部のそれぞれの輝度分布又は形状に関する相互の類似度が、第３の高輝度画像部と第１及び第２の高輝度画像部の少なくとも一方の画像部との間の相互の類似度よりも高いものとなっているという特徴を有する画像部群である特徴画像部群が存在するか否かを検知し、該特徴画像部群が検知された場合に、少なくとも前記第３の高輝度画像部が信号機構造物の構成要素の画像であると判断する構造物認識手段を備えることを特徴とする（第１発明）。
【００１２】
ここで、例えば米国における前記信号機構造物１００が、赤外線カメラの撮像領域に存在する場合、通常、歩行者用信号機１０２の信号発光部１０１や、車両用信号機１０４の各信号発光部１０３が、比較的高輝度の（比較的温度の高い）画像部として赤外線カメラの撮像画像に写ることとなる。
【００１３】
この場合、車両用信号機１０４の各信号発光部１０３のそれぞれの画像部は、上下方向に隣合って並び、また、その下側に歩行者用信号機１０２の信号発光部１０１の画像部が位置する。また、車両用信号機１０４の各信号発光部１０３のそれぞれの画像部は、通常、それらの輝度分布や形状（サイズを含む）が相互に類似したものとなる一方、車両用信号機１０４の各信号発光部１０３の画像部と歩行者用信号機１０２の信号発光部１０１の画像部とでは、それらの輝度分布や形状が相互に相違したものとなる。
【００１４】
また、例えば日本国における前記信号機構造物１１０が、赤外線カメラの撮像領域に存在する場合、通常、前記間欠発光部１１１のそれぞれや、進行方向表示発光部１１２が、比較的高輝度の（比較的温度の高い）画像部として赤外線カメラの撮像画像に写ることとなる。
【００１５】
この場合、間欠発光部１１１のそれぞれの画像部は、横方向に隣合って並び、また、その下側に進行方向表示発光部１１２の画像部が位置する。また、各間欠発光部１１１のそれぞれの画像部は、通常、それらの輝度分布や形状（サイズを含む）が相互に類似したものとなる一方、間欠発光部１１１の画像部と進行方向表示発光部１１２の画像部とでは、それらの輝度分布や形状が相互に相違したものとなる。
【００１６】
これらの信号機構造物１００又は１１０の信号発光部の画像部に関する上記の特徴に鑑み、第１発明では、前記構造物認識部は、赤外線カメラの撮像画像中において、上下方向又は横方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群であって、第１の高輝度画像部及び第２の高輝度画像部のそれぞれの輝度分布又は形状に関する相互の類似度が、第３の高輝度画像部と第１及び第２の高輝度画像部の少なくとも一方の画像部との間の相互の類似度よりも高いものとなっているという特徴を有する画像部群である特徴画像部群が存在するか否かを検知し、該特徴画像部群が検知された場合に、少なくとも前記第３の高輝度画像部が信号機構造物の構成要素の画像であると判断する。
【００１７】
なお、この場合、第３の高輝度画像部だけでなく、第１及び第２の高輝度画像部も信号機構造物の構成要素の画像であると判断するようにしてもよい。
【００１８】
これにより、第１発明によれば、信号機構造物１００，１１０の如き信号構造物が、赤外線カメラの撮像画像に写っている場合に、該信号機構造物の画像を、人間等の他の物体の画像と区別して、適切に（他の物体の画像と混同されることがないように）認識することができる。
【００１９】
上記第１発明において、前記特徴画像部群は、上下方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群である場合には、前記構造物認識手段は、該特徴画像部群を検知した場合に、少なくとも前記第３の高輝度画像部が米国の道路に設置された信号機構造物の構成要素の画像であると判断する（第２発明）。
【００２０】
この第２発明によれば、前記特徴画像部群が検知された場合には、前記第３の高輝度画像部は、米国における前記信号機構造物１００の歩行者用信号機１０２の信号発光部１０１の画像に相当し、第１及び第２の高輝度画像部が、それぞれ信号機構造物１００の車両用信号機１０４の信号発光部１０３の画像に相当する。従って、前記特徴画像部群が検知された場合に、少なくとも前記第３の高輝度画像部が米国の道路に設置された信号機構造物の構成要素の画像であると判断することができる。
【００２１】
また、上記第１発明において、前記特徴画像部群は、左右方向に隣合って並ぶ第１及び第２の高輝度画像部と、第１及び第２の高輝度画像部の下側に位置する第３の高輝度画像部とを有する画像部群である場合には、前記構造物認識手段は、該特徴画像部群を検知した場合に、少なくとも前記第３の高輝度画像部が日本国の踏み切りに設置された信号機構造物の構成要素の画像であると判断する（第３発明）。
【００２２】
この第３発明によれば、前記特徴画像部群が検知された場合には、前記第３の高輝度画像部は、日本国における前記信号機構造物１１０の進行方向表示発光部１１２の画像に相当し、第１及び第２の高輝度画像部が、それぞれ信号機構造物１１０の間欠発光部１１１の画像に相当する。従って、前記特徴画像部群が検知された場合に、少なくとも前記第３の高輝度画像部が日本国の踏み切りに設置された信号機構造物の構成要素の画像であると判断することができる。
【００２３】
ところで、米国における前記信号機構造物１００は、主に交差点に設置される信号機構造物である。また、日本国における前記信号機構造物１１０は、踏み切りの箇所に設置される信号機構造物である。
【００２４】
そこで、上記第２発明においては、前記構造物認識手段は、前記車両が交差点周辺に存在することを必要条件として、前記撮像画像中に前記特徴画像部群が存在するか否かを検知する処理を実行することが好ましい（第４発明）。
【００２５】
また、上記第３発明においては、前記構造物認識手段は、前記車両が踏み切り周辺に存在することを必要条件として、前記撮像画像中に前記特徴画像部群が存在するか否かを検知する処理を実行することが好ましい（第５発明）。
【００２６】
上記第４発明又は第５発明によれば、前記信号機構造物１００又は１１０が存在しない状況で、前記撮像画像中に前記特徴画像部群が存在するか否かを検知する処理を行なわないようにすることができる。このため、車両周辺監視装置の演算処理の負荷を軽減することができる。
【００２７】
また、上記第１〜第５発明のより具体的な形態として、前記撮像画像から、少なくとも人間を含む所定種類の注意喚起対象物の画像を検出する注意喚起対象物検出手段と、該注意喚起対象物の画像が検出された場合に、該注意喚起対象物に対する前記車両の運転者の注意を喚起するための処理を実行する注意喚起処理手段とを備えており、前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、少なくとも該第３の高輝度画像部を前記注意喚起対象物の画像ではないと判断する（第６発明）。
【００２８】
ここで、米国における信号機構造物１００の歩行者用信号機１０２の信号発光部１０１と、車両用信号機１０４の各信号発光部１０３とが赤外線カメラの撮像画像に写っている場合、信号発光部１０３に比して比較的低所にある歩行者用信号機１０２の信号発光部１０１の画像が、注意喚起対象物たる人間の頭部に相当する画像部分として誤認識されやすい。
【００２９】
また、日本国における信号機構造物１１０の進行方向表示発光部１１２と、各間欠発光部１１１とが赤外線カメラの撮像画像に写っている場合、間欠発光部１１１に比して比較的低所にある進行方向表示発光部１１２の画像が、注意喚起対象物たる人間の頭部に相当する画像部分として誤認識されやすい。
【００３０】
しかるに、第６発明によれば、前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、少なくとも該第３の高輝度画像部を前記注意喚起対象物の画像ではないと判断する。
【００３１】
このため、信号機構造物の構成要素の画像が、注意喚起対象物の画像として誤認識されるのを防止することができる。従って、車両の運転者の注意を喚起する必要性の乏しい信号機構造物に対して、運転者の注意を喚起する注意喚起処理が実行されるのを防止することができる。
【００３２】
この第６発明では、前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、前記第３の高輝度画像部が前記注意喚起対象物の画像ではないと判断することを、少なくとも所定時間の間、継続するようにしてもよい（第７発明）。
【００３３】
すなわち、赤外線カメラの撮像領域に信号機構造物が連続的に存在する期間において、赤外線カメラの撮像画像に対する外乱等の影響で、一時的に、前記特徴画像部群が検知されなくなる状況が発生することもある。
【００３４】
第７発明によれば、このような状況で、第３の高輝度画像部（あるいは第１〜第３の高輝度画像部）が信号機構造物の構成要素の画像であるか否かの判断が切替わるような事態を防止することができる。
【００３５】
また、上記第６発明又は第７発明では、前記注意喚起対象物検出手段は、前記構造物認識手段により前記第３の高輝度画像部が前記信号機構造物の構成要素の画像であると判断された場合に、前記撮像画像中において、前記第３の高輝度画像部の上方に存在する物体の画像を、前記注意喚起対象物の画像ではないと判断するようにしてもよい（第８発明）。
【００３６】
ここで、米国における信号機構造物１００の歩行者用信号機１０２の信号発光部１０１や、日本国における信号機構造物１１０の進行方向表示発光部１１２は、通常、人間の頭部よりも高所にある。このため、前記撮像画像中において、前記第３の高輝度画像部の上方に存在する物体の画像は、注意喚起対象物の画像ではない可能性が高い。
【００３７】
そこで、第８発明では、前記撮像画像中において、信号機構造物の構成要素の画像であると判断された前記第３の高輝度画像部の上方に存在する物体の画像を、前記注意喚起対象物の画像ではないと判断する。これにより、該第３の高輝度画像部の上方に存在する物体の画像については、前記特徴画像部群の検知処理を行うことなく、注意喚起対象物の画像ではないと判断することができる。ひいては、車両周辺監視装置の演算処理の負荷を軽減することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態（第１及び第２実施形態）における車両の斜視図。
【図２】図１の車両に搭載された車両周辺監視装置に関するシステム構成を示すブロック図。
【図３】図２に示す車両周辺監視装置の処理を示すフローチャート。
【図４】第１実施形態において、図３のＳＴＥＰ９で実行される処理を示すフローチャート。
【図５】図５（ａ），（ｂ）は図４のフローチャートの処理を説明するための図。
【図６】図４のフローチャートの処理に関する信号機構造物の例を示す図。
【図７】第２実施形態において、図３のＳＴＥＰ９で実行される処理を示すフローチャート。
【図８】図８（ａ），（ｂ）は図７のフローチャートの処理を説明するための図。
【図９】図７のフローチャートの処理に関する信号機構造物の例を示す図。
【発明を実施するための形態】
【００３９】
［第１実施形態］
本発明の第１実施形態を以下に図１〜図６を参照して説明する。なお、本実施形態は、米国用の車両に関する一実施形態である。
【００４０】
図１を参照して、車両１には、車両周辺監視装置１０と、赤外線カメラ１１とが搭載されている。赤外線カメラ１１は、遠赤外線を検出可能なカメラである。この赤外線カメラ１１は、車両１の前方を撮像するために、車両１の前部に取り付けられている。
【００４１】
なお、本実施形態では、車両１に搭載された赤外線カメラ１１は単一のカメラである。ただし、ステレオカメラを構成するための２台以上の赤外線カメラが車両１に搭載されていてもよい。
【００４２】
また、車両１には、該車両１の挙動状態を検出するための各種センサが搭載されている。例えば、図２に示すように、車両１には、車両１のヨーレートに応じた信号を出力するヨーレートセンサ１２、車両１の速度（車速）に応じた信号を出力する車速センサ１３、車両１のブレーキペダルの操作量（踏み込み量）に応じた信号を出力するブレーキセンサ１４等が搭載されている。
【００４３】
さらに、車両１には、図２に示すように、音声情報や警報音等を運転者に対して出力するスピーカ１５と、赤外線カメラ１１の撮像画像等の画像情報を運転者に対して表示する表示装置１６とが搭載されている。
【００４４】
表示装置１６は、例えば車両１のフロントガラスに画像情報を表示するヘッドアップディスプレイ、あるいは、車室内のダッシュボード等に装着される液晶ディスプレイ等により構成される。なお、表示装置１６は、ナビゲーション装置やオーディオ装置のディスプレイを兼ねるものであってもよい。
【００４５】
車両周辺監視装置１０は、運転者による車両１の運転を支援するために、車両１の周辺を監視する装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットにより構成されている。
【００４６】
そして、車両周辺監視装置１０には、赤外線カメラ１１の撮像画像の映像信号と、上記各種センサ１２，１３，１４の検出信号が入力されるようになっている。また、車両周辺監視装置１０は、スピーカ１５の発音動作と、表示装置１６の表示画像とを制御し得るように、これらのスピーカ１５と表示装置１６とに接続されている。
【００４７】
この車両周辺監視装置１０は、実装されるプログラム等により実現される機能として、車両１の前方（赤外線カメラ１１の撮像領域）に存在する特定の対象物を、車両１の運転者の注意を喚起すべき注意喚起対象物として検出する処理を実行する注意喚起対象物検出部２１と、該注意喚起対象物が検出された場合に、該注意喚起対象物に対する運転者の注意を喚起するための処理（以降、注意喚起処理という）を実行する注意喚起処理部２２とを備えている。
【００４８】
注意喚起対象物検出部２１が検出する注意喚起対象物は、本実施形態では、将来において自車両１との接触の可能性が有る所定種類の対象物としての人間（歩行者）である。この場合、図６に示した如き信号機構造物１００等の人工構造物は注意喚起対象物には含まれない。そして、注意喚起対象物検出部２１は、赤外線カメラ１１の撮像画像中に写っている対象物が、信号機構造物１００等の人工構造物であるか否かを判断する構造物認識部２３としての機能を含んでいる。なお、注意喚起対象物には、人間以外の動物（四足動物等）が含まれていてもよい。
【００４９】
また、注意喚起処理部２２が実行する上記注意喚起処理には、例えば、注意喚起対象物に対する運転者の注意を喚起するための音声又は警報音をスピーカ１５から出力させる処理と、表示装置１６に赤外線カメラ１１の撮像画像（グレースケール画像）を表示させつつ、該撮像画像中の注意喚起対象物の画像を強調的に表示させる処理（例えば該注意喚起対象物の画像を枠で囲んで表示したり、該枠を点滅させる等の処理）とが含まれる。
【００５０】
なお、車両周辺監視装置１０は、単一のユニットである必要はない。例えば、ＣＰＵもしくはプロセッサをそれぞれ備える複数の電子回路ユニットにより分散的に構成されていてもよい。
【００５１】
補足すると、車両周辺監視装置１０の注意喚起対象物検出部２１、注意喚起処理部２２、構造物認識部２３は、それぞれ本発明における注意喚起対象物検出手段、注意喚起処理手段、構造物認識手段としての機能を有するものである。
【００５２】
次に、車両周辺監視装置１０のより詳細な処理を説明する。
【００５３】
車両周辺監視装置１０は、図３のフローチャートに示す処理を所定の演算処理周期で逐次実行する。このフローチャートにおけるＳＴＥＰ１〜９の処理が、注意喚起対象物検出部２１の処理であり、ＳＴＥＰ１０の処理が、注意喚起処理部２２の処理である。また、ＳＴＥＰ９の処理の中では、構造物認識部２３の処理が実行される。
【００５４】
以下説明すると、まず、ＳＴＥＰ１において、車両周辺監視装置１０の注意喚起対象物検出部２１は、赤外線カメラ１１の映像信号（各画素の映像信号）をＡ／Ｄ変換することにより、該赤外線カメラ１１の撮像画像をグレースケール画像として取得する。このグレースケール画像は、赤外線カメラ１１の撮像画像の各画素値を輝度値により表す画像である。なお、赤外線カメラ１１は、遠赤外線を検出するので、該赤外線カメラ１１の撮像領域に存在する物体の画像の輝度は、該物体の温度に応じたものとなる。
【００５５】
次いで、ＳＴＥＰ２において、注意喚起対象物検出部２１は、上記グレースケール画像を２値化処理することにより、２値化画像（２種類の画素値からなる画像）を取得する。この２値化処理は、グレースケール画像を構成する各画素を、その輝度値が所定の閾値以上の高輝度画素と、輝度値が閾値よりも小さい低輝度画素とに区分し、高輝度画素の画素値を高輝度用の所定値（例えば「１（白）」）、低輝度画素の画素値を低輝度用の所定値（例えば「０（黒）」）とする処理である。
【００５６】
なお、上記２値化画像と、グレースケール画像とは、各別に画像メモリに記憶保持される。
【００５７】
次いで、ＳＴＥＰ３において、注意喚起対象物検出部２１は、上記２値化画像からランレングスデータを取得する。このランレグスデータは、２値化画像において、水平方向（横方向）に連続する高輝度値の画素のラインを表すデータである。
【００５８】
さらに、注意喚起対象物検出部２１は、ＳＴＥＰ３において、このランレングスデータにより表されるラインのうち、２値化画像の垂直方向（縦方向）で重なり合う部分を有するライン群を、１つの画像部分として、それぞれのライン群に識別子（ラベル）を付するラベリング処理を実行する。。
【００５９】
そして、注意喚起対象物検出部２１は、ＳＴＥＰ３において、識別子が付された個々のライン群を、対象物画像として抽出する。この対象物画像には、人間等の動物の画像のほか、前記信号機構造物１００等、発熱部を有する人工構造物の画像も含まれる。また、同一物体の複数の局所部分（同一物体の複数の構成要素）の画像が、各別の対象物画像として抽出される場合もある。
【００６０】
例えば、赤外線カメラ１１の撮像領域に前記信号機構造物１００が存在する場合に、車両用信号機１０４の信号発光部１０３や、歩行者用信号機１０２の信号発光部１０１の画像（２値化画像）が、図５（ａ）中に参照符号Ａ１，Ｂ１，Ｃ１で示す如く、各信号発光部１０１，１０３の画像が個別に対象物画像として抽出される場合もある。図示例では、Ａ１，Ｂ１は、車両用信号機１０４の信号発光部１０３の画像を模式的に示しており、Ｃ１は歩行者用信号機１０２の信号発光部１０１の画像を模式的に示している。
【００６１】
次いで、ＳＴＥＰ４において、注意喚起対象物検出部２１は、前回の演算処理周期（時刻ｔ(k-1)）で取得した撮像画像と今回の演算処理周期（時刻ｔ(k)）で取得した撮像画像との間で、同一の対象物の画像を追跡する処理である対象物追跡処理を実行する。
【００６２】
この処理では、例えば、前回の演算処理周期で抽出した対象物画像と、今回の演算処理周期で抽出した対象物画像とで、それらの重心位置、面積、縦横の長さの比率等を比較することで、それらの対象物画像が、同一の対象物の画像であるか否かが特定される。この対象物追跡処理は、より具体的には、例えば特開２００７−２１３５６１号公報にて説明されている手法によって行なうことができる。
【００６３】
次いで、ＳＴＥＰ５において、注意喚起対象物検出部２１は、対象物画像が抽出された対象物の実空間位置を推定する。この実空間位置は、例えば図１に示すように車両１に対して固定的に設定された３軸座標系（ＸＹＺ座標系）で記述される空間的な位置（車両１に対する相対位置）である。なお、図示の座標系は、赤外線カメラ１１の光軸方向をＺ軸方向、車両１の車幅方向（水平方向）をＸ軸方向、上下方向をＹ軸方向として定義された座標系であり、その原点は、赤外線カメラ１１の光学中心に設定される。
【００６４】
そして、ＳＴＥＰ５では、対象物の実空間位置は、例えば特開２００７−２１３５６１号公報にて説明されている手法によって推定される。
【００６５】
この場合、対象物画像のサイズ（横幅もしくは縦幅）の時間的変化率（演算処理周期毎の変化量）と、車両１の車速（車速センサ１３による計測値）とに基づいて、車両１から対象物までの距離（図１に示す座標系のＺ軸方向の位置）が算出される。さらに、赤外線カメラ１１の撮像画像での対象物画像の位置と、上記距離（Ｚ軸方向の位置）と、赤外線カメラ１１の焦点距離とから車両１の車幅方向及び上下方向での対象物の位置（図１に示す座標系のＸ軸方向の位置及びＹ軸方向の位置）が算出される。
【００６６】
さらに、上記の如く算出した対象物のＸ軸方向位置、Ｙ軸方向位置及びＺ軸方向位置により規定される実空間位置を、ヨーレートセンサ１２の検出信号から認識される車両１の回頭角の変化量（演算処理周期毎の変化量）に応じて補正することにより、対象物の実空間位置の推定値が最終的に決定される。
【００６７】
なお、２台の赤外線カメラにより構成されるステレオカメラを車両１に搭載するようにした場合には、対象物の車両１からの距離（Ｚ軸方向位置）を、ステレオ測距の手法によって推定するようにししてもよい。
【００６８】
あるいは、所謂モーションステレオの手法によって、単一の赤外線カメラ１１の撮像画像から、対象物の実空間位置を推定するようにすることも可能である。
【００６９】
次いで、ＳＴＥＰ６において、注意喚起対象物検出部２１は、対象物の移動ベクトルを算出する。この処理では、今回の演算処理周期での対象物の実空間位置と、所定時間前までの該対象物の過去の実空間位置（１つもしくは複数の位置）を通る近似直線が算出され、その近似直線の方向が、該対象物の移動ベクトルの方向として決定される。この場合、上記近似直線の算出処理は、具体的には、例えば特開２００１−６０９６号公報に記載された手法によって行なわれる。
【００７０】
次いで、ＳＴＥＰ７において、注意喚起対象物検出部２１は、上記の如く実空間位置や移動ベクトルを算出した対象物のなかから、注意喚起対象物の候補を抽出する。この処理では、対象物のうち、将来において車両１に接触する可能性の有る対象物が注意喚起対象物の候補として抽出される。この場合、対象物が車両１に接触する可能性が有るか否かは、該対象物の実空間位置や、移動ベクトルに基づいて、例えば特開２００１−６０９６号公報に記載された手法によって判断される。
【００７１】
すなわち、概略的に説明すると、推定された実空間位置における車両１からの距離（Ｚ軸方向位置）が、車両１の車速に既定の余裕時間を乗じてなる値以下となり、且つ、車両１の車幅よりも若干広い領域（車両１の前後方向に延在する２つの直線間の領域）である接触判定領域内に存在する対象物が注意喚起対象物の候補とされる。
【００７２】
また、推定された実空間位置が、接触判定領域の両側方（車幅方向の両側方）に設定された所定の進入判定領域内に存在し、且つ、前記移動ベクトルが車両１の正面に向って来る方向のベクトルとなっている対象物が注意喚起対象物の候補とされる。
【００７３】
次いで、ＳＴＥＰ８において、注意喚起対象物検出部２１は、上記の如く車両１との接触の可能性が有る対象物として抽出した注意喚起対象物の候補が、人間（歩行者）であるか否かを該候補の画像のサイズ、形状等の特徴に基づいて判断する。
【００７４】
この判断処理は、例えば、前記特許文献１（特開２００３−２８４０５７号公報）に記載されている手法によって行なわれる。
【００７５】
この場合、ＳＴＥＰ８の処理では、人間ではない人工構造物が、人間（歩行者）であると誤判断される場合もある。例えば、赤外線カメラ１１の撮像画像に、前記信号機構造物１００が写っている場合には、前記した如く、歩行者用信号機１０２の信号発光部１０１の画像が、人の頭部の画像、支柱１０５のうちの歩行者用信号機１０２の下側の部分が、人の胴部の画像に相当するものとして誤認識してしまう場合がある。
【００７６】
そこで、ＳＴＥＰ８の判断結果が肯定的である場合には、注意喚起対象物検出部２１は、さらにＳＴＥＰ９において、注意喚起対象物の候補（ＳＴＥＰ８で人間であると認定された候補）が、前記信号機構造物１００等の人工構造物であるか否かを判断する。この判断処理は、前記構造物認識部２３によって実行される処理である。
【００７７】
この判断処理では、構造物認識部２３は、基本的には、前記特許文献１に記載されている手法と同様に、注意喚起対象物の候補の画像が、人間の画像には見られない特徴（該画像に直線エッジが含まれる、該画像の角部が直角である、該画像に所定の同一形状部が複数含まれる、該画像があらかじめ登録された人工構造物の画像となっているというような特徴）を有する場合に、該画像に対応する注意喚起対象物の候補が、人工構造物であると判断する。
【００７８】
加えて、本実施形態では、構造物認識部２３は、注意喚起対象物の候補の画像が、前記信号機構造物１００の構成要素の画像であるか否かの判断処理も行う。この処理の詳細は後述する。
【００７９】
そして、ＳＴＥＰ９の判断結果が否定的である場合（注意喚起対象物の候補が人工構造物でないと判断された場合）には、車両周辺監視装置１０は、次にＳＴＥＰ１０の処理（注意喚起処理）を前記注意喚起処理部２２により実行する。
【００８０】
この処理では、注意喚起処理部２２は、ＳＴＥＰ８，９の判断結果がそれぞれ肯定的、否定的となった注意喚起対象物の候補（種類が人間であり、且つ、人工構造物ではないと判断された候補）を、注意喚起対象物として確定し、この注意喚起対象物に対する注意を運転者に喚起させるための注意喚起処理を実行する。この場合、本実施形態では、注意喚起処理部２２は、前記した如く、注意喚起対象物に対する運転者の注意を喚起するための音声又は警報音をスピーカ１５から出力させる処理と、表示装置１６に赤外線カメラ１１の撮像画像（グレースケール画像）を表示させつつ、該撮像画像中の注意喚起対象物の画像を強調的に表示させる処理とを実行する。
【００８１】
なお、注意喚起処理では、スピーカ１５の作動と、表示装置１６による強調表示とのうちの一方だけを行なうようにしてもよい。さらに、聴覚的又は視覚的な報知に限らず、運転席の振動等によって、体感的に、運転者の注意を喚起するようにしてもよい。また、例えば、運転者の注意を喚起することと並行して、プレーキペダルの操作に応じて発生するブレーキ装置の制動力が、通常の場合（注意喚起対象物が存在しない場合）よりも強めに発生するようにしてもよい。
【００８２】
以上が、車両周辺監視装置１０の全体的な処理である。なお、ＳＴＥＰ８の判断結果が否定的である場合、あるいは、ＳＴＥＰ９の判断結果が肯定的である場合には、当該注意喚起対象物の候補（人間ではない、又は、人工構造物であると判断された候補）は、注意喚起対象物ではないと認定され、該候補に関する注意喚起処理は実行されない。
【００８３】
次に、前記ＳＴＥＰ９の判断処理において、注意喚起対象物の候補（ＳＴＥＰ８で人間であると認定された候補）の画像が、信号機構造物１００の構成要素の画像であるか否かを判断する処理の詳細を説明する。この処理は、構造物認識部２３により、図４のフローチャートに示す如く実行される。なお、この説明は、赤外線カメラ１１の撮像画像に、前記信号機構造物１００が写っている場合を想定して行なう。
【００８４】
以下、説明すると、構造物認識部２３は、ＳＴＥＰ２１において、車両１が、現在、交差点周辺（交差点からの距離が所定範囲内の箇所）にいるか否かを判断する。この場合、赤外線カメラ１１の撮像画像、あるいは、車両１に搭載されているナビゲーション装置（図示省略）による車両１の現在位置情報に基づいて、車両１が、交差点周辺にいるか否かが判断される。
【００８５】
ＳＴＥＰ２１の判断結果が肯定的である場合には、次に、ＳＴＥＰ２２から、注意喚起対象物の候補の画像が、信号機構造物１００の構成要素の画像であるか否かの実体的な判断処理が行われる。
【００８６】
ＳＴＥＰ２２では、構造物認識部２３は、前記ＳＴＥＰ８で人間であると認定された注意喚起対象物の候補の画像（グレースケール画像）において、人間の頭部相当の高輝度画像部Ｃ１が、信号機構造物１００の歩行者用信号機１０２の信号発光部１０１の画像と同様の形状特徴を有するか否かを判断する。この場合、人間の頭部相当の高輝度画像部Ｃ１というのは、前記注意喚起対象物の候補の画像の上端部の箇所で、所定の閾値以上の輝度値を有する画像部分であり、且つ、前記ＳＴＥＰ８の処理に基づいて人間の頭部に相当する部分の画像と推定される画像部分である。
【００８７】
赤外線カメラ１１の撮像画像に、前記信号機構造物１００が写っている場合、前記した如く、ＳＴＥＰ８において、歩行者用信号機１０２の信号発光部１０１の画像が、人間の頭部の画像、支柱１０５のうちの歩行者用信号機１０２の下側の部分が、人間の胴部の画像に相当するものとして誤認識してしまう場合がある。この場合、例えば、図５（ａ）に示す如く、歩行者用信号機１０２の信号発光部１０１の画像Ｃ１が、人間の頭部相当の高輝度画像部Ｃ１とされる。
【００８８】
歩行者用信号機１０２の信号発光部１０１はほぼ方形状であるので、人間の頭部相当の高輝度画像部Ｃ１が、実際の歩行者用信号機１０２の信号発光部１０１の画像である場合、高輝度画像部Ｃ１も通常、方形状に近い形状となる。そこで、ＳＴＥＰ２２では、構造物認識部２３は、人間の頭部相当の高輝度画像部Ｃ１の形状（外形状）が、方形状もしくはそれに近い形状であるか否かを、公知のパターンマッチング等の手法により判断することで、該高輝度画像部Ｃ１が、歩行者用信号機１０２の信号発光部１０１の画像と同様の形状特徴を有するか否かを判断する。
【００８９】
ＳＴＥＰ２２の判断結果が肯定的である場合には、次に、ＳＴＥＰ２３において、構造物認識部２３は、赤外線カメラ１１の撮像画像において、図５（ａ）に示す如く、頭部相当の高輝度画像部Ｃ１の上側の所定の位置に、車両用信号機１０４の信号発光部１０３の画像が存在するか否かを探索するための探索領域ＡＲ１を設定する。
【００９０】
該探索領域ＡＲ１は、縦幅及び横幅が、それぞれ高輝度画像部Ｃ１の縦幅Ｈ１、横幅Ｗ１よりも所定割合だけ大きい幅（例えばＨ１の３倍の縦幅と、Ｗ１の３倍の横幅）を有する方形状の領域とされ、高輝度画像部Ｃ１の上端から、該高輝度画像部Ｃ１のサイズに応じた所定の間隔（例えばＨ１と同じ間隔）を存する位置に設定される。また、探索領域ＡＲ１の横方向の位置は、その横幅の中心が、高輝度画像部Ｃ１の横幅の中心と一致するように設定される。
【００９１】
なお、探索領域ＡＲ１のサイズ（縦幅及び横幅）や、配置位置は、高輝度画像部Ｃ１に対応する注意喚起対象物の候補の、車両１からの距離等に応じて可変的に設定するようにしてもよい。
【００９２】
次いで、ＳＴＥＰ２４において、構造物認識部２３は、上記の如く設定した探索領域ＡＲ１に、縦並びの（上下方向に隣合って並ぶ）２つの高輝度画像部Ａ１，Ｂ１が存在するか否かを判断する。この判断は、探索領域ＡＲ１の輝度分布（縦方向での輝度分布）が、図５（ｂ）に示すようなパターンで、所定の閾値以上の輝度値となる部分（図中のＡ１，Ｂ１の部分）を有する分布となっているか否かによって判断される。
【００９３】
頭部相当の高輝度画像部Ｃ１が、実際の歩行者用信号機１０２の信号発光部１０１の画像である場合、探索領域ＡＲ１には、通常、図５（ａ）に示す如く、車両用信号機１０４の信号発光部１０３にそれぞれ相当する高輝度画像部Ａ１，Ｂ１が存在することとなる。この場合、ＳＴＥＰ２４の判断結果が肯定的となる。
【００９４】
なお、探索領域ＡＲ１に、実際の車両用信号機１０４の信号発光部１０３にそれぞれ相当する高輝度画像部Ａ１，Ｂ１が存在する場合、これらの高輝度画像部Ａ１，Ｂ１の形状は通常、丸形状に近いものとなる。そこで、探索領域ＡＲ１で、公知のパタンマッチング等の手法によって、丸形状の高輝度画像部Ａ１，Ｂ１が存在するか否かを判断するようにしてもよい。
【００９５】
ＳＴＥＰ２４の判断結果が肯定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ２５の処理を実行する。このＳＴＥＰ２５では、構造物認識部２３は、探索領域ＡＲ１内に存在する高輝度画像部Ａ１とＢ１との間の類似度α１と、該高輝度画像部Ａ１，Ｂ１のうちの一方（本実施形態では例えばＡ１）とその下側の高輝度画像部Ｃ１との間の類似度β１とを計算する。上記類似度α１，β１は、輝度分布、あるいは形状に関する類似度合いである。
【００９６】
ここで、高輝度画像部Ａ１，Ｂ１がそれぞれ実際の車両用信号機１０４の信号発光部１０３の画像に相当すると共に、高輝度画像部Ｃ１が実際の歩行者用信号機１０２の信号発光部１０１の画像に相当する場合、通常、高輝度画像部Ａ１，Ｂ１は、それらのサイズを含めた形状や輝度分布が互いに類似するものとなる。これに対して、歩行者用信号機１０２の信号発光部１０１の画像に相当する高輝度画像部Ｃ１の形状や輝度分布は、通常、車両用信号機１０４の信号発光部１０３の画像にそれぞれ相当する高輝度画像部Ａ１，Ｂ１との類似度合いが低いものとなる。
【００９７】
そこで、ＳＴＥＰ２５では、上記類似度α１，β１を算出する。この場合、類似度α１は、例えば、高輝度画像部Ａ１，Ｂ１の輝度分布に関するＳＳＤ、ＳＡＤ等の相関演算によって算出される。あるいは、高輝度画像部Ａ１，Ｂ１のそれぞれの縦幅の差、横幅の差、縦横比の差などが、Ａ１，Ｂ１の形状に関する類似度α１を示すものとして算出される。
【００９８】
類似度β１についても、類似度α１と同様に算出される。
【００９９】
次いで、ＳＴＥＰ２６において、構造物認識部２３は、ＳＴＥＰ２５で算出した類似度α１，β１を比較し、α１＞β１であるか否かを判断する。
【０１００】
高輝度画像部Ａ１，Ｂ１がそれぞれ実際の車両用信号機１０４の信号発光部１０３の画像に相当すると共に、高輝度画像部Ｃ１が実際の歩行者用信号機１０２の信号発光部１０１の画像に相当する場合、高輝度画像部Ａ１，Ｂ１の間の類似度α１は、高輝度画像部Ａ１（又は高輝度画像部Ｂ１）と高輝度画像部Ｃ１との間の類似度β１よりも高いものとなる。従って、α１＞β１となる。
【０１０１】
そこで、ＳＴＥＰ２６の判断結果が肯定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ２７において、人間の頭部相当とされた高輝度画像部Ｃ１が、実際には人工構造物である信号機構造物１００の構成要素であると判断する。換言すれば、該高輝度画像部Ｃ１は、注意喚起対象物の構成要素の画像ではないと判断される。
【０１０２】
なお、この場合、高輝度画像部Ｃ１に加えて、高輝度画像部Ａ１，Ｂ１も信号機構造物１００の構成要素である（注意喚起対象物の構成要素ではない）と判断するようにしてもよい。
【０１０３】
以上のようにして、人間の頭部相当の画像とされた高輝度画像部Ｃ１の上側の探索領域ＡＲ１に縦並びの２つの高輝度画像部Ａ１，Ｂ１が存在しており、且つ、高輝度画像部Ａ１，Ｂ１の間の類似度α１が、高輝度画像部Ａ１（又は高輝度画像部Ｂ１）と高輝度画像部Ｃ１との間の類似度β１よりも高いという特徴を少なくとも有する高輝度画像部Ａ１，Ｂ１，Ｃ１の組（これは本発明における特徴画像部群に相当する）が赤外線カメラ１１の撮像画像中に存在するか否かが、ＳＴＥＰ２２〜２６の処理によって検知されることとなる。そして、上記の特徴を有する高輝度画像部Ａ１，Ｂ１，Ｃ１の組が存在する場合には、ＳＴＥＰ２２、２４、２６の判断結果がいずれも肯定的となるので、高輝度画像部Ｃ１（あるいは、高輝度画像部Ａ１，Ｂ１，Ｃ１の全て）は、信号機構造物１００の構成要素の画像である（注意喚起対象物の構成要素の画像ではない）と判断される。
【０１０４】
次いで、ＳＴＥＰ２８において、構造物認識部２３は、赤外線カメラ１１の撮像画像において、高輝度画像部Ｃ１の上方に存在する対象物画像（高輝度画像部Ａ１，Ｂ１を含む）は、注意喚起対象物の画像ではないと判断する。
【０１０５】
ここで、高輝度画像部Ｃ１が、信号機構造物１００の歩行者用信号機１０２の信号発光部１０１は、実空間において、通常２．５ｍ程度の高さに設置されるので、それよりも高所に人間の頭部が存在することは無いと考えてよい。
【０１０６】
そこで、本実施形態では、上記ＳＴＥＰ２８の処理を実行するようにした。これにより、前記ＳＴＥＰ８において、高輝度画像部Ｃ１の上方にも注意喚起対象物たる人間の画像が存在すると判断されていた場合に、その画像は、ＳＴＥＰ２２〜２６の処理を実行することなく、注意喚起対象物の画像ではないと判断されることとなる。
【０１０７】
一方、ＳＴＥＰ２１、２２、２４、２６のいずれかの判断結果が否定的である場合には、構造物認識部２３は、次にＳＴＥＰ２９において、高輝度画像部Ｃ１が、現在時刻から所定時間前までの期間内で、既にＳＴＥＰ２７で信号機構造物１００の構成要素の画像であると判断されたものであるか否かを確認する。
【０１０８】
ここで、赤外線カメラ１１の撮像領域に、信号機構造物１００が連続的に存在する期間であっても、撮像画像に対する外乱等の影響で、一時的にＳＴＥＰ２２、２４、２６のいずれかの判断結果が否定的となってしまう場合もある。
【０１０９】
そこで、本実施形態では、構造物認識部２３は、ＳＴＥＰ２９の判断結果が肯定的となる場合には、ＳＴＥＰ２７の処理を実行し、人間の頭部相当の画像とされた高輝度画像部Ｃ１が、信号機構造物１００の構成要素の画像である（注意喚起対象物の構成要素の画像ではない）と判断する。
【０１１０】
これにより、ある時刻において、人間の頭部相当の画像とされた高輝度画像部Ｃ１が、信号機構造物１００の構成要素の画像であると判断された場合には、その後、少なくとも所定時間が経過するまでの期間は、継続的に該高輝度画像部Ｃ１が、信号機構造物１００の構成要素の画像であると判断されることとなる。このため、高輝度画像部Ｃ１が、信号機構造物１００の構成要素の画像であるか否かの判断結果が、赤外線カメラ１１の撮像画像に対する外乱等の影響で、頻繁に切替わるような事態が発生するのを防止することができる。
【０１１１】
そして、ＳＴＥＰ２９の判断結果が否定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ３０において、高輝度画像部Ｃ１は、信号機構造物１００の構成要素の画像ではないと判断する。
【０１１２】
なお、ＳＴＥＰ２１の判断結果が否定的である場合には、ＳＴＥＰ２９の判断処理を省略して、ＳＴＥＰ３０の処理を実行するようにしてもよい。
【０１１３】
以上が、ＳＴＥＰ９において、構造物認識部２３が、注意喚起対象物の候補（ＳＴＥＰ８で人間であると認定された候補）の画像が、信号機構造物１００の構成要素であるか否かを判断する処理の詳細である。
【０１１４】
以上説明した本実施形態によれば、米国において道路環境に設置される信号機構造物１００が、注意喚起対象物として誤認識されて、該信号機構造物１００に対して運転者に対する注意を喚起する注意喚起処理が実行されてしまうような事態が生じるのを防止することができる。従って、必要性の乏しい注意喚起が運転者に対して行なわれるのを防止することができる。
【０１１５】
また、信号機構造物１００が主に設置される交差点の周辺（近辺）に、車両１が存在することを必要条件として、ＳＴＥＰ２２〜２６の処理（ＳＴＥＰ２２、２４、２６の判断結果がいずれも肯定的となる高輝度画像部Ａ１，Ｂ１，Ｃ１の組（特徴画像部群）が存在するか否かを検知する処理）を実行するので、車両周辺監視装置１０の演算処理負荷を軽減することができる。
【０１１６】
さらに、高輝度画像部Ｃ１が、信号機構造物１００の構成要素の画像であると判断された場合には、赤外線カメラ１１の撮像画像において、高輝度画像部Ｃ１の上方に存在する注意喚起対象物の候補の画像が、ＳＴＥＰ２２〜２６の処理を経ずに、注意喚起対象物の画像ではないと判断されるので、これによっても、車両周辺監視装置１０の演算処理負荷を軽減することができる。
【０１１７】
［第２実施形態］
次に、本発明の第２実施形態を図７〜図９を参照して説明する。なお、本実施形態は、日本国用の車両に関する一実施形態である。また、本実施形態は、車両周辺監視装置１０の構造物認識部２３の処理だけが第１実施形態と相違するものであるので、その相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。
【０１１８】
本実施形態における車両周辺監視装置１０においては、構造物認識部２３は、注意喚起対象物の候補（図３のＳＴＥＰ８で人間であると認定された候補）の画像が、米国の信号機構造物１００の構成要素の画像であるか否かの判断を行うことの代わりに、当該画像が、日本国の踏み切りに設置される前記信号機構造物１１０（図９参照）の構成要素の画像であるか否かの判断を行なう。
【０１１９】
この判断処理は、図７のフローチャートに示す如く実行される。以下、赤外線カメラ１１の撮像画像に、図９に示す如き前記信号機構造物１１０が写っている場合を想定して、図７のフローチャートの処理を説明する。
【０１２０】
構造物認識部２３は、まず、ＳＴＥＰ４１において、車両１が、現在、踏み切り周辺（踏み切りからの距離が所定範囲内の箇所）にいるか否かを判断する。この場合、前記図４のＳＴＥＰ２１と同様に、赤外線カメラ１１の撮像画像、あるいは、ナビゲーション装置（図示省略）による車両１の現在位置情報に基づいて、車両１が、踏み切り周辺にいるか否かが判断される。
【０１２１】
ＳＴＥＰ４１の判断結果が肯定的である場合には、次に、ＳＴＥＰ４２から、注意喚起対象物の候補の画像が、信号機構造物１１０の構成要素の画像であるか否かの実体的な判断処理が行われる。
【０１２２】
ＳＴＥＰ４２では、構造物認識部２３は、前記ＳＴＥＰ８で人間であると認定された注意喚起対象物の候補の画像（グレースケール画像）において、人間の頭部相当の高輝度画像部Ｃ２が、信号機構造物１１０の進行方向表示発光部１１２の画像と同様の形状特徴を有するか否かを判断する。この場合、人間の頭部相当の高輝度画像部Ｃ２というのは、第１実施形態の高輝度画像部Ｃ１と同様に、注意喚起対象物の候補の画像の上端部の箇所で、所定の閾値以上の輝度値を有する画像部分であり、且つ、前記ＳＴＥＰ８の処理に基づいて人間の頭部に相当する部分の画像と推定される画像部分である。
【０１２３】
赤外線カメラ１１の撮像画像に、前記信号機構造物１１０が写っている場合、ＳＴＥＰ８において、進行方向表示発光部１１２の画像が、人間の頭部の画像、支柱１１３のうちの進行方向表示発光部１１２の下側の部分が、人間の胴部の画像に相当するものとして誤認識してしまう場合がある。この場合、例えば、図８（ａ）に示す如く、進行方向表示発光部１１２の画像Ｃ２が、人間の頭部相当の高輝度画像部Ｃ２とされる。
【０１２４】
進行方向表示発光部１１２は、はほぼ方形状であるので、人間の頭部相当の高輝度画像部Ｃ２が、実際の進行方向表示発光部１１２の画像である場合、高輝度画像部Ｃ２も通常、方形状に近い形状となる。そこで、ＳＴＥＰ４２では、構造物認識部２３は、人間の頭部相当の高輝度画像部Ｃ２の形状（外形状）が、方形状もしくはそれに近い形状であるか否かを、公知のパターンマッチング等の手法により判断することで、該高輝度画像部Ｃ２が、進行方向表示発光部１１２の画像と同様の形状特徴を有するか否かを判断する。
【０１２５】
ＳＴＥＰ４２の判断結果が肯定的である場合には、次に、ＳＴＥＰ４３において、構造物認識部２３は、赤外線カメラ１１の撮像画像において、図８（ａ）に示す如く、頭部相当の高輝度画像部Ｃ２の上側の所定の位置に、信号機構造物１１０の間欠発光部１１１の画像が存在するか否かを探索するための探索領域ＡＲ２を設定する。
【０１２６】
該探索領域ＡＲ２は、第１実施形態におえる前記探索領域ＡＲ１と同様に、高輝度画像部Ｃ２のサイズ（縦幅及び横幅）に応じて決定した縦幅及び横幅を有する方形状の領域とされ、高輝度画像部Ｃ２の上端から、該高輝度画像部Ｃ２のサイズに応じた所定の間隔を存する位置に設定される。また、探索領域ＡＲ２の横方向の位置は、その横幅の中心が、高輝度画像部Ｃ２の横幅の中心と一致するように設定される。
【０１２７】
なお、探索領域ＡＲ２のサイズ（縦幅及び横幅）や、配置位置は、高輝度画像部Ｃ２に対応する注意喚起対象物の候補の、車両１からの距離等に応じて可変的に設定するようにしてもよい。
【０１２８】
次いで、ＳＴＥＰ４４において、構造物認識部２３は、上記の如く設定した探索領域ＡＲ２に、横並びの（横方向に隣合って並ぶ）２つの高輝度画像部Ａ２，Ｂ２が存在するか否かを判断する。この判断は、探索領域ＡＲ２の輝度分布（横方向での輝度分布）が、図８（ｂ）に示すようなパターンで、所定の閾値以上の輝度値となる部分（図中のＡ２，Ｂ２の部分）を有する分布となっているか否かによって判断される。
【０１２９】
頭部相当の高輝度画像部Ｃ２が、実際の進行方向表示発光部１１２の画像である場合、探索領域ＡＲ２には、通常、図８（ａ）に示す如く、間欠発光部１１１にそれぞれ相当する高輝度画像部Ａ２，Ｂ２が存在することとなる。この場合、ＳＴＥＰ４４の判断結果が肯定的となる。
【０１３０】
なお、探索領域ＡＲ２に、実際の信号機構造物１１０の間欠発光部１１１にそれぞれ相当する高輝度画像部Ａ２，Ｂ２が存在する場合、これらの高輝度画像部Ａ２，Ｂ２の形状は通常、丸形状に近いものとなる。そこで、探索領域ＡＲ２で、公知のパタンマッチング等の手法によって、丸形状の高輝度画像部Ａ２，Ｂ２が存在するか否かを判断するようにしてもよい。
【０１３１】
ＳＴＥＰ４４の判断結果が肯定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ４５の処理を実行する。このＳＴＥＰ４５では、第１実施形態におけるＳＴＥＰ２５と同様に、構造物認識部２３は、探索領域ＡＲ２内に存在する高輝度画像部Ａ２とＢ２との間の類似度α２と、該高輝度画像部Ａ２，Ｂ２のうちの一方（本実施形態では例えばＡ２）と下側の高輝度画像部Ｃ２との間の類似度β２とを計算する。これらの類似度α２，β２は、輝度分布、あるいは形状に関する類似度合いであり、第１実施形態と同じ手法によって算出される。
【０１３２】
次いで、ＳＴＥＰ４６において、構造物認識部２３は、ＳＴＥＰ４５で算出した類似度α２，β２を比較し、α２＞β２であるか否かを判断する。
【０１３３】
ここで、高輝度画像部Ａ２，Ｂ２がそれぞれ実際の信号機構造物１１０の間欠発光部１１１の画像に相当すると共に、高輝度画像部Ｃ２が実際の信号機構造物１１０の進行方向表示発光部１１２の画像に相当する場合、通常、高輝度画像部Ａ２，Ｂ２は、それらのサイズを含めた形状や輝度分布が互いに類似するものとなる。これに対して、進行方向表示発光部１１２の画像に相当する高輝度画像部Ｃ２の形状や輝度分布は、通常、間欠発光部１１１の画像にそれぞれ相当する高輝度画像部Ａ２，Ｂ２との類似度合いが低いものとなる。従って、α２＞β２となる。
【０１３４】
そこで、ＳＴＥＰ４６の判断結果が肯定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ４７において、人間の頭部相当とされた高輝度画像部Ｃ２が、実際には人工構造物である信号機構造物１１０の構成要素であると判断する。換言すれば、該高輝度画像部Ｃ２は、注意喚起対象物の構成要素の画像ではないと判断される。
【０１３５】
なお、この場合、高輝度画像部Ｃ２に加えて、高輝度画像部Ａ２，Ｂ２も信号機構造物１１０の構成要素である（注意喚起対象物の構成要素ではない）と判断するようにしてもよい。
【０１３６】
以上のようにして、人間の頭部相当の画像とされた高輝度画像部Ｃ２の上側の探索領域ＡＲ２に横並びの２つの高輝度画像部Ａ２，Ｂ２が存在しており、且つ、高輝度画像部Ａ２，Ｂ２の間の類似度α２が、高輝度画像部Ａ２（又は高輝度画像部Ｂ２）と高輝度画像部Ｃ２との間の類似度β２よりも高いという特徴を少なくとも有する高輝度画像部Ａ２，Ｂ２，Ｃ２の組（これは本発明における特徴画像部群に相当する）が赤外線カメラ１１の撮像画像中に存在するか否かが、ＳＴＥＰ４２〜４６の処理によって検知されることとなる。そして、上記の特徴を有する高輝度画像部Ａ２，Ｂ２，Ｃ２の組が存在する場合には、ＳＴＥＰ４２、４４、４６の判断結果がいずれも肯定的となるので、高輝度画像部Ｃ２（あるいは、高輝度画像部Ａ２，Ｂ２，Ｃ２の全て）は、信号機構造物１１０の構成要素の画像である（注意喚起対象物の構成要素の画像ではない）と判断される。
【０１３７】
次いで、ＳＴＥＰ４８において、構造物認識部２３は、第１実施形態におけるＳＴＥＰ２８と同様に、赤外線カメラ１１の撮像画像において、高輝度画像部Ｃ２の上方に存在する対象物画像は、注意喚起対象物の画像ではないと判断する。
【０１３８】
これにより、前記ＳＴＥＰ８において、高輝度画像部Ｃ２の上方にも注意喚起対象物たる人間の画像が存在すると判断されていた場合に、その画像は、ＳＴＥＰ４２〜４６の処理を実行することなく、注意喚起対象物の画像ではないと判断されることとなる。
【０１３９】
一方、ＳＴＥＰ４１、４２、４４、４６のいずれかの判断結果が否定的である場合には、構造物認識部２３は、次にＳＴＥＰ４９において、第１実施形態におえるＳＴＥＰ２９と同様の判断処理を行なう。すなわち、構造物認識部２３は、高輝度画像部Ｃ２が、現在時刻から所定時間前までの期間内で、既にＳＴＥＰ４７で信号機構造物１１０の構成要素の画像であると判断されたものであるか否かを確認する。
【０１４０】
そして、信号機構造物１１０は、ＳＴＥＰ４９の判断結果が肯定的となる場合には、ＳＴＥＰ４７の処理を実行し、人間の頭部相当の画像とされた高輝度画像部Ｃ２が、信号機構造物１１０の構成要素の画像である（注意喚起対象物の構成要素の画像ではない）と判断する。
【０１４１】
これにより、ある時刻において、人間の頭部相当の画像とされた高輝度画像部Ｃ２が、信号機構造物１１０の構成要素の画像であると判断された場合には、その後、少なくとも所定時間が経過するまでの期間は、継続的に該高輝度画像部Ｃ２が、信号機構造物１１０の構成要素の画像であると判断されることとなる。このため、赤外線カメラ１１の撮像領域に信号機構造物１１０が存在する状況で、実際の進行方向表示発光部１１２の画像に相当する高輝度画像部Ｃ２が、信号機構造物１１０の構成要素の画像であるか否かの判断結果が、赤外線カメラ１１の撮像画像に対する外乱等の影響で、頻繁に切替わるような事態が発生するのを防止することができる。
【０１４２】
そして、ＳＴＥＰ４９の判断結果が否定的である場合には、構造物認識部２３は、次に、ＳＴＥＰ５０において、高輝度画像部Ｃ２は、信号機構造物１１０の構成要素の画像ではないと判断する。
【０１４３】
なお、ＳＴＥＰ４１の判断結果が否定的である場合には、ＳＴＥＰ４９の判断処理を省略して、ＳＴＥＰ５０の処理を実行するようにしてもよい。
【０１４４】
以上が、本実施形態におけるＳＴＥＰ９の処理において、構造物認識部２３が、注意喚起対象物の候補（ＳＴＥＰ８で人間であると認定された候補）の画像が、信号機構造物１１０の構成要素であるか否かを判断する処理の詳細である。
【０１４５】
以上説明した本実施形態によれば、日本国において踏み切りの箇所に設置される信号機構造物１１０が、注意喚起対象物として誤認識されて、該信号機構造物１１０に対して運転者に対する注意を喚起する注意喚起処理が実行されてしまうような事態が生じるのを防止することができる。従って、必要性の乏しい注意喚起が運転者に対して行なわれるのを防止することができる。
【０１４６】
また、信号機構造物１１０が設置される踏み切りの周辺（近辺）に、車両１が存在することを必要条件として、ＳＴＥＰ４２〜４６の処理（ＳＴＥＰ４２、４４、４６の判断結果がいずれも肯定的となる高輝度画像部Ａ２，Ｂ２，Ｃ２の組（特徴画像部群）が存在するか否かを検知する処理）を実行するので、車両周辺監視装置１０の演算処理負荷を軽減することができる。
【０１４７】
さらに、高輝度画像部Ｃ２が、信号機構造物１１０の構成要素の画像であると判断された場合には、赤外線カメラ１１の撮像画像において、高輝度画像部Ｃ２の上方に存在する注意喚起対象物の候補の画像が、ＳＴＥＰ４２〜４６の処理を経ずに、注意喚起対象物の画像ではないと判断されるので、これによっても、車両周辺監視装置１０の演算処理負荷を軽減することができる。
【符号の説明】
【０１４８】
１…車両、１０…車両周辺監視装置、１１…赤外線カメラ、２１…注意喚起対象物検出部（注意喚起対象物検出手段）、２２…注意喚起処理部（注意喚起処理手段）、２３…構造物認識部（構造物認識手段）。
【図１】
0005480925.tif 000002
【図２】
0005480925.tif 000003
【図３】
0005480925.tif 000004
【図４】
0005480925.tif 000005
【図５】
0005480925.tif 000006
【図６】
0005480925.tif 000007
【図７】
0005480925.tif 000008
【図８】
0005480925.tif 000009
【図９】
0005480925.tif 000010