(57)【要約】      （修正有）【課題】ガードレールを正確に認識する対象物認識装置を提供する。【解決手段】対象物認識装置５０は、遠赤外線画像において、第１の輝度値に基づき、前方車両のタイヤが接地する部分を検出する接地部分検出部５１と、可視画像において、タイヤが接地する部分に基づく所定の領域を、対象物の候補として抽出するガードレール候補抽出部５２と、対象物の候補の幅を計測する候補幅計測５３と、対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定するガードレール判定部５４とを備える。【選択図】図１
2017174174.tif 000002
【特許請求の範囲】
【請求項１】
遠赤外線画像において、第１の輝度値に基づき、前方車両の所定の目印の輪郭を検出する検出部と、
可視画像において、前記所定の目印の輪郭により定まる所定の領域を、対象物の候補として抽出する抽出部と、
前記対象物の候補の幅を計測する計測部と、
前記対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定する判定部と
を備えることを特徴とする対象物認識装置。
【請求項２】
前記所定の目印の輪郭により定まる所定の領域は、前記前方車両のタイヤが接地する部分を基準に定められた線と交差する所定の領域である
ことを特徴とする請求項１に記載の対象物認識装置。
【請求項３】
前記所定の領域は、第２の輝度値以上の領域であり、かつ、その領域が所定の形状を有する領域である
ことを特徴とする請求項１又は請求項２に記載の対象物認識装置。
【請求項４】
前記判定部は、前記対象物の候補の幅が所定値以上でない場合には、その対象物の候補を第２の対象物と判定し、
前記判定した第２の対象物に基づいて道路を検出し、その道路に第３の輝度値以下の領域であり、かつその領域が所定の面積以上の領域を、第３の対象物として検出する道路状態判定部をさらに備える
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の対象物認識装置。
【請求項５】
天候又は気温に関する情報を取得する情報取得部をさらに備え、
第１の輝度値は、前記情報取得部で取得した天候又は気温に関する情報に基づき変更される
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の対象物認識装置。
【請求項６】
天候又は気温に関する情報を取得する情報取得部をさらに備え、
前記第３の輝度値及び前記所定の面積は、前記情報取得部で取得した天候又は気温に関する情報に基づき変更される
ことを特徴とする請求項４に記載の対象物認識装置。
【請求項７】
遠赤外線画像において、第１の輝度値に基づき、前方車両の所定の目印の輪郭を検出するステップと、
可視画像において、前記所定の目印の輪郭により定まる所定の領域を、対象物の候補として抽出するステップと、
前記対象物の候補の幅を計測するステップと、
前記対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定するステップと
を有することを特徴とする対象物認識方法。
【請求項８】
コンピュータに、
遠赤外線画像において、第１の輝度値に基づき、前方車両の所定の目印の輪郭を検出する手順と、
可視画像において、前記所定の目印の輪郭により定まる所定の領域を、対象物の候補として抽出する手順と、
前記対象物の候補の幅を計測する手順と、
前記対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定する手順と
を実行させるための対象物認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象物認識装置、対象物認識方法及び対象物認識プログラムに関する。
【背景技術】
【０００２】
道路空間を認識する技術が開発されている。例えば、特許文献１には、道路路肩の空間認知方法において、レーダのドップラー効果を用いて固定物体及び移動物体を識別し、レーダ及び超音波センサーを用いて固定物体との距離を認知して固定物体をガードレールと判断し、カメラを用いて実線車線を認識することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０８５３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に係る道路空間の認識方法では、形状を識別するのに適していないレーダを用いてガードレールを識別し判断しており、ガードレールと大型車両などとを誤認識することがあった。
【０００５】
本発明は、このような問題を解決するためになされたものであり、ガードレールを正確に認識することができる対象物認識装置、対象物認識方法及び対象物認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、遠赤外線画像において、第１の輝度値に基づき、前方車両の所定の目印の輪郭を検出する検出部と、可視画像において、所定の目印の輪郭により定まる所定の領域を、対象物の候補として抽出する抽出部と、対象物の候補の幅を計測する計測部と、対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定する判定部とを備えた対象物認識装置を提供する。
【０００７】
また、本発明は、遠赤外線画像において、第１の輝度値に基づき、前方車両の所定の目印の輪郭を検出するステップと、可視画像において、所定の目印の輪郭により定まる所定の領域を、対象物の候補として抽出するステップと、対象物の候補の幅を計測するステップと、対象物の候補の幅が所定値以上である場合には、その対象物の候補を第１の対象物と判定するステップとを有する対象物認識方法を提供する。
【発明の効果】
【０００８】
本発明により、ガードレールを正確に認識する対象物認識装置、対象物認識方法及び対象物認識プログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係るガードレール認識システム１の概略構成を示すブロック図である。
【図２】実施の形態に係る対象物認識方法の処理手順を示すフローチャートである。
【図３】実施の形態に係る遠赤外線画像の例である。
【図４】実施の形態に係る可視画像の例である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本実施の形態に係るガードレール認識システム及び対象物認識方法について説明する。
まず、本実施の形態に係るガードレール認識システムの構成について説明する。
図１は、本実施の形態に係るガードレール認識システム１の概略構成を示すブロック図である。
【００１１】
ガードレール認識システム１は、車両に搭載されており、遠赤外線カメラ（ＦＩＲ（Far Infrared）カメラ）１０、可視カメラ２０、ナビ情報装置３０、ＣＡＮ（Control Area Network）情報装置４０、対象物認識装置５０、警告装置６０などを備えている。
【００１２】
遠赤外線カメラ１０は、車両前部のバンパーなどに設置され、車両前方の遠赤外線画像を撮像して対象物認識装置５０に出力する。遠赤外線カメラ１０は、撮影対象物の遠赤外線の放射量に従った画像信号を得ることができる。このため、遠赤外線画像は、画素毎の、当該画素において受け入れた遠赤外線の放射量を示す多値のデータ値から構成される。つまり、遠赤外線画像の各画素の輝度値は温度差を表わし、相対温度が高いほど輝度値が大きく、相対温度が低いほど輝度値が小さくなる。
【００１３】
可視カメラ２０は、車両内部、例えば、バックミラー付近に設置されて、車両前方の可視画像を撮像し、対象物認識装置５０に出力する。なお、可視カメラ２０は可視光を撮像できるカメラであり、例えば、光を結像させるレンズ、ＣＣＤ（Charge-Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを備えたカメラである。
【００１４】
ナビ情報装置３０は、天候、交通量などのナビゲーション情報を取得し、対象物認識装置５０に出力する。ナビ情報装置３０は、通信モジュール（図示せず）を備えた装置であり、例えば、携帯電話やスマートフォンである。ナビ情報装置３０と対象物認識装置５０とは、ケーブルなどの有線、又は、ブルートゥース（登録商標）やＷｉ-Ｆｉ（登録商標）などの無線で接続する。そして、通信モジュールにより、ネット回線を介して、所定のサーバにアクセスすることにより、天候、交通量などのナビゲーション情報を取得する。
【００１５】
なお、対象物認識装置５０が通信モジュールを有して、ナビ情報装置３０と対象物認識装置５０とを一体とする構成としてもよい。さらには、ナビ情報装置３０は、天候と交通量とをそれぞれ別々の通信回線を用いて取得することもあるため、別々の通信モジュールを備えるものとしてもよい。例えば、交通量のナビゲーション情報をＶＩＣＳ（Vehicle Information and Communication System）（登録商標）を利用してＦＭ放送の受信機やビーコンなどの通信モジュールにより取得し、天候のナビゲーション情報をサーバを利用してインターネットと接続可能な通信モジュールにより取得してもよい。
【００１６】
ＣＡＮ情報装置４０は、ＣＡＮコントローラチップ（図示せず）を搭載した装置である。ＣＡＮ情報装置４０は、車両に備えられた各デバイス（図示せず）とシリアルバスなどのネットワークを介して接続しており、各デバイスに情報を送信することができ、また、各デバイスから情報を受信することができる。これらのデバイスの中には、車両の外気温を計測する温度計も含まれ、ＣＡＮ情報装置４０は当該温度計から外気温などのＣＡＮ情報を取得し、その情報を対象物認識装置５０に出力する。なお、対象物認識装置５０がＣＡＮコントローラチップを搭載して、ＣＡＮ情報装置４０と対象物認識装置５０とを一体とする構成としてもよい。
【００１７】
対象物認識装置５０は、遠赤外線画像、可視画像、ナビ情報、ＣＡＮ情報などに基づいて、ガードレール及び路面状態を認識する。また、対象物認識装置５０は、路面状態に問題があるときは、その旨を警告装置６０に出力する。このため、対象物認識装置５０は、接地部分検出部５１、ガードレール候補抽出部５２、候補幅計測部５３、ガードレール判定部５４、道路状態判定部５５、記憶部５６、画像入力部５７、情報入力部５８、警告情報出力部５９などを備える。接地部分検出部５１、ガードレール候補抽出部５２、候補幅計測部５３、ガードレール判定部５４及び道路状態判定部５５は、例えば、ＣＰＵ（Central Processing Unit）である。記憶部５６は、例えば、メモリなどである。これらの構成の詳細については後述する。
【００１８】
画像入力部５７は、遠赤外線カメラ１０及び可視カメラ２０から撮影された画像を取得する。情報入力部５８は、ナビ情報装置３０及びＣＡＮ情報装置４０で取得された情報を取得する。警告情報出力部５９は、後述する警告装置６０に警告をする旨の指示を信号として出力する。なお、ナビ情報装置３０又はＣＡＮ情報装置４０と、対象物認識装置５０とが一体化された構成にあっては、画像入力部５７又は情報入力部５８はなくてもよい。
【００１９】
警告装置６０は、路面状態に問題がある旨の警告を運転者などに対して表示する。警告装置６０は、液晶ディスプレイなどの表示部（図示せず）を備えており、上記警告を表示部に表示する。また、警告装置６０は、スピーカ（図示せず）を備えており、スピーカを通して音声として上記警告を発する。なお、警告装置６０自体に表示部又はスピーカを備えずに、警告装置６０が、外部の表示装置又はスピーカに有線又は無線により接続可能な接続部を備える構成としてもよい。この場合には、警告装置６０は、外部の表示装置又はスピーカに対して、警告をする旨の指示を信号として出力する。
【００２０】
なお、対象物認識装置５０が実現する各構成要素は、例えば、コンピュータである対象物認識装置５０が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。具体的には、対象物認識装置５０は、記憶部５６に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
【００２１】
また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせなどにより実現してもよい。
【００２２】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、対象物認識装置５０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００２３】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００２４】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって対象物認識装置５０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを対象物認識装置５０に供給できる。
【００２５】
次に、本実施の形態に係るガードレール認識システム１の動作、すなわち、対象物認識方法について説明する。
図２は、本実施の形態に係る対象物認識方法の処理手順を示すフローチャートである。
ガードレール認識システム１が動作を開始すると、接地部分検出部５１が、ナビ情報装置３０から入力された天候、交通量などのナビゲーション情報、及び、ＣＡＮ情報装置４０から入力された外気温などのＣＡＮ情報に基づいて、タイヤ、マフラなどの温度及び認識対象であるガードレールの温度を予測し、遠赤外線画像からタイヤ、マフラなど検出する第１の輝度値を設定する（ステップＳ１０）。
【００２６】
具体的には、記憶部５６には、外気温（例えば、２５〜３０℃、３０〜３５℃）、天候（例えば、晴れ、雨）及び交通量（例えば、多い、少ない）と、先行車両のタイヤ又はマフラであると判別するためのしきい値とが関連付けられて、複数記憶されている。そして、入力された天候、交通量などのナビゲーション情報及び外気温などのＣＡＮ情報から、該当するしきい値を選択し、これをタイヤ又はマフラを検出するための第１の輝度値として設定する。
【００２７】
なお、以降、ガードレール認識システム１を搭載した自車両と進行方向が同じである先行車両を例に説明をするが、自車両と進行方向が逆である対向車両を例としてもよい。要するに、遠赤外線カメラ１０及び可視カメラ２０の前方に位置する前方車両であればよい。
【００２８】
次に、接地部分検出部５１は、遠赤外線カメラ１０から入力された遠赤外線画像に基づいて、先行車両を検出する（ステップＳ２０）。具体的には、遠赤外線画像の各画素の輝度値と、上述した第１の輝度値と比較して、第１の輝度値以上の画素の領域を抽出する。そして、抽出された画素の領域の位置関係及びその範囲により、ガードレール認識システム１を搭載した自車両の走行車線上の先行車両を判別する。具体的には、抽出された画素の領域について、遠赤外線画像におけるその位置を算出する。
【００２９】
そして、接地部分検出部５１は、遠赤外線画像における位置が、遠赤外線画像において、所定の位置関係及び所定の範囲に属していれば、抽出された領域又はその周辺領域を先行車両として判別する。例えば、二つの抽出された画像の領域の位置が、それぞれ所定の位置関係にあり、画像の中央付近の範囲に属していれば、その二つの抽出された領域をタイヤとして、その周辺領域を先行車両として判別する。これは、遠赤外線カメラが所定の位置に固定されている場合に、先行車両のタイヤの位置は所定の範囲内に限られるためである。そして、先行車両として判別された場合には、その抽出された画素の領域をタイヤとして判別する。なお、タイヤを例にして説明したが、所定の目印の位置関係及び所定の範囲に基づいて、先行車両として判別してもよい。
【００３０】
なお、接地部分検出部５１は、自車両の反対車線上の対向車両も、所定の範囲を変更することで同様に判別することができる。このとき、所定の範囲を記憶部５６に記憶させておき、接地部分検出部５１に出力する構成とすればよい。
次に、接地部分検出部５１は、ステップＳ２０で検出した先行車両におけるタイヤが接地する部分（タイヤ接地部分）を検出する（ステップＳ３０）。具体的には、タイヤとして判別された領域の下部において、輝度値が急激又は不連続に変化する画素、つまりエッジをタイヤ接地部分として判別する。また、所定の目印においては、上述の通り、エッジを目印の輪郭として判別してもよい。
【００３１】
図３は、本実施の形態に係る遠赤外線画像の例である。
この画像は、夜間に撮影されたものであり、ヘッドライト、テイルランプなどの領域も温度が高く、輝度も高くなっているが、タイヤの領域が特に輝度が高くなっており、タイヤの接地部分（図３中の丸マークの箇所）、及び、先行車両（図３中の四角マークの箇所）を容易に検出できることが分かる。
【００３２】
なお、接地部分検出部５１は、ステップＳ２０で先行車両を検出できなかったとき、又は、ステップＳ３０でタイヤ接地部分を検出できなかったときに、過去に検出された先行車両のタイヤ接地部分を記憶部５６などから読み出して、以下の処理に供することもできる。
【００３３】
次に、ガードレール候補抽出部５２が、可視カメラ２０から入力された可視画像において、タイヤ接地部分に基づき、所定の領域を対象物の候補（ガードレール候補）として抽出する（ステップＳ４０）。
具体的には、ガードレール候補抽出部５２は、第２の輝度値（例えば、輝度値が２４０）以上の画素の領域であり、その画素の領域の形状が所定の形状（例えば、長方体）である領域を抽出する。そして、抽出された領域のうち、タイヤが接地する部分を基準に定められた線と交差する領域をさらに抽出する。
【００３４】
なお、タイヤが接地する部分を基準に定められた線とは、例えば、先行車両と判別された２つのタイヤの接地部分の中心点をそれぞれ結んだ線でもよく、また、いずれかのタイヤの接地部分の両端を結んだ線でもよい。なお、所定の目印においては、目印の輪郭と接する水平方向の線を用いればよい。
そして、ガードレール候補抽出部５２は、この線上の画素を走査し、タイヤ接地部分の水平方向の線と交差する複数の領域を抽出する。なお、可視カメラ２０から入力された可視画像を対象に領域を抽出したが、上記方法により、遠赤外線画像から複数の領域を抽出しても構わない。
【００３５】
なお、上記方法では、遠赤外線画像により判別されたタイヤ接地部分により、可視画像から複数の領域を抽出しており、一方の画像の情報を他方の画像の情報に用いている。これは、遠赤外線カメラ１０及び可視カメラ２０がともに固定されている場合には、それぞれの位置を予め計測することにより可能となる。また、これらのカメラが固定されていない場合には、両方の画像で撮影されている対象物を基準にして、一方の画像の情報を他方の画像の情報に用いることにより可能となる。これら以外にも、種々の公知技術を用いることも可能である。
【００３６】
次に、候補幅計測部５３が、タイヤが接地する部分を基準に定められた線の線上における、抽出されたガードレール候補の幅を算出する（ステップＳ５０）。
そして、ガードレール判定部５４が、算出されたガードレール候補の幅を所定の長さと比較し（ステップＳ６０）、ガードレール候補の幅が所定の長さ以上でない場合（ステップＳ６０のＮｏ）には、そのガードレール候補を第２の対象物（白線）として判別する（ステップＳ７０）。また、ガードレール候補の幅が所定の長さ以上である場合（ステップＳ６０のＹｅｓ）には、そのガードレール候補を第１の対象物（ガードレール）として判別する（ステップＳ８０）。
【００３７】
この所定の長さは記憶部５６に記憶させ、ガードレール判定部５４に送信することで、タイヤが接地する部分を基準に定められた線の線上における、ガードレール候補の幅との比較を行う。本発明では、タイヤの接地部分を基準にすることで、道路の面を基準にすることができる。この基準に基づき、ガードレール候補の幅を算出することができ、道路に対して高さを持ち、画像上での幅が大きいガードレールと、道路に対して高さを持たず、画像上での幅が小さい白線とを区別することができる。
【００３８】
図４は、本実施の形態に係る可視画像の例である。
ガードレール候補抽出部５２は、画像から複数の領域（例えば、図４中の破線で囲った部分の４箇所）を抽出し、タイヤ接地部分（図４中の丸マークの２箇所）を基準に定められた線に基づき、水平方向に走査し（図４中の横実線）、交差する領域の幅が所定の長さ以上でない領域を白線と認識し（図４中の逆三角マークの３箇所）、交差する領域の幅が所定の長さ以上である領域をガードレールと認識する（図４中の四角マークの１箇所）。
【００３９】
次に、道路状態判定部５５は、ステップＳ７０で白線と判定された領域に基づいて自車両が走行する道路を検出する。そして、遠赤外線画像において、検出した道路に低温の領域（輝度値が小さい領域）があるときに、当該低温の領域を第３の対象物（路面の凍結、水溜りなど）として検出する（ステップＳ９０）。
【００４０】
具体的には、道路状態判定部５５は、検出された道路において、第３の輝度値以下の領域を判別する。判別された領域の面積が所定の面積以上である場合には、凍結、水溜りなどとして検出する。なお、低温の領域を判別する第３の輝度値及び所定の面積は記憶部５６に記憶され、道路状態判定部５５に送出する。さらに、記憶部５６が、低温の領域を判別する第３の輝度値及び所定の面積を複数記憶しており、道路状態判定部５５が、天候、交通量などのナビゲーション情報、及び、ＣＡＮ情報装置４０から入力された外気温などのＣＡＮ情報に基づいて、本判別に用いる第３の輝度値又は面積を選択してもよい。さらに、天候が、例えば、雨天のときには水溜りが多く、常に警告されてしまうこと、及び、自車両の運転手も注意を払うことを踏まえて、本警告を作動しないように設定してもよい。
【００４１】
そして、道路状態判定部５５は、路面の凍結、水溜りなどを検出したかを判定し（ステップＳ１００）、路面の凍結などを検出したとき（ステップＳ１００のＹｅｓ）は、警告信号を警告装置６０に出力し、警告装置６０が警告を表示した上で（ステップＳ１１０）、ガードレール認識処理を継続するか否かを判断する（ステップＳ１２０）。路面の凍結、水溜りなどを検出しなかったとき（ステップＳ１００のＮｏ）は、警告装置６０が警告を表示せずに、ガードレール認識処理を継続するか否かを判断する（ステップＳ１２０）。
【００４２】
そして、対象物認識装置５０は、ガードレール認識処理を継続するとき（ステップＳ１２０のＹｅｓ）はステップＳ２０に戻り、継続しないとき（ステップＳ１２０のＮｏ）は処理を終了する。
このように、本実施の形態に係るガードレール認識システム１又は対象物認識方法は、遠赤外線画像から抽出したタイヤの接地部分に基づいて、ガードレールを白線と区別して正確に認識することができる。
【００４３】
なお、本実施の形態に係るガードレール認識システム１又は対象物認識方法を、ガードレール認識の結果に基づいて道路白線や路肩の認識精度を高める道路白線認識システムや、路肩認識システム、又は、ガードレールなどとの衝突を防止する衝突防止システムとして構成してもよい。
また、所定の輝度値、所定の長さ、低温の領域を判別する輝度値及び所定の面積は記憶部５６に記憶する構成としたが、ナビ情報装置３０の通信モジュールを介して外部からこれらの情報を取得し、記憶部５６に記憶する構成としてもよい。
【符号の説明】
【００４４】
１    ガードレール認識システム
１０    遠赤外線カメラ
２０    可視カメラ
３０    ナビ情報装置
４０    ＣＡＮ情報装置
５０    対象物認識装置
５１    接地部分検出部
５２    ガードレール候補抽出部
５３    候補幅計測部
５４    ガードレール判定部
５５    道路状態判定部
５６    記憶部
５７    画像入力部
５８    情報入力部
５９    警告情報出力部
６０    警告装置
【図１】
2017174174.tif 000003
【図２】
2017174174.tif 000004
【図３】
2017174174.tif 000005
【図４】
2017174174.tif 000006