(57)【要約】【課題】夏季など環境温度が上昇した場合でも、障害物を高精度に判別する。【解決手段】自車両の周辺の熱画像を取得する赤外線カメラ１と、赤外線カメラ１により取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出し、抽出された特徴点に対応する部位の温度を検出する特徴点抽出部３１と、赤外線カメラ１により取得された熱画像を分割して分割領域を設定する画像領域分割部３２と、画像領域分割部３２により設定された分割領域について、特徴点抽出部３１により抽出され、検出された温度に基づく点数化を行なう分割領域点数化部３３と、分割領域点数化部３３により点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出部３４と、障害物領域抽出部３４により抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別部３５とを備えている。【選択図】    図１
2006350702.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺の熱画像を取得する熱画像取得手段と、
前記熱画像取得手段により取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に対応する部位の温度を検出する特徴点温度検出手段と、
前記熱画像取得手段により取得された熱画像を分割して分割領域を設定する画像領域分割手段と、
前記画像領域分割手段により設定された分割領域について、前記特徴点抽出手段により抽出された特徴点、及び前記特徴点温度検出手段により検出された温度に基づく点数化を行なう分割領域点数化手段と、
前記分割領域点数化手段により点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出手段と、
前記障害物領域抽出手段により抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別手段と
を備えたことを特徴とする障害物検出装置。
【請求項２】
前記画像領域分割手段は、前記熱画像取得手段により取得された同一の熱画像を、短冊状分割領域とメッシュ状分割領域の二通りに分割することを特徴とする請求項１記載の障害物検出装置。
【請求項３】
前記画像領域分割手段は、前記熱画像取得手段により取得された熱画像を少なくともメッシュ状分割領域に分割し、
前記障害物領域抽出手段は、前記画像領域分割手段により分割されたそれぞれのメッシュ状分割領域を縦、横の少なくとも一方向に統合して短冊状障害物領域を作成することを特徴とする請求項１または２記載の障害物検出装置。
【請求項４】
前記障害物領域抽出手段は、前記画像領域分割手段により分割された短冊状分割領域とメッシュ状分割領域に基づいて、短冊状障害物領域とメッシュ状障害物領域を抽出し、
所定の前記メッシュ状障害物領域を元にして横方向に前記短冊状障害物領域を探索し、探索した前記短冊状障害物領域まで前記メッシュ状分割領域を統合して横方向短冊状障害物領域を作成することを特徴とする請求項２記載の障害物検出装置。
【請求項５】
前記障害物判別手段は、所定時間前の検出結果に基づいて現在の検出結果を補正することを特徴とする請求項１乃至４のいずれか記載の障害物検出装置。
【請求項６】
自車両の周辺の熱画像を取得する熱画像取得工程と、
前記熱画像取得工程において取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出工程と、
前記特徴点抽出工程において抽出された特徴点に対応する部位の温度を検出する特徴点温度検出工程と、
前記熱画像取得工程において取得された熱画像を分割して分割領域を設定する画像領域分割工程と、
前記画像領域分割工程において設定された分割領域について、前記特徴点抽出工程において抽出された特徴点、及び前記特徴点温度検出工程において検出された温度に基づく点数化を行なう分割領域点数化工程と、
前記分割領域点数化工程において点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出工程と、
前記障害物領域抽出工程において抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別工程と
を有することを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の周辺の障害物を検出する障害物検出装置及び方法に関する。
【背景技術】
【０００２】
歩行者と他車両とを判別する従来技術が、下記特許文献１に記載されている。この技術では、赤外線カメラから得られた熱画像の中から、所定の温度以上の領域を抽出することで歩行者が存在する候補領域を抽出する。次に、歩行者の候補領域として抽出された熱源の上部を探索し、ある一定の領域内に車両の一部と思われる水平エッジが検出された場合、その熱源は車両の構成部位の一部であるとして、歩行者と車両との区別をつけるというものである。
【０００３】
【特許文献１】特開２００４−３４８６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、赤外線画像からある一定温度以上の領域を切り出し、二値化を行なった場合に、歩行者や車両の候補領域が含まれていなければならない。このため、夏季など、環境温度が上昇し、歩行者と同等の温度となるような場合には、歩行者領域の切り出しが困難となる場合があった。  
本発明の目的は、夏季など、環境温度が上昇した場合でも、障害物を高精度に判別することができる障害物検出装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、自車両の周辺の熱画像を取得する熱画像取得手段と、取得された熱画像から周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出手段と、抽出された特徴点に対応する部位の温度を検出する特徴点温度検出手段と、取得された熱画像を分割して分割領域を設定する画像領域分割手段と、設定された分割領域について、前記特徴点抽出手段により抽出された特徴点及び検出された温度に基づく点数化を行なう分割領域点数化手段と、点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出手段と、抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別手段とを備えている。
【発明の効果】
【０００６】
本発明によれば、夏季など、環境温度が上昇した場合でも、障害物を高精度に判別することができる障害物検出装置及び方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
《実施の形態１》
〈装置の構成〉
図１は本発明の実施の形態１の障害物検出装置の構成図である。  
図１において、１は赤外線カメラ、２は記憶部、３は演算部、２１は画像メモリ、２２はメモリ、３１は特徴点抽出部、３２は画像領域分割部、３３は分割領域点数化部、３４は障害物領域抽出部、３５は障害物判別部である。
【０００８】
本実施の形態では、熱画像取得手段である赤外線カメラ１と、赤外線カメラ１により取得された熱画像及び演算部３の演算結果を記憶する記憶部２と、赤外線カメラ１により取得された熱画像から障害物が存在する領域を算出するための演算部３とを有する。このように熱画像取得手段としては、自車両の周辺の温度情報を遠赤外線により検知し、熱データを有する熱画像を取得する赤外線カメラ１を備えており、取得された熱画像は記憶部２の画像メモリ２１へと転送される。演算部３では、記憶部２の画像メモリ２１及びメモリ２２に記憶された情報に基づいて演算を行ない、自車両の前方などに障害物が存在する領域（以下、「障害物領域」と称す）を検出する。
【０００９】
赤外線カメラ１は、図２に示すような位置に車両に設置されている。図２は赤外線カメラ１の設置の様子を示す図であり、（ａ）は車両横方向から見たときの設置状態を示し、（ｂ）は車両上方から見たときの設置状態を示す。
【００１０】
図２に示すように、赤外線カメラ１は、例えば車両のグリル部に設置され、当該位置から車両前方の画像を熱データが含まれた形式で取得する構成となっている。なお、赤外線カメラ１の設置位置及び撮影方向は、図２に示すものに限定されず、他の設置位置及び撮影方向であっても良い。
【００１１】
ここで、赤外線カメラ１が取得する画像例について説明する。図３は赤外線カメラ１が取得する画像例を示す図である。図においてＷは歩行者、Ｅは電柱、Ｃは先行車両、Ｒは道路である。図３に示すように赤外線カメラ１は車両前方方向を撮影し、例えば、歩行者Ｗ、電柱Ｅ、先行車両Ｃ及び道路Ｒ等を含む熱画像を取得する。この熱画像は、複数の画素データで構成され、各画素データには座標データ及び熱データが含まれる。
【００１２】
再度、図１を参照する。記憶部２は、画像メモリ２１とメモリ２２を備えている。また、演算部３は特徴点抽出部３１と、画像領域分割部（分割領域設定部）３２と、分割領域点数化部（分割領域投票部）３３と、障害物領域抽出部３４と、障害物判別部３５とを備えている。
【００１３】
画像メモリ２１は赤外線カメラ１から取得した熱画像のデータを時系列に保存していく。すなわち、画像メモリ２１は、図３に示したような熱画像を、各画素の座標データ及び熱データを含んで記憶していく。
【００１４】
図４（ａ）、（ｂ）は特徴点について説明する図である。  
図１の特徴点抽出部３１は、赤外線カメラ１により取得された熱画像の熱データから、周辺画素との輝度変化が大きい画素、例えば図４に示すように対象画素と周囲画素とを比較した時、領域の角となるような所定以上の輝度変化を持つ画素を特徴点Ｆとして抽出する。ここで、特徴点Ｆが持つ周囲との輝度差に応じて特徴点Ｆの強度を設定しても良い。例えば、周辺画素との輝度差が大きい特徴点Ｆについては、強い強度を、周辺画素との輝度差が小さい特徴点Ｆについては、弱い強度とする。
【００１５】
特徴点Ｆを抽出する手法としては、画像処理では例えばコーナーフィルタと呼ばれるものを用いて抽出すればよい。具体的には例えば、Jianbo  Shi,  Carlo  Tomasi,  "Good  Features  to  Track",  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR'94) pp.593-600に、トラッキングを行なうのに適している画素を画像中から抽出する手法が述べられている。ここで取り出されるのは撮像された物体領域の角である。よって、特徴点はこの文献で提案されているような手法を用いることで抽出することが可能である。
【００１６】
図５は熱画像から抽出された特徴点、分割領域の設定、障害物領域の抽出について説明するための図である。図５において、ＲＤ１、ＲＤ２、ＲＤ３、ＲＤ４、ＲＤ５は短冊状（矩形）分割領域である。図３の熱画像から特徴点Ｆを抽出した結果、図５中に複数の丸で示される特徴点Ｆの出力結果が得られる。なお、特徴点Ｆを抽出すると同時に、その特徴点Ｆに該当する画素の温度も併せて抽出しておく。
【００１７】
画像領域分割部３２は、検出対象となる障害物のアスペクト比を考慮した形状で、画像を複数の分割領域に分割する。例えば、縦長の形状を持つ対象物体であれば、図５の分割領域ＲＤ５のような縦長の矩形として分割する。
【００１８】
分割領域点数化部３３は、画面領域分割部３２で分割され、特徴点抽出部３１で抽出された特徴点が所属する位置にあるそれぞれの分割領域に投票し、各分割領域の点数化を行なう。また、投票の際には、特徴点に該当する画素の温度に応じて、高温特徴点の投票点数と、中温特徴点の投票点数とを分けて点数化を行なう。
【００１９】
障害物領域抽出部３４は、分割領域点数化部３３にて点数化された分割領域の中から、障害物に相当する点数を持つ障害物領域を抽出する。また、高温特徴点に対応する点数と、中温特徴点に対応する点数があることから、それぞれ、高温障害物領域と、中温障害物領域とに分けて抽出する。
【００２０】
障害物判別部３５は、障害物領域抽出部３４により抽出された障害物領域から、高温障害物領域と、中温障害物領域との関係に基づいて、他車両に該当する領域を算出する。
【００２１】
なお、メモリ２２は、特徴点抽出部３１、画像領域分割部３２、分割領域点数化部３３、障害物領域抽出部３４、障害物判別部３５に接続されている。そして、特徴点抽出部３１にて抽出された特徴点（あるいは及びその強度）、画像領域分割部３２にて分割された分割領域、分割領域点数化部３３にて点数化された分割領域ごとの点数、障害物領域抽出部３５にて抽出された障害物領域、障害物辺別部３５にて判別された障害物情報が記憶され、また読み出しができるようになっている。
【００２２】
〈動作の流れ〉
次に、本実施の形態の動作の流れについて説明する。図６は本実施の形態の動作の流れを示すフローチャートである。  
まず、Ｓ１０１にて、赤外線カメラ１により撮像を行ない、図３に例示したような熱画像を取得する。
【００２３】
次に、Ｓ１０２にて、画像に処理を行い、ノイズの低減を行なう。このノイズ低減手法としては、例えば、隣接する４つの画素の平均値を出力値とする画素結合を行い、画像を縦横それぞれ１／２とした縮小画像を作る方法や、周囲画素との中央値を出力するメディアンフィルタ等を用いる手法がある。また、後に続く処理の性能向上のため、画像処理ではエッジ保存平滑化と呼ばれるような、エッジ部の情報は保存したまま、ノイズ除去をする手法を用いるとなお良い。
【００２４】
次に、Ｓ１０３にて、熱画像において特徴点の抽出を行なう。この特徴点の抽出手法としては、例えば前述のように図４に示したような物体の領域の角（もしくは領域の角に隣接する画素）を特徴点として抽出するコーナーフィルタを用いることができる。また、前述のようにこの特徴点の抽出の過程で特徴点の強度も合わせて算出しておくことが望ましい。なお、この特徴点は、路面領域などの画像中で温度変化が連続的に現れる領域には出現しない。温度変化が密であったり、面構成が一様ではなく赤外線の放射方向が一様ではなかったり等の理由により、熱画像上では輝度値変化が現れやすい障害物が存在する障害物領域に多く出現する。また、この特徴点の抽出の際、特徴点に対応する画素の温度（輝度値）も併せて抽出しておく。
【００２５】
次に、Ｓ１０４にて、熱画像を対象となる障害物に対応したアスペクト比を持つ画像領域に分割し、分割領域を設定する。ここでは、アスペクト比を保ったまま、障害物を検出したい距離に応じて、分割するサイズを変更しても構わない。
【００２６】
次に、Ｓ１０５にて、Ｓ１０３にて抽出された特徴点の位置と温度（輝度値）に応じて、Ｓ１０４にて分割された対応するそれぞれの分割像領域に対して投票することで、分割領域の点数化を行なう。
【００２７】
図７は特徴点の温度について説明する図である。図において、Ｊ１は歩行者相当温度を含む中温部、Ｊ２は他車両のマフラー相当温度を含む高温部である。この分割領域の点数化に際しては、Ｓ１０３にて抽出された特徴点の温度情報を用いて、図７に示すように、歩行者相当温度等の中温部Ｊ１を持つ特徴点を中温特徴点、歩行者より高い高温度Ｊ２を持つ特徴点を高温特徴点として、高温特徴点と中温特徴点にそれぞれ分けて点数化を行なう。よって、各分割領域のそれぞれに対して、高温特徴点の点数と、中温特徴点の点数と二通りの点数が算出されることとなる。ここで、図７に示すように、中温部Ｊ１と高温部Ｊ２を多少オーバーラップさせて、中温部Ｊ１と高温部Ｊ２の両方の点数に加算する特徴点も設けてもよい。歩行者の温度や、他車両のマフラーの温度は常に一定ではないという問題があるが、このように冗長性を持たせることで、歩行者の検出漏れや、マフラー部の検出漏れを防ぐことができる。
【００２８】
また、Ｓ１０３にて特徴点の強度が算出されている場合は、その強度に応じて投票する点数を重み付けすると良い。例えば特徴点が３００点抽出された場合、上位１／３となる１００点を３点、中位１／３の１００点を２点、下位１／３の１００点を１点とするなどである。もちろん、得点の傾斜配分についてはこれに限定されず、抽出目的とする障害物などによって変更しても構わない。
【００２９】
特徴点の強度について追記しておくと、特徴点自体は、周囲画素との相対的な変化を見るため、強度そのものの絶対値は重要ではない。これは、例えば夏季に気温が上昇した場合、構造物や路上の歩行者、その他の障害物のそれぞれの間での温度差が小さくなった場合、特徴点の出現位置は、温度差が大きい冬季などと比較しても大きく変らないが、その強度の絶対値は冬季と比較して夏季の方が弱くなる傾向にある。しかし、冬季と夏季のそれぞれの画像中で見た場合、冬季の画像中で相対的に強い強度を持つ特徴点の出現場所は、夏季の画像中で相対的に強い強度を持つ特徴点が出現する場所とほぼ同じである。このことから、分割領域への投票時の得点傾斜配分は特徴点の絶対値を利用するのではなく、画像全体から抽出された特徴点の中での相対的な強度を用いて得点の傾斜配分を行なう方が望ましい。
【００３０】
次に、Ｓ１０６にて、Ｓ１０５にて点数化されたそれぞれの分割領域の中から、予め定めたある閾値以上の値を持つ領域を障害物領域として抽出する。なお、Ｓ１０５にて高温特徴点の点数と、中温特徴点の点数と二通りの点数を出しているため、高温障害物領域と、中温度障害物領域の二通りの障害物領域を算出する。
【００３１】
次に、Ｓ１０７にて、Ｓ１０６にて抽出された高温、中温それぞれの障害物領域を統合処理し、他車両が存在する車両領域を抽出する。先行車のマフラーは車両中央部付近にあるため、高温障害物領域として抽出できる。また、先行車のタイヤやテールランプ等の灯火類は車両の両端付近にあり、中温障害物領域として抽出できる。このことから、高温障害物領域をはさんで、中温障害物領域が連続して存在する部位を探索することで、車両を判別することが可能となる。
【００３２】
以上説明したように本実施の形態の障害物検出装置は、自車両の周辺の熱画像を取得する赤外線カメラ１と、赤外線カメラ１により取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出し、抽出された特徴点に対応する部位の温度を検出する特徴点抽出部３１と、赤外線カメラ１により取得された熱画像を分割して分割領域を設定する画像領域分割部３２と、画像領域分割部３２により設定された分割領域について、特徴点抽出部３１により抽出され、検出された温度に基づく点数化を行なう分割領域点数化部３３と、分割領域点数化部３３により点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出部３４と、障害物領域抽出部３４により抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別部３５とを備えている。
【００３３】
また、本実施の形態の障害物検出方法は、自車両の周辺の熱画像を取得する熱画像取得工程と、前記熱画像取得工程において取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出工程と、前記特徴点抽出工程において抽出された特徴点に対応する部位の温度を検出する特徴点温度検出工程と、前記熱画像取得工程において取得された熱画像を分割して分割領域を設定する画像領域分割工程と、前記画像領域分割工程において設定された分割領域について、前記特徴点抽出工程において抽出された特徴点、及び前記特徴点温度検出工程において検出された温度に基づく点数化を行なう分割領域点数化工程と、前記分割領域点数化工程において点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出工程と、前記障害物領域抽出工程において抽出された複数の障害物領域の位置関係に基づいて、障害物の種類を判別する障害物判別工程とを有する。
【００３４】
前述のように上記特許文献１の従来技術においては、赤外線画像からある一定温度以上の領域を切り出し、二値化を行った場合に、歩行者や車両の候補領域が含まれていなければならない。このため、夏季など、環境温度が上昇し、歩行者と同等の温度となるような場合には、歩行者領域の切り出しが困難となる場合があった。また、前述のように検出された歩行者の候補領域の上方に水平エッジがあるかを検出し、車両であると認識する手法となっている。しかし、歩行者の候補領域と自車両との間の距離が分からないと、どの程度上方までの水平エッジをその歩行者候補領域に属させてよいのかが不明となってしまう。同様の理由により、対象物体間の距離を知るために、撮像するカメラを２台構成として、三角測量の方式で距離を算出するなどの必要があり、システムコストが上昇する上に、計算コストも多い手法である。これに対して、本実施の形態によれば、画像の局所的な変化を捉える特徴点を利用しているため、環境温度が歩行者と同等になる夏季等、環境温度が上昇した場合でも適用することが可能になり、障害物を高精度に判別することができる。また、抽出された特徴点を分割領域に投票・点数化し、その点数を元に障害物領域を検出するため、計算コストを低減することが可能となる。更に、特徴点を抽出した領域の温度を観察することで、高温の特徴点であれば、歩行者以外の物体であると容易に判別することが可能となり、先行車のマフラーである高温の障害物領域と、歩行者と同等温度を持つマフラーに隣接する領域や、タイヤなどをグループ化することで容易に車両と歩行者を区別することが可能となる。
【００３５】
《実施の形態２》
次に、本発明の実施の形態２について図８のフローチャートに基づいて説明する。なお、Ｓ２０１からＳ２０３までは、上記実施の形態１におけるＳ１０１からＳ１０３と同じ手順で実施するので、説明を省略する。
【００３６】
図９は特徴点の抽出結果及びメッシュ（網の目）状分割領域の区切り方、並びに障害物の検出結果（障害物領域）について説明する図である。図において、ＭＤ１、ＭＤ２、ＭＤ３はメッシュ状分割領域である。
【００３７】
次に、Ｓ２０４にて特徴点を投票するための分割領域として、図５に示したような例えば縦方向に長い短冊状分割領域ＲＤ１〜ＲＤ５と、図９に示すようなメッシュ状分割領域ＭＤ１〜ＭＤ３の二通りの分割領域に分割し、２種類の分割領域を作成する。
【００３８】
短冊状分割領域は、歩行者相当の温度領域（図７の中温部Ｊ１）に存在する中温特徴点を投票するために作成され、メッシュ状分割領域は、歩行者よりも高温の領域（図７の高温部Ｊ２）に存在する高温特徴点を投票するために作成される。このように分割領域の分割方法を短冊とメッシュの二通りに分ける理由としては、短冊状分割領域に、歩行者相当の温度を持つ中温特徴点を対応付けることで、歩行者の検出性能を向上させることが可能となる。また、メッシュ状分割領域に高温特徴点を対応付けることで、車両のマフラー部分を重点的に抽出することが可能となるためである。なお、短冊状分割領域と、メッシュ状分割領域の幅や高さは一致している必要はなく、メッシュ状分割領域の幅を短冊状分割領域の幅よりも広くすることも可能である。逆に、メッシュ状分割領域の幅を短冊状分割領域の幅よりも細かくすることも可能である。
【００３９】
Ｓ２０５からＳ２１０の手順では、抽出された特徴点と、それぞれの特徴点が持つ温度を利用して、Ｓ２０４にて作成された短冊状分割領域とメッシュ状分割領域に投票し、分割領域の点数化を行なう。まず、Ｓ２０３にて抽出された特徴点がある場合、Ｓ２０６に進み、特徴点の温度が高温であるか（高温特徴点であるか）を判別する。高温特徴点であれば、Ｓ２０７に進み、特徴点が対応する位置にあるメッシュ状分割領域に投票する。ここで、高温特徴点で無い場合は、Ｓ２０８に進み、歩行者相当の温度である中温特徴点であるかを判別する。中温特徴点であれば、Ｓ２０９にて特徴点が対応する位置にある短冊状分割領域に投票する。高温、中温のどちらでもない特徴点の場合は、利用しない特徴点として投票せず、Ｓ２０５に戻り、次の特徴点の処理へと移る。この処理をＳ２０３にて抽出された特徴点全てに対して行なう。
【００４０】
ここで、図７に示したように中温部Ｊ１と高温部Ｊ２とをオーバーラップさせて冗長性を持たせた場合には、中温特徴点、高温特徴点の両方に属する特徴点が出てくる。このため、Ｓ２０６の前に中温、高温の両方に属する特徴点かどうかを判別し、もしそうであれば、メッシュ状分割領域と短冊状分割領域の両方に投票する手順を加えればよい。
【００４１】
全ての特徴点について対応する各分割領域への投票を終えたら、Ｓ２１１に移って障害物領域の抽出を行なう。この抽出は、特徴点が投票され、点数化された各分割領域を観察し、ある一定値以上の点数となった領域を障害物領域として抽出する。
【００４２】
ここで、短冊状分割領域の抽出については、図５の短冊状分割領域ＲＤ５の全体を抽出するのではなく、特徴点Ｆが出現した部分のみで構成される短冊状分割領域ＲＤ４を抽出してもよい。図１０は短冊状障害物領域とメッシュ状障害物領域を用いて車両領域を抽出する方法について説明する図である。図において、ＲＯ１、ＲＯ２、ＲＯ３、ＲＯ４は短冊状障害物領域、ＭＯ１、ＭＯ２はメッシュ状障害物領域である。短冊状障害物領域ＲＯ１〜ＲＯ４と、メッシュ状障害物領域ＭＯ１、ＭＯ２を同一画面上に投影すると図１０に示すようになる。Ｓ２１１による障害物領域の抽出により、図１０に示すように短冊状障害物領域Ｒ１〜Ｒ４と、メッシュ状障害物領域Ｍ１、Ｍ２の二通りの障害物領域が抽出されることとなる。
【００４３】
次に、Ｓ２１２にて、Ｓ２１１にて抽出された障害物領域を用いて、障害物、例えば他車両の判別を行なう。ここで、マフラー部に相当する高温のメッシュ状障害物領域Ｍ２を挟むように、タイヤ・灯火類に相当する歩行者相当の温度を持つ短冊状障害物領域が存在する部位を探索し、中温の短冊状障害物領域ＲＯ２、ＲＯ３が存在するため、車両であると判別する。それ以外の領域、例えば図１０のメッシュ状障害物領域Ｍ１は、画像上部にある高温の単独の障害物であるため、街灯と判断することができる。また、図１０の中温の短冊状障害物領域ＲＯ１、ＲＯ４は、歩行者候補であるとすることができる。
【００４４】
なお、このＳ２１２の手順では、高温のメッシュ状障害物領域の両側に必ずしも中温の短冊状障害物領域が存在するとは限らない。このため、時系列でメッシュ状障害物領域の周辺を探索し、いずれかの時点で片側、もしくは両側に短冊状障害物領域が出現した場合に、車両であると判別するようにしてもよい。また、一度車両であるとして抽出された領域を、同様に時系列でトラッキングすることで、車両の判別性能を向上させることもできる。
【００４５】
また、前述のＳ２０４の手順にて、短冊状分割領域とメッシュ状分割領域の幅は一致しなくても良いと述べた。しかし、メッシュ状分割領域を短冊状分割領域の幅よりも広くすることで、車両と判別する際に、メッシュ状分割領域と短冊状分割領域とが重なりやすくなり、車両の検出性能を向上させることが可能となる。逆に、短冊状分割領域の幅よりメッシュ状分割領域の幅を小さくすることで、車両位置の検出分解能を向上させることが可能となる。また、メッシュは正方である必要はなく、要求性能に合わせて、横長、縦長のメッシュとしても良い。
【００４６】
このように本実施の形態では、画像領域分割部３２（図１）は、赤外線カメラ１により取得された同一の熱画像を、短冊状分割領域とメッシュ状分割領域の二通りに分割するようになっている。このように特徴点を投票する領域を高温特徴点と低温特徴点とで別の領域に分け、それぞれの投票する分割領域の形状を短冊状とメッシュ状の別々の形状とすることで、画像上で縦長に映ることが多い歩行者の検出性能を向上させるのと同時に、車両により画像上に映る形状が違う先行車のマフラーの検出性能を向上させることが可能となる。また、特徴点の投票行為自体は、投票する分割領域を分類するだけなので、計算コストを増大させること無く性能向上を実現することが可能となる。
【００４７】
また、障害物判別部部３５は、所定時間前の検出結果に基づいて現在の検出結果を補正するようになっている。このように車両の検出結果を時系列でフィードバックすることが可能となる。このため、先行車など、画像上での動きが大きくない車両に対しては、検出ミスを補正することが可能となり、検出結果の信頼性を向上させることが可能となる。
【００４８】
《実施の形態３》
次に、図６のフローチャートと図１１のフローチャートを用いて本発明の実施の形態３について説明する。  
まず、Ｓ３０１の処理の前段階として、上記実施の形態１の図６のフローチャート中のＳ１０１からＳ１０５の手順を実施する。ここで、実施の形態１との違いとして、画像領域の分割方法としては、メッシュ状分割領域を使い、抽出された各特徴点を温度の違いに応じて投票していく。
【００４９】
投票された結果を用いて、Ｓ３０１にてメッシュ状障害物領域を抽出する。ここではまず、Ｓ３０２にて、縦方向での最高位置と最低位置の歩行者相当温度を持つ特徴点が所属する、中温のメッシュ状障害物領域を抽出する。これにより、歩行者候補領域や、車両のタイヤ、灯火類が所属する領域を障害物候補として抽出することが可能となる。
【００５０】
次に、Ｓ３０１、Ｓ３０２にて抽出されたメッシュ状障害物領域を用いて、Ｓ３０３にて、メッシュ状障害物領域を統合処理し、短冊化を行い、短冊状障害物領域とする。具体的には、それぞれのメッシュ状障害物領域から、画像の縦方向に探索し、縦方向に並んだメッシュ状障害物領域については同一の障害物領域であるとして統合処理を行なうことで障害物領域を短冊化することができる。
【００５１】
次に、Ｓ３０４にて、高温特徴点が所属する高温メッシュ状障害物領域を抽出する。  
次に、Ｓ３０５にて、Ｓ３０３にて抽出された短冊状障害物領域と、Ｓ３０４にて抽出された高温メッシュ状障害物領域の位置関係を観察することで、Ｓ３０３にて抽出された短冊状障害物領域と、Ｓ３０４にて抽出された高温メッシュ状障害物領域とをグループ化する。
【００５２】
次に、図６のＳ１０７にて、車両の判別を行なう。具体的な方法としては、上記実施の形態２にて記述した図８のＳ２１２の方法と同様の方法を用いることで車両の判別を行なえばよい。
【００５３】
このように本実施の形態では、画像領域分割部３２（図１）は、赤外線カメラ１により取得された熱画像を少なくともメッシュ状分割領域に分割し、障害物領域抽出部３４は、画像領域分割部３２により分割されたそれぞれのメッシュ状分割領域を縦、横の少なくとも一方向に統合して短冊状障害物領域を作成するようになっている。このように特徴点を投票する画像をメッシュ状分割領域に分割し、縦方向、もしくは横方向に統合、グルーピングする構成となっている。このため、画像上では小さく映る遠方の対象部物に対しては小さく設定したメッシュ状分割領域を用い、逆に大きく映る近傍の対象物に対しては、複数のメッシュ状分割領域をまとめて一つの領域として処理することが可能となり、近傍から遠方に掛けて検出の性能を向上させることが可能となる。また、縦方向にグループ化すれば、歩行者の検出性能を向上させることが可能であり、また、横方向にグループ化すれば、車両のマフラー部の検出性能を向上させることができる。
【００５４】
《実施の形態４》
次に、図８のフローチャートと図１２のフローチャートを用いて本発明の実施の形態４について説明する。  
まず、上記実施の形態２にて説明した手順のうち、図８のＳ２０１からＳ２１１までを実施する。これにより、Ｓ４０１の短冊状障害物領域の抽出と、Ｓ４０２のメッシュ状障害物領域の抽出をそれぞれ行なうことができる。
【００５５】
次に、Ｓ４０３にて、抽出されたそれぞれの障害物領域の位置関係を観察し、車両の判別を行なう。図１３はメッシュ状障害物領域と短冊状障害物領域を用いて車両領域を抽出する方法について説明する図である。図において、ＭＯ３はメッシュ状障害物領域、ＲＯ６、ＲＯ７は縦方向短冊状障害物領域、ＲＯ８は横方向短冊状障害物領域である。
【００５６】
ここでは、図１３に示すメッシュ状障害物領域ＭＯ３を、探索のスタート位置として、横方向に短冊状障害物領域が存在するかを観察していく。図１３に示す短冊状障害物領域ＲＯ６、ＲＯ７が存在した場合、その短冊状障害物領域ＲＯ６、ＲＯ７までメッシュ状障害物領域を拡張し、横方向短冊状障害物領域ＲＯ８を形成する。この結果、横方向短冊状障害物領域ＲＯ８により２本の縦方向短冊状障害物領域ＲＯ６、ＲＯ７が連結されてグループ化されることとなる。このグループを車両であると判断する。
【００５７】
このグループ化を行なう際、必ずしもマフラーに対応する障害物領域の両側に車両のタイヤや灯火類を検出した結果が出現するとは限らない。このような場合を想定して、メッシュ状障害物領域の出現状態に応じて、横方向短冊状障害物領域ＲＯ８を伸ばして探索する量を予め決めておくと良い。例えば、メッシュ状障害物領域が１つしか出現しない場合は、車両が遠方に存在するため、画像上では小さく映るとして、隣接する短冊状障害物領域３本分の幅を探索することとし、短冊状障害物領域が３つ連続して出現する場合は、先行車両が比較的近接していると判断されるため、短冊状障害物領域５本分の幅だけ短冊状障害物領域を探索するなどすればよい。
【００５８】
また、車両を一度認識したら、時系列でメッシュ状障害物領域を探索することで、車両を継続して抽出し、検出の信頼性を向上させることも可能である。
【００５９】
このように本実施の形態では、障害物領域抽出部３４（図１）は、画像領域分割部３２により分割された短冊状分割領域とメッシュ状分割領域に基づいて、短冊状障害物領域とメッシュ状障害物領域を抽出し、所定のメッシュ状障害物領域を元にして横方向に短冊状障害物領域を探索し、探索した短冊状障害物領域までメッシュ状分割領域を統合して横方向短冊状障害物領域を作成するようになっている。このように横方向短冊状障害物領域を検出するのに縦方向短冊状障害物領域を利用することで、歩行者領域と同様、縦方向短冊状障害物領域として検出されやすい先行車のタイヤやテールランプ等の灯火類の領域と、その間に存在する高温部マフラーの領域を容易にグループ化することが可能となる。このため、先行車両の検出性能を向上させることが可能となる。また、先行車までの距離を算出することが難しい単一カメラの障害物検出システムとすることも可能であり、システムコストを大幅に低減させることが可能である。
【００６０】
以上の実施の形態１〜４に示された構成をとることにより、赤外線カメラ１から取得される熱画像を用いて、障害物の検出を行ない、その障害物の中から例えば他車両を判別することが可能となる。加えて、熱画像から抽出する情報を撮像された物体領域の角とすることにより、環境温度に依存しない障害物検知手法を提供することが可能となる。
【００６１】
また、実施の形態の形態に基づき本発明を説明したが、本発明は上記実施形態に限られる物ではなく、各実施形態を組み合わせても良い。また、本発明の趣旨を逸脱しない範囲で、変更を加えても良い。  
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。すなわち、実施の形態における赤外線カメラ１、図６のＳ１０１、図８のＳ２０１が、特許請求の範囲の熱画像取得手段に、特徴点抽出部３１、図６のＳ１０３、図８のＳ２０３が特徴点抽出手段に、特徴点抽出部３１が特徴点温度検出手段に、画像領域分割部３２、図６のＳ１０４、図８のＳ２０４が画像領域分割手段に、分割領域点数化部３３、図６のＳ１０５、図８のＳ２０７、Ｓ２０９が分割領域点数化手段に、障害物領域抽出部３４、図６のＳ１０６、図８のＳ２１１が障害物領域抽出手段に、障害物判別部３５、図６のＳ１０７、図８のＳ２１２が障害物判別手段にそれぞれ対応する。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態１の障害物検出装置の構成図である。
【図２】赤外線カメラの設置位置を示す図である。
【図３】赤外線カメラが取得する画像例を示す図である。
【図４】特徴点について説明する図である。
【図５】熱画像から抽出された特徴点、分割領域の設定、障害物領域の抽出について説明するための図である。
【図６】本発明の実施の形態１の動作の流れを示すフローチャートである。
【図７】特徴点の温度について説明する図である。
【図８】本発明の実施の形態２の動作の流れを示すフローチャートである。
【図９】特徴点の抽出結果及びメッシュ状分割領域の区切り方、並びに障害物の検出結果（障害物領域）について説明する図である。
【図１０】短冊状障害物領域とメッシュ状障害物領域を用いて車両領域を抽出する方法について説明する図である。
【図１１】本発明の実施の形態３の動作の流れを示すフローチャートである。
【図１２】本発明の実施の形態４の動作の流れを示すフローチャートである。
【図１３】メッシュ状障害物領域と短冊状障害物領域を用いて車両領域を抽出する方法について説明する図である。
【符号の説明】
【００６３】
１…赤外線カメラ                      ２…記憶部
３…演算部
２１…画像メモリ                      ２２…メモリ
３１…特徴点抽出部                    ３２…画像領域分割部
３３…分割領域点数化部                ３４…障害物領域抽出部
３５…障害物判別部
Ｗ…歩行者    Ｅ…電柱    Ｃ…先行車両    Ｒ…道路
Ｆ…特徴点
ＲＤ１、ＲＤ２、ＲＤ３、ＲＤ４、ＲＤ５…短冊状分割領域
Ｊ１…中温部                          Ｊ２…高温部
ＭＤ１、ＭＤ２、ＭＤ３…メッシュ状分割領域
ＲＯ１、ＲＯ２、ＲＯ３、ＲＯ４…短冊状障害物領域
ＭＯ１、ＭＯ２…メッシュ状障害物領域
ＭＯ３…メッシュ状障害物領域
ＲＯ６、ＲＯ７…縦方向短冊状障害物領域
ＲＯ８…横方向短冊状障害物領域
【図１】
2006350702.tif 000003
【図２】
2006350702.tif 000004
【図３】
2006350702.tif 000005
【図４】
2006350702.tif 000006
【図５】
2006350702.tif 000007
【図６】
2006350702.tif 000008
【図７】
2006350702.tif 000009
【図８】
2006350702.tif 000010
【図９】
2006350702.tif 000011
【図１０】
2006350702.tif 000012
【図１１】
2006350702.tif 000013
【図１２】
2006350702.tif 000014
【図１３】
2006350702.tif 000015