(57)【要約】【課題】環境温度が上昇して歩行者と同等の温度になるような場合でも歩行者と車両の判別が正確におこなえる物体検出システムを提供する。【解決手段】自車両周辺の熱画像５０を取得する遠赤外線カメラ１１と、その熱画像から周辺画素６１との輝度変化に基づいて特徴点６を抽出する特徴点抽出部３１と、その特徴点６に対応する部位の温度を熱画像から検出する特徴点温度検出部３２と、熱画像を所定の領域に分割する画像分割部３３と、分割されたそれぞれの画像領域において検出された所定の温度を持つ特徴点が出現する頻度が高い領域を物体候補領域であるとして抽出する物体領域抽出部３５と、熱画像から横エッジ９を抽出する方向エッジ抽出部３６と、横エッジと物体候補領域との連結関係に基づき車両を判別する車両判別部３７とを有する。【選択図】図１
2007257133.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の熱画像を取得する熱画像取得手段と、
前記熱画像取得手段又は少なくともエッジ検出が可能な画像を取得する画像取得手段により得られた画像から、周辺画素との輝度変化に基づいて特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に対応する部位の温度を前記熱画像から検出する特徴点温度検出手段と、
前記熱画像を所定の領域に分割する画像分割手段と、
前記画像分割手段により分割されたそれぞれの画像領域において前記特徴点温度検出手段により検出された所定の温度を持つ特徴点が出現する頻度が高い領域を物体候補領域であるとして抽出する物体領域抽出手段と、
前記熱画像又は前記画像取得手段により取得された画像から所定の方向を持つ方向エッジを抽出する方向エッジ抽出手段と、
前記方向エッジと前記物体候補領域との連結関係に基づき前記熱画像のなかの車両を判別する車両判別手段とを有することを特徴とする物体検出システム。
【請求項２】
前記画像取得手段は、可視光画像を取得する手段であることを特徴とする請求項１に記載の物体検出システム。
【請求項３】
前記車両判別手段は、前記方向エッジと前記物体候補領域とが連結関係を有する場合に該方向エッジおよび該物体候補領域を包含する領域を車両領域として設定することを特徴とする請求項１又は２に記載の物体検出システム。
【請求項４】
前記画像分割手段により画像を分割する際に、前記熱画像を格子状に分割することを特徴とする請求項１乃至３のいずれか１項に記載の物体検出システム。
【請求項５】
前記画像分割手段により画像を分割する際に、前記熱画像を縦方向の帯状に分割することを特徴とする請求項１乃至４のいずれか１項に記載の物体検出システム。
【請求項６】
前記特徴点温度検出手段により検出された温度に応じて高温度の特徴点と中温度の特徴点とに分けて頻度を算出することを特徴とする請求項１乃至５のいずれか１項に記載の物体検出システム。
【請求項７】
前記画像分割手段は、一枚の前記熱画像から縦方向の帯状と格子状の二通りの分割画像を生成し、
縦方向の帯状に分割した短冊状領域においては中温度の特徴点を利用し、格子状に分割したメッシュ状領域においては高温度の特徴点を利用することを特徴とする請求項１乃至３のいずれか１項に記載の物体検出システム。
【請求項８】
前記方向エッジ抽出手段は、横方向の横エッジを抽出することを特徴とする請求項１乃至７のいずれか１項に記載の物体検出システム。
【請求項９】
前記車両判別手段は、高温度領域として抽出されたメッシュ状領域と前記横エッジとの連結性がある場合に車両領域と判定する高温部・エッジ連結判定手段を有することを特徴とする請求項８に記載の物体検出システム。
【請求項１０】
前記車両判別手段は、中温度領域として抽出された短冊状領域と前記横エッジと前記高温度領域との連結性の有無を判定することを特徴とする請求項９に記載の物体検出システム。
【請求項１１】
前記物体領域抽出手段により抽出された前記物体候補領域に対して、前記特徴点が出現する頻度を点数化する分割領域点数化手段により算出されている点数を時系列で対比して領域の確信度を算出することを特徴とする請求項１乃至１０のいずれか１項に記載の物体検出システム。
【請求項１２】
前記車両判別手段により一台の車両領域として包含された複数の前記物体候補領域の位置関係に対して、高温度領域と中温度領域の位置関係に時系列で変化があったときには中温度領域は同一の車両領域ではないと判断して分離する領域分離手段を有することを特徴とする請求項６乃至１１のいずれか１項に記載の物体検出システム。
【請求項１３】
前記領域分離手段は、車両領域内での中温度領域の配置位置の比率が、時系列で対比した際に所定の割合以上変化した場合に同一の車両領域ではないと判断して分離することを特徴とする請求項１２に記載の物体検出システム。
【請求項１４】
前記領域分離手段は、高温度領域と中温度領域とが時系列で対比した際に交錯した場合に中温度領域は同一の車両領域ではないと判断して分離することを特徴とする請求項１２又は１３に記載の物体検出システム。
【請求項１５】
前記車両判別手段により抽出した車両領域に、別の中温度領域が時系列で対比した際に交錯してきた場合にその中温度領域は同一の車両領域ではないと判断して分離することを特徴とする請求項１２乃至１４のいずれか１項に記載の物体検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者や前方を走行する車両などの物体を検出する物体検出システムに関するものである。
【背景技術】
【０００２】
従来、カメラで写された画像の中の歩行者と車両とを判別する技術として特許文献１などが知られている。
【０００３】
この特許文献１では、まず遠赤外線カメラから得られた熱画像の中から、二値化によって所定の温度以上の領域を抽出することで歩行者の候補領域を抽出する。
【０００４】
次に抽出された歩行者の候補領域として検出された熱源の上部を探索し、ある一定の領域内に車両の一部と思われる水平エッジが検出された場合、その熱源は車両の構成部位の一部であるとして歩行者と車両との区別をつける。
【特許文献１】特開２００４−３４８６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法では、二値化によって遠赤外線画像からある一定温度以上の領域を切り出した際に、歩行者や車両の候補領域が切り出されていなければならなかった。
【０００６】
これに対し、環境温度が上昇する夏季などにおいては、歩行者と環境温度が同等となるような場合があるため、二値化をおこなう際の閾値の決定が難しく歩行者領域の切り出しが困難となる場合があった。
【０００７】
そこで、本発明は、環境温度が上昇して歩行者と同等の温度になるような場合でも歩行者と車両の判別が正確におこなえる物体検出システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明は、自車両周辺の熱画像を取得する熱画像取得手段と、前記熱画像取得手段又は少なくともエッジ検出が可能な画像を取得する画像取得手段により得られた画像から、周辺画素との輝度変化に基づいて特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に対応する部位の温度を前記熱画像から検出する特徴点温度検出手段と、前記熱画像を所定の領域に分割する画像分割手段と、前記画像分割手段により分割されたそれぞれの画像領域において前記特徴点温度検出手段により検出された所定の温度を持つ特徴点が出現する頻度が高い領域を物体候補領域であるとして抽出する物体領域抽出手段と、前記熱画像又は前記画像取得手段により取得された画像から所定の方向を持つ方向エッジを抽出する方向エッジ抽出手段と、前記方向エッジと前記物体候補領域との連結関係に基づき前記熱画像のなかの車両を判別する車両判別手段とを有する物体検出システムであることを特徴とする。
【発明の効果】
【０００９】
このように構成された本発明の物体検出システムは、画像の局所的な変化を捉えて抽出された物体候補領域および方向エッジを利用しているため、環境温度が歩行者と同等になる夏季等においても、歩行者と前方を走行する車両とを的確に判別することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の最良の実施の形態について図面を参照して説明する。
【００１１】
図１は、本実施の形態による物体検出システム１０の概略構成を示したブロック図である。
【００１２】
まず、構成から説明すると、このような本実施の形態の物体検出システム１０は、自車周辺の熱画像などの画像を取得する画像取得部１と、取得した画像データや演算結果のデータなどを記憶させる記憶部２と、物体を検出するための演算をおこなう演算部３とから主に構成されている。
【００１３】
この画像取得部１には、熱画像を取得する熱画像取得手段としての遠赤外線カメラ１１（ＩＲカメラ）が少なくとも備えられている。ここで、本実施の形態の熱画像とは、遠赤外線カメラ１１で撮像された遠赤外線画像のことをいう。また、遠赤外線カメラ１１が対象とする遠赤外線の波長帯域は８〜１４μmを主な帯域としている。
【００１４】
この画像取得部１は、図２に示すように自車両４の前方のフロントグリル部などに設置され、自車両４の前方空間を主に撮像する。
【００１５】
また、遠赤外線カメラ１１によって撮像して取得した熱画像５０（図５参照）は、デジタル化されて記憶部２の画像メモリ２１に記憶される。この画像メモリ２１は、ＲＡＭ（Random access memory）等の記憶装置によって構成されている。
【００１６】
この熱画像５０は、撮像された被写体の温度に応じて画素の輝度又は色を変化させて出力されているので、各画素の輝度値や色の種類を検出することでその画素の温度を算出することができる。
【００１７】
また、記憶部２には、演算部３でおこなった演算の結果などを一時的に記憶させるＲＡＭなどの記憶装置がメモリ部２２として備えられている。
【００１８】
一方、演算部３には、ＲＯＭ（Read only memory）等の記憶装置に記憶された各種プログラムを実行させる内部ＣＰＵ(Central Processing Unit：中央演算処理装置)が備えられており、以下に説明する特徴点抽出手段、特徴点温度検出手段、画像分割手段、分割領域点数化手段、物体領域抽出手段、方向エッジ抽出手段、車両判別手段としての処理をおこなう。
【００１９】
この特徴点抽出手段としての特徴点抽出部３１では、画像メモリ２１に記憶された図５に示すような熱画像５０から、周辺画素との輝度変化に基づいて図６に示すように特徴点６，・・・を抽出する。すなわち、図７（ａ），（ｂ）に示すように周辺画素６１，・・・との輝度差が所定値以上の画素６１を特徴点６Ａ，６Ｂとして抽出する。
【００２０】
さらに詳述すると、この特徴点抽出部３１では、画像処理法として一般的にコーナーディテクタと呼ばれる方法を用いて特徴点６の抽出を行う。例えば、Jianbo Shi、 Carlo Tomasi、（“Good Features to Track”、 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94) pp.593-600）等にトラッキングを行なうのに適している画素を抽出する方法が開示されている。
【００２１】
この方法では、撮像された被写体の輪郭の角となる部分の画素６１が特徴点６として抽出される。また、特徴点６は、熱画像５０内の温度分布が一様となるような空間を撮像した画像中ではあまり抽出されず、温度分布の変化が大きくなるような空間を撮像した画像中では多く抽出される。
【００２２】
さらに、撮像方向に直交する面が平坦ではないために表面構成が一様とならない被写体も、被写体から放射される遠赤外線の放射方向が撮像面に対して一様にならないので、熱画像５０上での輝度値変化が大きくなり特徴点６が抽出されやすくなる。
【００２３】
また、特徴点温度検出手段としての特徴点温度検出部３２では、特徴点抽出部３１により抽出された特徴点６に対応する画素６１の温度を熱画像５０から検出する。
【００２４】
すなわち、熱画像５０は温度に応じて画像の輝度、もしくは色を変化させて出力しているため、抽出された特徴点６の輝度や色を検出することで、それぞれの特徴点６の温度を算出することができる。
【００２５】
また、画像分割手段としての画像分割部３３では、遠赤外線カメラ１１により取得された熱画像５０に対して、図８に示すように格子状に分割して正方形のメッシュ状領域７１，・・・を形成したり、図９に示すように縦方向の帯状に分割して短冊状領域８１，・・・を形成したりする。
【００２６】
そして、分割領域点数化手段としての分割領域点数化部３４では、特徴点温度検出部３２で検出した特徴点６の温度に基づいて特徴点６を選別し、画像分割部３３で分割されたメッシュ状領域７１，・・・又は短冊状領域８１，・・・毎に選別された特徴点６の頻度を算出して各領域の点数化をおこなう。
【００２７】
例えば、特徴点６の中から歩行者５２よりも高温度である４０℃以上の特徴点６のみを点数化の対象として選別したり、歩行者５２程度の温度である中温度の特徴点６のみを点数化の対象として選別したりすることができる。
【００２８】
また、物体領域抽出手段としての物体領域抽出部３５では、分割領域点数化部３４で点数化された各領域のうち、所定の点数より高い領域を物体候補領域であるとして抽出する。
【００２９】
例えば、高温度の特徴点６のみを点数化して高い点数が出た領域を物体候補領域としての高温度領域７とし、中温度の特徴点６のみを点数化して高い点数が出た領域を物体候補領域としての中温度領域８とする。
【００３０】
一方、方向エッジ抽出手段としての方向エッジ抽出部３６では、熱画像５０から所定方向を持つエッジを方向エッジとして抽出する。例えば熱画像５０に対して所定の微分フィルタによるフィルタリングをおこない、その結果を二値化処理して横方向や縦方向などの一方向に同一の値が連続する方向エッジを抽出する。
【００３１】
図１０は、熱画像５０から方向エッジとして水平方向に延出される横エッジ９を抽出して表示させた図である。
【００３２】
さらに、車両判別手段としての車両判別部３７では、方向エッジ抽出部３６により抽出された方向エッジと、物体領域抽出部３５により抽出された物体候補領域との連結関係に基づき、熱画像５０のなかの車両を判別する。この車両の判別方法については後で詳細に説明する。
【００３３】
次に、本実施の形態の物体検出システム１０の処理の流れについて、図３のフローチャートを参照しながら説明する。
【００３４】
まず、ステップＳ１で自車両４に搭載された遠赤外線カメラ１１によって自車両４周辺の前方空間を撮像し、図５に示すような熱画像５０を取得する。この熱画像５０は、例えばグレースケール画像として取得され、この図には自車両４前方の他車両５１や歩道を歩く歩行者５２，５２や街灯５３，・・・などが撮像されている。
【００３５】
このようにグレースケール画像で撮像された熱画像５０の画素６１，・・・は、図７の部分拡大図に示されるように多段階の輝度値で表示されており、ステップＳ２では特徴点抽出部３１によって周辺画素との輝度差が所定値以上の画素６１，・・・を図６に示すように特徴点６，・・・として抽出する。
【００３６】
このステップＳ２で抽出された特徴点６，・・・に対しては、特徴点温度検出部３２によって熱画像５０に基づいて温度を検出する（ステップＳ３）。
【００３７】
さらに、ステップＳ４では、画像分割部３３によって熱画像５０を図８に示すように格子状に分割してメッシュ状領域７１，・・・を形成する。また、同じ熱画像５０に対して図９に示すような縦方向の帯状に分割した短冊状領域８１，・・・も形成する。
【００３８】
また、ステップＳ５では、ステップＳ４で分割したメッシュ状領域７１，・・・に対して物体領域抽出部３５によって点数化をおこない、得点が高かった領域を物体が存在する可能性が高い物体候補領域として抽出する。
【００３９】
この点数化は、図８に示したメッシュ状領域７１，・・・に対しては、歩行者よりも明らかに高温度である４０度以上の特徴点６，・・・のみを対象としておこなう。
【００４０】
例えば、自車両４の前方を走行する他車両５１のマフラー部は、走行中は高温度になっているために高温度領域７Ａ，７Ｂとして抽出され、夜間であれば街灯も高温度領域７Ｃとして抽出される。
【００４１】
また、図９に示した短冊状領域８１，・・・に対しては、歩行者５２相当温度である中温度を持った特徴点６，・・・を対象として点数化をおこなう。
【００４２】
例えば、自車両４の周辺を歩いている歩行者５２，５２は中温度領域８Ｃ，８Ｄとして抽出され、他車両５１のタイヤ部も中温度領域８Ａ，８Ｂとして抽出される。
【００４３】
ここで、図９に示した中温度領域８Ａ〜８Ｄは、短冊状領域８１全体ではなく、帯状のなかから点数が高い部分を部分的に抽出したものである。
【００４４】
一方、ステップＳ６においては、方向エッジ抽出部３６によって図１０に示すような横エッジ９，・・・を抽出する。
【００４５】
すなわち、前方の物体が他車両５１であれば、バンパー部、トランクリッド部、ルーフ部などの多くの横エッジ９Ａ〜９Ｃを抽出することができる。また、他車両５１から抽出される横エッジ９Ａ〜９Ｃは、後述する各領域の連結性を判別する指標として適している。
【００４６】
なお、車両から安定的に抽出される方向エッジとしては、縦エッジも挙げられるため、横エッジ９と共に縦方向の縦エッジ（図示せず）をあわせて抽出して車両判別をおこなうこともできる。
【００４７】
そして、ステップＳ７では、車両判別部３７によって熱画像５０のなかから他車両５１を車両領域５１０として判別させる。
【００４８】
すなわち、ステップＳ５で抽出された高温度領域７Ａ〜７Ｃ（図８）と中温度領域８Ａ〜８Ｄ（図９）の抽出結果と、ステップＳ６で抽出された横エッジ９Ａ〜９Ｃ（図１０）の抽出結果とを重ね合わせ、それらの間の距離などに基づいて一台の車両に関連する領域として認識される、高温度領域７Ａ，７Ｂ、中温度領域８Ａ，８Ｂ及び横エッジ９Ａ〜９Ｃの複数領域を包含する領域を図１１に示すように車両領域５１０として判別する。
【００４９】
この車両領域５１０に包含される高温度領域７Ａ，７Ｂは他車両５１のマフラー部である可能性が高く、中温度領域８Ａ，８Ｂは温まったタイヤ部である可能性が高く、横エッジ９Ａ〜９Ｃはルーフ部、トランクリッド部、バンパー部である可能性が高いとして車両領域５１０に包含させる。
【００５０】
ここまでは、ある時点で撮像された一枚の熱画像５０に対する処理について説明してきたが、本実施の形態の物体検出システム１０では時系列で連続して熱画像５０，・・・が処理されているので、前の時刻の熱画像５０（フレーム）において車両領域５１０などが判別されていた場合の処理の流れについて図４のフローチャートに沿って説明する。
【００５１】
まずステップＳ１１では、直前のフレームにて歩行者５２などの車両以外の車両外領域が抽出されたか、又はさらにそれ以前のフレームで抽出された車両外領域をトラッキングしているかどうかを判断する。
【００５２】
そして、車両外領域が抽出又はトラッキングされていればそのまま車両外領域としてトラッキングを継続させ（ステップＳ１２）、車両外領域として判別されていない領域に対して車両領域５１０か否かの判別をおこなうためにステップＳ１３に移行する。
【００５３】
このステップＳ１３では、ステップＳ７と同様に抽出された高温度領域７、中温度領域８及び横エッジ９に基づいて車両領域５１０か否かの判別をおこなう。
【００５４】
また、車両領域５１０としてグループ化された高温度領域７や中温度領域８について、それぞれの画像中での位置を記憶しておき、時系列でトラッキングを行う。さらに、直前のフレームで車両領域５１０が抽出されていた領域は、直前フレームからのトラッキング情報として記憶しておく。
【００５５】
また、トラッキング情報に面積情報を加えることにより、例えば領域面積が２倍や半分になるなどの各領域の面積が急激に増減した場合に、近接領域との統合や分離が起きたとして、直前フレームからのトラッキングの連続性を失わせるように判断することもできる。
【００５６】
そして、ステップＳ１４では、トラッキングされたそれぞれの領域の車両領域５１０内に位置する横エッジ９及び物体候補領域（高温度領域７、中温領域８）の位置関係を判定する。
【００５７】
例えば、図１２に示すような車両領域５１０Ａが判別されているときに、マフラー部などを抽出した高温度領域７Ｄとタイヤ部などを抽出した中温度領域８Ｅ，８Ｆとの間の距離Ｄ１を指標にして判定をおこなう。
【００５８】
この距離Ｄ１と車両領域５１０Ａ全体の幅Ｄ２は、時系列での自車両４と他車両５１との距離によって変動する。すなわち、この距離Ｄ１，Ｄ２が前述した通り他車両５１の構成部位として抽出されているのであれば、この変動比率は距離Ｄ１，Ｄ２共におおむね同じ傾向を示す。
【００５９】
そこでステップＳ１５において、フレームあたりの変動比率の差異が例えば５％以上（処理速度が１０ｆｐｓ(frame per second)）となった場合には、ステップＳ１６にて、中温度領域８Ｅは歩行者などの車両外領域であるとして領域分割手段によって車両領域５１０Ａから排除する。この際、図１２に示した車両領域５１０Ａの位置、サイズは、変更しないでそのまま保持する。
【００６０】
また、これ以外にも、高温度領域７Ｄと中温度領域８Ｅの位置が車両領域５１０Ａ内で相対的に５％以上変動した場合にも、領域分離手段によって中温度領域８Ｅを分離するようにしてもよい。
【００６１】
さらに、単純な判別方法として、高温度領域７Ｄと中温度領域８Ｅが物理的に交錯した段階で中温度領域８Ｅを別領域として分離するようにしてもよい。
【００６２】
そして、ステップＳ１７では、このようにして分離された中温度領域８Ｅを車両外領域としてトラッキングの対象とし、以後時系列で追跡するようにする。
【００６３】
一方、図１３に示すようにあらかじめ歩行者領域５２０として抽出されている領域があり、それと同時に車両領域５１０が別途抽出されているようなケースについて説明する。なお、この図１３は、３つのフレームの概略を時系列に並べて示したものである。
【００６４】
このような場合にも、時系列でそれぞれの領域をトラッキングし、ある時刻で歩行者領域５２０と車両領域５１０の２つの領域が交錯した場合には別領域として判別することができる。
【００６５】
また、本実施の形態におけるトラッキングの際、時系列で連続的に判別された領域は、安定的、かつ確実に存在する物体領域である可能性が高い。
【００６６】
このため、トラッキングをする際には、それぞれの領域に点数化された確信度を付与し、長時間（多フレーム）に亘って同一と思われる領域が抽出されるほど、その確信度の点数が増加していくようにすれば、なんらかの理由によってある時刻のフレームにおいてだけ領域が抽出されなかった場合でも、トラッキング対象を見失うことなく、安定的に抽出し続けることが可能となる。
【００６７】
このように本実施の形態の物体検出システム１０は、画像の局所的な変化を捉える特徴点６及び横エッジ９を利用しているため、環境温度が歩行者５２と同等になる夏季等においても、歩行者５２と前方を走行する他車両５１とを的確に判別することができる。
【００６８】
また、抽出された特徴点６の温度を検出し、高温度の特徴点６であれば歩行者５２以外の物体であると容易に判別することが可能となる。
【００６９】
さらに、自車両４の前方を走行する他車両５１のマフラー部等の高温度の物体候補領域と、歩行者５２と同程度の温度を持つマフラー部に隣接する領域やタイヤ部などの物体候補領域をグループ化することで、容易に他車両５１と歩行者５２とを区別することが可能となる。
【００７０】
また、取得した熱画像５０を格子状のメッシュ状領域７１，・・・に分割する方法であれば、単純な領域分割とすることができて物体の出現可能性が高い領域の算出に要する計算コストを低減させることができる。また、これによってシステムコストの低減を図ることが可能となる。
【００７１】
さらに、縦方向の短冊状領域８１，・・・を利用することで、他車両５１の一部であるタイヤ部やテールランプ部の領域を容易に抽出することが可能となり、自車両４周辺の他車両５１の検出性能を向上させることが可能となる。
【００７２】
また、特徴点６，・・・の温度を分けて領域の点数化をすることで、中温度で撮像されることが多いタイヤ部やテールランプ部の抽出と、高温度で撮像されることが多いマフラー部とを別々に抽出することが可能となり、他車両５１を構成部位に分けて抽出することが可能となる。
【００７３】
これにより、車両を判別する際にマフラー部とタイヤ部といった構成部位を利用した簡易な車両モデルを利用することが可能となり、演算コストの低減を図ることができる。
【００７４】
さらに、特徴点６，・・・を高温度の特徴点６と中温度の特徴点６と区別する際に、それぞれの分割領域をメッシュ状領域７１と短冊状領域８１として別々の形状とすることで、他車両５１の両側に存在するタイヤ部を物体候補領域として検出する性能を向上させ、同時に、他車両５１のマフラー部の検出性能を向上させることが可能となるので、他車両５１の検出性能の向上を図ることができる。
【００７５】
また、方向エッジとして横エッジ９を利用するということは、他車両５１を撮像した熱画像５０に多く含まれ、かつ、抽出しやすい特徴量を認識処理に使うということである。そして、このような横エッジ９は、車両領域５１０全体を横切るように抽出されることが多い。
【００７６】
このため同一車両に属する領域であれば、特徴点６により抽出された複数の物体候補領域を貫通、もしくは接するように横エッジ９が検出されるため、各領域の連結関係を判定することで車両領域５１０の抽出を容易に行うことが可能となり、計算コストの低減を図ることができる。
【００７７】
また、点数化された各物体候補領域（高温度領域７、中温度領域８）を時系列でトラッキングすることで、なんらかの理由によってある時刻のフレーム（熱画像５０）で点数が急激に低下した場合でも抽出された領域を見失うことなく、安定した検出が可能となる。
【００７８】
さらに、一台の他車両５１として検出されてグループ化された車両領域５１０の内部に存在する高温度領域７や中温度領域８などの複数の領域を時系列でトラッキングすることで、本来、他車両５１ではない別の物体が車両領域５１０に包含されてしまったような場合でも、車両領域５１０内部での各領域の位置関係に変化が現れた場合に、領域分割手段によってその領域をすぐに分離することが可能となる。このため、車両以外の物体を車両と区別して正確に検出することができる。
【００７９】
また、車両外領域の分離に車両領域５１０内部での配置比率や、中温度領域８と高温度領域７との位置関係を用いることで、高精度に他車両５１を検出することが可能となる。
【００８０】
さらに、ある時点で認識された車両領域５１０に、所定時間経過後に他の領域が重なった場合でも、それぞれの物体を混同することなく認識することが可能となり、高精度で他車両５１を検出することができる。
【００８１】
また、１台の遠赤外線カメラ１１で他車両５１の検出をすることが可能になるため、物体間の距離を計測するために撮像するカメラを２台構成として三角測量の方式で距離を算出す方法に比べて、システムコストが低減できるうえに計算負荷も低減できる。
【実施例１】
【００８２】
以下、前記した実施の形態の実施例１について図１４を参照して説明する。なお、前記実施の形態で説明した内容と同一乃至均等な部分の説明については同一符号を付して説明する。
【００８３】
この実施例１では、前記実施の形態とは別の方法で特徴点６の点数化をおこなう。
【００８４】
この実施例１の点数化では、特徴点６，・・・の抽出時に後述する強度をあわせて抽出し、その強度順に特徴点６，・・・を並べておき、上位５０番目までを点数化に利用する。
【００８５】
これにより、気温と対象温度が近接するような環境で、熱画像５０中の温度分布が一様に近くなって温度抑揚が小さくなりやすい場合でも、特徴点６を安定して抽出できる。
【００８６】
逆に、熱画像５０中の温度分布の幅が広くなって温度抑揚が大きくなった場合でも、強度の高い特徴点６のみを抽出する形となるため、特徴点６の過剰抽出を抑えることが可能になる。
【００８７】
ここで、特徴点６の強度について詳述すると、図１４（ａ）〜（ｃ）に示したような特徴点６Ｃ〜６Ｅを考えた場合、図１４（ａ）の中心画素である特徴点６Ｃは、図１４（ｂ），図１４（ｃ）の中心画素である特徴点６Ｄ，６Ｅと比較すると周辺画素との輝度差が大きい特徴点６Ｃとなっている。
【００８８】
このような比較により、特徴点６Ｃ〜６Ｅの相対的な強度として、特徴点６Ｃが強い特徴点、特徴点６Ｄが中程度の強度を持つ特徴点、特徴点６Ｅが強度の弱い特徴点として分類することができる。
【００８９】
また別の方法として、特徴点６，・・・の輝度値を強度として任意の数にランク分けして各ランクに点数を与え、分割されたメッシュ状領域７１，・・・又は短冊状領域８１，・・・毎に特徴点６，・・・の点数の総和を算出するようにしてもよい。
【００９０】
例えば、熱画像５０中に特徴点６，・・・が３００個抽出されたとして、特徴点６，・・・に対応する画素６１の輝度値が大きい順に上位３分の１のグループに含まれる１００個に３点、中位３分の１のグループに含まれる１００個に２点、下位３分の１のグループに含まれる１００個に１点を与える。
【００９１】
なお、点数の重み付けの配分は、抽出目的とする物体の温度などの特性により変更してもよく、また、各グループに含まれる割合なども変更してもよい。
【００９２】
このように特徴点６，・・・の強度に応じて重み付けをした点数を利用し、分割された画像領域（メッシュ状領域７１，・・・又は短冊状領域８１，・・・）毎に総点数を求めることで、特徴点６，・・・の数は多いが総点数が低い領域は物体候補領域ではないと判断することができる。
【００９３】
この他の分割領域の点数化による物体候補領域の抽出方法としては、例えば、短冊状領域８１を用いずに、高温度領域、中温度領域のいずれについてもメッシュ状領域７１から抽出するようにしてもよい。
【００９４】
この場合は、各メッシュ状領域７１，・・・の点数化の際に、高温度の特徴点６，・・・に対応する得点と、中温度の特徴点６，・・・に対応する得点という二通りの点数を与える。
【００９５】
そして、高温度領域については上記と同様の方法によって抽出し、中温度の特徴点６，・・・が多く存在する中温度領域を抽出する際には、得点の高かったメッシュ状領域７１を一旦、物体候補領域として抽出した後、それぞれのメッシュ状領域７１，・・・を縦方向にチェックし、同じ縦列で物体候補領域が複数抽出されている場合には、最も上位に出現している領域と最も下位に出現している領域を上限と下限として連結することで、短冊状領域８１による抽出と同じ効果を得ることができる。
【００９６】
また反対に、短冊状領域８１のみを点数化のための分割領域として利用し、高温度の特徴点６についても、中温度の特徴点６と同様の物体候補領域の抽出手法を利用することで、メッシュ状領域７１による物体候補領域の抽出を模擬することも可能である。
【００９７】
また、分割領域の点数化に際しては、画像全体の特徴点６，・・・に対しておこなう必要はなく、例えば高温度の特徴点６として画像の上部に出現する街灯が抽出されることがあり、このようにして発生しうるノイズ成分に対処するために画像の上部１／３を処理対象外にするなどしてもよい。
【００９８】
なお、他の構成及び作用効果については、前記実施の形態と略同様であるので説明を省略する。
【実施例２】
【００９９】
以下、前記した実施の形態の実施例２について図１５を参照して説明する。なお、前記実施の形態で説明した内容と同一乃至均等な部分の説明については同一符号を付して説明する。
【０１００】
この実施例２では、車両領域５１０を抽出する方法について前記実施の形態とは別の熱画像に基づいて説明する。
【０１０１】
図１５（ａ）では、高温度領域７Ｅと中温度領域８Ｇ，８Ｈが離れているが、これらの領域は横エッジ９Ｄ，９Ｅ，９Ｆ，９Ｇで連結されているので、連結された領域を包含する領域を一台の車両領域５１０Ｂとして抽出する。
【０１０２】
また、図１５（ｂ）では中温度領域８が抽出されていないが、例えば他車両５１が走り出したばかりであればタイヤ部が温まっていない場合もあり、高温度領域７Ｆと横エッジ９Ｈ，９Ｉのみが抽出されることもある。
【０１０３】
このような場合でも車両領域５１０Ｃとして抽出できるように、高温度領域７Ｆと横エッジ９Ｈ，９Ｉを包含するように設定された領域が画像中で所定の面積以上を持つ場合には高温部・エッジ連結判定手段により車両領域５１０Ｃであると判断して抽出をおこなう。
【０１０４】
また、本実施例２や前記実施の形態では、他車両５１が自車両４と同一方向を向いて撮像された熱画像５０について説明したが、熱画像５０に横向きで他車両５１が撮像された場合であっても、車両下部のマフラー部や車軸部が高温度領域７として抽出されることになるため、正確に他車両５１を判別することができる。
【０１０５】
なお、他の構成及び作用効果については、前記実施の形態又は他の実施例と略同様であるので説明を省略する。
【０１０６】
以上、図面を参照して、本発明の最良の実施の形態及び実施例を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１０７】
例えば、前記実施の形態では、画像取得部１の熱画像取得手段としての遠赤外線カメラ１１のみを使用した場合について説明したが、これに限定されるものではなく、可視光画像を取得する可視光カメラ（図示せず）を遠赤外線カメラ１１と併せて使用することができる。
【０１０８】
この場合は、可視光カメラによって撮像された画像は、特徴点抽出部３１で輝度差を利用して特徴点６を抽出する際や、方向エッジ抽出部３６で横エッジ９などの方向エッジを抽出する際の画像データとして使用する。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施の形態の物体検出システムの概略構成を説明するブロック図である。
【図２】（ａ）は自車両の画像取得部の配置位置を説明する側面図、（ｂ）は自車両の画像取得部の配置位置を説明する平面図である。
【図３】本発明の実施の形態の物体検出システムの処理の流れを説明するフローチャートである。
【図４】本発明の実施の形態の車両判別の処理の流れを説明するフローチャートである。
【図５】自車両周辺の熱画像の概略を示した図である。
【図６】抽出された特徴点を表示した図である。
【図７】特徴点の抽出方法を説明するために画素周辺を拡大した説明図である。
【図８】メッシュ状領域と物体候補領域として抽出された高温度領域を示した図である。
【図９】短冊状領域と物体候補領域として抽出された中温度領域を示した図である。
【図１０】抽出された横エッジを表示した図である。
【図１１】高温度領域と中温度領域と横エッジとを包含する車両領域を表示した図である。
【図１２】車両領域の内部に包含された複数の領域の位置関係を説明する説明図である。
【図１３】歩行者領域と車両領域とが交錯する状態を時系列で説明する説明図である。
【図１４】特徴点の強度を説明するために画素周辺を拡大した説明図である。
【図１５】車両領域の判別方法を説明する説明図である。
【符号の説明】
【０１１０】
１０            物体検出システム
１              画像取得部
１１            遠赤外線カメラ（熱画像取得手段）
２              記憶部
３              演算部
３１            特徴点抽出部（特徴点抽出手段）
３２            特徴点温度検出部（特徴点温度検出手段）
３３            画像分割部（画像分割手段）
３４            分割領域点数化部（分割領域点数化手段）
３５            物体領域抽出部（物体領域抽出手段）
３６            方向エッジ抽出部（方向エッジ抽出手段）
３７            車両判別部（車両判別手段）
４              自車両
５０            熱画像
５１            他車両（車両）
６              特徴点
７              高温度領域（物体候補領域）
７１            メッシュ状領域（画像領域）
８              中温度領域（物体候補領域）
８１            短冊状領域（画像領域）
９              横エッジ（方向エッジ）
５１０          車両領域
Ｄ１，Ｄ２      距離（位置関係）
【図１】
2007257133.tif 000003
【図２】
2007257133.tif 000004
【図３】
2007257133.tif 000005
【図４】
2007257133.tif 000006
【図５】
2007257133.tif 000007
【図６】
2007257133.tif 000008
【図７】
2007257133.tif 000009
【図８】
2007257133.tif 000010
【図９】
2007257133.tif 000011
【図１０】
2007257133.tif 000012
【図１１】
2007257133.tif 000013
【図１２】
2007257133.tif 000014
【図１３】
2007257133.tif 000015
【図１４】
2007257133.tif 000016
【図１５】
2007257133.tif 000017