(57)【要約】【課題】障害物の温度とその周囲の温度との間に大きな差がない場合においても障害物を正確に抽出する。【解決手段】特徴点抽出部５が、撮像部２により取得された熱画像を構成する各画素の輝度値を参照して熱画像の特徴点Ａを抽出し、ヒストグラム算出部６が、熱画像の輝度値の分布状態を示す輝度ヒストグラムを算出し、対象輝度範囲抽出部７が、輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、特徴点選別部８が、抽出された輝度範囲にしたがって抽出された特徴点Ａを選別し、障害物抽出部９が、選別された特徴点Ａの熱画像中における密度から自車両周辺に存在する障害物を抽出する。【選択図】図１
2007214891.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の遠赤外線画像を取得する遠赤外線画像取得手段と、
前記遠赤外線画像取得手段により取得された遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出する特徴点抽出手段と、
前記遠赤外線画像取得手段により取得された遠赤外線画像の輝度値の分布状態を示す輝度ヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段により算出された輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出する対象輝度範囲抽出手段と、
前記対象輝度範囲抽出手段により抽出された輝度範囲にしたがって前記特徴点抽出手段により抽出された特徴点を選別する特徴点選別手段と、
前記特徴点選別手段により選別された特徴点の遠赤外線画像中における密度から自車両周辺に存在する対象物を抽出する障害物抽出手段と
を備えることを特徴とする車両用撮像装置。
【請求項２】
請求項１に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、前記輝度ヒストグラムを参照して最も出現頻度が高い輝度値を抽出し、抽出された輝度値より大きい輝度値の範囲を障害物抽出処理に利用する輝度範囲とすることを特徴とする車両用撮像装置。
【請求項３】
請求項１に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、遠赤外線画像中において、面積の占める割合が所定値以上、且つ、輝度分布の範囲が狭く、且つ、時系列での輝度変動が少なく安定している所定領域の輝度情報を算出し、算出された輝度情報と前記輝度ヒストグラムを比較することにより障害物抽出処理に利用する輝度範囲を決定することを特徴とする車両用撮像装置。
【請求項４】
請求項３に記載の車両用撮像装置であって、
前記所定領域は自車両の走行路面領域と空に対応する領域のうちの少なくとも一方であることを特徴とする車両用撮像装置。
【請求項５】
請求項３又は請求項４に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、前記輝度情報として、前記所定領域の輝度平均値と最も出現頻度が高い輝度値のうちの少なくとも一方を算出することを特徴とする車両用撮像装置。
【請求項６】
請求項５に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、遠赤外線画像と前記所定領域の中で最も出現頻度が高い輝度値を比較し、遠赤外線画像の輝度値の方が所定領域の輝度値より高い場合、障害物抽出処理に利用する輝度範囲を狭くし、遠赤外線画像の輝度値の方が所定領域の輝度値より低い場合には、障害物抽出処理に利用する輝度範囲を広くすることを特徴とする車両用撮像装置。
【請求項７】
請求項１乃至請求項６のうち、いずれか１項に記載の車両用撮像装置であって、
前記特徴点抽出手段は、前記遠赤外線画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を前記特徴点として抽出することを特徴とする車両用撮像装置。
【請求項８】
請求項１乃至請求項７のうち、いずれか１項に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、自車両の操舵角、速度、及び走行姿勢のうちの少なくとも一つを参照して障害物抽出処理に利用する輝度範囲を抽出することを特徴とする車両用撮像装置。
【請求項９】
請求項１乃至請求項８のうち、いずれか１項に記載の車両用撮像装置であって、
前記対象輝度範囲抽出手段は、障害物抽出処理に利用する輝度範囲を時系列で観察し、観察結果を参照して障害物抽出処理に利用する輝度範囲を抽出することを特徴とする車両用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両周辺の障害物を検出する車両用撮像装置に関する。
【背景技術】
【０００２】
従来より、遠赤外線画像撮像装置により撮像された遠赤外線画像から車両や歩行者等の障害物を検出するために、ある閾値によって遠赤外線画像を二値化する技術が知られている（特許文献１を参照）。より具体的には、この技術では、遠赤外線画像全体の輝度値のヒストグラム（分布状態）を作成し、作成されたヒストグラムから障害物の輝度ピーク値とそれ以外の領域の輝度ピーク値を算出し、２つの輝度ピーク値の間に閾値を設定するようにしている。また、この技術では、抽出された障害物の画像の遠赤外線画像全体における面積割合が所定範囲内になるように閾値を変更するようにしている。
【特許文献１】特開２００３−２１６９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術は、遠赤外線画像全体の輝度値のヒストグラムを参照して閾値を設定する構成になっているために、例えば夏季等、障害物の温度とその周囲の温度との間に大きな差がなく、ヒストグラムにピーク値が出現しないような場合には、閾値を正確に設定することができず、障害物を正確に検出することが困難になる。また同様に、抽出された障害物の画像の遠赤外線画像全体における面積割合が所定範囲内になるように閾値を変更するようにしても、障害物の温度とその周囲の温度との間に大きな差がない場合には障害物を正確に抽出することが困難になる。
【０００４】
本発明は、上記課題を解決するためになされたものであり、その目的は、障害物の温度とその周囲の温度との間に大きな差がない場合においても障害物を正確に抽出することが可能な車両用撮像装置を提供することにある。
【課題を解決するための手段】
【０００５】
上述の課題を解決するために、本発明に係る車両用撮像装置は、自車両周辺の遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出し、遠赤外線画像の輝度値の分布状態を示す輝度ヒストグラムを算出し、算出された輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、抽出された輝度範囲にしたがって特徴点を選別し、選別された特徴点の遠赤外線画像中における密度から障害物を抽出する。
【発明の効果】
【０００６】
本発明に係る車両用撮像装置によれば、遠赤外線画像全体の輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、抽出された輝度範囲にしたがって遠赤外線画像中の特徴点を選別し、選別された特徴点の遠赤外線画像中における密度から自車両周辺に存在する障害物を抽出するので、障害物の温度とその周囲の温度との間に大きな差がない場合においても障害物を正確に抽出することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施形態となる車両用撮像装置の構成と動作について説明する。
【０００８】
〔車両用撮像装置の構成〕
始めに、図１，図２を参照して、本発明の実施形態となる車両用撮像装置１の構成について説明する。
【０００９】
本発明の実施形態となる車両用撮像装置１は、車両に搭載され、図１に示すように、遠赤外線カメラ（ＩＲカメラ）等の公知の撮像装置により構成される撮像部２と、ＲＡＭ（Random Access Memory）等の公知の記憶装置に構成される記憶部３と、マイクロコンピュータ等の公知の情報処理装置により構成される演算部４とを主な構成要素として備える。
【００１０】
上記撮像部２は、図２に示すように車両１１前方のグリル部等の位置に設置され、車両１１周囲の遠赤外線画像（以下、熱画像と表記）を撮像する。なお、撮像部２の設置位置は、図２に示す位置に限定されることはなく、遠赤外線画像の撮像方向に応じて適宜変更することができる。
【００１１】
上記記憶部３は、撮像部２により撮像された熱画像のデータや、後述する障害物抽出処理によって抽出される、特徴点，熱画像の輝度ヒストグラム，処理対象輝度範囲，特徴点選別結果，障害物抽出結果のデータ等を一時的に記憶する。
【００１２】
上記演算部４は、内部ＣＰＵが制御プログラムを実行することにより、特徴点抽出部５，ヒストグラム算出部６，対象輝度範囲抽出部７，特徴点選別部８，及び障害物抽出部９各部の機能を実現する。なお、特徴点抽出部５，ヒストグラム算出部６，対象輝度範囲抽出部７，特徴点選別部８，及び障害物抽出部９各部の機能の詳細については後述する。
【００１３】
〔障害物抽出処理〕
上記のような構成を有する車両用撮像装置１は、以下に示す障害物抽出処理を実行することにより、対象物の温度とその周囲の温度との間に大きな差がない場合においても対象物のみを正確に抽出する。以下、本発明の第１及び第２の実施形態となる障害物抽出処理を実行する際の車両用撮像装置１の動作について説明する。
【実施例１】
【００１４】
始めに、図３に示すフローチャートを参照して、本発明の第１の実施形態となる障害物抽出処理を実行する際の車両用撮像装置１の動作について説明する。
【００１５】
図３に示すフローチャートは、車両用撮像装置１の電源がオン状態になるのに応じて開始となり、障害物抽出処理はステップＳ１の処理に進む。なお、この障害物抽出処理は所定タイミング毎に繰り返し実行されるものとする。
【００１６】
ステップＳ１の処理では、撮像部２が、図４に示すような車両周囲の熱画像１２を撮像し、撮像された熱画像１２のデータを記憶部３に記憶する。これにより、ステップＳ１の処理は完了し、障害物抽出処理はステップＳ２の処理に進む。
【００１７】
ステップＳ２の処理では、特徴点抽出部５が、記憶部３から熱画像１２のデータを読み出し、コーナーフィルタやコーナーディテクタを用いて図５（ａ），（ｂ）に示すように熱画像１２を構成する画素の中から周辺画素との輝度差が第１の所定値以上の画素を特徴点Ａとして抽出する。この結果、図４に示す熱画像１２のデータからは図６に示すような特徴点Ａのデータが抽出され、特徴点抽出部５は抽出さた特徴点Ａのデータ（位置情報，輝度値等）を記憶部３に記憶する。ここで、図５（ａ）に示す例では、注目画素Ｂの輝度が周辺画素Ｃの輝度より低いので（図５中では色味が薄い程、輝度値が高いとする）、注目画素Ｂを特徴点Ａとして抽出している。また、図５（ｂ）に示す例では、注目画素Ｂの輝度が周辺画素Ｃの輝度よりも高いので、注目画素Ｂを特徴点Ａとして抽出している。
【００１８】
なお、このような抽出方法によれば、温度分布が一様な領域を撮像することにより得られた熱画像からは特徴点は多く抽出されず、温度分布が大きい領域を撮像することにより得られた熱画像から特徴点が多く抽出される。また、表面形状が撮像面に対し一様（平坦）でない被写体であっても、被写体表面からの遠赤外線の放射方向は撮像面に対し一様ではないので、熱画像上での輝度変化は大きくなり、特徴点が抽出されやすい。なお、この抽出方法の詳細については、例えば"Good Features to Track", IEEE Conference On Computer Vision and Pattern Recognition (CVPR'94) pp.593-600を参照されたい。これにより、ステップＳ２の処理は完了し、障害物抽出処理はステップＳ３の処理に進む。
【００１９】
ステップＳ３の処理では、ヒストグラム算出部６が、熱画像１２を構成する各画素の輝度値を記憶部３から読み出し、図７に示すような熱画像１２全体の輝度値のヒストグラムを作成する。これにより、ステップＳ３の処理は完了し、障害物抽出処理はステップＳ４の処理に進む。
【００２０】
ステップＳ４の処理では、対象輝度範囲抽出部７が、ステップＳ３の処理により作成された輝度値のヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、抽出された輝度範囲が残るように熱画像１２を二値化し、二値化処理によって抽出された画像に対し膨張処理を施した画像を障害物抽出処理の対象領域に決定する。なお、対象輝度範囲抽出部７は、歩行者を障害物として抽出する場合、歩行者の温度領域に対応する輝度範囲を対象輝度範囲として抽出する。また、輝度値のヒストグラムが図７に示すようなものである場合、対象輝度抽出部７は、最も出現頻度が高い輝度値Ｊ１を抽出し、輝度値Ｊ１よりも輝度値が高い領域を対象輝度範囲として抽出する。また、二値化画像に対して膨張処理を施す理由は、特徴点Ａは対象物体の境界線の内側と外側の両方に出現する可能性があり、対象物体の境界線の外側に出現した特徴点の輝度値が対象輝度範囲から外れていた場合、障害物抽出処理において利用できなくなってしまうためである。これにより、ステップ３の処理は完了し、障害物抽出処理はステップＳ４の処理に進む。
【００２１】
ステップＳ５の処理では、特徴点選別部８が、ステップＳ２の処理により抽出された特徴点ＡがステップＳ４の処理により決定された処理対象領域に含まれるか否かを判別し、処理対象領域に含まれている特徴点Ａを障害物抽出用の特徴点Ａとして選別する。これにより、ステップＳ５の処理は完了し、障害物抽出処理はステップＳ６の処理に進む。
【００２２】
ステップＳ６の処理では、特徴点選別部８が、特徴点Ａの画像を抽出対象となる障害物領域に対応した複数の画像領域に分割する。具体的には、抽出対象が道路上に存在する歩行者である場合には、特徴点選別部８は、図６に示すように縦長の短冊状に特徴点Ａの画像を分割する。これにより、ステップＳ６の処理は完了し、障害物抽出処理はステップＳ７の処理に進む。
【００２３】
ステップＳ７の処理では、特徴点選別部８が、ステップＳ４の処理により選別された各特徴点Ａの評価値を各特徴点Ａの輝度値に基づいて算出し、算出結果に基づいて各特徴点Ａをランク付けする。このようなランク付け処理によれば、周囲温度の変化に影響を受けずに障害物領域上に存在する温度の抑揚を抑えて、障害物となり得る領域を抽出することが容易になる。そして、特徴点選別部８は、ランク付けの結果に基づいて各特徴点Ａを複数のグループにグループ分けし、例えば上位３分の１のグループに含まれる特徴点Ａには３点，中位３分の１のグループに含まれる特徴点Ａには２点，下位３分の１のグループに含まれる特徴点Ａには１点といった具合に、グループ毎に重み付けした点数を各特徴点Ａに付与する。なお、点数の重み付けの配分やグループ分けは抽出目的とする障害物に応じて変更するようにしてもよい。そして最後に、特徴点選別部８は、ステップＳ５の処理によって分割された複数の画像領域毎に内部に含まれる特徴点Ａに付与されている点数の総計（密度）を算出すると共に、各画像領域中で特徴点Ａが出現している位置の上限値と下限値を算出する。これにより、ステップＳ７の処理は完了し、障害物抽出処理はステップＳ８の処理に進む。
【００２４】
ステップＳ８の処理では、障害物抽出部９が、ステップＳ７の処理によって算出された各画像領域の点数の総計を参照して点数の総計が所定値以上の画像領域を抽出し、図６に示す領域Ｒ１，Ｒ２のように、抽出された画像領域の中で特徴点Ａが出現している領域を障害物領域として出力する。これにより、ステップＳ８の処理は完了し、一連の障害物抽出処理は終了する。
【００２５】
以上の説明から明らかなように、本発明の第１の実施形態となる障害物抽出処理によれば、特徴点抽出部５が、撮像部２により取得された熱画像を構成する各画素の輝度値を参照して熱画像の特徴点Ａを抽出し、ヒストグラム算出部６が、熱画像の輝度値の分布状態を示す輝度ヒストグラムを算出し、対象輝度範囲抽出部７が、輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、特徴点選別部８が、抽出された輝度範囲にしたがって抽出された特徴点Ａを選別し、障害物抽出部９が、選別された特徴点Ａの熱画像中における密度から自車両周辺に存在する障害物を抽出する。
【００２６】
すなわち、本発明の実施形態となる車両用撮像装置１は、熱画像全体の輝度ヒストグラムから障害物抽出処理に利用する輝度範囲を抽出し、抽出された輝度範囲にしたがって熱画像中の特徴点Ａを選別し、選別された特徴点Ａの熱画像中における密度から自車両周辺に存在する障害物を抽出するので、障害物の温度とその周囲の温度との間に大きな差がない場合においても、障害物の形状に依存することなく、障害物のみを正確に抽出することができる。また、明らかに障害物に対応する輝度範囲ではない輝度範囲を排除して障害物抽出処理を行うので、計算コストを低減することができる。
【００２７】
また、本発明の第１の実施形態となる障害物抽出処理によれば、対象輝度範囲抽出部７は、輝度ヒストグラムを参照して最も出現頻度が高い輝度値Ｊ１を抽出し、抽出された輝度値Ｊ１より大きい輝度値の範囲を障害物抽出処理に利用する輝度範囲とするので、簡単な処理によって障害物抽出処理に利用する輝度範囲を決定し、計算コストを低減することができる。
【００２８】
また、本発明の第１の実施形態となる障害物抽出処理によれば、特徴点抽出部５は、熱画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を特徴点Ａとして抽出するので、熱画像中においては複雑な模様を有しやすい障害物の抽出処理を低い計算コストで行うことができる。また、輝度の振幅があれば特徴点Ａを抽出することができるので、例えば夏季等、障害物の温度とその周囲の温度との間に大きな差がなく、輝度ヒストグラムにピーク値が出現しないような場合においても、障害物を確実に抽出することができる。
【実施例２】
【００２９】
次に、図８に示すフローチャートを参照して、本発明の第２の実施形態となる障害物抽出処理を実行する際の車両用撮像装置１の動作について説明する。
【００３０】
図８に示すフローチャートは、車両用撮像装置１の電源がオン状態になるのに応じて開始となり、障害物抽出処理はステップＳ１１の処理に進む。なお、この障害物抽出処理は所定タイミング毎に繰り返し実行されるものとする。また、図８に示すステップＳ１１〜ステップＳ１３及びステップＳ１７以後の処理は、図３に示すステップＳ１〜３及びステップＳ５以後の処理と同じであるので、以下ではその説明を省略し、ステップＳ１４〜ステップＳ１６の処理についてのみ説明する。
【００３１】
ステップＳ１４の処理では、ヒストグラム算出部６が、熱画像の中から車両が走行している路面領域の画像を抽出する。なお、ヒストグラム算出部６は、先行車のマフラーが高温であることを利用して自車両の前方が写っている画像領域から先行車のマフラーの画像領域までを路面領域として抽出する、又は、予め自車両の前方領域を設定しておき、車速が所定値以上になった場合、自車両の前方領域に対応する画像領域を路面領域として抽出するとよい。また、ヒストグラム算出部６は、輝度カメラ等の他の撮像手段を利用して路面領域を抽出し、抽出された路面領域に対応する画像領域を熱画像中から抽出するようにしてもよい。また、本実施形態では、ヒストグラム算出部６は、路面領域を抽出したが、抽出する領域は路面領域に限定されることはなく、空領域等、熱画像中における面積の占める割合が所定値以上、且つ、輝度分布の範囲が狭く、熱画像中において時系列で安定した温度を示す領域であれば路面領域以外の領域であってもよい。これにより、ステップＳ１４の処理は完了し、障害物抽出処理はステップＳ１５の処理に進む。
【００３２】
ステップＳ１５の処理では、ヒストグラム算出部６が、ステップＳ１４の処理により抽出された路面領域の輝度ヒストグラムを算出し、最も頻度が高い輝度値や路面全体の平均輝度値等、算出された輝度ヒストグラムの特徴量を抽出する。これにより、ステップＳ１５の処理は完了し、障害物抽出処理はステップＳ１６の処理に進む。
【００３３】
ステップＳ１６の処理では、対象輝度範囲抽出部７が、ステップＳ１３の処理により算出された輝度ヒストグラムとステップＳ１５の処理により算出された輝度ヒストグラムを比較することにより障害物抽出処理に利用する輝度範囲を設定する。具体的には、熱画像全体の平均温度より路面領域の平均温度が高い場合には、歩行者を障害物として抽出するために輝度ヒストグラム上で高温となる温度帯を抽出しても、路面領域が主体として抽出されてしまい、歩行者の温度帯が排除され、結果として、障害物の非検出や誤検出となる傾向がある。このような背景から、ステップＳ１３の処理によって図７に示す輝度ヒストグラムが算出され、ステップＳ１５の処理により算出された輝度ヒストグラムの中で最も頻度が高い輝度値Ｊ２が図７に示す輝度ヒストグラムの中で最も頻度が高い輝度値Ｊ１よりも高い場合には、対象輝度範囲抽出部７は、歩行者を含む領域を抽出するようにするために、抽出する温度帯を低い温度帯の方向に多く取る。一方、ステップＳ１３の処理によって図７に示す輝度ヒストグラムが算出され、ステップＳ１５の処理により算出された輝度ヒストグラムの中で最も頻度が高い輝度値Ｊ３が図７に示す輝度ヒストグラムの中で最も頻度が高い輝度値Ｊ１よりも高い場合には、換言すれば、熱画像全体の平均温度より路面領域の平均温度が低い場合には、対象輝度範囲抽出部７は、誤検出を防止するために抽出する温度帯を狭くする。具体的には、対象輝度範囲抽出部７は、温度値の下限値Ｔｈ１を数式Ｔｈ１＝Ｔｈ＊（１＋（Ｊ１−Ｊ２）／MaxBrightness）により算出し、算出された下限値Ｔｈ１にしたがって抽出する温度帯を設定する。なお、上記数式中のＴｈ及びMaxBrightnessはそれぞれ通常の閾値Ｔｈと熱画像中において最も出現頻度が高い輝度値を示す。また、本実施形態では、対象輝度範囲抽出部７は、最も頻度が高い輝度値を比較することにより障害物抽出処理に利用する輝度範囲を設定したが、輝度平均値を比較することにより輝度範囲を設定するようにしても良い。これにより、ステップＳ１６の処理は完了し、障害物抽出処理はステップＳ１７の処理に進む。
【００３４】
以上の説明から明らかなように、本発明の第２の実施形態となる障害物抽出処理によれば、対象輝度範囲抽出部７は、熱画像中において、面積の占める割合が所定値以上、且つ、輝度分布の範囲が狭く、且つ、時系列での輝度変動が少なく安定している領域の輝度情報を算出し、算出された輝度情報と熱画像全体の輝度ヒストグラムを比較することにより障害物抽出処理に利用する輝度範囲を決定するので、例えば夏季等、周囲温度が障害物の温度よりも高くなるような場合においても、障害物抽出に必要な特徴点Ａを安定して抽出することができ、出力結果の安定性を向上させることができる。
【００３５】
また、本発明の第２の実施形態となる障害物抽出処理によれば、対象輝度範囲抽出部７は、熱画像中において、面積の占める割合が所定値以上、且つ、輝度分布の範囲が狭く、且つ、時系列での輝度変動が少なく安定している領域として、車両が走行している状況であれば常に観察することが可能な路面領域を利用するので、出力結果の安定性を向上させることができる。また、本発明の第２の実施形態となる障害物抽出処理によれば、対象輝度範囲抽出部７は、輝度情報として、路面領域において最も出現頻度が高い輝度値を算出するので、簡単な演算で安定的に演算情報を抽出することができる。
【００３６】
また、本発明の第２の実施形態となる障害物抽出処理によれば、対象輝度範囲抽出部７が、熱画像と路面領域の中で最も出現頻度が高い輝度値を比較し、熱画像の輝度値の方が路面領域の輝度値より高い場合、障害物抽出処理に利用する輝度範囲を狭くし、熱画像の輝度値の方が路面領域の輝度値より低い場合には、障害物抽出処理に利用する輝度範囲を広くすることにより、周囲温度と障害物の温度の関係を加味して輝度範囲を抽出するので、夏季等、周囲温度が高温になる場合は輝度範囲を広くして検出のロストを防ぐことができ、冬季等、周囲温度が低温になる場合には輝度範囲を狭くして誤検出を低減させることができる。
【００３７】
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、操舵角が所定値以上であり車両が大きく曲がる挙動を取っていた場合には、熱画像の画像構成が大きく変化する可能性が高く、この場合、路面領域の抽出安定性が損なわれ、出力が不安定になる可能性がある。また、撮像部２が車両前方の例えば５０ｍ以上遠方の熱画像を取得するようにしていた場合、熱画像が車両進行方向の情報とは一致せず、不要な情報となる場合がある。従って、上記実施形態において、操舵角が所定値以上である場合、対象輝度範囲抽出部７は、直前に設定している輝度範囲を用いる等して、車両の操舵角や車両姿勢を参照して障害物抽出処理に利用する輝度範囲を決定するようにしてもよい。また、例えば車両停止時等には、熱画像中に占める先行車の画像の割合が高かったり、横断する歩行者や横切る車両等の影響から対象輝度範囲の出力が不安定になる可能性がある。従って、このような場合、対象輝度範囲抽出部７は、直前に設定している輝度範囲を用いる等して、車速を参照して障害物抽出処理に利用する輝度範囲を決定するようにしてもよい。また、上記実施形態において、対象輝度範囲抽出部７は、処理対象とする輝度範囲を時系列で観察し、輝度範囲の出力値が急激に変化した場合、画像構成が急激に変化する要因があったとして、今回算出された輝度範囲と直前の一定時間、時系列で算出された輝度範囲の平均値を処理対象とする輝度範囲として算出するようにしてもよい。このような処理によれば、車両がトンネルに入った場合等、画像構成が不安定になった場合においても、出力が不安定になることを防止することができる。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態となる車両用撮像装置の構成を示すブロック図である。
【図２】図１に示す撮像部の取付位置の一例を示す図である。
【図３】本発明の第１の実施形態となる障害物抽出処理の流れを示すフローチャート図である。
【図４】撮像部により撮像された熱画像の一例を示す図である。
【図５】熱画像からの特徴点の抽出方法を説明するための図である。
【図６】図４に示す熱画像から抽出された特徴点を示す図である。
【図７】熱画像全体の輝度ヒストグラムの一例を示す図である。
【図８】本発明の第１の実施形態となる障害物抽出処理の流れを示すフローチャート図である。
【符号の説明】
【００３９】
１：車両用撮像装置
２：撮像部
３：記憶部
４：演算部
５：特徴点抽出部
６：ヒストグラム算出部
７：対象輝度範囲抽出部
８：特徴点選別部
９：障害物抽出部
１１：車両
１２：熱画像
Ａ：特徴点
Ｂ：注目画素
Ｃ：周辺画素
【図１】
2007214891.tif 000003
【図２】
2007214891.tif 000004
【図３】
2007214891.tif 000005
【図４】
2007214891.tif 000006
【図６】
2007214891.tif 000007
【図７】
2007214891.tif 000008
【図８】
2007214891.tif 000009
【図５】
2007214891.tif 000010