(57)【要約】【課題】ノイズ除去された遠赤外線画像を安定的に出力する。【解決手段】特徴点抽出部５が、撮像部２によって撮像された熱画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を特徴点Ａとして抽出し、ヒストグラム算出部６は、抽出された特徴点Ａの輝度値の分布状態を示す輝度ヒストグラムを算出し、ノイズ判定部７が、算出された輝度ヒストグラムに基づいて熱画像中におけるノイズの出現状態を判定し、ノイズ低減部８が、ノイズ判定部７の判定結果に従って熱画像中のノイズを除去する。これにより、ノイズ除去を長時間行えないようなことがなくなるので、ノイズ除去された遠赤外線画像を安定的に出力することができる。【選択図】図１
2007189432.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の遠赤外線画像を取得する遠赤外線画像取得手段と、
前記遠赤外線画像取得手段により取得された遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点の輝度値の分布状態を示す輝度ヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段により算出された輝度ヒストグラムに基づいて前記遠赤外線画像中におけるノイズの出現状態を判定するノイズ判定手段と、
前記ノイズ判定手段の判定結果に従って前記遠赤外線画像中のノイズを除去するノイズ低減手段と
を備えることを特徴とする車両用撮像装置。
【請求項２】
請求項１に記載の車両用撮像装置であって、
前記特徴点抽出手段は、前記遠赤外線画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を前記特徴点として抽出することを特徴とする車両用撮像装置。
【請求項３】
請求項２に記載の車両用撮像装置であって、
前記ノイズ判定手段は、前記輝度ヒストグラムを参照して最も大きい頻度値を抽出し、抽出された頻度値が所定値以上である場合、前記遠赤外線画像中にノイズが発生していると判定することを特徴とする車両用撮像装置。
【請求項４】
請求項２又は請求項３に記載の車両用撮像装置であって、
前記ヒストグラム算出手段は、周辺画素との輝度差が大きい順に前記特徴点を前記輝度ヒストグラムに投票し、前記ノイズ判定手段は、頻度値が所定値以上になったタイミングで前記遠赤外線画像中にノイズが発生していると判断し、前記ノイズ低減手段は、輝度ヒストグラムに投票していない特徴点をノイズとして除去することを特徴とする車両用撮像装置。
【請求項５】
請求項３又は請求項４に記載の車両用撮像装置であって、
前記ノイズ判定手段は、前記遠赤外線画像の所定領域内における輝度値の分布状態を示す輝度ヒストグラムと前記ヒストグラム算出手段により算出された輝度ヒストグラムとを比較することにより、ノイズ判定のために用いる閾値を変更することを特徴とする車両用撮像装置。
【請求項６】
請求項５に記載の車両用撮像装置であって、
前記所定領域は自車両の走行路面領域と空に対応する領域のうちの少なくとも一方であることを特徴とする車両用撮像装置。
【請求項７】
請求項１乃至請求項６のうち、いずれか１項に記載の車両用撮像装置であって、
前記ノイズ判定手段は、自車両の操舵角、速度、及び走行姿勢のうちの少なくとも一つを参照して前記遠赤外線画像中におけるノイズの出現状態を判定することを特徴とする車両用撮像装置。
【請求項８】
請求項１乃至請求項７のうち、いずれか１項に記載の車両用撮像装置であって、
前記ノイズ判定手段は、前記遠赤外線画像中におけるノイズを時系列で観察し、観察結果を参照して遠赤外線画像中におけるノイズの出現状態を判定することを特徴とする車両用撮像装置。
【請求項９】
請求項１乃至請求項８のうち、いずれか１項に記載の車両用撮像装置であって、
前記ノイズ低減手段は、前記遠赤外線画像に所定の補正処理を行うことにより、前記遠赤外線画像中のノイズを除去することを特徴する車両用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両周辺の遠赤外線光を集光することにより自車両周辺の遠赤外線画像を撮像する車両用撮像装置に関する。
【背景技術】
【０００２】
一般に、遠赤外線画像撮像装置により撮像された遠赤外線画像の中には撮像素子や回路の特性ばらつき等の要因によって装置固有の固定パターンノイズ（Fixed Pattern Noise：FPN）が含まれるために、均一な温度面を撮像した場合であっても遠赤外線画像の温度分布は均一でなくなる。このような背景から、従来の遠赤外線画像撮像装置では、レンズと撮像素子の間に均一な温度分布を有するシャッターを設け、所定のタイミングでシャッターを作動させ、シャッターを撮像することにより得られた遠赤外線画像の温度分布に基づいてＦＰＮを補正するようにしている。
【０００３】
しかしながら、シャッターを作動させることによりＦＰＮを補正する場合、レンズから撮像素子に入射する遠赤外線光がシャッターによって遮られるために、遠赤外線画像の連続性が失われ、遠赤外線画像撮像装置を車両用撮像装置として利用する場合には、車両走行中に必要な情報を運転者が取得できなくなる可能性がある。このような背景から、車両の停車時又は低速走行時にシャッターを作動させてＦＰＮを補正することにより、遠赤外線画像の連続性が失われることを防ぐ技術が提案されている（特許文献１を参照）。
【特許文献１】特開２００１−１５３７２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両の停車時又は低速走行時にＦＰＮを補正するようにした場合には、車両が長時間一定速度で走行している時にはＦＰＮを補正することができなくなる。一般に、撮像素子や回路の特性は時間経過に伴って変化するために、一度ＦＰＮを補正した場合であってもＦＰＮは再び発生する。従って、上記のようにＦＰＮを長時間補正できない場合、正確な遠赤外線画像を安定的に出力することができなくなる。また、ＦＰＮを長時間補正できない場合には、遠赤外線画像の質が補正前後で大きく変化することになるために、出力画像を利用して物体の認識処理を行う場合には、時系列での認識結果の出力が不安定になってしまう。
【０００５】
本発明は、上記課題を解決するためになされたものであり、その目的は、ノイズ除去された遠赤外線画像を安定的に出力することが可能な車両用撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明に係る車両用撮像装置は、自車両周辺の遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出し、抽出された特徴点の輝度値の分布状態を示す輝度ヒストグラムを算出し、算出された輝度ヒストグラムに基づいて遠赤外線画像中におけるノイズの出現状態を判定し、判定結果に従って遠赤外線画像中のノイズを除去する。
【発明の効果】
【０００７】
本発明に係る車両用撮像装置によれば、遠赤外線画像の特徴点に対応する画素が有する輝度の分布状態を参照してノイズの出現状態を判定する構成になっているので、ノイズ除去された遠赤外線画像を安定的に出力することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明の実施形態となる車両用撮像装置の構成と動作について説明する。
【０００９】
〔車両用撮像装置の構成〕
始めに、図１，図２を参照して、本発明の実施形態となる車両用撮像装置１の構成について説明する。
【００１０】
本発明の実施形態となる車両用撮像装置１は、車両に搭載され、図１に示すように、遠赤外線カメラ（ＩＲカメラ）等の撮像装置により構成される撮像部２と、ＲＡＭ（Random Access Memory）等の公知の記憶装置により構成される記憶部３と、マイクロコンピュータ等の公知の情報処理装置により構成される演算部４とを主な構成要素として備える。
【００１１】
上記撮像部２は、図２（ａ），（ｂ）に示すように車両１１前方のグリル部等の位置に設置され、車両１１周囲の遠赤外線画像（以下、熱画像と表記）を撮像する。なお、撮像部２の設置位置は、図２（ａ），（ｂ）に示す位置に限定されることはなく、熱画像の撮像方向に応じて適宜変更することができる。上記記憶部３は、撮像部２により撮像された熱画像のデータや、後述するノイズ低減処理によって抽出される、特徴点，輝度ヒストグラム，ノイズ判定結果，及びノイズ低減処理結果のデータ等を一時的に記憶する。
【００１２】
上記演算部４は、内部ＣＰＵが制御プログラムを実行することにより、特徴点抽出部５，ヒストグラム算出部６，ノイズ判定部７，及びノイズ低減部８の機能を実現する。なお、特徴点抽出部５，ヒストグラム算出部６，ノイズ判定部７，及びノイズ低減部８の機能の詳細については後述する。また、演算部４は、ノイズ低減処理後に得られた熱画像のデータを用いて車両１１周辺の障害物の認識処理や熱画像データの出力処理等の各種処理を実行する。
【００１３】
〔ノイズ低減処理〕
上記のような構成を有する車両用撮像装置１は、以下に示すノイズ低減処理を実行することにより、熱画像中のノイズを除去する。以下、本発明の第１乃至第３の実施形態となるノイズ低減処理を実行する際の車両用撮像装置１の動作について説明する。
【実施例１】
【００１４】
始めに、図３に示すフローチャートを参照して、本発明の第１の実施形態となるノイズ低減処理を実行する際の車両用撮像装置１の動作について説明する。
【００１５】
図３に示すフローチャートは、車両用撮像装置１の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップＳ１の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。
【００１６】
ステップＳ１の処理では、撮像部２が、図４に示すような車両周囲の熱画像１２を撮像し、撮像された熱画像１２のデータを記憶部３に記憶する。これにより、ステップＳ１の処理は完了し、ノイズ低減処理はステップＳ２の処理に進む。
【００１７】
ステップＳ２の処理では、特徴点抽出部５が、記憶部３から熱画像１２のデータを読み出し、コーナーフィルタやコーナーディテクタを用いて図５（ａ），（ｂ）に示すように熱画像１２を構成する画素の中から周辺画素との輝度差が第１の所定値以上の画素を特徴点Ａとして抽出する。この結果、図４に示す熱画像１２のデータからは図６に示すような特徴点Ａのデータが抽出され、特徴点抽出部５は抽出さた特徴点Ａのデータ（位置情報，輝度値等）を記憶部３に記憶する。ここで、図５（ａ）に示す例では、注目画素Ｂの輝度が周辺画素Ｃの輝度より低いので（図５中では色味が薄い程、輝度値が高いとする）、特徴点抽出部５は注目画素Ｂを特徴点Ａとして抽出している。また、図５（ｂ）に示す例では、注目画素Ｂの輝度が周辺画素Ｃの輝度よりも高いので、特徴点抽出部５は注目画素Ｂを特徴点Ａとして抽出している。
【００１８】
なお、このような特徴点Ａの抽出方法によれば、温度分布が一様な領域を撮像することにより得られた熱画像からは特徴点Ａは多く抽出されず、温度分布が大きい領域を撮像することにより得られた熱画像から特徴点Ａが多く抽出される。また、表面形状が撮像面に対し一様（平坦）でない被写体であっても、被写体表面からの遠赤外線の放射方向は撮像面に対し一様ではないので、熱画像上での輝度変化が大きくなり、特徴点Ａが抽出されやすい。また、画素の抽出方法の詳細については、例えば"Good Features to Track", IEEE Conference On Computer Vision and Pattern Recognition (CVPR'94) pp.593-600を参照されたい。これにより、ステップＳ２の処理は完了し、ノイズ低減処理はステップＳ３の処理に進む。
【００１９】
ステップＳ３の処理では、ヒストグラム算出部６が、ステップＳ２の処理により抽出された各特徴点Ａの輝度値を記憶部３から読み出し、図７に示すような特徴点Ａの輝度値の分布状態を輝度ヒストグラムとして作成する。そして、ヒストグラム算出部６は作成した輝度ヒストグラムのデータを記憶部３に記憶する。これにより、ステップ３の処理は完了し、ノイズ低減処理はステップＳ４の処理に進む。
【００２０】
ステップＳ４の処理では、ノイズ判定部７が、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムのデータを読み出し、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムとを比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、一般に、ノイズが出現している場合、特徴点Ａの数は増加する傾向にあるので、ノイズ判定部７は、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムそれぞれについて総面積と最大頻度値を算出し、今回のノイズ低減処理により作成された輝度ヒストグラムの総面積と最大頻度値が前回のノイズ低減処理により作成された輝度ヒストグラムのそれよりも大きい場合、熱画像中にノイズが出現していると判定する。これにより、ステップＳ４の処理は完了し、ノイズ低減処理はステップＳ５の処理に進む。
【００２１】
ステップＳ５の処理では、ステップＳ４の処理により熱画像中にノイズが出現していると判定された場合、ノイズ低減部８が、周辺画素との輝度差が第２所定値（＞第１所定値）以下である特徴点Ａを抽出し、抽出された特徴点Ａをノイズとして熱画像のデータから除去する。具体的には、図８（ａ）に示す特徴点Ａは、図８（ｂ）や図８（ｃ）に示す特徴点Ａと比較すると、周辺画素Ｃとの相対的な輝度差が大きい特徴点となっているので（図８中では色味が薄い程、画素輝度値が高いとする）、ノイズ低減部８は図８（ｂ）及び図８（ｃ）に示す特徴点Ａの双方又は図８（ｃ）に示す特徴点Ａをノイズとして除去する。なお、図８（ｂ）に示す特徴点Ａと図８（ｃ）に示す特徴点Ａとを比較すると、図８（ｂ）に示す特徴点Ａの方が図８（ｃ）に示す特徴点Ａよりも周辺画素Ｃとの相対的な輝度差が大きい特徴点となっている。そして、演算部４はノイズを除去した後の熱画像のデータを用いて車両１１周辺の障害物の認識処理や熱画像データの出力処理等の各種処理を実行する。これにより、ステップＳ５の処理は完了し、一連のノイズ低減処理は終了する。
【００２２】
以上の説明から明らかなように、本発明の第１の実施形態となるノイズ低減処理によれば、特徴点抽出部５が、撮像部２によって撮像された熱画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を特徴点Ａとして抽出し、ヒストグラム算出部６は、抽出された特徴点Ａの輝度値の分布状態を示す輝度ヒストグラムを算出し、ノイズ判定部７が、算出された輝度ヒストグラムに基づいて熱画像中におけるノイズの出現状態を判定し、ノイズ低減部８が、ノイズ判定部７の判定結果に従って熱画像中のノイズを除去するので、従来技術のようにノイズ除去を長時間行えないようなことがなく、ノイズ除去された遠赤外線画像を安定的に出力することができる。
【００２３】
また、本発明の第１の実施形態となるノイズ低減処理によれば、熱画像を利用した障害物認識処理に利用する特徴量に絞ってノイズの出現状況を検討するので、熱画像中にノイズが発生していないように見える場合であっても、障害物認識処理にとってはノイズが出現している状態を検出し、障害物認識処理に特化した画像処理や信号補正を実施することができる。
【００２４】
また、本発明の第１の実施形態となるノイズ低減処理によれば、画像のコーナー部分に相当する特徴点のみを利用してノイズ判定を行っているので、ノイズ判定のための演算コストを低減することができる。また、特徴点は周囲温度の変動に対してロバストに抽出することができるので、処理の安定化を図ることができる。
【実施例２】
【００２５】
次に、図９に示すフローチャートを参照して、本発明の第２の実施形態となるノイズ低減処理を実行する際の車両用撮像装置１の動作について説明する。
【００２６】
図９に示すフローチャートは、車両用撮像装置１の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップＳ１１の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。また、図９に示すステップＳ１１〜ステップＳ１３の処理及びステップＳ１６の処理は、図３に示すステップＳ１〜３の処理及びステップＳ５の処理と同じであるので、以下ではその説明を省略し、ステップＳ１４，Ｓ１５の処理についてのみ説明する。
【００２７】
ステップＳ１４の処理では、ヒストグラム算出部６が、ステップＳ１３の処理により作成された輝度ヒストグラムを参照して最も大きい頻度値を算出し、算出された頻度値を記憶部３に記憶する。これにより、ステップＳ１４の処理は完了し、ノイズ低減処理はステップＳ１５の処理に進む。
【００２８】
ステップＳ１５の処理では、ノイズ判定部７が、前回のノイズ低減処理において算出された頻度値と今回のノイズ低減処理において算出された頻度値を比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、特徴点Ａがノイズとして出現している場合、特徴点Ａの出現数は増加する傾向になる。またこの場合、特徴点Ａの出現場所は、本来特徴点Ａが出現しにくい路面領域や建造物の壁部分等、熱画像上では輝度変化が少ない比較的一様な温度分布を有する領域が多くなる。このため、このような領域に特徴点Ａが出現した場合には、この領域に対応する輝度値の頻度値が大きく増加する。従って、ノイズ判定部７は、今回のノイズ低減処理において算出された頻度値が前回のノイズ低減処理において算出された頻度値より大きく増加又は所定値以上になった場合、同じ輝度値（温度）を有する領域にノイズとしての特徴点Ａが多く出現していると判定する。これにより、ステップＳ１５の処理は完了し、ノイズ低減処理はステップＳ１６の処理に進む。
【００２９】
以上の説明から明らかなように、本発明の第２の実施形態となるノイズ低減処理によれば、ノイズ判定部７は、輝度ヒストグラムを参照して最も大きい頻度値を抽出し、抽出された頻度値が所定値以上である場合、熱画像中にノイズが発生していると判定する。そして、このような構成によれば、簡単な方法によりノイズの発生状況を判定することができるので、ノイズ低減処理に要する演算コストを削減することができる。
【００３０】
なお、本実施形態では、頻度値が増加又は所定値以上になった場合においてノイズが発生していると判定し、ノイズを除去することとしたが、例えば、輝度ヒストグラムを作成する際、ヒストグラム算出部６が、輝度が大きい順に特徴点Ａを輝度ヒストグラムに投票していき、頻度値が所定値以上の特徴点Ａが出現した時点で、ノイズ判定部７は、特定の輝度範囲でノイズとしての特徴点Ａが頻出している状態と判定し、ノイズ低減部８は、輝度ヒストグラムに投票していない特徴点Ａをノイズとして除去するようにしてもよい。このような処理によれば、全ての特徴点Ａの情報を利用することなくノイズの出現状態を判定することができると共に、ノイズ判定とノイズ除去を同時に行うことができるので、計算コストを低減することができる。
【実施例３】
【００３１】
最後に、図１０に示すフローチャートを参照して、本発明の第３の実施形態となるノイズ低減処理を実行する際の車両用撮像装置１の動作について説明する。
【００３２】
図１０に示すフローチャートは、車両用撮像装置１の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップＳ１１の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。また、図１０に示すステップＳ２１〜ステップＳ２３の処理及びステップＳ２６の処理は、図３に示すステップＳ１〜３の処理及びステップＳ５の処理と同じであるので、以下ではその説明を省略し、ステップＳ２４，Ｓ２５の処理についてのみ説明する。
【００３３】
ステップＳ２４の処理では、ヒストグラム算出部６が、ステップＳ２３の処理により作成された輝度ヒストグラムから、温度分布が一様であり、安定して検出することが可能な路面領域の輝度ヒストグラムを抽出する。なお、本実施形態では、ヒストグラム算出部６は、車両１１が走行している時は撮像部２は常に路面領域を撮影していると仮定することにより路面領域の輝度ヒストグラムを抽出することとするが、輝度カメラ等の別デバイスによって抽出された路面領域の輝度ヒストグラムを利用する方法や遠赤外線カメラ単体で路面領域を推定する方法等、別の方法を利用して路面領域の輝度ヒストグラムを算出するようにしてもよい、これにより、ステップＳ２４の処理は完了し、ノイズ低減処理はステップＳ２５の処理に進む。
【００３４】
ステップＳ２５の処理では、ノイズ判定部７が、ステップＳ２３の処理により作成された輝度ヒストグラムとステップＳ２４の処理により抽出された路面領域の輝度ヒストグラムとを比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、路面領域の温度分布は一様であるので、路面領域に特徴点Ａが多く出現している場合、ノイズ判定部７は、ノイズが出現している状態にあると判定することができる。従って、ノイズ低減部８は、路面の温度分布に相当する輝度範囲のノイズ閾値を、他の輝度範囲のノイズ閾値より低く（厳しく）することにより、ノイズを低減することができる。これにより、ステップＳ２５の処理は完了し、ノイズ低減処理はステップＳ２６の処理に進む。
【００３５】
ここで、本実施形態では、路面領域の輝度ヒストグラムのみを抽出することとしたが、熱画像１２全体について上記処理を行ってもよいし、空に対応する領域を検出して同様の処理を行うようにしてもよい。なお、熱画像１２全体について上記処理を行う場合、ノイズ閾値は以下のようにして設定するとよい。すなわち一般に、夏季に撮像される熱画像１２は、気温が高いために、歩行者等の車両１１にとって障害となる物体の温度分布と路面領域の温度分布とが近接した状態になる。
【００３６】
より具体的には、通常だと輝度ヒストグラムは図１１に示すようになる状態が、夏季においては図１２に示すように特定の輝度範囲に頻度値が集中した状態になる。そして、このような状態で輝度ヒストグラムを算出すると、最頻度値が通常の状態よりも大きい値として出やすくなり、夏季以外の季節と同様のノイズ閾値でノイズ判定を行うと、ノイズが出現した状態であると判定されやすい。
【００３７】
そこで、温度分布が図１２に示すような状態になる場合、ノイズ判定部７は、ノイズ判定に用いる閾値を高く（甘く）する。具体的には、ノイズ判定部７は、画像全体の輝度ヒストグラムを作成し、その最頻度値を中心に所定の画像割合（α％）が選択される輝度範囲Ｊ１を設定する。そして、ノイズ判定部７は、この輝度範囲Ｊ１を観察することによりノイズ閾値を動的に変更し、出力結果の安定性を向上させる。例えば、輝度ヒストグラムが図１２に示すような状態になった場合、輝度範囲はＪ２に示すようになる。従って、輝度範囲Ｊ１の時のノイズ閾値をＴｈ１とすると、ノイズ判定部７は、輝度範囲Ｊ２の時のノイズ閾値Ｔｈ２をＴｈ１＊β（Ｊ２／Ｊ１）＋γ（β，γは所定値）に変更する。
【００３８】
以上の説明から明らかなように、本発明の第３の実施形態となるノイズ低減処理によれば、ノイズ判定部７が、路面領域や空領域の輝度ヒストグラムと熱画像１２全体の輝度ヒストグラムとを比較することにより、ノイズ判定のために用いるノイズ閾値を変更するので、一様な温度分布を有する熱画像が撮像された場合であっても、ノイズを効果的に除去し、出力結果の安定性を向上させることができる。
【００３９】
また、本発明の第３の実施形態となるノイズ低減処理によれば、ノイズ判定部７は、熱画像１２全体の輝度ヒストグラムに対する比較対象領域として、路面領域や空領域の輝度ヒストグラムを用いるので、比較対象領域を簡単に抽出することができる。また、路面領域や空領域は温度が安定しており、走行中の経時変化が起きにくいので、安定して結果を出力することができる。
【００４０】
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、熱画像は車両の挙動が激しくなるとぼげた画像になる傾向がある。そして、画像がぼけている状態で特徴点を抽出すると、抽出点数が急激に増加し、出力結果が安定しない。従って、上記実施形態において、車両の操舵角，車速，車両姿勢のうちの少なくとも一つの情報を車両挙動を示す情報として抽出し、車両挙動による影響を加味してノイズの出現判定を行うことにより、出力結果を安定させるようにしてもよい。
【００４１】
また、経時変化によるドリフト等の原因によって熱画像中にノイズが発生することがある。そして、このような状態で特徴点を抽出すると、抽出点数が急激に増加し、出力結果が安定しない。従って、上記実施形態において、ノイズの出現状態を時系列で観察し、前回ノイズがない状態で計測された結果を加味してノイズの出現判定を行うことにより、出力結果を安定させるようにしてもよい。
【００４２】
また、ノイズが出現している時は上述の通り熱画像はぼけた状態になるので、ノイズ出現状態になった時は熱画像に対してエッジ強調等の画像処理を施すことによりぼけている画像を補正し、見やすい熱画像を出力するようにしてもよい。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態となる車両用撮像装置の構成を示すブロック図である。
【図２】図１に示す撮像部の取付位置の一例を示す図である。
【図３】本発明の第１の実施形態となるノイズ低減処理の流れを示すフローチャート図である。
【図４】撮像部により撮像された熱画像の一例を示す図である。
【図５】熱画像からの特徴点の抽出方法を説明するための図である。
【図６】図４に示す熱画像から抽出された特徴点を示す図である。
【図７】輝度ヒストグラムの一例を示す図である。
【図８】ノイズの低減方法を説明するための図である。
【図９】本発明の第２の実施形態となるノイズ低減処理の流れを示すフローチャート図である。
【図１０】本発明の第３の実施形態となるノイズ低減処理の流れを示すフローチャート図である。
【図１１】車両にとって障害となる物体の温度分布と路面領域の温度分布とが近接していない場合の輝度ヒストグラムを示す図である。
【図１２】車両にとって障害となる物体の温度分布と路面領域の温度分布とが近接している場合の輝度ヒストグラムを示す図である。
【符号の説明】
【００４４】
１：車両用撮像装置
２：撮像部
３：記憶部
４：演算部
５：特徴点抽出部
６：ヒストグラム算出部
７：ノイズ判定部
８：ノイズ低減部
１１：車両
１２：熱画像
Ａ：特徴点
Ｂ：注目画素
Ｃ：周辺画素
【図１】
2007189432.tif 000003
【図２】
2007189432.tif 000004
【図３】
2007189432.tif 000005
【図４】
2007189432.tif 000006
【図５】
2007189432.tif 000007
【図６】
2007189432.tif 000008
【図７】
2007189432.tif 000009
【図８】
2007189432.tif 000010
【図９】
2007189432.tif 000011
【図１０】
2007189432.tif 000012
【図１１】
2007189432.tif 000013
【図１２】
2007189432.tif 000014