(57)【要約】【課題】本発明は、路面温度から歩行者のとりうる温度を算出するのに用いる線形関係を利用して、歩行者候補を精度良く抽出することを目的としている。【解決手段】このため、熱画像撮像手段を備え、熱画像から歩行者を検出する歩行者検出装置において、路面領域推定手段と、推定された路面領域の温度ヒストグラムを作成し、温度ヒストグラムの最頻値を路面温度とする路面温度算出手段と、路面温度算出手段の路面温度から歩行者のとりうる温度を算出する歩行者温度算出手段と、歩行者温度算出手段の歩行者温度に基づいて熱画像から歩行者候補を抽出する歩行者候補抽出手段と、歩行者候補抽出手段により抽出された各歩行者候補について非歩行者であるか否かを判定し、非歩行者を除外する非歩行者判定手段と、非歩行者判定手段により非歩行者を除外された残りの各歩行者候補について歩行者か否かを判定する歩行者判定手段とを備える。【選択図】図１
2012053724.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の熱画像を撮像する熱画像撮像手段を備え、この熱画像撮像手段により撮像された熱画像から歩行者を検出する歩行者検出装置において、前記熱画像撮像手段により撮像された熱画像から路面領域を推定する路面領域推定手段と、この路面領域推定手段により推定された路面領域の温度ヒストグラムを作成し、この温度ヒストグラムの最頻値を路面温度とする路面温度算出手段と、この路面温度算出手段により算出された路面温度から線形関係を適用して歩行者のとりうる温度を算出する歩行者温度算出手段と、この歩行者温度算出手段により算出された歩行者温度に基づいて前記熱画像から歩行者候補を抽出する歩行者候補抽出手段と、この歩行者候補抽出手段により抽出された各歩行者候補について非歩行者であるか否かを判定し、非歩行者を除外する非歩行者判定手段と、この非歩行者判定手段により非歩行者を除外された残りの各歩行者候補について歩行者か否かを判定する歩行者判定手段とを備えることを特徴とする歩行者検出装置。
【請求項２】
前記熱画像撮像手段は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段により撮像されたステレオ画像から視差画像を作成する視差画像作成手段と、この視差画像作成手段により作成された視差画像から路面の高さを算出する路面高さ算出手段とを備え、前記路面領域推定手段は、路面高さ算出手段により算出された路面高さに基づいて路面領域を推定することを特徴とする請求項１に記載の歩行者検出装置。
【請求項３】
前記熱画像撮像手段は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段により撮像されたステレオ画像から視差画像を作成する視差画像作成手段を備え、前記路面領域推定手段は、視差画像作成手段により作成された視差画像において視差が発生している領域を路面領域から除くことを特徴とする請求項１に記載の歩行者検出装置。
【請求項４】
前記熱画像撮像手段は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段により撮像されたステレオ画像から視差画像を作成する視差画像作成手段を備え、前記歩行者候補抽出手段は、歩行者候補を抽出する領域を前記視差画像作成手段により作成された視差画像において視差が発生している領域とすることを特徴とする請求項１に記載の歩行者検出装置。
【請求項５】
前記非歩行者判定手段は、熱画像から検出される歩行者候補の温度と歩行者温度算出手段により算出された歩行者温度との温度差が予め設定された値よりも大きい時には、この歩行者候補と隣接する歩行者候補は歩行者ではないと判定することを特徴とする請求項１に記載の歩行者検出装置。
【請求項６】
前記熱画像撮像手段は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段により撮像されたステレオ画像から視差画像を作成する視差画像作成手段を備え、車両の周囲の天候を検知する天候検知手段と、前記視差画像作成手段により作成された視差画像から距離情報を算出する距離算出手段とを備え、前記歩行者温度算出手段は、前記天候検知手段により車両周囲の天候が雨天であると検知された時には、前記距離算出手段により算出された距離情報に基づいて歩行者のとりうる温度を補正することを特徴とする請求項１に記載の歩行者検出装置。
【請求項７】
前記熱画像撮像手段は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段により撮像されたステレオ画像から視差画像を作成する視差画像作成手段を備え、車両の周囲の天候を検知する天候検知手段と、前記視差画像作成手段により作成された視差画像から距離情報を算出する距離算出手段とを備え、前記歩行者候補抽出手段は、前記天候検知手段により車両周囲の天候が雨天であると検知された時には、前記距離算出手段により算出された距離情報に基づいて前記熱画像撮像手段により撮像された熱画像の輝度を補正することを特徴とする請求項１に記載の歩行者検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は歩行者検出装置に係り、特に気温、湿度等の気象条件による歩行者の表面温度の変化とカメラの温度ドリフトによる検出温度のずれとの両方に対応する、路面温度から歩行者のとりうる温度を算出するのに用いる線形関係によって歩行者候補を抽出する歩行者検出装置に関するものである。
【背景技術】
【０００２】
従来、撮影したステレオ画像から対象物の３次元位置を計測し、対象物が地表面近くにあり、かつ、走行経路上にある場合、検出すべき歩行者候補と判定する方法が知られている（特許文献１など参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５１５９２６号公報
【特許文献２】特開２００７−１２８２３２号公報
【特許文献３】特開２００７−１３３６４４号公報
【特許文献４】特開２００７−２５７１３３号公報
【特許文献５】特開２００８−２３６０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、遠赤外線カメラは対象物の熱を検知するものであり、対象物の放射温度を計測することが可能であるので、対象物の放射温度から人であるか否かの判定を行い、歩行者検出率を向上させたり、誤検出率を低下させる方法がある（特許文献２〜４など参照。）
しかし、実際には、歩行者の表面温度は気温などの周囲温度によって変化するとともに、遠赤外線カメラは、カメラ自体の発熱などにより温度ドリフトが生じ、検出温度のずれが発生する。
これらの要因により歩行者について検出される温度は様々に変化してしまうものである。
この結果、歩行者と判定すべき温度範囲を非常に広範囲に設定しなければならず、温度を検出することによる効果が薄れてしまうという不都合がある。
また、歩行者と判定する温度範囲を狭く設定すると、歩行者であると判定できずに未検出となり、装置の性能が低くなってしまうという不都合がある。
このような歩行者検知性能の低下は、特に夏などの気温が高く、歩行者と周辺環境との温度差が小さい場合に顕著になる。
上述の特許文献４では、周辺画素との輝度変化や、方向エッジによって歩行者と車両を区別することで、歩行者と周囲の温度が同等になるような環境でも、歩行者と車両を区別して認識できる方法が開示されている。
しかしながら、特許文献４に開示されるものは、車両以外で歩行者と似た形状の物体に対しては効果が得にくく、対象物の温度から候補を検出する場合に、上述したような温度設定による不都合が存在することとなる。
更に、特許文献５では、歩行者と周囲環境との輝度差があまりなくコントラストが低下する場合において、赤外線カメラの検出器基板温度を調整することによって、コントラストを高めて歩行者の検出を容易にする方法が開示されている。
しかしながら、特許文献５に開示されるものは、検出器の温度調整を行う場合に、ノイズの増大を防ぐ観点から温度をより低く設定することになり、カメラの消費電力が大きくなるという不都合がある。
また、歩行者の温度帯すべてで高いコントラストを得るためには、基板温度の異なる検出器が複数必要となり、コストアップとなって、経済的に不利であるという不都合がある。
【０００５】
この発明は、路面温度から歩行者のとりうる温度を算出するのに用いる線形関係を利用して、歩行者候補を精度良く抽出することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、この発明は、上述不都合を除去するために、車両周辺の熱画像を撮像する熱画像撮像手段を備え、この熱画像撮像手段により撮像された熱画像から歩行者を検出する歩行者検出装置において、前記熱画像撮像手段により撮像された熱画像から路面領域を推定する路面領域推定手段と、この路面領域推定手段により推定された路面領域の温度ヒストグラムを作成し、この温度ヒストグラムの最頻値を路面温度とする路面温度算出手段と、この路面温度算出手段により算出された路面温度から線形関係を適用して歩行者のとりうる温度を算出する歩行者温度算出手段と、この歩行者温度算出手段により算出された歩行者温度に基づいて前記熱画像から歩行者候補を抽出する歩行者候補抽出手段と、この歩行者候補抽出手段により抽出された各歩行者候補について非歩行者であるか否かを判定し、非歩行者を除外する非歩行者判定手段と、この非歩行者判定手段により非歩行者を除外された残りの各歩行者候補について歩行者か否かを判定する歩行者判定手段とを備えることを特徴とする。
【発明の効果】
【０００７】
この発明の歩行者検出装置は、路面温度から線形関係を適用して歩行者のとりうる温度を算出する。この線形関係は、気温、湿度等の気象条件による歩行者の表面温度の変化とカメラの温度ドリフトによる検出温度のずれとの両方に対応するため、歩行者候補を精度良く抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は歩行者検出装置の制御用フローチャートである。（実施例）
【図２】図２は歩行者検出装置の装置構成図である。（実施例）
【図３】図３は歩行者検出装置のシステム図である。（実施例）
【図４】図４は距離と高さとの関係を示す距離高さマップである。（実施例）
【図５】図５は路面領域の選択を示す図である。（実施例）
【図６】図６は路面温度と歩行者温度との関係を示すマップである。（実施例）
【発明を実施するための形態】
【０００９】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１０】
図１〜図６はこの発明の実施例を示すものである。
図２及び図３において、１は車両、２は車両１に搭載される歩行者検出装置である。
この歩行者検出装置２は、車両１の周辺の熱画像を撮像する熱画像撮像手段３と、ＨＵＤ（「ヘッドアップディスプレイ」ともいう。Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙの略。）４と、前記熱画像撮像手段３により撮像された熱画像から歩行者を検出する画像処理手段（「画像処理ユニット」または「画像処理ＥＣＵ」ともいう。）５とを備えている。
つまり、前記歩行者検出装置２の熱画像撮像手段３は、図２に示す如く、前記車両１の前部に取り付けられる。
また、前記ＨＵＤ４は、図２に示す如く、前記車両１の図示しないフロントガラス本体、またはフロントガラス前面に設置した無色透明なスクリーンに情報（速度や高度や進行方向など）を投影するために設けられる。
追記すれば、前記熱画像撮像手段３は、２台の第１、第２ステレオカメラ（「遠赤外線カメラ１、２」とも記載する。）７、８からなる。
そして、第１、第２ステレオカメラ７、８からなる熱画像撮像手段３は、熱画像が得られるもので、各画素の輝度から対象物の放射温度が計測可能なものである。
前記第１、第２ステレオカメラ７、８は前記車両１前方を撮影する。撮影された熱画像は、前記画像処理手段５のメモリ９に記憶される。
予め、前記第１、第２ステレオカメラ７、８のキャリブレーションを実施しておき、第１、第２ステレオカメラ７、８のカメラパラメータ、及び、ステレオパラメータを取得しておく。
これらのパラメータは、前記画像処理手段５内部に記憶される。
そして、キャリブレーションパラメータを用いて、撮影した画像をステレオ処理し、３次元データ情報を持ったステレオ視差画像を算出する。
算出された視差画像は前記画像処理手段５のメモリ９に記憶されるものである。
【００１１】
そして、前記歩行者検出装置２は、前記熱画像撮像手段３により撮像された熱画像から路面領域を推定する路面領域推定手段１０と、この路面領域推定手段１０により推定された路面領域の温度ヒストグラムを作成し、この温度ヒストグラムの最頻値を路面温度とする前記路面温度算出手段１１と、この路面温度算出手段１１により算出された路面温度から線形関係を適用して歩行者のとりうる温度を算出する歩行者温度算出手段１９と、この歩行者温度算出手段１９により算出された歩行者温度に基づいて前記熱画像から歩行者候補を抽出する前記歩行者候補抽出手段１２と、この歩行者候補抽出手段１２により抽出された各歩行者候補について非歩行者であるか否かを判定し、非歩行者を除外する前記非歩行者判定手段１３と、この非歩行者判定手段１３により非歩行者を除外された残りの各歩行者候補について歩行者か否かを判定する歩行者判定手段１４とを備える構成とする。
従って、路面温度から歩行者のとりうる温度を算出するのに用いる線形関係は、気温、湿度等の気象条件による歩行者の表面温度の変化とカメラの温度ドリフトによる検出温度のずれとの両方に対応するため、歩行者候補を精度良く抽出することができる。
【００１２】
詳述すれば、前記画像処理手段５を説明すると、この画像処理手段５は、図３に示す如く、処理部１５と前記メモリ９とからなる。
そして、前記処理部１５は、図３に示す如く、前記第１、第２ステレオカメラ７、８からなる前記熱画像撮像手段３が接続するステレオ画像処理部１６と、対象物抽出部１７と、ピッチ角算出部１８と、前記路面領域推定手段１０と、路面温度算出手段（「路面温度算出部」ともいう。）１１と、前記歩行者温度算出手段（「歩行者温度算出部」ともいう。）１９と、前記歩行者候補抽出手段（「歩行者候補選択部」ともいう。）１２と、前記非歩行者判定手段（「非歩行者判定部」ともいう。）１３と、前記歩行者判定手段（「歩行者判定部」ともいう。）１４とを備えている。
また、前記メモリ９は、図３に示す如く、第１〜第６メモリ９ａ、９ｂ、９ｃ、９ｄ、９ｅ、９ｆからなる。
このとき、第１メモリ９ａは、前記ステレオ画像処理部１６に出力するカメラキャリブレーションパラメータを記憶する。
前記第２メモリ９ｂは、前記ステレオ画像処理部１６や前記対象物抽出部１７からの画像データや熱画像、ステレオ視差画像、３次元位置データを記憶する一方、必要なデータを前記ピッチ角算出部１８や前記路面領域推定手段１０、前記路面温度算出手段１１、前記歩行者温度算出手段１９、前記歩行者候補抽出手段１２、前記非歩行者判定手段１３、前記歩行者判定手段１４に出力する。
前記第３メモリ９ｃは、路面温度と歩行者温度関係式を記憶し、必要なデータを前記歩行者温度算出手段１９に出力する。
前記第４メモリ９ｄは、気象センサからなる天候検知手段２０に接続し、気象データを記憶するとともに、必要なデータを前記歩行者温度算出手段１９に出力し、路面温度を補正して、より正確な歩行者温度候補帯を推定するのに用いられる。
前記第５メモリ９ｅは、季節や時間を記憶するものであり、必要なデータを前記歩行者温度算出手段１９に出力し、路面温度を補正して、より正確な歩行者温度候補帯を推定するのに用いられる。
前記第６メモリ９ｆは、前記歩行者判定手段１４から出力される歩行者データを記憶する。
【００１３】
また、前記熱画像撮像手段３は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段３により撮像されたステレオ画像から視差画像を作成する視差画像作成手段２１と、この視差画像作成手段２１により作成された視差画像から路面の高さを算出する路面高さ算出手段２２とを備え、前記路面領域推定手段１０は、路面高さ算出手段２２により算出された路面高さに基づいて路面領域を推定する。
従って、路面の高さを算出することにより、精度良く路面領域を推定することができる。
この結果、精度良く歩行者を検出することができる。
【００１４】
更に、前記熱画像撮像手段３は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段３により撮像されたステレオ画像から視差画像を作成する視差画像作成手段２１を備え、前記路面領域推定手段１０は、視差画像作成手段２１により作成された視差画像において視差が発生している領域を路面領域から除く。
従って、熱画像から路面以外の物体を除外するため、精度良く歩行者を検出することができる。
【００１５】
前記熱画像撮像手段３は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段３により撮像されたステレオ画像から視差画像を作成する視差画像作成手段２１を備え、前記歩行者候補抽出手段１２は、歩行者候補を抽出する領域を前記視差画像作成手段２１により作成された視差画像において視差が発生している領域とする。
従って、熱画像の立体形状を要する部分から歩行者を検出するため、精度良く歩行者を検出することができる。
【００１６】
前記非歩行者判定手段１３は、熱画像から検出される歩行者候補の温度と前記歩行者温度算出手段１９により算出された歩行者温度との温度差が予め設定された値よりも大きい時には、この歩行者候補と隣接する歩行者候補は歩行者ではないと判定する。
従って、非歩行者を歩行者と誤判定する確率を減らすことができる。
【００１７】
前記熱画像撮像手段３は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段３により撮像されたステレオ画像から視差画像を作成する視差画像作成手段２１を備え、車両の周囲の天候を検知する気象センサからなる前記天候検知手段２０と、前記視差画像作成手段２１により作成された視差画像から距離情報を算出する距離算出手段２３とを備え、前記歩行者温度算出手段１９は、前記天候検知手段２０により車両周囲の天候が雨天であると検知された時には、前記距離算出手段２３により算出された距離情報に基づいて歩行者のとりうる温度を補正する。
従って、遠方の歩行者を見逃したり、遠方の非歩行者を歩行者と誤判定したりする確率を減らすことができる。
【００１８】
前記熱画像撮像手段３は、２台のカメラからなるステレオカメラであり、前記熱画像撮像手段３により撮像されたステレオ画像から視差画像を作成する視差画像作成手段２１を備え、車両の周囲の天候を検知する前記天候検知手段２０と、前記視差画像作成手段２１により作成された視差画像から距離情報を算出する前記距離算出手段２３とを備え、前記歩行者候補抽出手段１２は、前記天候検知手段２０により車両周囲の天候が雨天であると検知された時には、前記距離算出手段２３により算出された距離情報に基づいて前記熱画像撮像手段３により撮像された熱画像の輝度を補正する。
従って、遠方の歩行者を見逃したり、遠方の非歩行者を歩行者と誤判定したりする確率を減らすことができる。
【００１９】
追記すれば、前記歩行者検出装置２は、路面の温度を計測するために、例えば右カメラ画像から路面の領域を選択する。
しかし、走行時には前記車両１のピッチ角方向の揺れや道路の傾斜により、画像上の路面位置は様々に変化する。
そこで、図４に示す如く、視差画像で最も低い位置にある対象物が路面付近にあるものと考え、対象物について、距離別に最も高さ方向の位置が低くなる値を求める。
それらを１次式でフィットし、路面高さ、傾きを算出する。
そして、算出されたピッチ角や路面高さ情報から、右カメラ画像上の路面領域を推定する。
これは、図５に示す如く、ｙ方向のＹ１以上の領域といった形で推定され、その領域の中に路面領域ウインドウを設定する。
しかし、この路面領域ウインドウ内には、車両などの様々な対象物が存在する可能性がある。
このとき、路面以外の対象物を除去するために、視差画像をマスク画像として用い、視差が得られていない領域から温度を計測する。
これは、熱画像において、路面はどこでもほぼ同じ温度となっているため極めて輝度差が小さく、視差を得ることができないことを利用している。
この処理により、車両などの路面とは温度が著しく異なる物体が路面領域ウインドウから除去され、正確な路面温度を計測することができる。
また、路面温度を安定して算出するため、残った路面領域ウインドウについて温度のヒストグラムを作成し、その最頻値を路面温度とする。
【００２０】
夏季など気温が高く、歩行者と周囲環境との温度差が小さい場合においては、図６に示す如く、ある線形関係式により路面温度から歩行者の候補温度を算出し、その温度から一定の範囲内にある対象物を歩行者候補とする。
このようにすることで、一般的な遠赤外線カメラで撮影すると、カメラ内部で発生する熱などの影響により、撮影対象物の温度に変化がない場合でも、対象物の温度が変化したかのような熱画像を取得してしまう現象や、歩行者の表面温度が、気温や湿度などの気象条件により変化する現象や、体温には個人差やその時々の活動レベルなどの要因によりある程度のばらつきが存在することを包括して取り扱うことが可能になり、歩行者の候補を見逃すことなく検出でき、かつ、歩行者候補温度範囲を小さく設定できる。
更に、雨天時には、水や水蒸気により赤外線が吸収を受ける影響で、遠方にある対象物の温度が低く検出される現象が発生する。
これを補正するために、視差画像から得られる各対象物の距離に応じて、対象物の温度を補正する、もしくは、右カメラ画像の各対象物に対応する画素領域の輝度を補正する処理を行う。
この補正処理により、遠方の歩行者を見逃したり、非歩行者を歩行者として誤検出する可能性を低減できる。
【００２１】
例えば、日没からしばらくの時間帯において、昼間の天候に応じて検出した路面温度に補正を加える。
気温が同じであっても、昼間晴れであった場合、日没後しばらくの間、路面の温度は高い状態が続くが、一方で歩行者の温度はほとんど変化しない。
この処理により、日没後しばらくの時間帯における、昼間の天候の違いによる路面温度の差が補正され、より正確な歩行者の候補温度帯を推定することができる。
路面温度から決定した歩行者の候補温度帯に相当する画素を、右カメラ画像内で探索し、歩行者候補領域を設定する。
このとき、探索する領域は、ステレオ視差画像が得られている領域に対応する領域に限定する。
そして、歩行者候補領域のそれぞれについて、非歩行者の判定を行い、これを除外する。
ここでは、検出すべき歩行者は、高さや幅が人の大きさの範囲であるとし、この範囲外の対象物を除外する。
また、温度が歩行者の候補温度帯から大きく外れた領域を一定以上含む対象物は、歩行者ではないと判断し、隣接する領域に歩行者の候補温度帯に合致する領域があったとしても、それを歩行者と判定しない。
このことにより、街灯や電柱などの大きさが人とは大きく異なるが、歩行者と似た温度を持ち得て、かつ、形状も歩行者と似た対象物を誤って歩行者と判定する確率を減らすことができる。
更に、車両（特に、側面のエッジを含む領域）など、タイヤ部分やマフラ部分など歩行者の温度とは著しく異なる温度部位をもつが、大きさが歩行者と似ており、部分的に歩行者と似た温度を持ち得る対象物を、歩行者と誤って判定する確率を減らすことができる。
歩行者候補領域のそれぞれについて、パターンマッチング、もしくは、エッジ特徴量により、歩行者かどうかを判定する。
具体的には、既に出願済みの「物体検出装置および物体検出方法（特願２００９−１９４６５９）」などによって行う。
【００２２】
次に、図１の前記歩行者検出装置２の制御用フローチャートに沿って作用を説明する。
【００２３】
この歩行者検出装置２の制御用プログラムがスタート（１０１）すると、前記画像処理手段５の処理部１５のステレオ画像処理部１６によって、ステレオ画像取得の処理（１０２）に移行する。
このステレオ画像取得の処理（１０２）の後には、路面位置を算出する処理（１０３）に移行する。この路面位置を算出する処理（１０３）においては、前記ピッチ角算出部１８による車両ピッチング角の情報データ（１０４）を入力して路面位置を算出する。
また、路面位置を算出する処理（１０３）の後には、右カメラ画像に対し、路面領域ウインドウを設定する処理（１０５）に移行する。
そして、この右カメラ画像に対し、路面領域ウインドウを設定する処理（１０５）の後には、マスク画像として適用する処理（１０６）に移行する。このマスク画像として適用する処理（１０６）においては、視差画像生成の処理（１０７）による情報データを入力してマスク画像として適用する。
更に、マスク画像として適用する処理（１０６）の後には、前記路面温度算出手段１１による路面温度ヒストグラム算出の処理（１０８）に移行する。
この路面温度ヒストグラム算出の処理（１０８）の後には、前記路面温度算出手段１１によって、最頻値を路面温度と設定する処理（１０９）に移行する。
また、最頻値を路面温度と設定する処理（１０９）の後には、前記歩行者温度算出手段１９による線形関係式から歩行者温度帯算出の処理（１１０）に移行する。
この線形関係式から歩行者温度帯算出の処理（１１０）の後には、前記歩行者候補抽出手段１２による右カメラ画像から歩行者候補領域を抽出する処理（１１１）に移行する。
そして、右カメラ画像から歩行者候補領域を抽出する処理（１１１）の後に、視差画像から対応領域を抽出する処理（１１２）に移行する。
この視差画像から対応領域を抽出する処理（１１２）の後には、歩行者候補の３次元位置を算出する処理（１１３）に移行する。
更に、歩行者候補の３次元位置を算出する処理（１１３）の後には、前記非歩行者判定手段１３による非歩行者の判定の処理（１１４）と、前記歩行者判定手段１４による歩行者の判定の処理（１１５）とを順次行い、前記歩行者検出装置２の制御用プログラムの終了（１１６）に移行する。
【００２４】
なお、この発明は上述実施例に限定されるものではなく、種々の応用改変が可能である。
【００２５】
例えば、この発明の実施例においては、「路面の温度を計測するため、右カメラ画像から路面の領域を選択する」、「路面温度から決定した歩行者の候補温度帯に相当する画素を、右カメラ画像内で探索し、歩行者候補領域を設定する」などの構成としているが、一例として右カメラ画像を用いる場合の処理手順を開示したにすぎず、右カメラに限定する理由は全くなく、左カメラを使用することも可能である。
また、路面領域設定処理と歩行者候補領域設定処理とで、それぞれ左右別々のカメラ画像を使用する特別構成とすることも可能である。
【符号の説明】
【００２６】
１  車両
２  歩行者検出装置
３  熱画像撮像手段
４  ＨＵＤ
５  画像処理手段
７、８  第１、第２ステレオカメラ
９  メモリ
１０  路面領域推定手段
１１  路面温度算出手段
１２  歩行者候補抽出手段
１３  非歩行者判定手段
１４  歩行者判定手段
１５  処理部
１６  ステレオ画像処理部
１７  対象物抽出部
１８  ピッチ角算出部
１９  歩行者温度算出手段
２０  気象センサからなる天候検知手段
２１  視差画像作成手段
２２  路面高さ算出手段
２３  距離算出手段
【図１】
2012053724.tif 000003
【図２】
2012053724.tif 000004
【図３】
2012053724.tif 000005
【図４】
2012053724.tif 000006
【図５】
2012053724.tif 000007
【図６】
2012053724.tif 000008