(57)【要約】【課題】  車両から撮像した熱画像を用いて、周囲の気温や背景物体等に拘わらず、確実に人物を検出することができる人物検出装置及び方法を提供する。【解決手段】  物体の温度に相当する輝度値の画素からなる熱画像を撮像する処理（Ｓ１，Ｓ２）と、熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素とそうでない画素とを区別した２値化画像を作成する処理（Ｓ３，Ｓ４）と、２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する処理（Ｓ５，Ｓ６）と、検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化する処理（Ｓ７）と、グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する処理（Ｓ８）とを有する。【選択図】      図１
2006101384.tif 000002
【特許請求の範囲】
【請求項１】
物体の温度に相当する輝度値の画素からなる熱画像を撮像する撮像手段と、
前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成する２値化処理手段と、
前記２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する領域検出手段と、
前記領域検出手段により検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するグループ化手段と、
前記グループ化手段によってグループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する人物判定手段と
を備えることを特徴とする人物検出装置。
【請求項２】
前記２値化処理手段は、人物の皮膚温度及び人物が薄着をした時の衣服表面温度を含む温度範囲に相当する輝度値の範囲であって、周囲温度に相当する輝度値の範囲を除く上限しきい値及び下限しきい値を設定して、前記２値化画像を作成することを特徴とする請求項１に記載の人物検出装置。
【請求項３】
前記距離しきい値は、前記熱画像に含まれる人物の頭部と手との距離又は人物の頭部と脚部との距離である縦方向の距離しきい値と、人物の脚部の幅である横方向の距離しきい値とからなり、
前記グループ化手段は、前記縦方向の距離しきい値以内に存在し、且つ前記横方向の距離しきい値以内に存在する一又は複数の領域をグループ化することを特徴とする請求項１に記載の人物検出装置。
【請求項４】
前記距離しきい値は、前記人物判定手段により人物であると判定された後の処理でグループ化を行うに際して、前回の処理で人物と判定された人物候補領域付近においては、予め設定された値よりも長く変更されることを特徴とする請求項１に記載の人物検出装置。
【請求項５】
前記距離しきい値は、前記人物判定手段により検出された人物と前記撮像手段との距離が近づく場合には長く変更され、前記人物判定手段により検出された人物と前記撮像手段との距離が遠ざかる場合には短く変更されることを特徴とする請求項１又は請求項４に記載の人物検出装置。
【請求項６】
前記人物判定手段は、前記人物候補領域の縦横比が、予め設定された前記熱画像内での人物相当の縦横比の範囲内であり、且つ、前記人物候補領域の最下端位置が前記熱画像内での路面に相当する位置である場合に、前記人物候補領域の物体が人物であると判定することを特徴とする請求項１に記載の人物検出装置。
【請求項７】
前記人物判定手段は、前記熱画像内での路面に相当する位置を、複数の人物候補領域の最下端位置の平均値又は複数の人物候補領域の最下端位置に基づいて補正した位置に設定することを特徴とする請求項６に記載の人物検出装置。
【請求項８】
前記領域検出手段は、前記撮像手段による実空間上の撮像範囲のうち、人物の頭部が撮像される撮像位置に相当する熱画像内の位置よりも下方の範囲に限定して、前記２値化処理部による処理又は前記領域検出手段による処理を行うことを特徴とする請求項１に記載の人物検出装置。
【請求項９】
前記人物判定手段は、前記撮像手段による実空間上の撮像範囲のうち、人物の脚部が撮像される撮像位置に相当する熱画像内の位置よりも、前記人物候補領域の最下端位置が下方である場合に、当該人物候補領域の物体が人物であると判定することを特徴とする請求項１に記載の人物検出装置。
【請求項１０】
前記撮像手段は、自車両周囲を撮像範囲とし、
前記自車両が走行している場合は、前記撮像手段による実空間上の撮像範囲のうち、前記自車両が走行する路面上に相当する熱画像内の領域に限定して処理を行うことを特徴とする請求項８又は請求項９に記載の人物検出装置。
【請求項１１】
前記人物判定手段により前記人物候補領域の物体が人物であると判定された場合に、当該人物の存在方位を求めて運転者に提示する警報手段を備えることを特徴とする請求項１乃至請求項１０の何れかに記載の人物検出装置。
【請求項１２】
物体の温度に相当する輝度値の画素からなる熱画像を撮像するステップと、
前記熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成するステップと、
前記２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出するステップと、
前記検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するステップと、
グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定するステップと
を有することを特徴とする人物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両の前方や後方に存在する人物を検出して、運転者等に提示するための人物検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、例えば車両の進行方向に存在する障害物として人物を検出するために、赤外線カメラによって、温度に相当する値を計測した結果を輝度におきかえた赤外線画像を撮像して、当該赤外線画像から人物を特定する技術としては、下記の特許文献１や特許文献２に記載された技術が知られている。
【０００３】
特許文献１に記載された技術では、先ず赤外線画像を、人物の頭部に相当する温度付近の画素と、それ以外の画素とで２値化する。次に、２値化して抽出した対象物の横幅に基づいて人物の頭部であると仮定して、当該対象物の周囲を矩形に切り、当該矩形内での輝度値の分散を調べる。そして、矩形内の輝度値の分散が人物を示す特徴を持つ場合に、矩形内の対象物を人物として検出している。
【０００４】
また、特許文献２に記載された技術では、先ず、温度に基づき人物の頭部に相当する部位を検出すると共に、胴体に相当する部位を検出する。そして、頭部相当の温度を持つ部位の下方に、胴体相当の温度を持つ部位が存在する場合に、当該頭部及び胴体付近の画像内位置を人物として検出している。
【特許文献１】特開２００３−２８４０５７号公報
【特許文献２】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、例えば、人体のうち、頭部が最も温度が高く、且つ当該頭部よりも胴体の温度が低い温度分布であるという、予め設定された温度の特徴で人物が検出されることを前提としているので、当該予め設定した温度の特徴で温度分布が検出されなかった場合には、人物を検出することができなかった。
【０００６】
すなわち、従来では、予め設定した温度分布の特徴とは異なるような環境であった場合や、検出対象の人物が服装を着用している場合の温度分布については考慮していなかった。具体的には、気温が低く厚着をする冬期においては、服装表面の胴体部分では周囲より低い温度になることが頻繁にあり、胴体相当の温度を持つ部位が検出できないことがあり、予め設定した温度分布が成立しなくなる。また、冬期以外であっても、人物の衣服の種類や、その日の気温、日照状態等によって胴体相当の温度が頻繁に変化するため、季節に左右されて、正確に人物を検出できないことが多い。
【０００７】
また、上述の特許文献１に記載された技術では、先ず頭部を検出し、当該頭部を含む温度分布の特徴を判定しているが、画像内において頭部と同じ高さの位置で、頭部と略同じ大きさ及び温度となる対象物が存在している場合がある。このような場合は、車両の走行路に多く、人物の頭部ではない場所に人物が存在することを検出する誤りが発生してしまう。更に、車両の走行路に存在する街灯が人物と同程度の温度となっている場合があり、このような場所に人物が存在するとの誤検出をしてしまう。
【０００８】
更にまた、街灯の下方や車両の一部が、人物の服装部分と同様に、周囲の壁や背景とは異なる温度分布やテクスチャとなっているので、頭部と胴体部の両方の温度を検出しても、他の物体を人物と誤検出することが多くなるという問題がある。
【０００９】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、周囲の気温や背景物体等に拘わらず、確実に人物を検出することができる人物検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明では、物体の温度に相当する輝度値の画素からなる熱画像を撮像し、熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成し、２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出し、検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化し、グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定することにより、上述の課題を解決する。
【発明の効果】
【００１１】
本発明によれば、２値化画像を参照して、上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている人物部分の領域を検出し、当該領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化して、当該人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定するので、２値化処理によって人物の温度相当となる輝度値が複数に分離する場合であっても、当該頭部と脚部とを一つの物体と見なして、人物であるか否かを判定することができ、周囲の気温や背景物体等に拘わらず、確実に人物を検出することができる
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【００１３】
本発明は、例えば図１に示すように、自車両１の進行方向である前方が撮像範囲とされた遠赤外線カメラ１０（撮像手段）によって撮像された熱画像を用いて、人物を検出する人物検出装置２０に適用される。なお、図１（ａ）は、自車両１を側方から見た場合の遠赤外線カメラ１０の光軸を示し、図１（ｂ）は、自車両１を上方から見た場合の遠赤外線カメラ１０の光軸及び基準座標系を示している。この座標系は、横軸をＸ、縦軸をＹとし、左上画素を原点として画像内の画素位置を示す座標を求めることが可能となっている。
【００１４】
遠赤外線カメラ１０は、例えば車両のインストルメントパネルや、室内ミラー付近に設けられ、車両の前方を撮像範囲としている。この遠赤外線カメラ１０は、物体の温度値が高い部分ほど、高い輝度値となる熱画像データを生成して、人物検出装置２０に出力する。したがって、熱画像データの輝度値は、車両前方に存在する物体の温度に相当する値となる。
【００１５】
人物検出装置２０は、図２に示すようなステップＳ１〜ステップＳ９に示すような処理を行うための構成として、遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、画像メモリ、及び後述の各種処理の内容を記述したプログラム、当該プログラムを実行するＣＰＵ等からなる。
【００１６】
すなわち、この人物検出装置２０は、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３において人物を検出するための温度しきい値を設定する温度しきい値設定部、ステップＳ４において２値化処理を行う２値化処理部（２値化処理手段）、ステップＳ５においてラベリング処理を行うラベリング処理部（領域検出手段）、ステップＳ６においてグループ化を行う対象となる領域を検出するグループ化対象領域検出部、ステップＳ７においてグループ化を行うグループ化処理部（グループ化手段）、ステップＳ８において人物判定を行う人物判定部（人物判定手段）を有する。
【００１７】
このような人物検出装置２０は、先ず入力Ｉ／Ｆにより、遠赤外線カメラ１０からの熱画像データを入力すると（ステップＳ１）、当該熱画像データを画像メモリに保存する（ステップＳ２）。
【００１８】
次に人物検出装置２０は、温度しきい値設定部により、現在の季節や天候、気温、自車両１周囲の環境に応じて、自車両１前方に存在する人物を検出するための温度しきい値を設定する。このとき、温度しきい値設定部は、人物相当の温度の上限値である上限しきい値と、人物相当の温度の下限値である下限しきい値とを設定し、当該上限しきい値及び下限しきい値に相当する画素の輝度値を設定する。なお、以下では、単に「上限しきい値」、「下限しきい値」と呼ぶ場合には、人物相当の温度の上限値に相当する輝度値、人物相当の温度の下限値に相当する輝度値を指すものとする。
【００１９】
次に人物検出装置２０は、２値化処理部により、温度しきい値設定部により設定された上限しきい値と下限しきい値との間の画素と、上限しきい値と下限しきい値との間以外の画素とで２値化を行う（ステップＳ４）。これにより、人物検出装置２０は、人物相当の温度である輝度値を「１」とし、人物相当の温度ではない輝度値を「０」とした図５（ｃ）や図５（ｆ）のような２値化画像を作成する。
【００２０】
ここで、温度しきい値設定部では、その画像を撮像した日の天候や気温に基づき、人物を検出するのに適した上下のしきい値を設定する。遠赤外線カメラ１０で撮像された熱画像データの輝度値は、遠赤外線カメラ１０の撮像範囲内における温度値に相当する。また、人物の温度である皮膚温度は通常３６℃前後であり、熱画像データにおいて、人物と自車両１との距離が小さい場合には人物の皮膚部分が３６℃に近い輝度値となるが、人物と自車両１との距離が大きくなるほど、温度検出をするための赤外線電位が減衰して、人物周囲の気温の影響を受けた輝度値となる。
【００２１】
例えば、同じ服装の同じ人物を含む熱画像データは、気温の高い日には、人物及び背景の温度が共に高くなるために、図３（ａ）に示すような全体的に輝度値が高い熱画像データとなり、気温低い日には、人物及び背景の温度が共に低くなるために、図３（ｂ）に示すような全体的に輝度値が低い熱画像データとなる。ここで、図３及び以下に示す熱画像データの図では、輝度値が高いほど淡く、輝度値が低いほど濃く表現している。
【００２２】
また、路上の歩行者は様々な服装をしており、薄着である場合の衣服部分は、体温に近くなるが、厚着である場合の衣服部分は、外気温度に近くなるため、遠赤外線カメラ１０で検出される温度分布も衣服の材質によって様々となる。したがって、外気温が低い日において、等距離に存在する材質の異なる服装の人物を撮像した場合には、皮膚温度と外気温に差があるため、厚着の服装の表面は、胴体など人物を示す部分であっても、皮膚温度よりも、外気や周囲物体の方の温度に近くなる。したがって、図４に示すように、薄着の歩行者Ａは、頭部及び手足部分が体温に近い温度、胴体部分が体温よりも低いが高い輝度値で検出され、厚着の歩行者Ｂは歩行者Ａの胴体部分よりも低い輝度値で検出される。
【００２３】
したがって、温度しきい値設定部は、気温に拘わらず人物と背景とを分離することができるように、気温が低い場合と気温が高い場合とで異なる上限しきい値及び下限しきい値、上限しきい値と下限しきい値との範囲（人物検出範囲）を設定する。
【００２４】
具体的には、図５（ａ）に示すように気温が高い場合であって輝度値が平均的に高くなる熱画像データが取得される場合には、図５（ｂ）に示すように、上限しきい値及び下限しきい値を共に高くすると共に上限しきい値と下限しきい値との範囲を狭く設定する。これにより、図５（ａ）のように、人物部分と背景部分とが近い輝度値の熱画像データに対し、上限しきい値と下限しきい値との範囲に該当する人物部分の輝度値を「１」とし、該当しない輝度値を「０」とする２値化を行うことにより、図５（ｃ）に示す２値化画像を作成する。
【００２５】
また、図５（ｄ）に示すように気温が低い場合であって輝度値が平均的に低くなる熱画像データが取得される場合には、図５（ｅ）に示すように、上限しきい値及び下限しきい値を共に低くすると共に上限しきい値と下限しきい値との範囲を広く設定する。これにより、図５（ｄ）のように、人物部分と背景部分とで輝度値が大きく異なる熱画像データに対し、上限しきい値と下限しきい値との範囲に該当する人物部分の輝度値を「１」とし、該当しない輝度値を「０」とする２値化を行うことにより、図５（ｆ）に示す２値化画像を作成する。
【００２６】
これに対し、図６（ａ）のような熱画像データが得られる気温の高い暖かい日において、図６（ｂ）に示すように、図５（ｅ）のような温度しきい値を設定した場合には、人物部分の温度値と背景部分の温度値とが近いために、背景部分も人物検出範囲となってしまい、図６（ｃ）に示すように、全体の輝度値が「１」となる２値化画像となってしまう。また、図６（ｄ）のような熱画像データが得られる気温の低い寒い日において、図６（ｅ）に示すように、薄着の暖かい日と同様に人物全体の温度を含むように図５（ｅ）よりも広い人物検出範囲となる温度しきい値を設定した場合には、背景部分も人物検出範囲となってしまい、図６（ｆ）に示すように、背景の壁部分も含み、人物と壁とが分離できていない２値化画像となってしまう。
【００２７】
このような不都合に対し、人物検出装置２０は、後述するグルーピング処理により人物の胴体部分が含まれない２値化画像であっても人物の検出を可能とし、温度しきい値設定処理では、頭部や脚部などの人物部分を含む２値化画像とし、背景から大きな面積が抽出されない温度しきい値を設定している。
【００２８】
次に人物検出装置２０は、ラベリング処理部により、２値化処理部により作成された２値化画像を用いて、輝度値が「１」の領域であって、画像内で人物に相当する領域（人物候補領域）を検出するラベリング処理を行う（ステップＳ５）。このとき、ラベリング処理部は、例えば２値化画像の左上の画素から順に、輝度値が「１」の画素を検索し、輝度値が「１」の隣接する又は所定距離以内の画素同士を１つの領域（ラベル）とする。
【００２９】
これにより、気温が高く暖かい日に得られる人物の頭部、胴部及び手足が連続する図７（ａ）の２値化画像に対してラベリング処理を行うことにより、図７（ｂ）に示すように、頭部、胴部、手足が連続したラベルａ、ラベルｂを抽出することができる。そして、ラベリング処理部は、図７（ｃ）に示すように、同じラベルを含む領域のフィレ径（Ｘ軸方向（左右方向）における最大及び最小の座標と、Ｙ軸方向（上下方向）における最大及び最小の座標を含む矩形）を設定してラベル領域ａ及びラベル領域ｂを抽出することができる。
【００３０】
また、気温が低く寒い日に得られる人物の頭部、手、足とが分離する図７（ｄ）の２値化画像に対してラベリング処理を行うことにより、図７（ｅ）に示すように、頭部のラベルａ，ｂ、手のラベルｃ，ｄ，ｆ，ｈ、足のラベルｅ，ｇを抽出することができる。そして、ラベリング処理部は、図７（ｆ）に示すように、各ラベルについて、同じラベルを含む領域のフィレ径を設定してラベル領域ａ〜ｈを抽出することができる。
【００３１】
次に人物検出装置２０は、グループ化対象領域検出部により、ラベリング処理部によって検出されたラベル領域のうち、所定の画像面積よりも小さいラベル領域を排除し、所定の画像面積以上のラベル領域のみを選択する（ステップＳ６）。ここで、所定の画像面積とは、自車両１からの人物検出対象距離以内に存在する人物を検出するように設定され、あまりに小さいラベル領域（例えば１〜２画素程度）をノイズとして排除すると共に、自車両１から離れていて自車両１の運転手に警報する必要がないようなラベル領域を排除するように設定されている。
【００３２】
すなわち、人物検出装置２０は、ラベリング処理部によって得られたラベルのうち、グループ化の対象とならないラベルを除去して、グループ化の対象となるラベルのみとする。これにより、人物検出装置２０は、図７（ａ），（ｄ）に示すように、上限しきい値と下限しきい値との間の輝度値となっていて、２値化画像に現れた背景部分のノイズを除去することによって、図７（ｂ），（ｅ）のような背景部分を除いて人物部分のみの画像とする。
【００３３】
また、このグループ化対象領域検出部では、人物程度の大きさよりもあまりに小さいラベル領域を削除する場合のみならず、人物程度の大きさよりもあまりに大きいラベル領域を削除しても良い。これにより、壁等が背景に含まれており、人物程度の温度となっていて２値化画像に含まれた場合に、当該壁等の大きなラベル領域を除去することができる。
【００３４】
次に人物検出装置２０は、グループ化処理部により、グループ化対象領域検出部により選択されたラベル間の距離を検出し、当該距離が、所定の距離しきい値内のラベル同士を同じグループとして設定するグループ化を行う（ステップＳ７）。ここで、所定の距離しきい値は、Ｙ軸方向（縦方向）の距離しきい値ｔｈｙと、Ｘ軸方向（横方向）の距離しきい値ｔｈｘとからなる。
【００３５】
ここで、人物検出装置２０の検出対象が人物であり、当該人物が歩行している状態では、熱画像内の人物が縦長に検出されることや、上述したように、気温の低い寒い日に取得した熱画像には、人物の胴体部分がラベリング処理で抽出されないことが多いことから、頭部と脚部との距離程度にＹ軸方向の距離しきい値ｔｈｙが設定されている。一方、Ｘ軸方向の距離しきい値ｔｈｘは、人物が縦長に検出されることから、Ｙ軸方向の距離しきい値ｔｈｙよりも短い人物の横幅程度であって、例えば、歩行者の脚部の幅程度の距離に設定されている。
【００３６】
これにより、グループ化処理部は、図８に示すように、３個のラベルａ，ラベルｂ，ラベルｃが存在する場合に、当該ラベルａ〜ｃが距離しきい値ｔｈｙの範囲内且つ距離しきい値ｔｈｘの範囲内である時には、当該ラベルａ〜ｃを同一物体から検出されたラベル群としてグループし、ラベルａ〜ｃの最大及び最小のＸ座標と最大及び最小のＹ座標を含む矩形領域であって、距離ｘＬｎ，ｙＬｎ（ｎ＝１，２，３・・・）の人物候補領域を設定する。
【００３７】
具体的には、図９（ａ）のように気温が高い日に検出されたラベリング処理後の熱画像であって、ラベルａ、ラベルｂが検出されている場合、先ずグループ化処理部は、ラベルａに着目し、ラベルａから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索する。この場合、熱画像データには、ラベルａとラベルｂとが含まれるが、ラベルａの距離しきい値ｔｈｘ内にラベルｂが存在しないので、ラベルａのみを単一の物体としてグループ化し、ラベルｂのみを単一の物体としてグループ化することができる。これにより、グループ化処理部は、図９（ｂ）に示すように、ラベルａを含む人物候補領域Ａと、ラベルｂを含む人物候補領域Ｂとを設定することができる。
【００３８】
また、図９（ｃ）のように気温が低く寒い日に検出されたラベリング処理後の熱画像データであって、ラベルａ〜ｈが検出されている場合、先ずグループ化処理部は、ラベルａから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索すると、Ｘ座標が略同じ且つ距離しきい値ｔｈｙの範囲内にラベルｃ，ｄ，ｅが検出される。そして、グループ化処理部は、ラベルｃ，ｄ，ｅについて、それぞれ互いに縦方向の距離しきい値ｔｈｙ、横方向の距離しきい値ｔｈｘの範囲内に位置していることを検出することによって、ラベルａ，ｃ，ｄ，ｅを同一物体としてグループ化する。同様に、人物検出装置２０は、ラベルｂについても同様に距離しきい値ｔｈｘ，ｔｈｙの距離範囲のラベルを検索することによって、ラベルｂ，ｆ，ｇ，ｈを同一物体としてグループ化する。
【００３９】
これにより、グループ化処理部は、人物の胴体部分がラベリング処理によって検出されているか否かに拘わらず、図９（ｄ）に示すように、縦方向距離ｙＬ１，横方向距離ｘＬ１の人物候補領域Ａ、縦方向距離ｙＬ２，横方向距離ｘＬ２の人物候補領域Ｂをグループ化結果として検出することができる。
【００４０】
なお、図９の例では、図示していないが、距離しきい値ｔｈｘ，ｔｈｙの距離範囲に他のラベルが存在していないラベルについては、単一のラベルを人物候補領域として設定して、グループ化結果とする。
【００４１】
次に人物検出装置２０は、人物判定部により、グループ化処理部によって検出された人物候補領域の大きさ及び縦横比を求めて、当該人物候補領域内の物体が人物であるか否かを判定する（ステップＳ８）。このとき、人物判定部は、図９（ｂ）、（ｄ）に示すように検出された人物候補領域の縦横比、すなわちｙＬｎ：ｘＬｎが人物程度となっているか否かを判定する。ここで、人物候補領域の縦横比は、縦：横が２：１〜３：２の範囲内である場合に、人物候補領域内のラベルが人物を構成するものであると判定する。このようにラベルが人物であることを判定するための縦横比は、気温によって人物の頭から足元まで確実にラベルの検出できているとは限らず、また、歩行すると手足が横方向に振れることから、実際の人物の縦横比より少し太めとするために、縦：横＝２：１〜３：２の範囲内としている。また、人物であることを判定するための縦横比は、縦：横を２：１〜３：２とする場合に限らず、子供の歩行者が多い時間帯などでは、例えば１．５：１のように、１：１より多少縦長に設定しても良い。
【００４２】
更に、人物判定部は、人物の歩行速度が通常４〜５ｋｍ／ｈ程度であることから、時間的に連続した検出結果である複数の人物候補領域を用い、人物の動きや連続検出回数などから、複数回連続して検出され、急激な移動がなく、かつ、縦横比が人物程度である物体を人物として判定してもよい。
【００４３】
次に人物検出装置２０は、人物判定部によりグループ化領域内の物体が人物であると判定された場合には、例えば車載ディスプレイ等に人物の存在を提示する警報や、車両制御などを行う（ステップＳ９）。このとき、人物検出装置２０は、ステップＳ１〜ステップＳ８の結果により、自車両１の前方に複数回（例えば３回）連続して人物が検出された場合に、警報や車両制御を行っても良い。
【００４４】
また、この人物検出装置２０は、物体が人物と判定された人物候補領域の熱画像内でのＸ軸上での位置を求め、当該位置に基づく自車両１に対する方位θを求め、警報やライト照射を行う。このとき、人物検出装置２０は、後述の図１７に示すように、人物が存在する方位θと、すなわち実空間上における人物の位置点Ｐと熱画像上の位置ｘｐとの関係に基づいて、後述の式４，下記の式５から方位θを求める。
【００４５】
ｔａｎθ＝ｘｐ／ｆ（ｘｐ：熱画像内で人物を検出したＸ軸座標）  （式５）
このように、人物検出装置２０では、周囲の気温や服装に拘わらず人物を検出でき、人物の存在位置を運転者に知らせるシステムに応用でき、確実に人物の位置を知らせることが可能となる。特に、赤外線を使用した熱画像は、周囲温度を計測しており、夜間の見通しの悪い場面でも人物を検出でき、前方の人物に対する運転者の視認性を向上させることができる。
【００４６】
以上詳細に説明したように、本発明を適用した人物検出装置２０によれば、２値化画像を参照して、上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている人物部分の領域を検出し、当該領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化して、当該人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定するので、２値化処理によって人物の温度相当となる輝度値が複数に分離する場合であっても、当該頭部と脚部とを一つの物体と見なして、人物であるか否かを判定することができる。
【００４７】
したがって、この人物検出装置２０によれば、所定の距離しきい値以内であって人物相当の面積の物体を一つの物体と見なすことができ、例えば人物が厚着をしていて、胴部が外気と略同温度となっているために２値化処理で検出できない場合や、気温によって温度変化の小さい皮膚温度に近い部位だけが２値化で検出されるような温度しきい値にした場合であっても、頭部、脚部、手の甲のような温度変化の小さい部分だけを使って一つの物体としてグループ化することができ、温度変化の大きい胴体部の検出の可否に拘わらず、人物の検出が可能となる。この結果、人物検出装置２０によれば、季節や気温に関係なく人物を安定して検出することが可能となる。
【００４８】
つぎに、上述したような人物検出装置２０に追加して有効な他の実施形態について説明する。なお、以下の説明では、上述した人物検出装置２０と略同じ機能を有する部分については同じ名称を使用するものとする。
【００４９】
「２値化処理の他の実施形態」
先ず、２値化処理の他の実施形態について説明する。
【００５０】
上述したように、人物検出装置２０の２値化処理において、外気温に対して適切な上限しきい値及び下限しきい値を設定した場合には、図５（ｃ）、（ｆ）のように人物と背景とを区別した２値化画像を作成することができるが、外気温に対して不適切な上限しきい値及び下限しきい値を設定した場合には、図６（ｃ）のように人物が全く現れないことや、図６（ｆ）のように人物と重畳して背景物体が多く現れてしまう。
【００５１】
これに対し、人物検出装置２０は、２値化処理後のラベリング処理及びノイズ除去処理において、人物の一部として抽出されたラベルのみを残し、背景物体として抽出されたラベルを排除可能とする上限しきい値及び下限しきい値を設定する。
【００５２】
このため、ある気温において人物の皮膚を観測したときの熱画像内の上限及び下限の輝度値と、当該気温における路面や空領域等の熱画像上で広範囲となる背景領域の温度とを予め統計的に把握しておく。統計的に、図１０（ａ）に示すように、路面や空等の温度領域と、人物温度領域とが一部で重畳する結果が得られた場合に、人物温度領域から路面や空等の温度領域を除いた範囲とする上限しきい値及び下限しきい値を設定する。
【００５３】
このような上限しきい値及び下限しきい値を用いることによって、人物検出装置２０は、路面や空等の温度領域を除いた２値化画像を作成することができる。
【００５４】
また、人物と共に撮像される物体としては、空や路面のみならず、自車両１が路地などの細い道路を走行している場合には、家の塀や壁が熱画像の大部分を占める場合もある。このような場面に対し、人物検出装置２０は、熱画像データのうち、エッジ部分が少なく人物相当の面積よりも広い面積の壁、路面、空を画像処理によって検出し、当該検出した広い面積の壁等の背景輝度値（背景温度）を求める。そして、人物検出装置２０は、図１０（ｂ）に示すように、検出した背景輝度値が、予め設定された人物温度領域と重なり合っている場合には、人物温度領域から背景輝度値を除くように上限しきい値及び下限しきい値を変更する。
【００５５】
これにより、人物検出装置２０は、実際に検出した背景の温度に応じて、人物相当の輝度値を検出するための上限しきい値及び下限しきい値を設定することができ、確実に背景を除いた２値化画像を作成することができる。
【００５６】
以上説明したように、人物検出装置２０は、人物の皮膚温度及び人物が薄着をした時の衣服表面温度を含む温度範囲に相当する輝度値の範囲であって、周囲温度に相当する輝度値の範囲を除く上限しきい値及び下限しきい値を設定して、２値化画像を作成することができる。また、周囲温度を除いて上限しきい値及び下限しきい値を設定することによって、上限しきい値と下限しきい値との範囲を狭くすることができ、他の背景物体を人物相当の温度であると検出する誤検出を抑制して、確実に人物相当の温度を検出することができる。
【００５７】
なお、上限しきい値と下限しきい値との範囲を狭くすると、衣服を着用していて、気温の相違によって温度の取りうる範囲の幅が大きい胴体部分が２値化画像に現れなくなるが、上述したグループ化によって頭部と脚部とを同一物体であると見なし、人物候補領域の縦横比によって人物候補領域の物体が人物であることを検出することができる。
【００５８】
更に、人物の胴体に近い温度が背景温度と略同一となるような気温の低い場合、上限しきい値と下限しきい値との範囲を広くすると、図６（ｆ）のようにラベリング処理において人物と背景を同一領域として検出してしまい、後段のグループ化処理ができなくなることが多いが、背景温度を除いた狭い人物温度領域を設定することによって、人物の形状も正確に判定することができ、正確に人物を検出することができる。
【００５９】
「グループ化処理の他の実施形態」
次に、グループ化処理の他の実施形態について説明する。
【００６０】
上述したグループ化処理は、熱画像内に含まれる人物相当の大きさの距離しきい値を予め設定しておき、複数のラベルをグループ化する処理について説明したが、熱画像内の人物は、自車両１からの距離が遠くなるほど、小さく検出される。
【００６１】
すなわち、遠赤外線カメラ１０は、図１１（ａ）に示すように、人物の温度をカメラレンズ１０ａを介して撮像面１０ｂで検出しており、自車両１から人物までの距離ｚ、焦点距離ｆに応じて、人物の高さＨに対して撮像面１０ｂに現れる人物高さｈｃ（＝画素数）が異なる。具体的には、画像内の人物高さｈｃは、
ｈｃ＝ｆ・Ｈ／ｚ      （式１）
なる演算式で表現される。
【００６２】
つまり、上記式１より、自車両１と人物までの距離ｚが大きくなるほど、画像内での人物高さｈｃが小さくなり、図１１（ｂ）に示すように、自車両１の近方に存在する人物の画像内での高さｈｃ２よりも、自車両１の遠方に存在する人物の画像内での高さｈｃ１が小さくなる。
【００６３】
また、人物検出装置２０は、下記の式２の演算を行うことにより、上記式１における自車両１と人物との距離ｚを求める。ここで、図１２（ａ）に示すように、路面に対する遠赤外線カメラ１０の設置高さＬは既知であり、当該遠赤外線カメラ１０の設置高さＬ、遠赤外線カメラ１０の焦点距離ｆから、人物の足の位置が撮像される画像内位置ｙｄは、式２に示すように、
ｙｄ＝ｆ・Ｌ／ｚ      （式２）
なる演算式で表現される。
【００６４】
つまり、図１２（ｂ）に示すように、画像内において検出された人物の足元に相当するＹ座標、すなわち人物温度領域の最下端の座標を足元の座標ｙｄと決めた場合に、距離ｚが求まり、当該距離ｚを式１に代入することによって、座標ｙｄに存在する人物の画像内高さｈｃを求めることができる。
【００６５】
このように距離ｚに応じた人物の画像内高さｈｃは、距離ｚに存在する人物が遠赤外線カメラ１０で撮像されるべき頭部と脚部との距離に相当し、人物検出装置２０は、式１で求めた画像内高さｈｃに距離しきい値ｔｈｙを設定する。また、人物検出装置２０は、式１で求めた距離しきい値ｔｈｙから、縦横比が所定範囲（２：１〜３：２）となるように距離しきい値ｔｈｘを設定することによって、歩行する人物の歩幅程度の長さに相当する距離しきい値ｔｈｘを設定する。例えば、式１で求めた距離しきい値ｔｈｙが１ｍであった場合には、歩幅程度の長さは一般的な体系の人物から距離しきい値ｔｈｘを０．７ｍ程度に設定する。なお、昼間や学校の前など子供の歩行者が多い時間帯に人物検出を行う場合には、距離しきい値ｔｈｙを５０ｃｍ、距離しきい値ｔｈｘを０，３５ｃｍ程度の半分程度の値に設定しても良い。
【００６６】
このように、グループ化処理で使用する距離しきい値ｔｈｙ，ｔｈｘを、実際の焦点距離ｆ、遠赤外線カメラ１０の設置高さＬから距離ｚを求めて、式１によって設定することによって、熱画像に含まれる人物の頭部と手との距離又は人物の頭部と脚部との縦方向の距離しきい値ｔｈｙ、人物の脚部の幅である横方向の距離しきい値ｔｈｘを設定することができる。
【００６７】
したがって、この人物検出装置２０によれば、グループ化処理において、人物の大きさや形状に近い形としてグループ化して人物温度領域を設定することができ、より正確に人物を検出することができ、人物と同程度の温度であるが人物とは異なる形状の物体を人物として検出してしまう誤検出を防ぐ効果がある。
【００６８】
なお、ステップＳ１〜ステップＳ９の処理を繰り返し行う場合において、グループ化処理で式１及び式２を使用して最適な距離しきい値ｔｈｙ，ｔｈｘを設定した後に人物を検出した場合には、当該人物のラベルからおおよその身長や歩幅が検出でき、再度距離しきい値ｔｈｙ，ｔｈｘを設定することが望ましい。これにより、ある人物が一度検出されたにも拘わらず、次の処理で人物であると判定できない誤検出を回避することができる。
【００６９】
また、上述した人物検出装置２０において、気温が低く寒い日であって、人物が厚着をしている季節などにおいて、ラベルの検出安定性が低く、ラベルの面積が小さめに観測されることが多い。また、人物判定部によって人物であると一度判定した人物においては、当該人物の人物候補領域の位置に人物が存在することが予め想定できる。
【００７０】
これに対し、グループ化処理は、一度人物であると判定した場合において、当該人物が存在していた人物候補領域付近について各ラベル間が距離しきい値ｔｈｘ，ｔｈｙ以内か否かを判定する場合に、前回の距離しきい値ｔｈｘ，ｔｈｙよりも距離が長い距離しきい値ｔｈｘ，ｔｈｙを使用する。このとき、グループ化処理部は、人物と判定される前の前回の距離しきい値ｔｈｘ，ｔｈｙよりも、今回の距離しきい値ｔｈｘ，ｔｈｙを１．１倍〜１．２程度の長さに設定する。
【００７１】
また、グループ化処理部は、ステップＳ１〜ステップＳ９の処理を連続的に行って、連続的に人物を検出する場合において、熱画像内での人物の面積が次第に変化する。これに対し、グループ化処理部は、人物と判定された時の人物候補領域が次第に大きくなるような人物と自車両１との距離が近づく場合には、距離しきい値ｔｈｘ，ｔｈｙを次第に長くし、人物と判定された時の人物候補領域が次第に小さくなるような人物と自車両１との距離が遠ざかる場合には、距離しきい値ｔｈｘ，ｔｈｙを次第に短くする。
【００７２】
このようなグループ化処理部によれば、ステップＳ１〜ステップＳ９の処理を連続的に行って連続的に人物を検出する場合において、人物判定部により人物であると判定された次のグループ化において、当該人物が存在する付近では予め設定された値よりも長く距離しきい値ｔｈｘ，ｔｈｙを変更するので、気候等によってラベルが小さく検出される場合であっても、確実にグループ化を行って人物を検出することができる。
【００７３】
また、このグループ化処理部によれば、人物が自車両１に近づく場合には距離しきい値ｔｈｘ，ｔｈｙを長く変更し、人物が自車両１から遠ざかる場合には距離しきい値ｔｈｘ，ｔｈｙを短く変更するので、人物判定部によって前回までに人物であることが検出された後に、気温の変化や人物の動作によって手足等の一部のラベルが検出できない場合であっても確実に人物を検出することができると共に、自車両１に対する人物の動きに応じて距離しきい値ｔｈｘ，ｔｈｙを変更するので、人物の背景物体をグループ化する誤検出を防止することができる。これにより、人物検出装置２０によれば、安定して人物を検出することができ、自車両１に対する人物の追跡を行うことができる。
【００７４】
「人物判定処理の他の実施形態」
つぎに、人物判定処理の他の実施形態について説明する。
【００７５】
この人物判定処理は、人物であると判定するための人物候補領域の縦横比が、予め設定された熱画像内での人物相当の縦横比の範囲内であり、且つ、人物候補領域の最下端位置が熱画像内での路面に相当する位置である場合に、人物候補領域の物体が人物であると判定することを特徴とする。
【００７６】
ここで、図１２（ａ）に示すように、道路面を歩行している人物の足元は、人物が存在する赤外線カメラ１０からの距離ｚがある程度既知であれば、当該距離ｚを上記式２に代入したときに式２が取りうる範囲の値となる。
【００７７】
例えば、検出対象とする人物の検出範囲を、自車両１前方から５〜５０ｍ程度の範囲と設定した場合に、最も遠い距離である５０ｍ前方に存在する人物の足元は、熱画像内において最も高い位置に現れ、当該自車両１前方の５０ｍよりも手前の人物の足元は、熱画像内において低い位置に現れる。これは、図１２（ｂ）に示すように、上述の式２に基づく人物の足の位置が撮像される画像内位置ｙｄから、自車両１前方の５０ｍよりも手前の人物の足元が、Ｌ・ｆ／５０より下の位置となるということである。
【００７８】
このように、検出対象となる人物と遠赤外線カメラ１０との距離によって、熱画像内の人物位置が上下することは、図１３に示すように、人物と壁の上方に街灯が存在する場面において、上述のグループ化処理を施すと、人物の人物候補領域とは別に、街灯についても人物候補領域が検出され、式２から、人物候補領域の最下端位置ｙｅ１と、街灯の最下端位置ｙｅ２とが得られる。
【００７９】
また、人物検出装置２０に設定されている人物の最長検出距離（５０ｍ）での人物候補領域の最下端位置ｙｄ（＝  Ｌ・ｆ／５０）、当該最下端位置に画像内オフセットＡを与えた最下端位置ｙｄ’（＝ｙｄ＋Ａ）は、図１３に示すようになる。ここで、画像内オフセットＡは、予め設定された熱画像内における所定のオフセット量であり、足元が冷えている人物やブーツを履いている人物など、人物の足先まで検出されない場合に、頭部と手のみによって人物を検出可能とするためのオフセット量であって、熱画像内に現れる脚部のＹ軸方向の平均的な長さに基づいて設定されている。
【００８０】
したがって、人物検出装置２０の自車両１からの人物検出距離範囲を設定した場合に、人物候補領域の最下端位置は、ｙｄ’よりも下方に現れることになる。つまり、人物判定部は、グループ化処理によって人物候補領域が得られた場合に、図１３における最下端位置ｙｅ１がｙｄ’よりも下方に位置する場合のみに、当該人物候補領域の物体が人物であると判定することができる。これに対し、最下端位置がｙｅ２の人物候補領域については、ｙｄ’よりも大きく上方に位置するため、予め設定した人物検出装置２０の人物検出距離範囲よりも遠方の人物、又は、図１３のように、人物よりも高い位置の街灯などであると判定することができる。
【００８１】
このように、人物判定部によれば、グループ化した結果である人物候補領域の物体が人物か否かを判定するに際して、人物候補領域の縦横比及び大きさが人物相当であっても、人物候補領域の最下端位置が路面に相当する位置に近くない場合には、人物候補領域の物体が人物ではないことを判定することができる。これにより、例えば、頭上の位置に存在し、温度が人物の皮膚程度として観測されることの多いタクシーの行灯や門の灯りなどを、路上に存在する人物であると判定する誤検出を防ぐことができる。
【００８２】
つぎに、人物判定処理の更に他の実施形態について説明する。
【００８３】
この人物判定処理は、複数回に亘って人物であると判定した人物候補領域の最下端位置を、複数の人物候補領域の最下端位置の平均値又は複数の人物候補領域に基づいて補正した最下端位置に設定して、当該最下端位置が熱画像内での路面に相当する位置であるか否かを判定することを特徴とする。すなわち、この人物判定処理は、上述の人物候補領域の最下端位置に基づいて、人物候補領域の物体が人物か否かを判定する処理を、複数回に亘って行った場合に、人物ではないと判定するための人物候補領域の最下端位置を補正することを特徴とする。
【００８４】
ここで、周囲気温が低い寒い日の場合、人物の脚部がズボンなどの厚い布に覆われている場合が多く、このため、頭部や手に比べると表面温度が低いために、人物相当の温度範囲が広くなり、ラベリング処理によってラベルが検出されずに不安定となる場合が多い。
【００８５】
すなわち、気温が低い日において、図１４（ａ）に示すように、時刻ｔでは、脚部の輝度値が頭部の輝度値と比較して大差がない熱画像を得ることができ、２値化処理及びラベリング処理の結果、図１４（ｂ）に示すように、頭部、手のみならず、脚部のラベルも検出することができる。これに対し、気温が低い日において、時刻ｔ＋Δｔでは、図１４（ｃ）に示すように、脚部の輝度値が頭部の輝度値よりも著しく低い熱画像となり、２値化処理及びラベリング処理の結果、図１４（ｄ）に示すように、頭部、手のラベルを検出することはできるが、脚部のラベルが検出できないことになる。
【００８６】
このように、人物の各部のラベルが検出されたり、検出されなかったりすると、人物候補領域の最下端位置ｙｅ１が、脚部のラベルが検出された図１４（ｂ）の場合と、脚部のラベルが検出されなかった図１４（ｄ）の場合とで異なることになる。すなわち、時刻ｔでは、人物候補領域の最下端位置がｙｅ１であって、当該人物候補領域が上述のｙｄ’よりも低いために物体が人物であると判定できても、時刻ｔ＋Δｔでは、人物候補領域の最下端位置ｙｅ１が上方に変化する。これにより、上述したように、路面近くに人物候補領域の最下端位置が存在すると判定できる最下端位置ｙｄ’（＝ｙｄ＋Ａ）よりも、時刻ｔ＋Δｔでの人物候補領域の最下端位置ｙｅ１が上方となると、当該人物候補領域の物体が人物であることを判定できなくなる。
【００８７】
これに対し、人物判定部は、時刻ｔでのラベル検出位置と時刻ｔ＋Δｔとのラベル検出位置とを比較し、例えば上半身の検出部分は同一であることから、時刻ｔでのラベル検出位置と、時刻ｔ＋Δｔでのラベル検出位置との重なり具合が大きいと判定した場合に、時刻ｔの人物候補領域と、時刻ｔ＋Δｔの人物候補領域の物体とは同一人物であることを判定できる。
【００８８】
したがって、人物判定部は、時刻ｔ＋Δｔより以前の人物候補領域の最下端位置ｙｅ１と、時刻ｔ＋Δｔでの人物候補領域の最下端位置ｙｅ１との平均値を求めて、時刻ｔ＋Δｔでの人物候補領域の最下端位置ｙｅ１とすることによって、図１４（ｄ）での最下端位置ｙｅ１を、図１４（ｅ）に示すように時刻ｔ＋Δｔでの人物候補領域の最下端位置ｙｅ１に補正することができる。
【００８９】
また、人物判定部は、人物候補領域の最下端位置ｙｅ１が急激に変化した場合は、過去に取得した人物候補領域の最下端位置ｙｅ１から、今回の人物候補領域の最下端位置ｙｅ１を補間する等の処理を施すことで、人物候補領域の最下端位置ｙｅ１の値を過去の値から求めるようにする。
【００９０】
すなわち、グループ化の結果が図１４（ｄ）のような検出結果になった場合であっても、図１４（ｂ）のような過去の人物候補領域の最下端位置ｙｅ１を適用すること、又は、過去５回程度の平均値とすれば、最終的な人物候補領域の最下端位置ｙｅ１を図１４（ｅ）に示すような位置とすることができる。
【００９１】
したがって、この人物判定部によれば、連続して検出中の人物のラベルが上半身だけになった場合でも、確実に同一人物を検出することができ、気温の低い日や、歩行者が走ることなどによって脚部の動きが速く時など、安定したラベルの検出ができなくなる場合であっても、過去に連続して人物と検出できている場合は、安定してラベルが検出可能な頭部のラベルが検出されていれば、脚部のラベルの検出が不安定となっても、同一人物であることを判定することができる。
【００９２】
したがって、脚部が検出されない場合でも、過去に検出されていれば、人物候補領域の最下端位置が最下端位置ｙｄ’（＝ｙｄ＋Ａ）よりも上方であることによって、誤って頭上の物体と判定されて検出されなくなることを防ぐことができる。
【００９３】
「ラベリング処理の他の実施形態」
つぎに、ラベリング処理の更に他の実施形態について説明する。
【００９４】
このラベリング処理部は、遠赤外線カメラ１０による実空間上の撮像範囲のうち、人物の頭部が撮像される撮像位置に相当する熱画像内の位置よりも下方の範囲に限定して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっているラベルを検出することを特徴とする。
【００９５】
ここで、図１５（ａ）に示すように、頭部よりも高い位置に背景の街灯が存在する道路を、歩行者が歩いている場面において、縦方向において歩行者の人物候補領域と街灯の人物候補領域とが異なる位置となっている場合には、人物候補領域の縦横比及び大きさによって、歩行者の人物候補領域の物体が人物であると判定でき、街灯の人物候補領域の物体が人物ではないことを判定することができる。
【００９６】
そして、時刻ｔ＋Δｔにおいて、図１５（ｂ）に示すように、歩行者が街灯の真下まで移動してＸ軸座標が略同一となった場合、グルーピング処理により、歩行者と街灯とが一つの物体として判定される恐れがある。さらに、その後、図１５（ｃ）に示すように、歩行者が街灯の左側まで移動すると、街灯に相当する人物候補領域は、一度図１５（ｂ）の時刻ｔ＋Δｔにおいて人物の頭に相当する部分であると判定されているため、時刻ｔ＋２Δｔでは、図１４を参照した人物候補領域の最下端位置を補正する処理によって、街灯の人物候補領域の最下端位置を、図１５（ｂ）での人物候補領域の最下端位置としてしまい、街灯の人物候補領域にも人物が存在しているという誤判定になる可能性もある。
【００９７】
そこで、２値化処理部及びラベリング処理部は、図１６に示すように、明らかに人物が撮像されない程度の高さにおける画素を、２値化及びラベリングの処理範囲外とする。具体的には、図１６に示すように、人物が現れる熱画像内の範囲よりも上方に、処理制限線を設ける。このとき、２値化処理部又はラベリング処理部は、熱画像内での４点を指定し、当該４点を結ぶ直線によって処理制限線を構成し、当該処理制限線の下方を処理対象外に限定する。
【００９８】
これにより、２値化処理部は、図１６（ａ）に示すように、人物よりも上方の街灯部分を処理対象外とすることができ、ラベリング処理部は、街灯についてのラベルを除去した上で、人物のみのラベルを検出することができる。
【００９９】
具体的には、人物検出装置２０は、自車両１からどの程度の距離範囲に存在する人物を検出するかを設定する。ここで、例えば、通常、自車両１の運転者が注意を必要とする前方５〜５０ｍの距離範囲であって、前方にある幅４ｍ程度の路上とする。この場合、人物の背の高さをＨとすると、図１６（ａ）に示すように、熱画像上における人物の頭が撮像される位置ｙｓは、式２により算出される人物の足の位置が撮像される画像内位置ｙｄから式１により算出される熱画像内の人物高さｈｃ分だけ上方の位置となるため、下記の式３により求められる。
【０１００】
ｙｓ＝ｆ・Ｌ／ｚ−ｆ・Ｈ／ｚ  （式３）
また、人物検出装置２０において、人物の検出範囲を自車両１が走行する路上のみに限定した場合、自車両１正面の至近距離に急に現れる人物はなく、正面に現れる人物は次第に距離が近づく、もしくは、人物が横から飛び出してくる場面である。したがって、熱画像の左右端付近では、近距離（５ｍ程度）に存在する人物の頭部を検出可能な高さの処理制限線を設ける必要があり、熱画像の中心部では、遠方の人物を検出対象とし、一度検出できた人物を時間的に連続して検出する高さの処理制限線を設ける。また、自車両１から遠距離の人物の温度は、周囲の気温に近い値として検出されやすいが、自車両１の近距離正面の人物の温度は、胴体や脚部でも人物相当の温度を検出できるため、頭部が検出範囲外であったとしても検出は可能である。
【０１０１】
このことから、図１６（ｃ）に示すよう処理制限線の左右端の高さを示す座標ｙｕ１は、近距離に入る人物を検出可能とするように、式３の距離ｚに例えば５ｍ程度の近距離値を代入して、人物の頭部が検出される高さｙｓとなるように決定する。また、処理制限線の画像中央付近の高さを示す座標ｙｕ２は、遠距離に存在する人物の頭部を検出可能とするように、式３の距離ｚに例えば５０ｍ程度の遠距離値を代入して、人物の頭部が検出される高さｙｓとなるように決定する。なお、処理制限線の左右端高さｙｕ１、ｙｕ２は、自車両１のピッチング運動なども考慮し、それぞれ多少上方向にオフセットした値を設定しても良い。
【０１０２】
また、図１７（ａ）に示すように、カメラレンズ１０ａからの前方距離ｚの路面端（光軸からの距離がＸＲである位置）の点Ｒは、図１７（ｂ）に示すように、熱画像上における座標ｘｒとして現れる。この路面端の熱画像上の座標ｘｒは、下記式４により計算できる。
【０１０３】
ｘｒ＝ｆ・ＸＲ／ｚ    （式４）
そして、熱画像上の中心付近において、自車両１が走行する路面上に存在する遠方の人物を検出可能とするために、上記式４に、光軸を中心とした左右のＸＲ、焦点距離ｆ、自車両１から５０ｍの距離ｚを代入して、熱画像上での左右の路面端ｘｌ，ｘｒを求め、図１６（ｃ）におけるＹ軸座標ｙｕ２に対するＸ軸座標ｘｌ，ｘｒを求めることができる。
【０１０４】
このように、人物検出装置２０は、熱画像上の左右端のＹ軸座標ｙｕ１の２点と、Ｙ軸座標ｙｕ２に対するＸ軸座標ｘｌ，ｘｒとの２点の４点からなる処理制限線を設定しておき、２値化処理において処理制限線よりも上方の熱画像を処理対象外とすると共に、ラベリング処理において処理制限線より上方に検出されたラベルを処理対象外とすることができる。
【０１０５】
したがって、この人物検出装置２０によれば、自車両１前方の検出対象とする人物の実空間上における位置を限定し、人物の顔が撮像されうる位置より下の領域だけに２値化処理及びラベリング処理を限定することによって、人物の頭部が撮像されうる熱画像上の位置以外、例えば遠方の高い建物の３階、４階など、明らかな頭上や空の領域に近い位置を処理対象外とすることで、遠方の高い位置に存在する温度帯を人物の頭部と誤検出することを防ぐことができる。
【０１０６】
また、歩行者が自車両１の至近距離に存在する場合には、人物の頭部が遠方の空領域に相当するような熱画像上での上方に撮像されるが、歩行者が自車両１の近方に存在する場合には、ラベルの検出が不安定となりやすい胴体や脚部が検出されやすいことを利用して、当該胴部を含む人物が検出された場合に人物温度領域の物体を人物であることを判定することができ、上方の頭部だけのラベルが検出されたときに人物であるという誤検出を防止することができる。
【０１０７】
これにより、人物検出装置２０によれば、上述の図１５に示したように、ラベルの検出安定性が低いことに対して、頭部のみのラベルによって人物温度領域の大きさを変更する処理によって、人物の上方に存在する街灯などを人物と判定することを無くすことができる。
【０１０８】
「人物判定処理の他の実施形態」
つぎに、人物判定処理の更に他の実施形態について説明する。
【０１０９】
この人物判定処理は、遠赤外線カメラ１０による実空間上の撮像範囲のうち、人物の脚部が撮像される撮像位置に相当する熱画像内の位置よりも、人物候補領域の最下端位置が下方である場合に、当該人物候補領域の物体が人物であると判定することを特徴とする。
【０１１０】
この人物判定部は、上述の２値化処理及びラベリング処理において、熱画像内の上方に処理制限線を設ける場合とは逆の下方に、図１８に示すように、人物候補領域の物体が人物であるか否かを判定するための処理制限線を設けている。この処理制限線は、人物の足元位置を判定するために設けられる。
【０１１１】
ここで、人物検出装置２０は、自車両１の前方５〜５０ｍの人物を検出すると設定し、当該人物が道路幅以内に存在することを考慮にいれ、道路で歩行する歩行者の足元が存在する領域を予め設定する。ここで、自車両１の前方５〜５０ｍの範囲の人物の足元位置の熱画像内の位置は、上述の式２によって求められる。
【０１１２】
すなわち、処理制限線の左右端高さｙｅ１は、距離ｚに検出対象の最短値（５ｍ）を式２に代入して求め、処理制限線の画像中央付近の高さを示す座標ｙｅ２は、距離ｚに検出対象の最長値（５０ｍ）を式２に代入することによって求める。なお、処理制限線の高さｙｅ１、ｙｅ２は、自車両１のピッチング運動や、足元のラベルが検出されないなども考慮し、それぞれ多少上方向にオフセットした値を設定しても良い。
【０１１３】
また、図１７を参照して説明したように、路面端の熱画像上の座標ｘｒ、ｘｌは、上記式４によって、図１８におけるＹ軸座標ｙｅ２に対するＸ軸座標ｘｌ，ｘｒを求めることができる。
【０１１４】
このように、人物検出装置２０は、熱画像上の左右端のＹ軸座標ｙｅ１の２点と、Ｙ軸座標ｙｅ２に対するＸ軸座標ｘｌ，ｘｒとの２点の４点からなる処理制限線を設定しておき、人物判定処理において処理制限線よりも下方に人物の足元のラベルが検出された場合に、人物であることを判定することができる。
【０１１５】
これにより、上述の図１３を参照して説明したように、人物の足の位置を熱画像のすべてのＸ座標において同じ人物の足の位置が撮像される画像内位置ｙｄに設定して、実際の人物候補領域の最下端位置と比較する場合には、例えば図１９に示す左側の壁のように、壁の上方に人物相当の暖かい部分が存在し、当該位置が熱画像上において左右の端に位置すると、人物として誤検出してしまう可能性がある。これに対し、熱画像の左右端では遠方の人物が撮像されることはありえないため、図１８のように、熱画像の左右端の処理制限線の位置を低くして、道幅を考慮した処理制限線を設定している。これにより、自車両１が走行する道路上の人物の足元位置を正しく判定することができ、より正確に人物と人物以外の物体との区別をすることが可能となる。
【０１１６】
したがって、このような人物判定処理によれば、前方の検出対象とする人物の実空間上における位置を限定し、当該限定した範囲に人物の脚部が撮像されうる位置を求め、当該脚部が撮像される位置より所定の高さ分、熱画像上においてオフセットを持つ位置に処理制限線を設けることによって、グループ化結果の人物候補領域の最下端位置と処理制限線との位置関係を比較し、人物候補領域の最下端位置が処理制限線よりも下方となっている場合に、人物候補領域の物体を人物であることを判定することができる。
【０１１７】
また、遠赤外線カメラ１０の光軸が前方に存在する道路中心と並行になるよう遠赤外線カメラ１０を使用した場合、熱画像上の左右端が道路脇の壁や道路左右にある建物などが撮像される領域となるため、左右端の上部に人物の脚部が撮像される可能性はない。一方、熱画像の中心付近は自車両１正面の路面であるため、遠方に存在する人物の脚部が、熱画像の上下方向の中心付近に撮像されることもある。これに対し、人物判定部は、熱画像の左右端部と、略中心位置とで人物が撮像される熱画像上の領域を考慮したうえで、人物の脚部が撮像されうる熱画像内の領域を設定したため、単に画像内位置ｙｄを設定した場合と比較して正確に人物を判定することができる。
【０１１８】
また、この人物検出装置２０では、上述したように、熱画像内の略中央付近では遠方の歩行者が検出可能とし、熱画像内の左右両端では近方の歩行者を検出可能なように処理制限線を設定したが、自車両１が走行している場合は、遠赤外線カメラ１０による実空間上の撮像範囲のうち、自車両１が走行する路面上に相当する熱画像内の領域に限定して２値化処理、ラベリング処理及び人物判定処理等を行っても良い。
【０１１９】
すなわち、人物検出装置２０は、例えば、道幅が狭い場合には、路面幅に基づくＸ軸座標ｘｌ、ｘｒを求める際に、式４に代入する光軸からの距離ＸＲの値を小さめに設定し、道幅が広い場合には、距離ＸＲを大きく設定する。そして、人物検出装置２０は、当該距離ＸＲを調整して人物候補領域の上端を判定する処理制限線、及び、人物候補領域の最下端位置を判定する処理制限線を設定する。
【０１２０】
これにより、自車両１が路面を走行している時において、路面幅に応じた処理制限線を設定して、路面領域の歩行者のみを処理対象とすることができ、熱画像内の左右端付近に現れる壁等を人物であると判定する誤検出を防止することができる。
【０１２１】
更に、自車両１が２車線以上の道路を走行している場合に、対抗車線を走行する他車両を検出対象外にする場合、人物検出装置２０は、遠赤外線カメラ１０の撮像範囲のうち、遠赤外線カメラ１０の光軸から対抗車線までの距離とならないように、光軸からの距離ＸＲを小さく設定する。また、自車両１の右側が対向車線となっている場合に、式４における右側の光軸からの距離ＸＲを略零とすることによって、検出対象外にするなどの処理をしても良い。
【０１２２】
これにより、自車両１の対向車線を走行する他車両の温度が人物相当の温度となっている場合であっても、当該他車両を人物であると判定する誤検出を防止することができ、特に、対向車が多い走行路における誤検出を確実に防止することができる。
【０１２３】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１２４】
【図１】本発明を適用した人物検出装置を搭載した自車両の概略構成を示す図であって、（ａ）は側面図、（ｂ）は上面図である。
【図２】本発明を適用した人物検出装置によって、自車両前方の人物を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図３】遠赤外線カメラによって撮像される熱画像の相違を説明するための図であって、（ａ）は気温が高く暖かい日に撮像される熱画像、（ｂ）は気温が低く寒い日に撮像される熱画像である。
【図４】遠赤外線カメラによって撮像される熱画像内の人物が、人物の服装によって異なることを説明するための図である。
【図５】遠赤外線カメラで撮像した熱画像を２値化した熱画像を作成する処理を説明するための図であって、（ａ）は気温が高い日に撮像される熱画像、（ｂ）は気温が高い日に使用する温度しきい値、（ｃ）は気温が高い日に作成される２値化後の熱画像、（ｄ）は気温が低い日に撮像される熱画像、（ｅ）は気温が低い日に使用する温度しきい値、（ｆ）は気温が低い日に作成される２値化後の熱画像である。
【図６】不適切な上限しきい値及び下限しきい値を使用した２値化処理を説明するための図であって、（ａ）は気温が高い日に撮像される熱画像、（ｂ）は温度しきい値、（ｃ）は（ａ）の画像を（ｂ）の温度しきい値を用いて２値化した後の熱画像、（ｄ）は気温が低い日に撮像される熱画像、（ｅ）は温度しきい値、（ｆ）は（ｄ）の画像を（ｅ）の温度しきい値を用いて２値化した後の熱画像である。
【図７】２値化後の熱画像に対するラベリング処理及びノイズ除去処理を説明するための図であって、（ａ）は気温が高い日に撮像された熱画像を２値化した画像、（ｂ）は（ａ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像、（ｃ）は（ｂ）の画像に対してラベルの領域を設定した画像、（ｄ）は気温が低い日に撮像された熱画像を２値化した画像、（ｅ）は（ｄ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像、（ｆ）は（ｅ）の画像に対してラベルの領域を設定した画像である。
【図８】グループ化処理について説明するための図である。
【図９】グループ化処理について説明するための図であって、（ａ）はラベリング処理後の画像、（ｂ）は（ａ）の画像に対してグループ化処理をした後の画像、（ｃ）はラベリング処理後の画像、（ｄ）は（ｃ）の画像に対してグループ化処理をした後の画像である。
【図１０】（ａ）は人物相当の温度領域から、路面や空の温度領域を除いた温度しきい値を使用することを説明するための図であり、（ｂ）は人物相当の温度領域から、背景温度領域を除いた温度しきい値を使用することを説明するための図である。
【図１１】熱画像内に現れる人物高さを求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物高さが変わることを説明するための図である。
【図１２】熱画像内に現れる人物の足元の位置を求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物の足元の位置が変わることを説明するための図である。
【図１３】人物候補領域の最下端位置によって、人物と、背景物体とを判定する処理を説明するための図である。
【図１４】人物候補領域の最下端位置を補正する処理を説明するための図であって、（ａ）は熱画像、（ｂ）は（ａ）の熱画像にグループ化処理までを施した画像、（ｃ）は熱画像、（ｄ）は（ｄ）の熱画像にグループ化処理までを施した画像、（ｅ）は（ｄ）の人物候補領域の最下端位置を補正した後の画像である。
【図１５】人物候補領域の最下端位置を補正することによって生じる不都合を説明するための図であって、（ａ）は人物と街灯とがＸ軸上で異なる位置である場合、（ｂ）は人物と街灯とで同じ人物候補領域を設定した時の画像、（ｃ）は街灯についての人物候補領域の最下端位置を補正した後の画像である。
【図１６】２値化処理及びラベリング処理の処理範囲外とする処理制限線を熱画像の上方に設定する処理を説明するための図であって、（ａ）は２値化処理において処理制限線を設けた画像、（ｂ）は処理制限線を設けて２値化処理及びラベリング処理を行った後の画像、（ｃ）は処理制限線を設ける位置を説明するための図である。
【図１７】熱画像内で自車両が走行する路面を特定する処理を説明するための図であって、（ａ）は原理図、（ｂ）は路面端部と人物存在位置との関係を示す図である。
【図１８】人物候補領域の最下端位置と、熱画像内の下方に設けた処理制限線との位置関係を示す図である。
【図１９】熱画像内の下方に設ける処理制限線を、熱画像の左右両端に亘って一定の高さとした場合の不都合を説明するための図である。
【符号の説明】
【０１２５】
１  自車両
１０  遠赤外線カメラ
２０  人物検出装置
【図１】
2006101384.tif 000003
【図２】
2006101384.tif 000004
【図３】
2006101384.tif 000005
【図４】
2006101384.tif 000006
【図５】
2006101384.tif 000007
【図６】
2006101384.tif 000008
【図７】
2006101384.tif 000009
【図８】
2006101384.tif 000010
【図９】
2006101384.tif 000011
【図１０】
2006101384.tif 000012
【図１１】
2006101384.tif 000013
【図１２】
2006101384.tif 000014
【図１３】
2006101384.tif 000015
【図１４】
2006101384.tif 000016
【図１５】
2006101384.tif 000017
【図１６】
2006101384.tif 000018
【図１７】
2006101384.tif 000019
【図１８】
2006101384.tif 000020
【図１９】
2006101384.tif 000021