(57)【要約】【課題】  歩行者の検出確度の高い低コストの車両周辺監視装置を提供することを目的とする。【解決手段】  投光器３から前方に照射された近赤外線光に対する前方対象物からの反射光を赤外線カメラ２により捉え、その近赤外線画像を周辺監視コントロール・ユニット１で画像処理し、閾値濃度を超える濃度領域を抽出する。抽出された濃度領域の縦横比が所定の範囲に入っているものを歩行者候補領域として抽出し、さらに歩行者候補領域の画像の濃度平均値と分散値を算出し、それに基づいて構造物と判定した歩行者候補領域を除外し残りを歩行者領域とする。周辺監視コントロール・ユニットは、ＨＵＤユニット４により歩行者領域を強調処理したカメラ画像をフロントウインドに表示する。【選択図】    図１
2005159392.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、
前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、
前記歩行者候補の画像の濃度に基づいて構造物であるか否かを判定する構造物判定手段とを備えることを特徴とする車両周辺監視装置。
【請求項２】
前記歩行者候補抽出手段は、前記対象物抽出手段により抽出された前記対象物の画像に外接する四角形の枠を設定する矩形設定手段と、該矩形設定手段により設定された前記四角形の枠の縦横比を算出する縦横比算出手段とを有し、前記縦横比が所定の数値範囲の場合歩行者候補と判定することを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記構造物判定手段は、前記歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段を有し、前記濃度平均値が所定値以上か、または前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定することを特徴とする請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記構造物判定手段は、前記歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段を有し、前記濃度平均値が所定値以上で、かつ前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定することを特徴とする請求項１または２に記載の車両周辺監視装置。
【請求項５】
さらに、前記車両の運転席前方に設けられ、前記撮像手段により撮影された赤外線画像を表示する表示装置と、該表示装置に表示させる画像を制御する表示制御部とを備え、
前記表示制御部は、前記構造物判定手段によって構造物と判定されたものを除く残りの前記歩行者候補の画像に対して強調表示することを特徴とする請求項１から４のいずれか１に記載の車両周辺監視装置。
【請求項６】
前記強調表示は、前記構造物と判定されたものを除く残りの歩行者候補の画像を、点線枠、破線枠、鎖線枠、太線枠のいずれかで囲む表示であることを特徴とする請求項５に記載の車両周辺監視装置。
【請求項７】
さらに、自車両の速度を検出する車速センサを備え、
前記表示制御部は、前記速度が所定値以上である場合に、前記赤外線画像を前記表示装置に表示させることを特徴とする請求項５または６に記載の車両周辺監視装置。
【請求項８】
車両の周辺の赤外線画像から赤外線を発する対象物を抽出し、前記抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出し、前記歩行者候補の画像の濃度に基づいて構造物であるか否かを判定し、構造物と判定されたものを除く残りの前記歩行者候補の画像を歩行者と判定する車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺に存在する歩行者を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者を検出する車両周辺監視装置としては、例えば特許文献１に示すようなものが知られている。この車両周辺監視装置は、２つの赤外線カメラにより得られる画像から、車両周辺の対象物と車両との距離を算出し、更に、時系列に求められる対象物の位置データから対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、車両と衝突する可能性の高い対象物を検出する。
また、特許文献２には、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
【０００３】
さらに、特許文献３には、カメラ装置により撮影された赤外線画像から赤外線を発する対象物を抽出し、抽出された対象物の画像を、構造物を特定する要素となる基準画像と照合し、対象物が構造物であるか否かを判定することにより、構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する技術が開示されている。
【特許文献１】特開２００１−６０６９号公報
【特許文献２】特開２００１−１０８７５８号公報
【特許文献３】特開２００３−１６４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１、２のような従来の車両周辺監視装置においては、赤外線を発する対象物を検出することはできるものの、自動販売機のように自ら熱を発生しているものや、日中の太陽の日差しによって暖められた電柱や街灯のポール等、自車両の走行上において重要度の低い、歩行者以外の物体を検出してしまうという問題があった。特に、歩行者の体温と同程度の温度を持ち、歩行者と同じように縦長の形状をしているような物体は、全く歩行者との見分けがつかないという問題があった。更に、歩行者を縦横比のような形状判別のみにより対象物の中から抽出しようとすると、検出確度の向上が難しいという問題があった。
【０００５】
また、特許文献３のような従来の車両周辺監視装置においては、所定のテンプレートを用いて、テンプレートマッチング処理を行うことによって構造物であるか否かを判定している。
テンプレートを設定するための測距にステレオ赤外線カメラが必要であり、非常に高価な装置となる。さらにテンプレートマッチング処理はコンピュータ処理の負担が重く、高速のＣＰＵ（中央演算装置）や専用ＤＳＰ（デジタル・シグナルプロセッサ）を使用する必要が生じ、これによっても装置の価格が高くなるという問題があった。
また、抽出対象物の照合に用いるテンプレートは、実際に存在する各種の構造物のパターンを全て準備することはできないので、テンプレートに合わない構造物は歩行者と判定されてしまい歩行者の検出確度が低いという問題もあった。
【０００６】
本発明は、上記の問題点を解決するために、歩行者の検出確度が高く、低コストの車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このため、本発明は、撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、歩行者候補の画像の濃度に基づいて構造物であるか否かを判定する構造物判定手段とを備えるものとした。
【発明の効果】
【０００８】
本発明により、歩行者の形状に近い対象物の画像として抽出した歩行者候補の画像に対して、濃度に基づいて容易に構造物かどうかを判定でき、残った歩行者候補の画像を歩行者と判定できる。この画像処理はＣＰＵの負担が軽く、ステレオカメラ装置を必要としないので低コストの車両周辺監視装置が提供できる。
【発明を実施するための最良の形態】
【０００９】
以下本発明の実施の形態を説明する。
図１は、本実施の形態の車両周辺監視装置の構成を示すブロック図である。車両周辺監視コントロール・ユニット（以下、車両周辺監視Ｃ／Ｕと称する）１は、中央演算装置（以下、ＣＰＵと称する）１１と画像処理部１２を備えたものであって、近赤外線領域の波長の光を前方の所定範囲に照射する投光器３のスイッチリレー２４と、近赤外線を検出可能な赤外線カメラ２と、車両周辺監視Ｃ／Ｕ１の機能をオン／オフするスイッチ（ＳＷ）６と、自車両の走行速度（以下、車速と称する）を検出する車速センサ７とに接続される。
【００１０】
また、車両周辺監視Ｃ／Ｕ１には、音声で警報を発するためのスピーカ５と、赤外線カメラ２により撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えばフロントウインドの運転者が視点移動しなくても認知が可能な位置に情報を表示するヘッドアップ・ディスプレイ・ユニット（以下、ＨＵＤユニットと称する）４が接続されている。
【００１１】
以下に各構成をより詳細に説明する。
車両周辺監視Ｃ／Ｕ１の画像処理部１２は、赤外線カメラ２からの入力アナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路、画像処理プロセッサ、およびデジタル化した画像信号を記憶する画像メモリ（以下、ＶＲＡＭと称する）２１、デジタル画像データをアナログ画像信号に戻す図示しないＤ／Ａ変換回路を有し、ＣＰＵ１１とＨＵＤユニット４に接続している。
ＣＰＵ１１は、各種演算処理や車両周辺監視装置全体の制御を行い、実行するプログラムや設定値などを記憶するリード・オンリー・メモリ（ＲＯＭ）２２、処理中のデータを格納するランダム・アクセス・メモリ（ＲＡＭ）２３が接続している。また、スピーカ５に音声信号を、スイッチリレー２４にオン／オフ信号を出力し、スイッチ６のオン／オフ信号、車速センサ７の車速信号が入力される。
【００１２】
また、赤外線カメラ２は、図２に示すように、自車両１０の前部の車幅方向中心に、光軸が車両前方に向くように固定されている。投光器３は、前部バンパー部の左右にそれぞれ設けられている。なお、投光器３はスイッチリレー２４がオンの状態となったとき、オンとなり近赤外線光で前方を照射する。
なお、赤外線カメラ２は、対象物からの近赤外線の反射が多いほど、画像のその部分の出力信号レベルが高くなる（輝度が増加する）特性を有している。
自車両１０の前方には歩行者Ｐ１、縦長の看板Ｂ１、横長の矩形の交通標識Ｂ２、円形の交通標識が縦に連結したＢ３があり、投光器３によりそれらが近赤外線光のビームで照射されている。それぞれは破線の矢印で示すように、近赤外線を反射し赤外線カメラ２によって閾値以上の濃度の画像として捉えられる。
【００１３】
次に、本実施の形態の作用を以下に説明する。図３は、本車両周辺監視Ｃ／Ｕ１における処理手順を示すメインのフローチャートである。この処理はＣＰＵ１１と画像処理部１２の画像処理プロセッサのプログラムとして行われる。
自車両１０のイグニッションスイッチをオンすると、本車両周辺監視装置が起動し、ステップ１０１において、ＣＰＵ１１が車両周辺監視Ｃ／Ｕ１のスイッチ６がオンかどうかをチェックする待ち受け状態となる。
スイッチ６がオンの場合はステップ１０２に進み、オフの場合はステップ１１３に進む。
【００１４】
ステップ１０２では、ＣＰＵ１１は、車速が所定値以上であるかどうかをチェックする。ここでは所定の車速を、例えば３０ｋｍ／ｈとする。車速が３０ｋｍ／ｈ以上のときステップ１０３へ進む。車速が３０ｋｍ／ｈ未満のときはステップ１１３に進み、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオンであった場合はオフにし、ステップ１０１に戻る。
これは、低速時にあっては、遠距離の前方障害物に注意を向ける必要が少なく、目視で中近距離の障害物を認知することが可能なため、遠方を近赤外線で照射する投光器３の不要な電力消費を防止するためである。もちろん本装置が動作する車速を３０ｋｍ／ｈ以上に限定するものではなく、任意に設定可能である。
【００１５】
ステップ１０３では、ＣＰＵ１１は、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオフであった場合はオンにする。赤外線カメラ２は、投光器３の照明の当たった前方部分からの反射光の強弱に応じた輝度画像つまり濃淡画像を得る。以下これを原画像と称する。
例えば、図２のように前方に歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、Ｂ３がある場合、図４の（ａ）に示す原画像の中には、左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３が映っている。
ステップ１０４では、画像処理部１２が赤外線カメラ２の画像を読み込み、Ａ／Ｄ変換によりデジタル変換された原画像をＶＲＡＭ２１に格納する。
ここでは各画素の濃度は８ビットすなわち２５６階調で表現されるものとして説明する。なお、０は最も暗い値で、２５６は最も明るい値とする。
【００１６】
次にステップ１０５では、画像処理部１２が原画像において画素の濃度が所定の閾値未満のものは０と置き直して、閾値以上の画素部分のみ原画像の濃度を保持した図４の（ｂ）のような濃度領域抽出画像を得、ＶＲＡＭ２１に格納する。
この処理の結果、投光器３からの近赤外線光が強く当たっている自車両のすぐ前方の路面の領域Ａ５と、原画像の左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３に対応する濃度領域Ａ１、Ａ２、Ａ３、Ａ４が抽出される。
【００１７】
原画像から対象物体を抽出するための閾値の設定方法は、原画像全体の濃度ヒストグラムから濃度分布の谷に相当する濃度に設定する公知の方法や、実験的に固定値を選定して設定するなどの方法がある。ここでは、夜間の近赤外線画像の特性からある程度の反射特性を持った物体を抽出できる濃度値として１５０を選定して固定値として設定する。
ただし、この閾値は、近赤外線を照射する投光器３の出力特性や赤外線カメラ２の近赤外線に対する感度特性などとの関係により適切に決めるものであり、１５０という設定値に限定されるものではない。
【００１８】
ステップ１０６では、画像処理部１２がＶＲＡＭ２１にステップ１０５で格納された濃度領域抽出画像を読み出し、個別の濃度領域の範囲をＣＰＵ１１に出力し、ＣＰＵ１１が濃度領域の範囲にラベルを付するラベリング処理をする。このときラベリングした抽出領域数がＮ１とする。ここではＮ１＝５となる。
ステップ１０７では、画像処理部１２が、各濃度領域に対し歩行者候補領域の抽出処理を行う。このステップは図８のフローチャートに基づいて処理する。この歩行者候補領域の抽出処理により、歩行者候補として抽出された濃度領域の数をＮ２としてＲＡＭ２３に記憶する。
図４の（ｂ）の濃度領域抽出画像において歩行者候補ではないと判定された濃度領域の画素を仮に濃度０と置きなおして表示すると、図５に示すような縦横比が所定の範囲に入った濃度領域だけが残る歩行者候補抽出画像となる。
【００１９】
ついでステップ１０８において、画像処理部１２が、ＶＲＡＭ２１にステップ１０５で格納した濃度領域抽出画像に対して、歩行者候補のＮ２個の濃度領域について、構造物かどうかを判定して構造物を除外する処理を行う（この構造物除外の詳細な処理の流れは後述の図１０で説明する）。この構造物除外処理により、歩行者領域として残された濃度領域の数をＮ３としてＲＡＭ２３に記憶する。
その結果、図５の歩行者候補抽出画像において、さらに構造物として判定された濃度領域の画素の濃度を仮に０と置き直して表示すると図６のような歩行者による濃度領域だけが残る画像となる。
【００２０】
ステップ１０９では、ＣＰＵ１１がステップ１０８でＲＡＭ２３に記憶されたＮ３を読出し、歩行者領域があるかどうかをチェックする。ある場合はステップ１１０に進み、無い場合はステップ１０１に戻る。
ステップ１１０では、画像処理部１２が歩行者と判定した濃度領域の強調処理を行う。これは、ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した濃度領域を囲う枠を付加する処理である。
この枠の形状は、点線、破線、一点鎖線、太線の実線が考えられるがその他の線の枠の形状でも良い。または、歩行者領域の全画素を最大濃度２５５に置き直して表示させる強調処理でも良い。強調処理の方法はこれに限定されない。
【００２１】
ステップ１１１では、画像処理部１２から上記枠を付加した原画像がＨＵＤユニット４に出力される。図７にＨＵＤユニット４からフロントウインドに投影される画像の例を示す。歩行者Ｐ１に強調のための枠Ｍが表示されている。
ステップ１１２では、ＣＰＵ１１がスピーカ５にアラーム音を出力させる。アラーム音は所定の秒数出力後自動的に停止する。
ステップ１１２の後、ステップ１０１に戻り一連の動作を繰り返す。
【００２２】
次に歩行者候補領域の抽出処理の流れを図８のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０７における、ＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
ステップ２０１では、ＣＰＵ１１はステップ１０５で抽出した濃度領域の抽出領域ラベル数Ｎ１をＲＡＭ２３から読み出す。
ステップ２０２では、ＣＰＵ１１はラベルカウンタの初期化を行い、ｎ＝１、ｍ＝０とする。ｎは濃度領域の数（ここでは、最大値はＮ１＝５）の引数であり、ｍはこのフローチャートの処理の中で歩行者候補として抽出される濃度領域の数の引数である。
【００２３】
ステップ２０３では、画像処理部１２が、抽出領域ラベルｎ（＝１）の濃度領域に対して、外接矩形を設定する。
この外接矩形の設定は、画像処理部１２が例えば、抽出領域ラベルｎ（＝１）の濃度領域に対して、その領域の上下端の画素位置、左右端の画素位置を検出する。その結果、その画素の原画像全体の画面座標系において、検出した上下端の画素位置をそれぞれ通る２本の水平線、左右端の画素位置をそれぞれ通る２本の垂直線で囲われた矩形が得られる。
【００２４】
ステップ２０４では、ＣＰＵ１１は、ステップ２０３で得られた矩形の縦横比を算出し、その値が所定の範囲、例えば（縦の長さ）／（横幅）が４／１〜４／３の範囲であれば、ステップ２０５に進む。
なお、縦横比の範囲４／１〜４／３は、人間の立っている形状の縦横比を基準に設定するが、人が複数重なって並んでいる場合、荷物を両手にもっている場合、子供を抱いている場合などを想定して、横幅は余裕を取って大きく設定している。
縦横比が４／１〜４／３の範囲外であればステップ２０６に進む。
ステップ２０５では、ＣＰＵ１１は、縦横比が所定の範囲内であれば、歩行者候補として登録し、ラベルカウンタｍを１つ増す（ｍ＝ｍ＋１）。また歩行者候補領域ラベルｍは抽出領域ラベルｎに対応することをＲＡＭ２３に記憶する（ＭＸ（ｍ）＝ｎ）。
ステップ２０５の後ステップ２０６に進む。
【００２５】
ステップ２０６では、ＣＰＵ１１は、ラベルカウンタｎが最大値Ｎ１に至ったかどうかをチェックする。Ｎ１になっていない場合はステップ２０７に進み、ラベルカウンタｎを１つ増して（ｎ＝ｎ＋１）、ステップ２０３に戻りｎ＝２とし、ステップ２０３からステップ２０６の処理を繰り返す。以下ｎをさらに１つ増して繰り返す。
ステップ２０６においてラベルカウンタｎがＮ１に至った場合はステップ２０８に進み、ＣＰＵ１１はそのときのラベルカウンタｍの値をＮ２とＲＡＭ２３に記憶（Ｎ２＝ｍ）し、図３のメインのフローチャートのステップ１０８に進む。なお、このＮ２が歩行者候補領域の総数を示す。
【００２６】
このステップ２０１からステップ２０８の一連の濃度領域の歩行者候補領域かどうかの抽出処理を、具体的に図４の（ｂ）のＡ１からＡ５の濃度領域に対して説明する。
Ａ１は図９の（ａ）に示すように縦横比が３／１で、歩行者候補領域となる。図４の（ｂ）のＡ２も縦長の看板であり縦横比の範囲４／１〜４／３の範囲に入り、歩行者候補領域となる。図４の（ｂ）に示すＡ３の横長の交通標識は、図９の（ｂ）に示すように縦横比が１／１．５であり除外される。図４の（ｂ）のＡ４の縦に連結した円形の交通標識は、図９の（ｃ）に示すように縦横比が２／１であり、やはり歩行者候補領域となる。図４の（ｂ）のＡ５は投光器３から近赤外線で照射された自車両直前方の横長の半楕円状の路面の高輝度部分の領域であるが、縦横比が１より小さいのでやはり除外される。
従って、説明のために仮に歩行者候補領域となる濃度領域だけを表すと図５のような画像となる。
【００２７】
次に、歩行者候補領域として抽出された各濃度領域に対して、さらに構造物かどうか判定して、構造物の場合は歩行者候補領域から除外する構造物除外処理の流れを図１０のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０８におけるＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
【００２８】
ステップ３０１では、ＣＰＵ１１はＲＡＭ２３から歩行者候補領域ラベル数Ｎ２を読み出す。
ステップ３０２では、ＣＰＵ１１はラベルカウンタを初期化をし、ｍ＝１、ｋ＝０とする。ｍは歩行者候補領域数の引数であり、ｋはこのフローチャートの処理の中で歩行者領域として残った濃度領域の数の引数である。
ステップ３０３では、画像処理部１２は、歩行者候補領域ラベルｍに対応する（つまり抽出領域ラベルＭＸ（ｍ）の）濃度領域の濃度平均値Ｅ（ｍ）を算出する。
歩行者候補領域ラベルｍの濃度領域に含まれる画素ｉの濃度をＰｍ（ｉ）、歩行者候補領域ラベルｍの濃度領域に含まれる総画素数をＩｍとすると、式（１）によって求められる。
【数１】
2005159392.tif 000003
【００２９】
ステップ３０４では、ＣＰＵ１１はステップ３０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。この所定濃度値は非常に明るいものに相当する値とするのが適当である。８ビット表示の場合例えば２４０とし、この値より明るいものは標識や看板などの構造物と判定するように設定する。
これは標識や看板などは一般に光の反射をしやすい表面処理が施されており、投光器３からの近赤外線光に照射されると強い反射光を生じる。赤外線カメラ２が捉える近赤外線画像はそれに対して濃度の高い画像領域を形成するからである。
しかし、濃度平均値Ｅ（ｍ）が高いといっても、歩行者の衣服からの反射も濃度の高い画像領域を形成する可能性があるので、濃度平均値Ｅ（ｍ）が２４０を越えるから構造物とは判定せず、次のステップ３０５に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ３０８に進む。
【００３０】
ステップ３０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
濃度分散値Ｖ（ｍ）は式（２）によって求められる。
【数２】
2005159392.tif 000004
【００３１】
ステップ３０６では、ＣＰＵ１１はステップ３０５で算出された濃度分散値Ｖ（ｍ）が所定分散値未満かどうかをチェックする。
この所定分散値より小さいと言うことは、その歩行者候補領域ラベルｍの濃度領域は濃度のばらつきが小さいことを意味している。
所定分散値としては、実験的に得られている値として例えば５０を設定する。
図１１の（ａ）に交通標識や看板などの場合の画素の濃度分布例の濃度ヒストグラムを示す。横軸が濃度値を縦軸が度数を表す。構造物が平面的な部分を有している場合、照射近赤外線光に対してほぼ一様な反射をし、（ａ）のように濃度値が高く、分散が小さいのが特徴である。この例では濃度平均値が２５０、濃度分散値が３０である。
（ｂ）に同様に歩行者の場合の画素の濃度分布を示す。歩行者の場合衣服からの反射強度が弱く濃度値が小さくなる場合が多い。さらに人間は立体的形状なので反射が一様ではないことと、衣服と肌との間では反射特性が異なるので、全体として反射が一様ではなく分散値が大きくなる特徴がある。この例では濃度平均値が１８０、濃度分散値が５８０である。
分散値Ｖ（ｍ）が５０未満の場合はステップ３０７に進み、５０以上の場合はステップ３０８に進む。
【００３２】
ステップ３０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ３０７の後ステップ３０９に進む。
ステップ３０４、ステップ３０６の後ステップ３０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ３０８の後ステップ３０９に進む。
【００３３】
ステップ３０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ３１０に進み、ＣＰＵ１１はｍを１つ増し、（ｍ＝ｍ＋１）ステップ３０３に戻り、ステップ３０３からステップ３０９の一連の処理を繰り返す。
ステップ３０９でｍがＮ２に至ったとき、ステップ３１１に進み、ＣＰＵ１１はＮ３＝ｋとおいて歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
【００３４】
次に、図３のメインフローチャートのステップ１１０における強調処理の方法について説明する。これは、ＲＡＭ２３に記憶されたＭＸ（ｍ）を、引数ｍ＝１〜Ｎ２に対して読出し、０より大きい値の抽出領域ラベルＬ＝ＭＸ（ｍ）を得る。
ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した抽出領域ラベルＬに対応する濃度領域を囲う前述の枠を画像処理部１２で付加する処理である。
【００３５】
本実施の形態の赤外線カメラ２は本発明の撮像手段を、ヘッドアップ・ディスプレイ・ユニット４は表示装置を、車両周辺監視コントロール・ユニット１は表示制御部を構成し、フローチャートのステップ１０５は本発明の対象物抽出手段を、ステップ１０７（つまりステップ２０１〜ステップ２０８）は歩行者候補抽出手段を、ステップ１０８（つまりステップ３０１〜３１１）は構造物判定手段を構成する。特にステップ２０３は矩形設定手段を、ステップ２０４は縦横比算出手段を、ステップ３０３は濃度平均算出手段を、ステップ３０５は濃度分散算出手段を構成する。
【００３６】
以上のように本実施の形態によれば、対象物を抽出した濃度領域の縦横比により歩行者候補領域を抽出し、その後歩行者候補領域の平均濃度値と濃度分散値を算出し、所定値より平均濃度値が大きくて濃度分散値が所定値未満の場合は構造物と判定するので、歩行者と判定する確度が向上する。その結果、多数の交通標識や歩行者が混在する環境においても、交通標識を歩行者と誤って運転者に報知する可能性が低減できる。
また、投光器により近赤外線を前方に照射し対象物からの反射近赤外線を赤外線カメラで撮影した画像を処理して抽出するので、より遠方の対象物からもより鮮明な反射画像を得ることができる。その結果、対象物からの反射光による撮影画像の濃度領域の濃度分布が得られやすい。
また、テンプレートマッチング処理を行わず、縦横比算出計算、濃度分布の平均濃度値と分散値の算出計算を行うので車両周辺監視Ｃ／Ｕの画像処理負担が軽く、コストの安い構成で実行することができる。またステレオカメラ装置も必要としないのでコストが安くできる。
【００３７】
次に、本実施の変形例を説明する。図１２は、図１０に示した抽出した歩行者候補領域から構造物を排除する処理のフローチャートの流れを一部変更したものであり、ステップ４０１からステップ４１１の個々の処理内容はステップ３０１からステップ３１１と同じである。
流れの異なるのはステップ４０４からステップ４０９の間であり、ステップ４０４以降だけを以下に説明する。
ステップ４０４では、ＣＰＵ１１はステップ４０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。濃度平均値Ｅ（ｍ）が２４０を越えるものは構造物と判定し、ステップ４０７に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ４０５に進む。
【００３８】
ステップ４０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
ステップ４０６では、ＣＰＵ１１はステップ４０５で算出された濃度分散値Ｖ（ｍ）が５０未満の場合はステップ４０７に進み、５０以上の場合はステップ４０８に進む。
ステップ４０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ４０７の後ステップ４０９に進む。
ステップ４０６の後ステップ４０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ４０８の後ステップ４０９に進む。
【００３９】
ステップ４０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ４１０に進み、ＣＰＵ１１はｍを１つ増し（ｍ＝ｍ＋１）、ステップ４０３に戻り、ステップ４０３からステップ４０９の一連の処理を繰り返す。
ステップ４０９でｍがＮ２に至ったとき、ステップ４１１に進み、ＣＰＵ１１はＮ３＝ｋと置いて、歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
【００４０】
前述の実施の形態では、ラベルｍの歩行者候補領域の濃度平均値が２４０を超える場合であっても、その分散値が５０未満のとき初めて構造物と判定して除外するのに対し、本変形例では濃度平均値が２４０を超える場合即構造物と判定し、逆に濃度平均値が２４０以下の場合でもその分散値が５０以上のとき初めて歩行者と判定するものである。
これによって、歩行者と判定される対象が実施の形態より少なくなる傾向がある。
確度の高い判定のための濃度平均値、分散値は赤外線カメラおよび投光器の特性にも依存するので、この判定の制御の流れを使用者が変更可能なように構成しても良い。
【００４１】
また、実施の形態および変形例において、赤外線カメラ画像から歩行者領域を検出した場合、ステップ１１２でアラーム音を出力することとしているが、最終的にカメラ画像中の歩行者領域と判定した濃度領域の歩行者の足元に相当する最下部のカメラ画像座標から、自車両から前方距離を算出して所定距離未満の場合はアラーム音を出すこととしても良い。
またこの所定距離はそのときの車速に依存させ車速が速いほど所定値を大きな値としても良い。これにより、運転者が十分対応できる距離の歩行者に対しても常にアラーム音が出ることを抑制できる。
【００４２】
なお、本実施例および変形例の車両周辺監視装置の表示装置としては、ＨＵＤユニットに限定されるものではなく、車両のインストルメントパネルに組み込まれた一般的な液晶ディスプレイでもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図２】車両周辺監視装置と対象物の位置関係を説明する図である。
【図３】実施の形態の作用を説明するメインフローチャートである。
【図４】原画像と濃度領域抽出画像を説明する図である。
【図５】歩行者候補領域として残った濃度領域を説明する図である。
【図６】構造物と判定された歩行者候補領域を除外して残った歩行者領域を説明する図である。
【図７】歩行者領域に対し強調処理を行って表示した撮影画像を説明する図である。
【図８】抽出した濃度領域から歩行者候補領域を抽出する制御の流れを説明するフローチャートである。
【図９】濃度領域の縦横比から歩行者候補領域かどうかを判定する方法を説明する図である。
【図１０】歩行者候補領域から構造物を除外する制御の流れを説明するフローチャートである。
【図１１】歩行者候補領域の濃度に基づいて、構造物と判定する方法を説明する濃度分布図である。
【図１２】歩行者候補領域から構造物を除外する制御の流れを説明するフローチャートの変形例である。
【符号の説明】
【００４４】
１        車両周辺監視コントロール・ユニット
２        赤外線カメラ
３        投光器
４        ヘッドアップ・ディスプレイ・ユニット
５        スピーカ
６        スイッチ
７        車速センサ
１０      自車両
１１      中央演算装置
１２      画像処理部
２１      画像メモリ
２２      リード・オンリー・メモリ
２３      ランダム・アクセス・メモリ
２４      スイッチリレー
【図１】
2005159392.tif 000005
【図２】
2005159392.tif 000006
【図３】
2005159392.tif 000007
【図４】
2005159392.tif 000008
【図５】
2005159392.tif 000009
【図６】
2005159392.tif 000010
【図７】
2005159392.tif 000011
【図８】
2005159392.tif 000012
【図９】
2005159392.tif 000013
【図１０】
2005159392.tif 000014
【図１１】
2005159392.tif 000015
【図１２】
2005159392.tif 000016