(57)【特許請求の範囲】
【請求項１】
２つの撮像手段により得られた画像から、車両の走行に影響を与える可能性のある対象物を検知して警報を発する車両用の障害物警報装置において、
過去に捉えた過去対象物と現在捉えている現在対象物とについて、これら過去対象物と現在対象物との左右エッジの位置座標を比較することによって、前記車両の進行方向における前記過去対象物と前記現在対象物との重なりを判定する重なり判断手段と、
前記重なり判断手段によって前記過去対象物と前記現在対象物とが重なっていると判定された場合は、前記現在対象物が進入対象物ではないと判断する進入対象物判断手段とを備えたことを特徴とする障害物警報装置。
【請求項２】
前記撮像手段により得られた画像から、車両の走行に影響を与える可能性のある対象物を検知して警報を発する警報手段を備え、
該警報手段は、前記進入対象物判断手段にて進入対象物でないと判断された前記現在対象物は、警報対象から除外することを特徴とする請求項１に記載の障害物警報装置。
【請求項３】
前記重なり判定手段は、複数の前記過去対象物の左右エッジの位置座標を時系列で捉え、前記現在対象物の左右エッジの位置座標と比較し、過去対象物の存在空間に現在対象物の左右エッジの位置座標が含まれる場合は、前記過去対象物と前記現在対象物とが重なっていると判定することを特徴とする請求項１〜２に記載の障害物警報装置。
【請求項４】
前記重なり判断手段は、前記過去対象物および前記現在対象物の特徴量として、少なくとも各時刻における対象物の距離、画面上での左エッジ座標と右エッジ座標、前記撮像手段の焦点距離および画素ピッチに基づいて各時刻における実空間での最端左エッジ座標と最端右エッジ座標とを算出し、
さらに、この算出された各時刻における実空間での最端右エッジ座標と最端左エッジ座標とからそれぞれ最も右の位置座標および最も左の位置座標を算出し、
実空間での前記最端右エッジ座標、最端左エッジ座標、最も右の位置座標および最も左の位置座標の各々の座標の大きさが前記画像の正面に向かって右方向へ行くほど大きくなる場合、前記過去対象物における最も左の位置座標と前記現在対象物の最端左エッジ座標との関係、および、前記過去対象物における最も右の位置座標と前記現在対象物の最端左エッジ座標との関係が、現在対象物の最端左エッジ座標≧過去対象物の最も左の位置座標、かつ現在対象物の最端右エッジ座標≦過去対象物の最も右の位置座標、を満たすか否かを判定し、
現在対象物の最端左エッジ座標≧過去対象物の最も左の位置座標、かつ現在対象物の最端右エッジ座標≦過去対象物の最も右の位置座標、
の関係を満たす場合は、過去対象物と現在対象物とが重なっていると判定することを特徴とする請求項１または２に記載の障害物警報装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出して警報を発する障害物警報装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラ等の撮像手段により捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供する装置としては、例えば特開２００１−６０９６号公報に記載のものがある。
この装置では、赤外線カメラが撮影した車両周辺の画像を２値化処理することにより得られる２値化対象物について、その面積重心の３次元位置を算出し、面積重心の３次元位置の時間変化から、２値化対象物の相対移動ベクトルを求める。また、求められた相対移動ベクトルより、車両と歩行者等の対象物との相対距離や相対速度を判断し、車両との衝突の可能性が判定される。そして、車両と衝突する可能性があると判定された対象物は、画像表示装置に強調表示を伴う実映像として表示され、運転者に通知される。
【０００３】
【発明が解決しようとする課題】
しかし、従来の装置では、画像から抽出される対象物形状は、撮像手段の素子分解能や背景の影響等により、必ずしも安定しているとはいえなかった。特に、赤外線画像を２値化することにより対象物を抽出する方法の場合、車両と対象物との距離が近づくにしたがって、該対象物の各部の熱特性の違いから、撮影された赤外線画像において１つの対象物が複数に分離し、異なる物体として捉えられる場合がある。この時、分離して捉えられた物体のいずれか１つを目的の対象物として認識し、分離したことによる面積重心位置のずれから、その３次元位置の時間変化を追跡して相対移動ベクトルを求めた場合、静止した対象物にも係わらず、相対移動ベクトルに相対距離及び相対速度の変化が発生する。
【０００４】
すなわち、具体的には例えば図９に示すような原点Ｏの自車両１０に対する相対的な対象物位置の時間変化を上からみた図を用いて説明すると、図９において、赤外線カメラにより得られた画像から抽出した対象物を、ＯＢＪ［ｔ］、｛ｔ＝０、１、・・・Ｎ−１｝とし、ｔ＝０の場合を現在、ｔ＝Ｎ−１の場合を過去に抽出された対象物とする。また、図９では、時刻０において対象物がＡとＢとに分離し、時系列データとしてＡがＯＢＪ［０］として認識されたものとする。そして、相対移動ベクトル１１が、ＯＢＪ［ｔ］、｛ｔ＝０、１、・・・Ｎ−１｝の面積重心１２の３次元位置の時間変化から算出された相対移動ベクトルを示す。
この時、相対移動ベクトル１１は、進入する内向きの成分を有しているため、たとえＯＢＪ［ｔ］、｛ｔ＝０、１、・・・Ｎ−１｝が静止対象物であっても、進入する動きを持った対象物として判断される場合が生じるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、現在の対象物が過去の対象物と同一であるか否かを適切に認識し、運転者の正確な対象物認識を妨げる対象物表示を防止することができる障害物警報装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る障害物警報装置は、２つの撮像手段により得られた画像から、車両の走行に影響を与える可能性のある対象物を検知して警報を発する車両用の障害物警報装置において、過去に捉えた過去対象物と現在捉えている現在対象物とについて、これら過去対象物と現在対象物との左右エッジの位置座標を比較することによって、前記車両の進行方向における前記過去対象物と前記現在対象物との重なりを判定する重なり判断手段と、前記重なり判断手段によって前記過去対象物と前記現在対象物とが重なっていると判定された場合は、前記現在対象物が進入対象物ではないと判断する進入対象物判断手段とを備えたことを特徴とする。
以上の構成を備えた障害物警報装置は、同一物体判断手段を用いて、時系列で捉えられた対象物の左右エッジの位置座標から、過去に追跡してきた対象物と現在抽出した対象物とが同一の物体であるか否かを判断することにより、両者が同一の物体であればこれらを１つの対象物として認識し、車両の走行に影響を与える可能性について検証することができる。
また、請求項２に係る障害物警報装置は、請求項１に記載の障害物警報装置において、前記撮像手段により得られた画像から、車両の走行に影響を与える可能性のある対象物を検知して警報を発する警報手段を備え、該警報手段は、前記進入対象物判断手段にて進入対象物でないと判断された前記現在対象物は、警報対象から除外することを特徴とする。
さらに、請求項３に係る障害物警報装置は、請求項１又は２に記載の障害物警報装置において、前記重なり判定手段が、複数の前記過去対象物の左右エッジの位置座標を時系列で捉え、前記現在対象物の左右エッジの位置座標と比較し、過去対象物の存在空間に現在対象物の左右エッジの位置座標が含まれる場合は、前記過去対象物と前記現在対象物とが重なっていると判定する。
そして、請求項４に係る障害物警報装置は、請求項１又は２に記載の障害物警報装置において、前記重なり判断手段が、前記過去対象物および前記現在対象物の特徴量として、少なくとも各時刻における対象物の距離、画面上での左エッジ座標と右エッジ座標、前記撮像手段の焦点距離および画素ピッチに基づいて各時刻における実空間での最端左エッジ座標と最端右エッジ座標とを算出し、さらに、この算出された各時刻における実空間での最端右エッジ座標と最端左エッジ座標とからそれぞれ最も左の位置座標および最も右の位置座標を算出し、実空間での前記最端右エッジ座標、最端左エッジ座標、最も右の位置座標および最も左の位置座標の各々の座標の大きさが前記画像の正面に向かって右方向へ行くほど大きくなる場合、前記過去対象物における最も左の位置座標と前記現在対象物の最端左エッジ座標との関係、および、前記過去対象物における最も右の位置座標と前記現在対象物の最端左エッジ座標との関係が、現在対象物の最端左エッジ座標≧過去対象物の最も左の位置座標、かつ現在対象物の最端右エッジ座標≦過去対象物の最も右の位置座標、を満たすか否かを判定し、現在対象物の最端左エッジ座標≧過去対象物の最も左の位置座標、かつ現在対象物の最端右エッジ座標≦過去対象物の最も右の位置座標、の関係を満たす場合は、過去対象物と現在対象物とが重なっていると判定することを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の障害物警報装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の障害物警報装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００８】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【０００９】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１０】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１１】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の障害物警報装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１２】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１３】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１４】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１５】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００１６】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００１７】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００１８】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００１９】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２０】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２１】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２２】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２３】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定し、自車両１０と衝突の可能性のある対象物が存在する場合は、例えばスピーカ６を介して音声による警報を発するとともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する警報判定処理を行う（ステップＳ１７）。
また、ステップＳ１７の警報判定処理が終了したら、ステップＳ１へ戻り、上述の処理を繰り返す。
なお、警報判定処理については、詳細を後述する。
【００２４】
以上が、本実施の形態の障害物警報装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、重なり判定処理、警報出力判定処理、及び映像入力処理により、自車両１０と検出した対象物との衝突の可能性を判定し、衝突の可能性のある対象物を運転者に対して通知する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００２５】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ２１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００２６】
次に、ステップＳ２１において、余裕時間Ｔ以内に自車両１０と対象物２０とが衝突する可能性がある場合（ステップＳ２１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物２０が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ２２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物２０が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物２０がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００２７】
更に、ステップＳ２２において、対象物２０が接近判定領域内に存在しない場合（ステップＳ２２のＮＯ）、画像処理ユニット１は対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ２３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物２０が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００２８】
また、ステップＳ２３において、対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性があると判定された場合（ステップＳ２３のＹＥＳ）、対象物２０の左右エッジの実空間座標と、過去に記録された対象物の左右エッジの実空間座標と比較し、両者の重なり具合から、現在の対象物２０を進入対象物とするか否かを判定する重なり判定処理を行う（ステップＳ２４）。なお、重なり判定処理については、詳細を後述する。
一方、ステップＳ２２において、対象物２０が接近判定領域内に存在している場合（ステップＳ２２のＹＥＳ）、またはステップＳ２４において、過去に記録された対象物と現在の対象物２０とが重なっておらず、対象物２０を進入対象物とする場合（ステップＳ２４のＹＥＳ）、警報出力判定処理を行う（ステップＳ２５）。
【００２９】
ここで、警報出力判定処理は、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力を行うか否かの判定を行う処理であって、もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２６へ進み（ステップＳ２５のＹＥＳ）、運転者に対して、例えばスピーカ６を介して音声による警報を発すると共に、対象物２０の存在を自車両１０の運転者に認識させるための強調映像を画像表示装置７へ出力する（ステップＳ２６）と共に、画像表示装置７に表示対象の映像を入力する映像入力処理を行い（ステップＳ２７）、警報判定処理を終了する。なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物２０と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３０】
また、ステップＳ２１において、余裕時間Ｔ以内に自車両１０と対象物２０とが衝突する可能性がない場合（ステップＳ２１のＮＯ）、またはステップＳ２３において、対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性がないと判定された場合（ステップＳ２３のＮＯ）、またはステップＳ２４において、過去に記録された対象物と現在の対象物２０とが重なっていて、対象物２０を進入対象物としない場合（ステップＳ２４のＮＯ）、更に、ステップＳ２５において、加速度Ｇｓが所定閾値ＧＴＨより大きく、自車両１０の運転者のブレーキ操作により対象物２０との衝突が回避されると判定された場合（ステップＳ２５のＮＯ）のいずれかの場合は、ステップＳ２７へ進み、画像表示装置７に表示対象の映像を入力する映像入力処理を行い（ステップＳ２７）、警報判定処理を終了する。
【００３１】
次に、図面を参照して、図５に示したフローチャートのステップＳ２４における重なり判定処理について説明する。
まず、重なり判定処理の概要について説明すると、重なり判定処理は、対象物２０の左右エッジの実空間座標と、過去に記録された対象物２０の左右エッジの実空間座標とを比較し、両者の重なり具合から、現在の対象物２０を進入対象物とするか否かを判定する処理である。
具体的には、例えば図９に示すように、対象物２０の時系列のデータを対象物ＯＢＪ［ｔ］、｛ｔ＝０、１、・・・Ｎ−１｝とした時、実空間で静止した対象物ＯＢＪ［ｔ］、｛ｔ＝０、１、・・・Ｎ−１｝が画像上で分離しても、時系列データの面積重心１２の位置は時間と共に移動するが、対象物２０の実空間上の存在位置自体は変化しない。
【００３２】
この時、過去の対象物（ＯＢＪ［ｔ］、ｔ≠０）と現在の対象物（ＯＢＪ［０］のＡまたはＢ）との関係は、過去の対象物２０の存在空間に現在の対象物２０が含まれていると考えられる。つまり、図９では、ＯＢＪ［１］＝Ａ＋Ｂであると考えられる。
従って、過去の対象物２０の存在空間に現在の対象物２０が含まれている場合には、該対象物２０を進入対象物ではない（＝静止対象物である）と判断し、進入警報対象から除外することができる。
【００３３】
この重なり判定処理を、更に図８に示す本実施の形態の重なり判定処理動作を示すフローチャートを用いて詳細に説明すると、図８において、まず、画像処理ユニット１は、対象物２０の特徴量として、各時刻における実空間での最端左エッジ座標（ＸＬ［ｔ］）、最端右エッジ座標（ＸＲ［ｔ］）を式（１）により算出する（ステップＳ３１）。なお、以下の説明も含めて、画像処理ユニット１が計算する対象物２０の座標値は、画像正面向かって右方向へ行くほど大きくなるものとする。
【００３４】
ＸＬ［ｔ］＝ｘｌ［ｔ］・Ｚ［ｔ］・ｐ／ｆ、
ＸＲ［ｔ］＝ｘｒ［ｔ］・Ｚ［ｔ］・ｐ／ｆ    ・・・（１）
但し、時刻ｔにおける対象物２０の距離をＺ［ｔ］（ｍ）、画面上での対象物２０の左エッジ座標をｘｌ［ｔ］（ｐｉｘｅｌ）、右エッジ座標をｘｒ［ｔ］（ｐｉｘｅｌ）、カメラ焦点距離  をｆ（ｍ）、画素ピッチをｐ（ｍ／ｐｉｘｅｌ）とする。
【００３５】
次に、時刻ｔ＝Ｎ−１から、時刻ｔ＝１までの間で、式（１）で算出した対象物２０のエッジ座標値から、最も左の位置座標ＸＬ＿ＭＡＸと、最も右の位置座標ＸＲ＿ＭＡＸを算出する（ステップＳ３２）。
最後に、時刻ｔ＝０（現在）における対象物２０の左座標（ＸＬ［０］）、及び右座標（ＸＲ［０］）が式（２）を満たし、過去に記録された対象物２０と現在の対象物２０とが重なっているか否かを判定する（ステップＳ３３）。
ＸＬ［０］≧ＸＬ＿ＭＡＸ、かつＸＲ［０］≦ＸＲ＿ＭＡＸ    ・・・（２）
【００３６】
ステップＳ３３において、時刻ｔ＝０（現在）における対象物２０の左座標（ＸＬ［０］）、及び右座標（ＸＲ［０］）が式（２）を満たし、過去に記録された対象物２０と現在の対象物２０とが重なっている場合（ステップＳ３３のＹＥＳ）、該対象物２０を進入対象物とせず、図５のステップＳ２４のＮＯへ戻る（ステップＳ３４）。
また、ステップＳ３３において、時刻ｔ＝０（現在）における対象物２０の左座標（ＸＬ［０］）、及び右座標（ＸＲ［０］）が式（２）を満たさず、過去に記録された対象物２０と現在の対象物２０とが重なっていない場合（ステップＳ３３のＮＯ）、該対象物２０を進入対象物とし、図５のステップＳ２４のＹＥＳへ戻る（ステップＳ３５）。
【００３８】
以上説明したように、本実施の形態の障害物警報装置は、対象物２０の左右エッジの位置座標を時系列で捉え、現在の対象物２０の左右エッジの位置座標と、過去に記録された対象物２０の左右エッジの位置座標と比較し、過去に記録された対象物２０の存在空間に、現在の対象物２０の左右エッジの位置座標が含まれてしまう場合、該対象物２０を進入対象物ではない（＝静止対象物である）と判断し、進入警報対象から除外することができる。
従って、抽出された複数の対象物２０が等距離に存在するものであるか、近接しているか等の複雑な計算や判断を行わなくても物体判断を容易に行い、実空間で静止している対象物２０については、画像から得られた対象物２０の相対移動ベクトルに相対距離及び相対速度の変化が発生していても、静止対象物であると正しく判断して運転者には注意を要する対象物として表示しないことで、運転者の正確な対象物認識を妨げる対象物表示を防止し、本当に注意を払うことが必要な警報対象物の位置を正確に運転者に把握させることができるという効果が得られる。
【００３９】
【発明の効果】
以上の如く、請求項１に記載の障害物警報装置によれば、過去に追跡してきた対象物と現在抽出した対象物とが同一の物体であれば、これらを１つの対象物として認識し、車両の走行に影響を与える可能性について検証することができる。従って、抽出された複数の対象物が等距離に存在するものであるか、近接しているか等の複雑な計算や判断を行わなくても物体判断を容易に行い、例えば静止している対象物については、車両の走行に影響を与える可能性についての検証を省略する等の適切な処理を行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態の障害物警報装置の構成を示すブロック図である。
【図２】  車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】  同実施の形態の障害物警報装置の対象物検出・警報動作を示すフローチャートである。
【図４】  赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】  同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】  衝突が発生しやすい場合を示す図である。
【図７】  車両前方の領域区分を示す図である。
【図８】  同実施の形態の重なり判定処理動作を示すフローチャートである。
【図９】  １つの物体が分離して抽出された場合に発生する相対移動ベクトルについて示す図である。
【符号の説明】
１    画像処理ユニット
２Ｒ、２Ｌ    赤外線カメラ
３    ヨーレートセンサ
４    車速センサ
５    ブレーキセンサ
６    スピーカ
７    画像表示装置
１０    自車両
Ｓ２４、Ｓ３１〜Ｓ３５    同一物体判断手段
【図１】
0003939580.tif 000002
【図２】
0003939580.tif 000003
【図３】
0003939580.tif 000004
【図４】
0003939580.tif 000005
【図５】
0003939580.tif 000006
【図６】
0003939580.tif 000007
【図７】
0003939580.tif 000008
【図８】
0003939580.tif 000009
【図９】
0003939580.tif 000010