(57)【特許請求の範囲】
【請求項１】
車両の周辺に存在する対象物の位置を検出する位置検出手段と、前記対象物と当該車両との衝突の可能性を判定する判定手段と、該判定手段により衝突の可能性が高いと判定されたとき、運転者に警報を発する警報手段とを備えた車両の周辺監視装置において、
赤外線を検出可能な撮像手段と、前記運転者が見ることができる位置に配置され、画像を表示する画像表示手段とを備え、前記警報手段は、前記判定手段により衝突の可能性が高いと判定された場合において、前記位置検出手段により検出された前記対象物の位置が、当該車両のヘッドライトの照射範囲外にあり、かつ所定時間後の前記対象物の位置が当該車両のヘッドライトの照射範囲外にあると予想されるときは、音声による警報を発するとともに前記撮像手段により得られる前記対象物の画像を前記画像表示手段に表示することを特徴とする車両の周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、当該車両に衝突するおそれのある対象物を検出すべく、当該車両の周辺を監視し、衝突の可能性が高いときに運転者に警報を発する車両の周辺監視装置に関する。
【０００２】
【従来の技術】
車両の前方に存在する障害物を検出し、その障害物の危険度が高いときは、ヘッドアップディスプレイによりその障害物を赤枠で囲む表示をすることにより、運転者に確実に危険を知らせるようにした危険情報警報装置が従来より知られている（特開平６−２１５３００号公報）。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、検出した障害物の実物の像と表示される赤枠とがフロントウインドウ上で重畳して示されるように赤枠の表示位置の計算を行い、ヘッドアップディスプレイの表示制御を行うようにしているので、表示制御が複雑化するという問題や、夜間においては遠方に存在する障害物の実物像が見えないため警報としての効果が不十分であるという問題がある。
【０００４】
本発明はこの点に着目してなされたものであり、特に夜間走行中において検出した対象物との衝突の可能性が高いときに、運転者の注意を効果的に喚起することができる車両の周辺監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両の周辺に存在する対象物の位置を検出する位置検出手段と、前記対象物と当該車両との衝突の可能性を判定する判定手段と、該判定手段により衝突の可能性が高いと判定されたとき、運転者に警報を発する警報手段とを備えた車両の周辺監視装置において、赤外線を検出可能な撮像手段と、前記運転者が見ることができる位置に配置され、画像を表示する画像表示手段とを備え、前記警報手段は、前記判定手段により衝突の可能性が高いと判定された場合において、前記位置検出手段により検出された前記対象物の位置が、当該車両のヘッドライトの照射範囲外にあり、かつ所定時間後の前記対象物の位置が当該車両のヘッドライトの照射範囲外にあると予想されるときは、音声による警報を発するとともに前記撮像手段により得られる前記対象物の画像を前記画像表示手段に表示することを特徴とする。
ここで「所定時間」は、運転者が車外前方に向けている視線を前記画像表示手段へ移し、再度車外前方に移すのに要する視線移動時間と、対象物の認識に要する認識時間とを合計した時間とする。
この構成によれば、車両周辺の対象物が衝突する可能性が高いと判定されたときに、対象物の位置が、当該車両のヘッドライトの照射範囲外にあり、かつ所定時間後の対象物の位置が当該車両のヘッドライトの照射範囲外にあると予想されるときは、音声による警報を発するとともに撮像手段により得られる対象物の画像が画像表示手段に表示され、検出した対象物が前記ヘッドライトの照射範囲外にある場合であっても、所定時間以内に前記照射範囲内に入ると予測されるときは、前記画像表示手段による表示は行われないので、対象物像を画像表示手段に表示することによる効果が期待できる場合のみ表示を行うようにすることができる。
【０００８】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な撮像手段としての２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【０００９】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１０】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１１】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１２】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１３】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１４】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１５】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１６】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００１７】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００１８】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００１９】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２０】
図８（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２１】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１４参照）を算出する。
【００２２】
一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理を行う。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２３】
ステップＳ３１では、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図９（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する。続くステップＳ３２では、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する。具体的には、探索画像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数１】
0003919975.tif 000002
【００２４】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２５】
ステップＳ３２の処理により、図１１に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、ステップＳ３３では、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数２】
0003919975.tif 000003
【００２６】
ここで、Ｂは基線長、すなわち図１２に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。
【００２７】
ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１３（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数３】
0003919975.tif 000004
【００２８】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００２９】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１４に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１５に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数４】
0003919975.tif 000005
【００３０】
ステップＳ２３では、図１６に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。
【数５】
0003919975.tif 000006
【００３１】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ…（５ａ）
【００３２】
図１６は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００３３】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（６）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ）  （６）
【００３４】
各データ点の座標の分散共分散行列Ｖは、下記式（７）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（７）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数６】
0003919975.tif 000007
【００３５】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（８）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数７】
0003919975.tif 000008
【００３６】
式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００３７】
図３に戻り、ステップＳ２４では、検出した対象物との衝突の可能性を判定し、その可能性が高いときに警報を発する警報判定処理（図４（ａ））を実行する。
ステップＳ４１では、下記式（９）によりＺ方向の相対速度Ｖｓを算出し、下記式（１０）及び（１１）が成立するとき、衝突の可能性があると判定してステップＳ４２に進み、式（１０）及び／または式（１１）が不成立のときは、この処理を終了する。
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ    （９）
Ｚｖ（０）／Ｖｓ≦Ｔ                          （１０）
｜Ｙｖ（０）｜≦Ｈ                            （１１）
【００３８】
ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
式（１０）の関係を図示すると図１７に示すようになり、検出した相対速度Ｖｓと距離Ｚｖ（０）とに対応する座標が、ハッチングを付した領域にあり、かつ｜Ｙｖ（０）｜≦Ｈであるとき、ステップＳ４２以下の判定が実行される。
【００３９】
図１８は、カメラ１Ｒ、１Ｌで監視可能な領域を、太い実線で示す外側の三角形の領域ＡＲ０で示し、さらに領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここで領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（１１）に示したようにＹ方向には、所定高さＨを有する。
【００４０】
前記ステップＳ４１の答が肯定（ＹＥＳ）となるのは、対象物が接近判定領域ＡＲ１または侵入判定領域ＡＲ２，ＡＲ３のいずれかに存在する場合である。
続くステップＳ４２では、対象物が接近判定領域ＡＲ１内にあるか否かを判別し、この答が肯定（ＹＥＳ）であるときは、直ちにステップＳ４４に進む一方、否定（ＮＯ）であるときは、ステップＳ４３で侵入衝突判定を行う。具体的には、画像上での最新のｘ座標ｘｃ（０）（ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標ｘｃ（Ｎ−１）との差が下記式（１２）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【数８】
0003919975.tif 000009
【００４１】
図１９に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０と見る方位角θｄは一定となり、衝突の可能性が高い。式（１２）は、この可能性を自車両１０の車幅αを考慮して判定するものである。以下図２０を参照して式（１２）の導出手法を説明する。
【００４２】
対象物２０の最新の位置座標と時間ΔＴ前の位置座標と通る直線、すなわち近似直線ＬＭＶとＸＹ平面（Ｘ軸とＹ軸とを含む平面、すなわち車両１０の先端部に対応する線（Ｘ軸）を含み車両１０の進行方向に垂直な面）との交点のＸ座標をＸＣＬとすると、車幅αを考慮した衝突発生の条件は、下記式（１３）で与えられる。
−α／２≦ＸＣＬ≦α／２    （１３）
一方近似直線ＬＭＶをＸＺ平面に投影した直線は、下記式（１４）で与えられる。
【数９】
0003919975.tif 000010
この式にＺ＝０，Ｘ＝ＸＣＬを代入してＸＣＬを求めると下記式（１５）のようになる。
【数１０】
0003919975.tif 000011
【００４３】
また実空間座標Ｘと、画像上の座標ｘｃとは、前記式（３）に示した関係があるので、
Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ                  （１６）
Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ    （１７）
であり、これらを式（１５）に適用すると、交点Ｘ座標ＸＣＬは下記式（１８）で与えられる。これを式（１３）に代入して整理することにより、式（１２）の条件が得られる。
【数１１】
0003919975.tif 000012
【００４４】
図４（ａ）に戻り、ステップＳ４３で衝突の可能性が高いと判定したときは、ステップＳ４４に進み、低いと判定したときは本処理を終了する。
ステップＳ４４では、以下のようにして警報出力判定、すなわち警報出力を行うか否かの判定を行う。先ずブレーキセンサ７の出力から自車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ直ちにステップＳ４５に進んで、警報処理を実行する。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下であるときは、ステップＳ４５に進む一方、Ｇｘ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して本処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００４５】
所定閾値ＧＴＨは、下記式（１９）のように定める。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【数１２】
0003919975.tif 000013
ステップＳ４５では、図４（ｂ）に示す警報判定処理を実行する。同図のステップＳ５１では、現時点から所定時間ＴＤ経過後における対象物の位置ＰＭを、上述した対象物の移動ベクトルに基づいて予測し、位置ＰＭが図２１にハッチングを付して示すヘッドライトの照射範囲ＡＨＬ内にあるか否かを判別する。ここで、所定時間ＴＤは、運転者が車外前方に向けている視線をＨＵＤ４の画面４ａへ移し、再度車外前方に移すのに要する視線移動時間と、対象物の認識に要する認識時間とを合計した時間である。また同図においてＰ０は、対象物２０の現時点すなわち最新の位置を示し、ＰＭが所定時間ＴＤ経過後の予測位置である。なおヘッドライトの照射範囲ＡＨＬは、予め定められた範囲となるように調整されているので、対象物の位置座標から照射範囲内にあるか否かは容易に判別することができる。
【００４６】
同図（ａ）は、現時点及び所定時間ＴＤ経過後のいずれにおいても、照射範囲ＡＨＬ内に入らない場合を示しており、この場合には、ステップＳ５１の答は否定（ＮＯ）となるので、スピーカ３を介して音声による警報を発するとともに、図２２に示すようにＨＵＤ４により例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、検出した対象物を強調表示する（例えば枠で囲んで強調する）する。
【００４７】
音声のみによる警報を行った場合と、音声と画像表示とを併用した場合とで、運転者の反応時間を比較すると、音声と画像表示とを併用した方が音声のみによる警報を行った場合により反応時間が短くなることが実験的に確認されており、このように音声による警報と画像表示とを併用することにより、衝突の可能性の高い対象物を運転者に確実に認識させ、適切な対応措置を講じることが可能となる。図２１に示したヘッドライトの照射範囲ＡＨＬは、ロービーム選択時のものであり、その長さＬＢＥＡＭは３０ｍ程度であるのに対し、赤外線カメラ１Ｒ、１Ｌの画像は１００ｍ程度先のものまでとらえることができるので、街路灯などがない環境では運転者が実像としては見えないが衝突の可能性の高い対象物をＨＵＤ４により表示することができる。
【００４８】
また図２１（ｂ）に示すように現時点では照射範囲ＡＨＬ外にあるが、所定時間ＴＤ経過後には、照射範囲ＡＨＬ内に入るときは、ステップＳ５１の答は肯定（ＹＥＳ）となり、ステップＳ５３に進んで、ＨＵＤ４による表示は行わずに、音声による警報のみを行う。この場合は、所定時間ＴＤ経過後には、運転者は実際の対象物像を視認できるようになるので、ＨＵＤ４による表示を行うとかえって運転者に煩わしさを与えることになるからである。
【００４９】
また、前述したように運転者がブレーキを操作するなどの適切な回避措置をとって、衝突の可能性が低下すれば、図４（ｂ）の警報出力処理は実行されなくなり、音声あるいは画像表示のいずれによる警報も出力されなくなる。
以上のように本実施形態では、衝突する可能性が高い対象物を検出した場合において、その対象物がヘッドライトの照射範囲外にあるときは、音声による警報とともにＨＵＤ４による赤外線画像表示も行うようにしたので、衝突の可能性の高い対象物を運転者に確実に認識させ、適切な対応措置を講じることが可能となる。
【００５０】
本実施形態では、ＨＵＤ４が画像表示手段を構成し、画像処理ユニット２が、位置検出手段、判定手段及び警報手段の一部を構成する。より具体的には、図３のステップＳ１１〜Ｓ２２及びＳ３１〜Ｓ３３が位置検出手段に相当し、ステップＳ２３及び図４（ａ）のステップＳ４１〜Ｓ４４が判定手段に相当し、同図のステップＳ４５（図４（ｂ）の処理）が警報手段に相当する。
【００５１】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば本実施形態では、画像表示手段としてヘッドアップディスプレイを用いたが、ナビゲーションシステムの液晶表示装置を用いてもよい。ただし、ヘッドアップディスプレイは、運転者の視線移動量が少なくてすむので、運転者の注意を喚起するには好適である。
また衝突可能性のある対象物の検出手法は、上述したものに限るものではなく、例えば特開平６−２１５３００号公報や特開平９−２２６４９０号公報などに示された手法を用いてもよい。
【００５２】
【発明効果】
以上詳述したように本発明によれば、衝突の可能性が高いと判定されたときに、対象物の位置が、ヘッドライトの照射範囲外にあり、かつ所定時間後の対象物の位置が当該車両のヘッドライトの照射範囲外にあると予想されるときは、警報音声とともに画像表示手段にその対象物の画像が表示され、検出した対象物が前記ヘッドライトの照射範囲外にある場合であっても、所定時間以内に前記照射範囲内に入ると予測されるときは、前記画像表示手段による表示は行われないので、対象物像を画像表示手段に表示することによる効果が期待できる場合のみ表示を行うようにすることができる。したがって、運転者の注意をより効果的に喚起することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる周辺監視装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図３の警報判定処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索画像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】視差の算出方法を説明するための図である。
【図１２】視差から距離を算出する手法を説明するための図である。
【図１３】本実施形態における座標系を示す図である。
【図１４】回頭角補正を説明するための図である。
【図１５】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１６】相対移動ベクトルの算出手法を説明するための図である。
【図１７】警報判定を行う条件を説明するための図である。
【図１８】車両前方の領域区分を説明するための図である。
【図１９】衝突が発生しやすい場合を説明するための図である。
【図２０】車両の幅に応じた侵入警報判定の手法を説明するための図である。
【図２１】ヘッドライトの照射範囲と対象物との位置関係を説明するための図である。
【図２２】ヘッドアップディスプレイ上の表示を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ  赤外線カメラ（撮像手段）
２  画像処理ユニット（位置検出手段、判定手段、警報手段）
３  スピーカ（警報手段）
４  ヘッドアップディスプレイ（画像表示手段）
５  ヨーレートセンサ
６  車速センサ
７  ブレーキセンサ
【図１】
0003919975.tif 000014
【図２】
0003919975.tif 000015
【図３】
0003919975.tif 000016
【図４】
0003919975.tif 000017
【図５】
0003919975.tif 000018
【図６】
0003919975.tif 000019
【図７】
0003919975.tif 000020
【図８】
0003919975.tif 000021
【図９】
0003919975.tif 000022
【図１０】
0003919975.tif 000023
【図１１】
0003919975.tif 000024
【図１２】
0003919975.tif 000025
【図１３】
0003919975.tif 000026
【図１４】
0003919975.tif 000027
【図１５】
0003919975.tif 000028
【図１６】
0003919975.tif 000029
【図１７】
0003919975.tif 000030
【図１８】
0003919975.tif 000031
【図１９】
0003919975.tif 000032
【図２０】
0003919975.tif 000033
【図２１】
0003919975.tif 000034
【図２２】
0003919975.tif 000035