(57)【要約】【課題】反応時間に従って、対象物が認識される処理範囲を変更する。【解決手段】装置は、撮像画像において、車両周辺の所定範囲に対応する画像領域を処理対象として車両周辺の対象物を認識し、該認識された対象物について車両の運転者に対し警報を発行する。警報の発行に対し、運転者の所定の操作の反応時間を検出する。反応時間が所定値以上であることを検出したならば、該所定範囲を拡大し、対象物の認識が、該拡大された所定範囲に対応する画像領域を処理対象として行われるようにする。拡大は、水平方向および（または）距離方向に行われる。こうして、反応時間が長い場合には、運転者による対象物の認識および該認識よる運転操作の早期化を図る。【選択図】図１７
2010089661.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段によって撮像された画像において、該車両の周辺の所定範囲に対応する画像領域を処理対象として該車両の周辺の対象物を認識し、該認識された対象物について車両の運転者に対し警報を発行する車両周辺監視装置であって、
前記警報の発行に対し、前記運転者の所定の操作の反応時間を検出する反応時間検出手段と、
前記反応時間が所定値以上であることを検出したならば、前記所定範囲を拡大し、前記対象物の認識が、該拡大された所定範囲に対応する画像領域を処理対象として行われるようにする、範囲変更手段と、
を備える、車両周辺監視装置。
【請求項２】
前記所定の操作は、前記車両を制動させる操作であり、
前記範囲変更手段は、前記所定範囲の前記車両からの距離方向における大きさが大きくなるように、該所定範囲を拡大する、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記所定の操作は、前記車両のステアリングホイールに対する操作であり、
前記範囲変更手段は、前記所定範囲の前記車両の車幅方向における大きさが大きくなるように、該所定範囲を拡大する、
請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記警報の発行は、前記運転者に対して、音または画像表示によって注意を喚起することを含み、
さらに、前記反応時間検出手段によって前記反応時間が前記所定値以上であることが検出されたならば、該音を大きくする、または該画像表示を強調する手段を備える、
請求項１から３のいずれかに記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺に存在する対象物を認識して運転者に警報を発する、車両の周辺を監視するための装置に関する。
【背景技術】
【０００２】
従来、車両の周辺をカメラにより撮像し、該車両の周辺に存在する対象物を認識して運転者に警報を発する手法が提案されている。運転者は、この警報に応じて、ブレーキ操作やステアリング操作などの、対象物を回避する運転操作を行うことができる。
【０００３】
下記の特許文献１には、運転者によるブレーキ操作のタイミングに従って、衝突警報を発する時期を変更する装置が開示されている。また、下記の特許文献２には、運転者の制動操作を学習して、警報のタイミングを変更する手法が開示されている。
【特許文献１】特開昭５９−１０５５８７号公報
【特許文献２】特開２００６−１９００９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
警報に対する運転者の運転操作の反応には個人差がある。反応時間が長いほど、対象物の存在の認識およびそれに応じた対象物を回避する動作に遅れが生じ、回避動作を実行する時間的な余裕が低減するおそれがある。
【０００５】
最近、赤外線カメラなどの撮像カメラを車両に搭載し、撮像カメラによって撮像された画像に対し画像処理を施すことによって所定の対象物を認識し、該対象物の認識に応じて運転者に警報を発する、という技術が提案されている。対象物の認識精度を上げるため、画像処理の内容は、近年ますます複雑化してきている。処理対象とする車両周辺の範囲が広いほど、画像処理の計算上の負荷が増大すると共に、ノイズ等の存在によって対象物の認識処理にエラーが生じる可能性が高まる。したがって、認識精度をより高めるためには、処理対象となる車両周辺の範囲を制限するのが望ましい。
【０００６】
しかしながら、処理対象となる範囲を制限するほど、車両から遠い対象物の認識が行われないおそれがある。このような制限を一律に行うと、警報に対する運転者の反応時間が長い場合には、対象物の認識精度が高くても、運転者による対象物の認識およびそれに対する運転操作に遅れが生じるおそれがある。
【０００７】
したがって、この発明は、反応時間に従って処理対象となる範囲の大きさを調整することによって、反応時間が長い場合でも、対象物の認識および該対象物に対する回避動作の早期化を図ることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両に搭載された撮像手段によって撮像された画像において、該車両の周辺の所定範囲に対応する画像領域を処理対象として該車両の周辺の対象物を認識し、該認識された対象物について車両の運転者に対し警報を発行する車両周辺監視装置は、前記警報の発行に対し、前記運転者の所定の操作の反応時間を検出する反応時間検出手段と、前記反応時間が所定値以上であることを検出したならば、前記所定範囲を拡大し、前記対象物の認識が、該拡大された所定範囲に対応する画像領域を処理対象として行われるようにする、範囲変更手段と、を備える。
【０００９】
この発明によれば、反応時間が所定値以上であることに応じて、対象物の認識が行われる所定範囲が拡大される。したがって、反応時間が長い場合でも、対象物の認識および該対象物に対する回避動作の早期化を図ることができる。
【００１０】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【発明を実施するための最良の形態】
【００１１】
次に図面を参照してこの発明の実施の形態を説明する。
【００１２】
図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、車両のヨーレートを検出するヨーレートセンサ５と、車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、衝突の可能性が高いと判断された対象物を運転者に認識させるような表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。
【００１３】
図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、背景の温度よりも対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００１４】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号およびセンサ５〜７の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００１５】
また、該装置は、反応時間検出部８および処理範囲変更部９を備えており、画像処理ユニット２によって認識された対象物について警報を発行してから、運転者の所定の操作が開始されるまでの反応時間を検出し、該反応時間に従って、対象物認識の処理対象となる、車両周辺の所定範囲を変更する。反応時間検出部８および処理範囲変更部９は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータである所定の電子制御装置に実現されることができる。画像処理ユニット２と同じ制御装置に実現されてもよい。これらの詳細な処理内容については後述される。
【００１６】
図３は、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００１７】
ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、グレースケール画像であり、対象物の温度が高いほど、高い輝度値（白に近い輝度値）を有する。カメラ１Ｒで撮像された画像すなわち右画像とカメラ１Ｌで撮像された画像すなわち左画像とでは、同一対象物の画像上の水平位置がずれており、このずれ（視差）により、該対象物までの距離を算出することができる。
【００１８】
ステップＳ１４において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。ここで、閾値ＩＴＨは、人間および動物などの所定値より高い温度の対象物を、背景と区別するような値に設定される。こうして、高温の対象物は、白領域として抽出される。
【００１９】
ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。２値化により白となった領域について、画素ラインごとに、該ラインの開始点（該ラインの左端の画素）と、開始点から終了点（該ラインの右端の画素）までの長さとで、ランレングスデータを表す。たとえば、或るラインが、座標（ｘ３，ｙ５）から開始し、３個の画素からなるとすると、（ｘ３，ｙ５，３）というランレングスデータで表される。
【００２０】
ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなして、所定のラベルを付与する。こうして、ラベルが付与された対象物が抽出される。
【００２１】
ステップＳ１８において、該抽出された対象物の重心Ｇ、面積Ｓ、および、破線で示すように抽出された対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、面積Ｓをｘ方向に二等分する線のｘ座標およびｙ方向に二等分する線のｙ座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図３のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のＸおよびＹ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。
【００２３】
こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。
【００２４】
なお、以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（この実施例では、右画像）について実行される。
【００２５】
ステップＳ２０において、車速センサ６により検出される車速ＶＣＡＲおよびヨーレートセンサ５により検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、車両１０の回頭角θｒ（後述される）を算出する。
【００２６】
一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９およびＳ２０の処理と平行して、車両１０から対象物までの距離ｚを算出する処理を行う。この演算は、ステップＳ１９およびＳ２０よりも長い時間を要するため、ステップＳ１９およびＳ２０より長い周期（たとえば、ステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行されるようにしてもよい。
【００２７】
ステップＳ３１では、基準画像（この実施例では、右画像）の２値化画像によって追跡される対象物のうちの１つを選択し、これを、探索画像Ｒ１（ここでは、外接四角形で囲まれる画像領域を探索画像とする）とする。ステップＳ３２では、左画像において、該探索画像Ｒ１と同じ対象物の画像（以下、対応画像と呼ぶ）を探索する。具体的には、探索画像Ｒ１と該左画像の間で相関演算を実行することにより行われることができる。相関演算は、下記式（１）に従って行われる。この相関演算は、２値画像ではなく、グレースケール画像を用いて行う。
【数１】
2010089661.tif 000003
【００２８】
ここで、探索画像Ｒ１は、Ｍ×Ｎ個の画素数を持ち、ＩＲ（ｍ，ｎ）は、探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、左画像内の所定の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２９】
代替的に、左画像において、探索すべき領域を予め設定し、探索画像Ｒ１と該領域との間で相関演算を実行してもよい。
【００３０】
ステップＳ３３において、探索画像Ｒ１の重心位置と、撮像画像の画像中心線（撮像画像をｘ方向に二分する線）ＬＣＴＲとの距離ｄＲ（画素数）および対応画像の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、式（２）に適用して、車両１０の対象物までの距離ｚを算出する。
【数２】
2010089661.tif 000004
【００３１】
ここで、Ｂは、基線長、すなわちカメラ１Ｒの撮像素子の中心位置と、カメラ１Ｌの撮像素子の中心位置とのｘ方向（水平方向）の距離（すなわち、両カメラの光軸の間隔）を示し、Ｆは、カメラ１Ｒおよび１Ｌに設けられたレンズ１２Ｒおよび１２Ｌの焦点距離を示し、ｐは、撮像素子１１Ｒおよび１１Ｌ内の画素間隔を示す。Δｄ（＝ｄＲ＋ｄＬ）は、視差の大きさを示す。
【００３２】
ステップＳ２１において、対象物の位置（前述したように、この実施例では重心Ｇの位置）の画像内の座標（ｘ、ｙ）および式（２）により算出した距離ｚを、式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図４（ａ）に示すように、カメラ１Ｒおよび１Ｌの取り付け位置の中点の位置（車両に固定された位置）を原点Ｏとして、図のように、車両１０の車幅方向にｘ軸、車両１０の車高方向にｙ軸、車両１０の進行方向にｚ軸を定めた座標系で表される。画像上の座標は、図４（ｂ）に示すように、画像の中心を原点として水平方向をｘ軸および垂直方向をｙ軸とした座標系で表される。
【数３】
2010089661.tif 000005
【００３３】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。また、ｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３４】
ステップＳ２２において、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。時刻ｋから（ｋ＋１）までの期間中に、車両１０がたとえば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、Δｘだけｘ方向（正の方向）にずれる。したがって、これを補正する。
【００３５】
具体的には、式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物ごとに対応づけて時系列にメモリに格納される。なお、以下の説明では、該補正後の座標を、（Ｘ，Ｙ，Ｚ）と示す。
【数４】
2010089661.tif 000006
【００３６】
ステップＳ２３において、同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（たとえば、Ｎ＝１０程度）、すなわち時系列データから、対象物の車両１０に対する相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、式（５）で表される直線を求める。
【数５】
2010089661.tif 000007
【００３７】
ここで、ｕは、任意の値を取る媒介変数である。Ｘａｖ、ＹａｖおよびＺａｖは、それぞれ、実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、およびＺ座標の平均値である。媒介変数ｕを消去することにより、式（５）は、以下の式（５ａ）のように表される。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ  
（５ａ）
【００３８】
図５は、近似直線ＬＭＶを説明するための図である。Ｐ（０）、Ｐ（１）、Ｐ（２）、・・・、Ｐ（Ｎ−２）、Ｐ（Ｎ−１）が、回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の二乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｐ（０）は最新の位置座標、Ｐ（１）は、１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＸ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。なお、近似直線ＬＭＶを演算するより詳細な手法は、特開２００１−６０９６号公報に記載されている。
【００３９】
次に、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）前（すなわち、時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を、近似直線ＬＭＶ上の位置に補正する。具体的には、式（５ａ）にＺ座標Ｚ（０）およびＺ（ｎ−１）を適用することにより得た式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ  （Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数６】
2010089661.tif 000008
【００４０】
式（６）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルが、相対移動ベクトルとして算出される。
【００４１】
このように、モニタ期間ΔＴ内の複数（Ｎ個）のデータから、対象物の車両１０に対する相対移動軌跡を近似する近似直線ＬＭＶを算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して、対象物との衝突の可能性をより正確に予測することができる。
【００４２】
ここで、図６を参照すると、カメラ１Ｒおよび１Ｌによって撮像可能な領域である撮像範囲ＡＲ０が示されている。撮像範囲ＡＲ０に対応する撮像画像に対して、図３のステップＳ１１からＳ２３の処理は実行される。
【００４３】
領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車幅方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域にある対象物は、接近判定領域へと侵入するおそれがある侵入判定領域である。これらの領域ＡＲ１〜ＡＲ３は、Ｙ方向には所定高さＨを有し、Ｚ方向には所定距離Ｚ１を有する。
【００４４】
ステップＳ２４では、領域ＡＲ１〜ＡＲ３に存在する対象物が抽出される。すなわち、式（７）によりＺ方向の相対速度Ｖｓを算出し、式（８）および式（９）を満たす対象物が抽出される。
Ｖｓ＝（Ｚｖ（Ｎ−１）―Ｚｖ（０））／ΔＴ    （７）
Ｚｖ（０）／Ｖｓ≦Ｔ                          （８）
｜Ｙｖ（０）｜≦Ｈ                            （９）
【００４５】
ここで、Ｚｖ（０）は、最新の距離検出値（ｖは、近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。また、Ｔは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。Ｖｓ×Ｔが、領域ＡＲ１〜ＡＲ３の所定距離Ｚ１に対応する。Ｈは、Ｙ方向すなわち高さ方向の範囲を規定し、例えば自車両１０の車高の２倍程度に設定される。これが、領域ＡＲ１〜ＡＲ３の所定高さＨを示す。こうして、垂直方向では所定高さＨに制限され、距離方向では所定距離Ｚ１に制限された領域ＡＲ１〜ＡＲ３内の対象物が、衝突の可能性があると判断されて抽出される。
【００４６】
次に、こうして抽出された対象物が、接近判定領域ＡＲ１内にあるか否かを判断する接近判定処理が行われる。具体的には、対象物の位置Ｐｖ（０）のＸ座標Ｘｖ（０）が、領域ＡＲ１内に存在するかどうかを判断する。この判断がＹｅｓであれば、衝突の可能性が高いと判断し、直ちにステップＳ２５の対象物判定処理に進む。この判断がＮｏであれば、対象物は、領域ＡＲ２またはＡＲ３に存在することを示し、侵入判定処理が行われる。
【００４７】
侵入判定処理では、対象物の画像上での最新のｘ座標ｘｃ（０）（ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標ｘｃ（Ｎ−１）との差が、式（１２）を満たすか否かを調べる。満たすならば、対象物が移動によって接近判定領域ＡＲ１に侵入することにより車両１０との衝突の可能性が高いと判断し、ステップＳ２５の対象物判定処理に進む。式（１０）を満たさなければ、今回衝突の可能性のある対象物は領域ＡＲ１〜ＡＲ３内に存在しないと判断し、図３のプロセスを終了する。
【数７】
2010089661.tif 000009
【００４８】
ここで、上記式の根拠を簡単に説明する。図７を参照すると、対象物２０の最新の位置座標と、時間ΔＴ前の位置座標とを通る直線、すなわち近似直線ＬＭＶと、ＸＹ平面（Ｘ軸とＹ軸を含む平面、すなわち車両１０の先端部に対応する線（Ｘ軸）を含み、車両１０の進行方向に垂直な面）との交点のＸ座標をＸＣＬとすると、車幅αを考慮した衝突発生の条件は、式（１１）で与えられる。
−α／２≦ＸＣＬ≦α／２      （１１）
【００４９】
他方、近似直線ＬＭＶをＸＺ平面に投影した直線は式（１２）で与えられる。
【数８】
2010089661.tif 000010
【００５０】
この式にＺ＝０、Ｘ＝ＸＣＬを代入してＸＣＬを求めると、式（１３）のようになる。
【数９】
2010089661.tif 000011
【００５１】
また、実空間座標Ｘと、画像上の座標ｘｃとの間には、式（３）のような関係があるので、以下の式が成立する。
Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ                  （１４）
Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ      （１５）
【００５２】
これらを式（１３）に適用すると、交点Ｘ座標ＸＣＬは、式（１６）で与えられる。これを式（１１）に代入して整理すると、上記式（１０）が得られる。
【数１０】
2010089661.tif 000012
【００５３】
図３のステップＳ２５に戻り、接近判定処理および侵入判定処理において衝突の可能性が高いと判断された対象物について対象物判定処理を行い、対象物が、注意喚起の対象とすべきものであるかどうかを判断する。たとえば、歩行者および動物を注意喚起対象とすることができる。歩行者および動物を判定する処理は、任意の適切な手法で実施されることができる（たとえば、特開２００６−１８５４３４号公報、特開２００７−３１０７０５号公報に記載されている）。
【００５４】
対象物が、注意喚起の対象と判断されたならば、ステップＳ２６において、運転者に対し、警報を実際に出力するかどうかを判定する警報判定処理を行う。この判定結果が肯定であれば、警報を出力する。
【００５５】
この実施例では、警報判定処理は、ブレーキの操作に応じて警報を実際に出力するかどうかを判断する。具体的には、ブレーキセンサ７の出力から、車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ、警報出力を行う。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、加速度Ｇｓが所定の閾値ＧＴＨ以下（Ｇｓ≦ＧＴＨ）であるときは、警報出力を行い、Ｇｘ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。しかしながら、代替的に、ブレーキ操作について判定することなく警報を発するようにしてもよい。
【００５６】
ここで、閾値ＧＴＨは、式（１７）のように定めることができる。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で車両１０が停止する条件に対応する値である。
【数１１】
2010089661.tif 000013
【００５７】
警報出力は、スピーカ３を介して音声による警報を発するとともに、図８に示すように、ＨＵＤ４により、例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、認識された対象物を表示する。音声による警報は、単なるブザーのような音でもよいし、注意を喚起するようなメッセージの音声でもよい。また、対象物の表示形態は任意でよく、たとえば、色のついた枠で囲んで強調表示することができる。音声および画像表示の一方によって警報を発するようにしてもよい。こうして、衝突の可能性の高い対象物を、運転者はより確実に認識することができる。
【００５８】
以上が、対象物の認識処理の全体的な概要である。次に、図１を参照して言及した、反応時間検出部８および処理範囲変更部９による、反応時間に従う処理範囲の変更処理について説明する。
【００５９】
反応時間検出部８は、警報が発せられた時点から、運転者による所定の操作が開始されるまでの時間、すなわち反応時間を、たとえばタイマを用いて計測する。所定の操作は、反応時間検出部８によって検出され、この実施例では、車両を制動させる操作および車両のステアリングホイール（ハンドル）に対する操作を含む。車両を制動させる操作は、車両を減速させる操作であり、たとえば、運転者がブレーキペダルを踏みこむ操作、運転者がアクセルペダルの踏み込みを解除する操作、および、いわゆるエンジンブレーキが作動するような運転操作（たとえば、シフトポジションの変更等）を含むことができる。該制動させる操作は、たとえば車速センサ６の検出値から、車速が減じたかどうかに基づいて検出されることができる。代替的に、または追加的に、ブレーキペダルが踏まれたかどうかをブレーキセンサ７により検出することができ、また、アクセルペダルの踏み込みが解除されたかどうかを、アクセルペダル開度センサ（図示せず）により検出することができる。車両のステアリングホイールに対する操作は、車両を旋回させる操作であり、たとえばステアリングホイールの操舵角を検出するセンサによって検出されることができる。
【００６０】
処理範囲変更部９は、検出された反応時間に従って、対象物を認識する処理対象となる、車両周辺の所定範囲（以下、単に「処理範囲」と呼ぶ）を変更する。具体的には、検出された反応時間が所定の閾値より小さければ、処理範囲を基準範囲に設定して、基準範囲から対象物が認識されるようにし、検出された反応時間が該閾値以上ならば、該処理範囲を、基準範囲から拡大し、該拡大範囲から対象物が認識されるようにする。
【００６１】
ここで、処理範囲には、以下の２つのケースＡおよびＢがある。
Ａ：図３のステップＳ１１〜Ｓ２３の処理の対象となる範囲。
Ｂ：図３のステップＳ２４およびＳ２５の処理の対象となる範囲。
【００６２】
図６を参照して説明したように、ステップＳ２１〜Ｓ２３では、撮像範囲ＡＲ０に対応する撮像画像を対象に処理が行われる。ＡＲ０は、カメラ１Ｒおよび１Ｌの視野角（水平（Ｘ）および垂直（Ｙ）方向）によって決まり、距離（Ｚ）方向においては制限されない。なお、カメラ１Ｒとカメラ１Ｌは別個に配置されているので、両者の撮像範囲は実際には異なるが、図のＡＲ０は、両方のカメラの撮像範囲の共通部分を示しているとし、両方のカメラの視野角は同じであるとする（これは、以下の説明でも同様である）。他方、ステップＳ２４では、領域ＡＲ１〜ＡＲ３を設定することにより、対象物を認識する範囲を制限している。領域ＡＲ１〜ＡＲ３は、水平方向における視野角はＡＲ０と同じであるが、前述したように、この図の場合には、垂直方向は所定高さＨにより制限され、距離方向は所定距離Ｚ１（＝Ｖｓ×Ｔ）によって制限されている。ステップＳ２５において、該制限された範囲における対象物を判定する。
【００６３】
以下の説明において、ケースＡとＢの処理範囲を区別して説明するときには、前者を「画像処理範囲」と呼び、後者を「認識処理範囲」と呼ぶ。いずれのケースにおいても、処理範囲を小さくするほど、計算負荷を低減することができる。
【００６４】
ケースＡについての処理範囲の変更は、さらに、以下のサブケースが考えられる。
Ａ−１：撮像範囲ＡＲ０を処理範囲とし、撮像範囲ＡＲ０自体の大きさを変更する。
Ａ−２：撮像範囲ＡＲ０の撮像画像内において、処理範囲として所定の画像領域を設定し、該画像領域の大きさを変更する。
【００６５】
以下、図９〜図１４を参照し、各ケースについて、処理範囲の変更手法を説明する。
【００６６】
図９は、ケースＡ−１を示す。このケースでは、撮像カメラ１Ｒおよび１Ｌを、少なくとも水平方向の視野角を変更可能なカメラで構成している。（ａ）は、基準範囲に設定された画像処理範囲ＰＲ０を示し、これは、カメラ１Ｒおよび１Ｌにより、水平方向および垂直方向の所定の視野角で撮像される範囲ＡＲ０に一致している。距離方向においては制限されない。図には、水平方向の視野角θｄ１について示されている。画像処理範囲ＰＲ０内に、図６を参照して説明したように、Ｗ１（＝α／２＋β）の幅を持つ接近判定領域ＡＲ１と、侵入判定領域ＡＲ２およびＡＲ３とが設定され、これらは、距離方向ではＺ１により、垂直方向ではＨにより制限される。
【００６７】
（ｂ）は、カメラ１Ｒおよび１Ｌの水平方向の視野角をθｄ２（＞θｄ１）に広げることにより拡大された撮像範囲ＡＲ０すなわち拡大範囲に設定された画像処理範囲ＰＲ０を示す。垂直方向の視野角については、カメラの仕様に依存して、広げられてもよいし、広げられなくてもよい。画像処理範囲ＰＲ０は、距離方向には制限されない。この拡大に伴い、侵入判定領域ＡＲ２およびＡＲ３も水平方向に拡大されている。接近判定領域ＡＲ１は、拡大されていない。領域ＡＲ１〜ＡＲ３の距離方向および垂直方向についての制限は、Ｚ１およびＨにそれぞれ維持される。
【００６８】
処理範囲変更部９は、反応時間が所定の閾値より小さいときには、画像処理範囲ＰＲ０を、（ａ）の基準範囲に維持する。画像処理ユニット２は、該基準範囲に設定された画像処理範囲ＰＲ０対し、図３のステップＳ１１〜Ｓ２３の処理を実行する。他方、処理範囲変更部９は、反応時間が所定の閾値以上であることが検出されたならば、カメラ１Ｒおよび１Ｌの水平方向の視野角をθｄ２（＞θｄ１）に広げることにより、（ｂ）に示すように撮像範囲ＡＲ０を拡大し、これにより、画像処理範囲ＰＲ０を拡大範囲に変更する。結果として、水平方向に拡大された画像処理範囲に対応する画像が取得される。画像処理ユニット２は、該拡大された画像処理範囲に対応する撮像画像に対し、図３のステップＳ１１〜Ｓ２３の処理を実行する。（ａ）および（ｂ）のいずれの場合も、ステップＳ２４においては、式（８）および（９）によって距離方向および垂直方向に制限された領域ＡＲ１〜ＡＲ３に存在する対象物を認識する。
【００６９】
（ｂ）の処理範囲ＰＲ０は、（ａ）の処理範囲ＰＲ０に比べて水平方向に拡大されているので、水平方向に、車両１０からより遠い所に存在する対象物の認識を行うことができる。したがって、反応時間が長い場合でも、運転者は、より遠い所にある対象物を早期に認識して、所定の運転操作を早期に開始することができる。
【００７０】
図１０は、ケースＡ−２を示す。このケースでは、カメラ１Ｒおよび１Ｌの水平および垂直方向の視野角は一定であるので撮像範囲ＡＲ０は不変であるが、撮像された画像内において処理する画像領域の大きさを変更することにより、画像処理範囲ＰＲ０を変更する。
【００７１】
すなわち、（ａ）は、基準範囲に設定された画像処理範囲ＰＲ０を示し、この水平方向の視野角θｄ３は、カメラ１Ｒおよび１Ｌの水平方向の所定の視野角θｄ４よりも小さい。従って、画像処理範囲ＰＲ０は、撮像範囲ＡＲ０よりも水平方向に小さくなっている。垂直方向については、小さくてもよいし、小さくなくてもよい。距離方向においては制限されない。画像処理範囲ＰＲ０内には、前述したように、接近判定領域ＡＲ１と、侵入判定領域ＡＲ２およびＡＲ３とが設定され、これらは、距離方向ではＺ１により、垂直方向ではＨにより制限される。
【００７２】
（ｂ）は、拡大範囲に設定された画像処理範囲ＰＲ０を示し、これは、撮像範囲ＡＲ０に一致するよう拡大されている。垂直方向については、拡大してもよいし、拡大されなくてもよい。画像処理範囲ＰＲ０は、距離方向には制限されない。この拡大に伴い、侵入判定領域ＡＲ２およびＡＲ３も水平方向に拡大されている。接近判定領域ＡＲ１は拡大されていない。領域ＡＲ１〜ＡＲ３の距離方向および垂直方向についての制限は、Ｚ１およびＨにそれぞれ維持される。
【００７３】
処理範囲変更部９は、反応時間が所定の閾値より小さいときには、画像処理範囲ＰＲ０を、（ａ）の基準範囲に維持し、画像処理ユニット２は、該基準範囲に設定された画像処理範囲ＰＲ０に対し、図３のステップＳ１１〜Ｓ２３の処理を実行する。このときの画像処理範囲ＰＲ０は、撮像範囲ＡＲ０より小さいので、撮像画像の一部の画像領域に対応する。たとえば、ステップＳ１１において取得された撮像画像の一部の画像領域のみを、ステップＳ１２のＡ／Ｄ変換で処理されるようにし、以降の画像処理は、該一部の画像領域についてのみ行われる。
【００７４】
他方、処理範囲変更部９は、反応時間が所定の閾値以上であることが検出されたならば、（ｂ）のように、画像処理範囲ＰＲ０を拡大範囲に変更する。結果として、水平方向に拡大された画像処理範囲ＰＲ０に対応する撮像画像全体が、画像処理ユニット２の図３のステップＳ１１〜Ｓ２３の処理対象となる。（ａ）および（ｂ）のいずれの場合も、ステップＳ２４においては、式（８）および（９）により距離方向および垂直方向に制限された領域ＡＲ１〜ＡＲ３に存在する対象物を認識する。
【００７５】
（ｂ）の画像処理範囲ＰＲ０は、（ａ）の画像処理範囲ＰＲ０に比べて水平方向に拡大されているので、水平方向に、車両１０からより遠い所に存在する対象物を認識することができる。したがって、反応時間が長い場合でも、運転者は、より遠い所にある対象物を早期に認識して、所定の運転操作を早期に開始することができる。
【００７６】
なお、上記の例では、画像処理範囲ＰＲ０の拡大は、撮像範囲ＡＲ０に一致するよう行われているが、撮像範囲ＡＲ０内に収まれば、一致しないよう拡大してもよい。
【００７７】
図１１は、ケースＡ−２の他の例である。図１０では、水平方向に画像処理範囲ＰＲ０を変更するが、図１１では、距離方向に画像処理範囲ＰＲ０を変更する。
【００７８】
すなわち、（ａ）は、基準範囲に設定された画像処理範囲ＰＲ０を示し、これは、カメラ１Ｒおよび１Ｌの水平方向および垂直方向の所定の視野角（図には、水平方向の視野角θｄ５が示されている）で撮像される範囲ＡＲ０の距離方向について、所定値Ｚｔｈ１により制限された領域となっている。画像処理範囲ＰＲ０内に、図６を参照して説明したように、Ｗ１（＝α／２＋β）の幅を持つ接近判定領域ＡＲ１と、侵入判定領域ＡＲ２およびＡＲ３が設定され、これらは、距離方向ではＺ１により、垂直方向ではＨにより制限される。ここで、Ｚ１はＺｔｈ１以下となるように設定される。
【００７９】
（ｂ）は、拡大範囲に設定された画像処理範囲ＰＲ０を示し、これは、距離方向に所定値Ｚｔｈ２（＞Ｚｔｈ１）にまで拡大されている。水平および垂直方向については拡大されない。この拡大につれて、領域ＡＲ１〜ＡＲ３も距離方向に所定値Ｚ２まで拡大されている。Ｚ２はＺｔｈ２以下であるよう設定される。領域ＡＲ１〜ＡＲ３の垂直方向の制限は、所定値Ｈのままである。
【００８０】
処理範囲変更部９は、反応時間が所定の閾値より小さいときには、画像処理範囲ＰＲ０を、（ａ）の基準範囲に維持する。画像処理ユニット２は、ステップＳ３３で算出された距離値ｚが所定値Ｚｔｈ１より大きければ、該距離値ｚを持つ画素の領域を、以降の処理から除外する。こうして、距離値ｚが所定値Ｚｔｈ１以下の基準範囲が、ステップＳ２１〜Ｓ２３の処理対象とされる。ステップＳ２４における距離方向および垂直方向の制限は、前述した式（８）および（９）に示すように、所定値Ｚ１（＝Ｖｓ×Ｔ）およびＨによりそれぞれ実現される。
【００８１】
他方、処理範囲変更部９は、反応時間が所定の閾値以上であることが検出されたならば、（ｂ）のように、画像処理範囲ＰＲ０を拡大範囲に変更する。結果として、画像処理ユニット２は、ステップＳ３３で算出された距離値ｚが所定値Ｚｔｈ２より大きければ、該距離値ｚを持つ画素の領域を、以降の処理から除外する。こうして、距離値ｚが所定値Ｚｔｈ２以下の拡大範囲が、ステップＳ２１〜Ｓ２３の処理対象とされる。ステップＳ２４においては、距離方向において所定値Ｚ２により制限され、垂直方向にはＨにより制限された領域ＡＲ１〜ＡＲ３に存在する対象物を認識する。ここで、所定値Ｚ２は、たとえば、所定時間Ｔ２（＞Ｔ）に相対速度Ｖｓを乗算することにより決定されることができる。代替的に、（ａ）のＺ１と（ｂ）のＺ２は同じでもよく、この場合、Ｚ２は（Ｔ×Ｖｓ）によって決定される。
【００８２】
（ｂ）の画像処理範囲ＰＲ０は、（ａ）の画像処理範囲ＰＲ０に比べて距離方向に拡大されているので、距離方向に、車両１０からより遠い所に存在する対象物も認識される。したがって、反応時間が長い場合でも、運転者は、より遠い所にある対象物を早期に認識して、所定の運転操作を早期に開始することができる。
【００８３】
図１２は、ケースＢの水平方向における拡大を示す。ケースＢでは、前述したように、図３のステップＳ１１〜Ｓ２３の処理対象である画像処理範囲ＰＲ０は撮像範囲ＡＲ０と一致しているが、図３のステップＳ２４において対象物を最終的に認識する領域である認識処理範囲ＰＲ１（＝ＡＲ１＋ＡＲ２＋ＡＲ３）が、反応時間に従って変更される。
【００８４】
すなわち、（ａ）および（ｂ）のいずれも、画像処理範囲ＰＲ０は、カメラ１Ｒおよび１Ｌの水平方向および垂直方向の所定の視野角（図には、水平方向の視野角θｄ６が示されている）で撮像される範囲ＡＲ０一致している。距離方向においては制限されない。画像処理範囲ＰＲ０内に、図６を参照して説明したように、Ｗ１（＝α／２＋β）の幅を持つ接近判定領域ＡＲ１と、侵入判定領域ＡＲ２およびＡＲ３とが設定され、これらは、距離方向ではＺ１により、垂直方向ではＨにより制限される。ＡＲ１〜ＡＲ３の和が、認識処理範囲ＰＲ１である。
【００８５】
（ａ）の認識処理範囲ＰＲ１は、基準範囲に設定されており、水平方向の視野角θｄ７（＜θｄ６）で表されるように、画像処理範囲ＰＲ０（＝撮像範囲ＡＲ０）よりも小さい。（ｂ）は、画像処理範囲ＰＲ０に一致するように水平方向に拡大された認識処理範囲ＰＲ１を示す。垂直方向および距離方向については、拡大されていない。
【００８６】
処理範囲変更部９は、反応時間が所定の閾値より小さい時には、認識処理範囲ＰＲ０を、（ａ）の基準範囲に維持し、画像処理ユニット２は、該基準範囲に設定された認識処理範囲ＰＲ１に対し、図３のステップＳ２４の処理を実行する。このときの認識処理範囲ＰＲ１は、撮像範囲ＡＲ０より小さいので、撮像画像の一部の画像領域に対応する。たとえば、ステップＳ２４において、前述した式（８）および（９）の条件に加え、対象物の最新の位置Ｐｖ（０）が、（ａ）のような認識処理範囲ＰＲ１内に存在することを条件とし、これらの条件が満たされた場合に、前述した接近判定処理および侵入判定処理を行うことができる。
【００８７】
他方、処理範囲変更部９は、反応時間が所定の閾値以上であることが検出されたならば、（ｂ）のように、認識処理範囲ＰＲ１を拡大範囲に変更する。結果として、水平方向に拡大された認識処理範囲ＰＲ１に対して、図３のステップＳ２４の処理が実行される。
【００８８】
（ｂ）の認識処理範囲ＰＲ１は、（ａ）の認識処理範囲ＰＲ１に比べて水平方向に拡大されているので、水平方向に、車両１０からより遠い所に存在する対象物も認識される。したがって、反応時間が長い場合でも、運転者は、より遠い所にある対象物を早期に認識して、所定の運転操作を早期に開始することができる。
【００８９】
なお、上記の例では、認識処理範囲ＰＲ１の拡大は、画像処理範囲ＰＲ０（＝撮像範囲ＡＲ０）に一致するよう行われているが、画像処理範囲ＰＲ０内に収まれば、一致しないよう拡大してもよい。
【００９０】
図１３は、ケースＢの距離方向における拡大を示す。（ａ）および（ｂ）のいずれも、画像処理範囲ＰＲ０は、カメラ１Ｒおよび１Ｌの水平方向および垂直方向の所定の視野角（図には、水平方向における視野角θｄ８が示されている）で撮像される範囲ＡＲ０一致している。距離方向においては制限されない。画像処理範囲ＰＲ０内に、図６を参照して説明したように、Ｗ１（＝α／２＋β）の幅を持つ接近判定領域ＡＲ１と、侵入判定領域ＡＲ２およびＡＲ３とが設定され、これらは、垂直方向ではＨにより制限される。ＡＲ１〜ＡＲ３の和が、認識処理範囲ＰＲ１である。
【００９１】
（ａ）は、基準範囲に設定された認識処理範囲ＰＲ１を示し、これは、距離方向において所定値Ｚ１で制限されている。（ｂ）は、距離方向において所定値Ｚ２（＞Ｚ１）で制限された認識処理範囲ＰＲ１を示し、これは、（ａ）に比べて距離方向に拡大されている。水平および垂直方向については拡大されない。
【００９２】
処理範囲変更部９は、反応時間が所定の閾値より小さいときには、認識処理範囲ＰＲ０を、（ａ）の基準範囲に維持し、画像処理ユニット２は、該基準範囲に設定された認識処理範囲ＰＲ１に対し、図３のステップＳ２４の処理を実行する。前述したように、所定値Ｚ１はＶｓ×Ｔであり、ステップＳ２４における式（８）により、所定値Ｚ１による距離方向の制限は実現される。
【００９３】
他方、処理範囲変更部９は、反応時間が所定の閾値以上であることが検出されたならば、（ｂ）のように、認識処理範囲ＰＲ１を拡大範囲に変更する。具体的には、Ｚ２を、（相対速度Ｖｓ×所定時間Ｔ２）に設定し、ここで、Ｔ２は、Ｔ２＞Ｔであるよう設定される。ステップＳ２４の式（８）を、Ｚｖ（０）／Ｖｓ≦Ｔ２に変更することにより、所定値Ｚ２による距離方向の制限を実現することができる。
【００９４】
（ｂ）の認識処理範囲ＰＲ１は、（ａ）の認識処理範囲ＰＲ１に比べて距離方向に拡大されているので、距離方向に、車両１０からより遠い所に存在する対象物も認識される。したがって、反応時間が長い場合でも、運転者は、より遠い所にある対象物を早期に認識して、所定の運転操作を早期に開始することができる。
【００９５】
この実施例では、処理範囲変更部９は、警報の発行に対する、運転者による車両を制動させる操作の反応時間が所定の閾値以上である場合には、図１１および図１３を参照して説明したように、処理範囲（画像処理範囲ＰＲ０および認識処理範囲ＰＲ１のいずれでもよいし、両方でもよい）を距離方向に拡大する。車両を制動させる操作は、車両を、距離方向への進行に制限をかける操作である。制動させる操作の反応時間が長いということは、車両の進行の制限に遅延が生じるおそれがあることを示す。したがって、処理範囲を距離方向に拡大することにより、距離方向においてより遠くにある対象物を運転者に早期に認識させる。これにより、運転者は、より早期に、制動させる操作を開始することができる。
【００９６】
他方、処理範囲変更部９は、警報の発行に対する、運転者による車両のステアリングホイールに対する操作の反応時間が所定の閾値値以上である場合には、図９、図１０および図１２を参照して説明したように、処理範囲（画像処理範囲ＰＲ０および認識処理範囲ＰＲ１のいずれでもよいし、両方でもよい）を水平方向に拡大する。ステアリングホイールに対する操作は、車両を旋回させる操作である。該ステアリングホールの操作について反応時間が長いということは、車両の旋回に遅れが生じるおそれがあることを示す。したがって、水平方向に拡大することにより、水平方向においてより遠くにある対象物を運転者に早期に認識させる。これにより、運転者は、より早期に、旋回させる操作を開始することができる。
【００９７】
警報の発行に応じて、制動する操作とステアリングホイールの操作の両方が検出され、両方について反応時間が閾値以上ならば、処理範囲を、水平方向に拡大すると共に、距離方向に拡大するようにしてもよい。
【００９８】
代替形態として、反応時間が閾値より小さければ、接近判定領域ＡＲ１の幅をＷ１に維持し、反応時間が閾値以上であることが検出されたことに応じて、接近判定領域ＡＲ１の幅を広げるようにしてもよい。図１４を参照すると、幅Ｗ１（前述したように、α／２＋βである）が拡大されて幅Ｗ２となった接近判定領域ＡＲ１を有する認識処理範囲ＰＲ１が示されている。このような拡大により、接近判定領域ＡＲ１に存在する対象物の捕捉範囲が広がるので、運転者は、より狭い幅Ｗ１の接近判定領域ＡＲ１に比べて、より早期に、衝突の可能性が高い対象物の存在を認識することができる。接近判定領域ＡＲ１の幅の拡大と共に、図９〜図１３を参照して説明したように、水平方向および（または）距離方向の拡大を行ってもよい。
【００９９】
上記実施例では、処理範囲の大きさは、反応時間に従い、基準範囲（図９〜図１３の（ａ））と拡大範囲（図９〜図１３の（ｂ））との間で切り換えられる。代替的に、反応時間が長くなるにつれて、処理範囲を徐々に拡大するようにしてもよい。反応時間が所定時間長くなるたびに、処理範囲の水平方向および（または）距離方向を、所定の大きさずつ拡大するようにしてもよい。
【０１００】
さらに、この実施例では、検出された反応時間に従って、警報の出力形態を変更する。具体的には、反応時間検出部８によって検出された反応時間が、前述した所定の閾値より小さければ、画像処理ユニット２は、ステップＳ２６でスピーカ３を介して出力する警報を基準の音量で発し、該反応時間が閾値以上ならば、出力する警報の音量を、該基準の音量よりも大きくする。警報音は、前述したように、単なるブザーのような音でもよいし、注意を喚起するようなメッセージの音声でもよい。反応時間が長くなるにつれて、音量を徐々に大きくするようにしてもよい。
【０１０１】
警報音に代えて、または警報音に加えて、反応時間検出部８によって検出された反応時間が、前述した所定の閾値以上であるならば、ＨＵＤ４の画面４ａ上の対象物を示す表示を、強調表示する。強調表示の一例を、図１５に示す。（ａ）は、反応時間が所定の閾値より小さい場合の基準表示であり、認識された対象物を枠２０１で囲むことにより、いくらか強調して表示している。（ｂ）は、反応時間が閾値以上の場合の表示であり、（ａ）に比べて、対象物を示す枠２０３の太さが太くなっており、（ａ）よりもさらに強調された表示となっている。任意の形態で強調することができ、たとえば、（ａ）と（ｂ）の間で、対象物を示す枠の色を変更したり、対象物を示す枠の周辺に何らかの記号等を表示したりしてもよい。反応時間が長くなるにつれて、強調表示の形態を変更してもよい。たとえば、反応時間が長くなるにつれて、より注意を喚起するよう、枠の太さを徐々に太くしたり、枠の色を徐々に目立たせたりするようにしてもよい。
【０１０２】
さらに他の実施形態では、検出された反応時間に従って、警報出力のタイミングを変更してもよい。このような変更手法の一例を、図１６に示す。（ａ）は、反応時間が所定の閾値より小さいとき、すなわち基準の警報出力タイミングを示し、（ｂ）は、反応時間が閾値以上と判断された場合の警報出力タイミングを示す。時点ｔ１において注意喚起すべき対象物が認識され（図３のステップＳ２５）、時点ｔ２において、警報出力が発せられる。警報出力は、前述したように、音でもよいし、画像における強調表示でもよい。
【０１０３】
反応時間検出部８において、反応時間が所定の閾値より小さいことが検出されたならば、画像処理ユニット２は、ステップＳ２５の対象物認識から、ステップＳ２６において実際に警報を出力するまでの時間を、所定期間Ｔ１に設定する。他方、反応時間が所定の閾値以上であることが検出されたならば、画像処理ユニット２は、それに応じて、ステップＳ２５の対象物認識から、ステップＳ２６において実際に警報を出力するまでの時間を、所定期間Ｔ１からＴ２（＞Ｔ１）へと短くする。こうすることにより、反応が遅い場合には早めに警報出力が行われる。これにより、運転者は、警報に応じた運転操作を早期に開始することができる。
【０１０４】
図の例では、警報出力タイミングの設定は２段階となっているが、さらに多くの段階を設け、反応時間が長くなるにつれて、警報出力タイミングを徐々に早くするようにしてもよい。
【０１０５】
図１７は、反応時間検出部８、処理範囲変更部９および画像処理ユニット２によって実行される、処理範囲および警報出力形態の変更プロセスのフローである。ステップＳ４１に示すように、このプロセスは、図３のステップＳ２６において警報が出力されたことに応じて開始される。警報出力に応じて、タイマにより計時が行われる。
【０１０６】
ステップＳ４２において、所定の運転操作を検出する。この実施例では、前述したように、車両を制動させる操作およびステアリングホイールの操作を検出する。
【０１０７】
ステップＳ４３において、上記計時により、警報出力から、ステップＳ４２の運転操作の検出までの時間すなわち反応時間を求める。
【０１０８】
ステップＳ４４において、反応時間を所定の閾値と比較し、反応時間が該閾値より小さければ、処理範囲（前述した画像処理範囲ＰＲ０および認識処理範囲ＰＲ１の一方でもよいし、両方でもよい）として、図９〜図１３の（ａ）に示されるような基準範囲を選択し、反応時間が該閾値以上であれば、処理範囲として、図９〜図１３の（ｂ）に示されるような拡大範囲を選択する。前述したように、検出された運転操作に応じて、拡大範囲の種類を選択するのがよい。たとえば、制動する操作が検出されたならば、図１１および図１３の（ｂ）に示されるような、距離方向に拡大された処理範囲が選択され、ステアリングホイールの操作が検出されたならば、図９、図１０、図１２の（ｂ）に示されるような、水平方向に拡大された処理範囲が選択される。なお、制動する操作およびステアリングホイールの操作の両方が検出されたならば、水平方向および距離方向の両方向に拡大された処理範囲を選択してよい。
【０１０９】
さらに、ステップＳ４４において、反応時間が該閾値より小さければ、警報音の音量として、基準の音量を選択し、反応時間が該閾値以上であれば、警報音の音量として、該基準の音量より大きい音量を選択する。また、反応時間が該閾値より小さければ、警報表示として、基準の表示形態（たとえば、図１５の（ａ））または強調の行われない表示形態を選択し、反応時間が該閾値以上ならば、警報表示として、基準の表示形態より強調を大きくした表示形態（たとえば、図１５の（ｂ））を選択する。
【０１１０】
ステップＳ４５において、選択された処理範囲が、現在既に使用されている処理範囲と同じかどうかを判断する。同じならば、当該プロセスを抜ける。異なっていれば、現在使用されている処理範囲を、選択された処理範囲に変更する。以降に実行される図３のプロセスは、変更された処理範囲に基づいて実行される。たとえば、選択された処理範囲が拡大範囲であり、現在既に使用されている処理範囲も拡大範囲であれば、処理範囲の大きさは変更されない。他方、たとえば、選択された処理範囲が拡大範囲であり、現在既に使用されている処理範囲が基準範囲であれば、処理範囲は該拡大範囲に変更され、該拡大範囲から、対象物が認識されるようにする。
【０１１１】
また、ステップＳ４５において、選択された警報音の音量および警報表示の形態が、現在既に使用されている警報音の音量および警報表示の形態と同じであれば、警報音の音量および警報表示の形態は変更せず、異なっていれば、現在既に使用されている警報音の音量および警報表示の形態を、選択された警報音の音量および警報表示の形態に変更する。こうして、以降に実行される図３のステップＳ２６では、変更された警報音の音量および警報表示の形態で警報出力が行われる。
【０１１２】
このフローでは、反応時間に従って変更される対象として、処理範囲、警報音および警報表示の形態が含まれているが、当然ながら、処理範囲のみを変更してもよいし、処理範囲の変更に加え、警報音および警報表示のいずれか一方のみを変更するようにしてもよい。これらの変更に、図１４および図１６を参照して説明したような、接近判定領域の大きさの変更および警報出力タイミングの変更を加えてもよい。
【０１１３】
このように、本願発明によれば、反応時間が短い場合には、処理範囲を制限することにより、画像処理に関する演算量を低減することができると共に、対象物の認識精度を向上させることができる。他方、反応時間が長い場合には、演算量および認識精度よりも、早期の対象物認識を運転者に促すことを優先し、これにより、運転者が、より早期に対象物回避のための運転操作を開始することができるようにする。こうして、より確実に対象物との衝突を回避するよう運転操作を行うよう運転者を促すことができる。
【０１１４】
なお、本発明は、上記の実施形態に限られるものではなく、様々な変形形態が可能である。たとえば、上記実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なテレビカメラを使用してもよい（たとえば、特開平２−２６４９０号公報）。しかしながら、赤外線カメラを用いることにより、対象物の抽出処理をより簡略化することができ、演算負荷を低減することができる。
【図面の簡単な説明】
【０１１５】
【図１】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図４】この発明の一実施例に従う、実空間座標系と画像座標系を示す図。
【図５】この発明の一実施例に従う、相対移動ベクトルの算出手法を説明するための図。
【図６】この発明の一実施例に従う、車両前方の領域区分を示す図。
【図７】この発明の一実施例に従う、侵入判定処理を説明するための図。
【図８】この発明の一実施例に従う、警報出力の一例を説明するための図。
【図９】この発明の一実施例に従う、車両前方の処理範囲を変更する一例を説明するための図。
【図１０】この発明の一実施例に従う、車両前方の処理範囲を変更する他の例を説明するための図。
【図１１】この発明の一実施例に従う、車両前方の処理範囲を変更する他の例を説明するための図。
【図１２】この発明の一実施例に従う、車両前方の処理範囲を変更する他の例を説明するための図。
【図１３】この発明の一実施例に従う、車両前方の処理範囲を変更する他の例を説明するための図。
【図１４】この発明の一実施例に従う、車両前方の処理範囲を変更する他の例を説明するための図。
【図１５】この発明の一実施例に従う、警報の出力形態を変更する一例を説明するための図。
【図１６】この発明の一実施例に従う、警報の出力タイミングを変更する一例を説明するための図。
【図１７】この発明の一実施例に従う、反応時間に従って、処理範囲および警報の出力形態を変更するプロセスのフローチャート。
【符号の説明】
【０１１６】
１Ｒ，１Ｌ  赤外線カメラ（撮像手段）
２  画像処理ユニット
３  スピーカ
４  ヘッドアップディスプレイ
５  ヨーレートセンサ
６  車速センサ
７  ブレーキセンサ
８  反応時間検出部
９  処理範囲変更部
【図１】
2010089661.tif 000014
【図２】
2010089661.tif 000015
【図３】
2010089661.tif 000016
【図４】
2010089661.tif 000017
【図５】
2010089661.tif 000018
【図６】
2010089661.tif 000019
【図７】
2010089661.tif 000020
【図８】
2010089661.tif 000021
【図９】
2010089661.tif 000022
【図１０】
2010089661.tif 000023
【図１１】
2010089661.tif 000024
【図１２】
2010089661.tif 000025
【図１３】
2010089661.tif 000026
【図１４】
2010089661.tif 000027
【図１６】
2010089661.tif 000028
【図１７】
2010089661.tif 000029
【図１５】
2010089661.tif 000030