(57)【要約】【課題】車両に単一の撮像手段を備えた簡易な構成により、車両周辺の監視対象物と車両の接触可能性を判定することができる車両周辺監視装置を提供する。【解決手段】車両に搭載された単一の赤外線カメラ２の撮像画像から、監視対象物の画像部分を抽出する監視対象物抽出手段２０と、所定時間間隔をもって赤外線カメラ２により撮像された複数の画像から監視対象物抽出手段２０により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段２１と、該変化率に基づいて監視対象物が車両に到達するまでの時間を推定する到達時間推定手段２２と、該変化率に基づいて監視対象物の実空間位置を算出する実空間位置算出手段２３と、監視対象物の実空間位置の変位から移動ベクトルを算出する移動ベクトル算出手段２４と、監視対象物と車両との接触可能性を判定する接触判定手段２５とを備える。【選択図】  図１
2007213561.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、
前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、
所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、
前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、
前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、
所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、
前記変化率に基づいて、監視対象物と前記車両との接触可能性を判定する接触判定手段とを備えたことを特徴とする車両周辺監視装置。
【請求項３】
前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段を備え、
前記接触判定手段は、前記自車両到達時間に基づいて監視対象物と前記車両との接触可能性を判定することを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】
前記車両の走行速度を検出する速度検出手段と、
該速度検出手段により検出された走行速度と、前記変化率算出手段により算出された前記変化率とを用いて、監視対象物の実空間位置を算出する実空間位置算出手段とを備え、
前記接触判定手段は、該実空間位置算出手段により算出された監視対象物の実空間位置に基づいて、該監視対象物と前記車両との接触可能性を判定することを特徴とする請求項２記載の車両周辺監視装置。
【請求項５】
前記対象物位置算出手段により算出された同一の監視対象物の異なる時点における実空間位置から、実空間における該監視対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、
前記接触判定手段は、該移動ベクトル算出手段により算出された移動ベクトルに基づいて、該監視対象物と前記車両との接触可能性を判定することを特徴とする請求項４記載の車両周辺監視装置。
【請求項６】
前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の位置変化量を算出する位置変化量算出手段を備え、
前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であるときに、監視対象物と前記車両との接触可能性が高いと判定することを特徴とする請求項２記載の車両周辺監視装置。
【請求項７】
前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段を備え、
前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であり、且つ、前記到達時間推定手段により推定された前記自車両到達時間が所定時間以下であるときに、監視対象物と前記車両との接触可能性が高いと判断することを特徴とする請求項６記載の車両周辺監視装置。
【請求項８】
前記車両と監視対象物間の距離を検出する測距手段と、
前記車両と監視対象物間の距離に応じて、前記位置変化閾値を設定する位置変化閾値設定手段とを備えたことを特徴とする請求項６又は請求項７記載の車両周辺監視装置。
【請求項９】
前記位置変化閾値設定手段は、前記所定時点から前記所定間隔をもって前記撮像手段により監視対象物が撮像されたときに、前記測距手段により検出した各撮像時における前記車両と監視対象物間の距離と、前記車両の車幅又は車高と、前記撮像手段の焦点距離とに基づいて、前記位置変化閾値を設定することを特徴とする請求項８記載の車両周辺監視装置。
【請求項１０】
前記変化率算出手段は、所定時間間隔をもって前記撮像手段により撮像された複数の画像のうちのいずれかにおいて抽出された監視対象物の画像部分を基準画像とし、該基準画像を所定割合で拡大又は縮小させて他の画像における該監視対象物の画像部分との相間度を算出して、相間度が最も高くなったときの該基準画像の拡大率又は縮小率を、前記変化率として算出することを特徴とする請求項１から請求項９のうちいずれか１項記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により得られる画像から、車両周辺に所在する監視対象物を検出して、車両周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に２台のカメラを搭載し、各カメラにより撮像された車両周囲の画像から抽出された同一の監視対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により監視対象物と車両との距離を検出するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
かかる従来の車両周辺監視装置によれば、車両周辺の監視対象物と車両との距離を算出して、該距離により監視対象物の位置の画像座標から実空間座標への変換処理を行い、実空間における監視対象物の移動ベクトルを求めて、監視対象物と車両の接触可能性を判定している。
【０００４】
しかし、このように視差に基づいて監視対象物との距離を検出する場合には、２台のカメラを備えることによるコストアップを伴うと共に、両カメラの光軸調節を厳密に行わなければならない等の面倒な設置作業が必要となるという不都合があった。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記不都合を解消し、車両に単一の撮像手段を備えた簡易な構成により、車両周辺の監視対象物と車両の接触可能性を判定することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置の改良に関する。
【０００７】
そして、本発明の第１の態様は、前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段とを備えたことを特徴とする。
【０００８】
かかる本発明によれば、前記所定時間間隔をもって車両周辺の監視対象物を複数回撮像した場合、各回の撮像画像における該監視対象物の画像部分の大きさの変化は、該監視対象物と車両との相対速度が高いほど大きくなる。そして、該相対速度が高いほど前記自車両到達時間が短くなる。そのため、前記到達時間推定手段は、前記変化率算出手段により算出された同一の監視対象物の画像部分の大きさの変化率から、前記自車両到達時間を推定して、車両の周囲を監視することができる。そして、本発明によれば、このように、単一の撮像手段による撮像画像から前記自車両到達時間を推定することができるため、２台の撮像手段を用いる場合に比べて装置のコストダウンを図ることができ、また、車両への撮像手段の取り付けを容易なものとすることができる。
【０００９】
また、本発明の第２の態様は、前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、前記変化率に基づいて、監視対象物と前記車両との接触可能性を判定する接触判定手段とを備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記所定時間間隔をもって車両周辺の監視対象物を複数回撮像した場合、各回の撮像画像における該監視対象物の画像部分の大きさの変化は、該監視対象物と車両との相対速度が高いほど大きくなる。そのため、前記接触判定手段は、前記変化率算出手段により算出された同一の監視対象物の画像部分の大きさの変化率から、監視対象物と車両間の相対的な位置の変化を推定して、監視対象物と車両の接触可能性を判断することができる。そして、本発明によれば、このように、単一の撮像手段による撮像画像から監視対象物と車両との接触可能性を判断することできるため、２台の撮像手段を用いる場合に比べて装置のコストダウンを図ることができ、また、車両への撮像手段の取付を容易なものとすることができる。
【００１１】
また、上記本発明の第２の態様において、前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段を備え、前記接触判定手段は、前記自車両到達時間に基づいて監視対象物と前記車両との接触可能性を判定することを特徴とする。
【００１２】
かかる本発明によれば、前記変化率が大きいほど監視対象物と車両間の相対速度が高くなり、前記自車両到達時間が短くなる。そのため、前記到達時間推定手段は、前記変化率に基づいて前記自車両到達時間を推定することができ、前記接触判定手段は、前記自車両到達時間に基づいて監視対象物と前記車両との接触可能性を判定することができる。
【００１３】
また、上記第２の態様において、前記車両の走行速度を検出する速度検出手段と、該速度検出手段により検出された走行速度と、前記変化率算出手段により算出された前記変化率とを用いて、監視対象物の実空間位置を算出する実空間位置算出手段とを備え、前記接触判定手段は、該実空間位置算出手段により算出された監視対象物の実空間位置に基づいて、該監視対象物と前記車両との接触可能性を判定することを特徴とする。
【００１４】
かかる本発明によれば、詳細は後述するが、車両の走行速度と前記変化率とに基づいて監視対象物の実空間位置を算出することができ、前記接触判定手段は、監視対象物の実空間位置から監視対象物と車両との接触可能性を判定することができる。
【００１５】
また、前記対象物位置算出手段により算出された同一の監視対象物の異なる時点における実空間位置から、実空間における該監視対象物の移動ベクトルを算出する移動ベクトル算出手段を備え、前記接触判定手段は、該移動ベクトル算出手段により算出された移動ベクトルに基づいて、該監視対象物と前記車両との接触可能性を判定することを特徴とする。
【００１６】
かかる本発明によれば、前記接触判定手段は、実空間における監視対象物の移動ベクトルを用いることで、監視対象物の実空間位置の算出誤差の影響を軽減して、監視対象物と車両との接触可能性をより正確に判定することができる。
【００１７】
また、前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物検出手段により抽出された同一の監視対象物の画像部分の位置変化量を算出する位置変化量算出手段を備え、前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であるときに、監視対象物と前記車両との接触可能性が高いと判定することを特徴とする。
【００１８】
かかる本発明によれば、前記所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであるときは、前記車両と該監視対象物が近付いて、前記車両と該監視対象物間の距離が短くなっていると判断することができる。そして、さらに、前記位置変化量算出手段により算出された前記位置変化量が前記閾値以下であるときには、前記車両に向かって監視対象物が近付いていると判断することができる。そのため、この場合に、前記接触判定手段は、監視対象物と車両との接触可能性が高いと判定することができる。
【００１９】
また、前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段を備え、前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であり、且つ、前記到達時間推定手段により推定された前記自車両到達時間が所定時間以下であるときに、監視対象物と前記車両との接触可能性が高いと判断することを特徴とする。
【００２０】
かかる本発明によれば、前記接触判定手段は、前記自車両到達時間が前記所定時間以下であり、前記車両と監視対象物との接触までの緊急性が高い場合に限定して、監視対象物と前記車両との接触可能性が高いと判断することができる。
【００２１】
また、前記車両と監視対象物間の距離を検出する測距手段と、前記車両と監視対象物間の距離に応じて、前記閾値を設定する閾値設定手段とを備えたことを特徴とする。
【００２２】
かかる本発明によれば、前記車両と監視対象物間の距離が短くなるほど、実空間上での監視対象物の位置の変化に対する画像上での該監視対象物の画像部分の位置の変化が大きくなる。そのため、前記閾値設定手段により、前記車両と監視対象物間の距離に応じて前記位置変化閾値を設定することによって、接触可能性判断の精度を高めることができる。
【００２３】
また、前記位置変化閾値設定手段は、前記所定時点から前記所定間隔をもって前記撮像手段により監視対象物が撮像されたときに、前記測距手段により検出した各撮像時における前記車両と監視対象物間の距離と、前記車両の車幅又は車高と、前記撮像手段の焦点距離とに基づいて、前記位置変化閾値を設定することを特徴とする。
【００２４】
かかる本発明によれば、詳細は後述するが、前記測距手段により検出した各撮像時における前記車両と監視対象物間の距離と、前記車両の車幅又は車高と、前記撮像手段の焦点距離とに基づいて、監視対象物の実空間上の移動状況と前記車両の大きさを反映した前記位置変化閾値を設定することができる。
【００２５】
また、上記第１の態様及び上記第２の態様において、前記変化率算出手段は、所定時間間隔をもって前記撮像手段により撮像された複数の画像のうちのいずれかにおいて抽出された監視対象物の画像部分を基準画像とし、該基準画像を所定割合で拡大又は縮小させて他の画像における該監視対象物の画像部分との相間度を算出して、相間度が最も高くなったときの該基準画像の拡大率又は縮小率を前記変化率として算出することを特徴とする。
【００２６】
かかる本発明によれば、前記基準画像を拡大又は縮小させて他の監視対象物の画像部分との相間度を算出した場合、相間度が最も高くなったときの前記基準画像の拡大又は縮小率が、該他の監視対象物の画像部分と前記基準画像との大きさの比率に近似するものとなる。そのため、前記変化率算出手段は、該他の監視対象物の画像部分と前記基準画像との大きさの比率を、前記変化率として算出することができる。
【発明を実施するための最良の形態】
【００２７】
本発明の実施の形態の一例について、図１〜図１０を参照して説明する。図１は本発明の車両周囲監視装置の構成図、図２は図１に示した車両周囲監視装置の車両への取り付け態様の説明図、図３は監視対象物の画像部分の大きさの変化を示した説明図、図４は図１に示した画像処理ユニットの第２の実施の形態における処理手順を示したフローチャート、図５は監視対象物の時間間追跡の説明図、図６は実空間における監視対象物の移動ベクトルの推定処理の説明図、図７は監視対象物の画像の大きさの変化率を画像間の相間演算により算出する方法の説明図、図８は図１に示した画像処理ユニットの第３の実施の形態における処理手順を示したフローチャート、図９は位置変化量を用いた接触判別処理の説明図、図１０は位置変化閾値の設定処理の説明図である。
【００２８】
図１を参照して、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ２（本発明の撮像手段に相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（動物等）を検出し、該監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット１と、音声により警報を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２９】
図２を参照して、赤外線カメラ２は、車両１０の前部に配置され、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００３０】
また、画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有し、図１を参照して、該画像から監視対象物の画像部分を抽出する監視対象物抽出手段２０、所定時間間隔をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒateを算出する変化率算出手段２１、該変化率Ｒateを用いて監視対象物が車両１０に到達するまでの時間（本発明の自車両到達時間に相当する）Ｔを推定する到達時間推定手段２２、監視対象物の実空間における位置を算出する実空間位置算出手段２３、監視対象物の実空間における移動ベクトルを算出する移動ベクトル算出手段２４、該移動ベクトルに基づいて監視対象物と車両１０との接触可能性を判定する接触判定手段２５、所定時間間隔をもって撮像された画像間における同一の監視対象物の画像部分の位置変化量Δｘ，Δｙを算出する位置変化量算出手段２６、及び位置変化量Δｘ，Δｙから接触の可能性を判別するための位置変化閾値Ｔhx，Ｔhyを設定する位置変化閾値設定手段２７を備えている。
【００３１】
［第１の実施の形態］本発明の第１の実施の形態における画像処理ユニット１による監視対象物が自車両１０に到達するまでの時間の推定方法について、図３を参照して説明する。図３中、Ｉm1は撮像時点ｔ11における赤外線カメラ２の撮像画像であり、Ｉm2は該時点ｔ11からdＴ（本発明の所定時間間隔に相当する）経過した時点ｔ10における赤外線カメラ２の撮像画像である。
【００３２】
Ｉm1においては監視対象物として歩行者の画像部分３１が撮像されており、Ｉm2においては同一の歩行者の画像部分３０が撮像されている。図３は歩行者が車両１０に向かって歩いてきている状況を示しており、Ｉm1の撮像時点ｔ11よりもＩm2の撮像時点ｔ10の方が、歩行者が車両に接近しているため、Ｉm1における歩行者の画像部分３１の幅ｗ11よりもＩm2における歩行者の画像部分３０の幅ｗ10の方が、大きくなっている。
【００３３】
この場合、変化率Ｒateと監視対象物が車両１０に到達するまでの時間Ｔは、以下の式（１）の関係にある。そのため、到達時間推定手段２２は、以下の式（２）により、変化率Ｒateから自車両到達時間Ｔを算出することができる。
【００３４】
【数１】
2007213561.tif 000003
【００３５】
但し、ｗ10：監視対象物の今回の撮像時（撮像時点ｔ10）の画像部分の幅、ｗ11：監視対象物の前回の撮像時（撮像時点ｔ11）の画像部分の幅、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離／ｐ（撮像画像の画素ピッチ）、Ｗ：実空間における監視対象物の幅、Ｚ0：今回の撮像時（撮像時点ｔ10）における車両１０から監視対象物までの距離、Ｚ1：前回の撮像時（撮像時点ｔ11）における車両１０から監視対象物までの距離、Ｖs：車両と監視対象物間の相対速度、dＴ：撮像間隔、Ｔ：自車両到達時間。
【００３６】
【数２】
2007213561.tif 000004
【００３７】
但し、Ｔ：自車両到達時間、dＴ：撮像間隔、Ｒate：変化率。
【００３８】
［第２の実施の形態］次に、本発明の第２の実施の形態における画像処理処理ユニット１による監視対象物と自車両１０との接触判定処理の実行手順について、図４に示したフローチャートに従って説明する。画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２から出力される映像信号を入力し、ＳＴＥＰ２で該映像信号をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。次のＳＴＥＰ３で、画像処理ユニット１は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。
【００３９】
続くＳＴＥＰ４〜ＳＴＥＰ６は監視対象物抽出手段２０による処理である。監視対象物抽出手段２０は、ＳＴＥＰ４で２値画像中の白の各領域のランレングスデータを算出し、ＳＴＥＰ５で水平方向に重なる部分がある領域を１つの対象物としてラベルを付するラベリング処理を行う。そして、次のＳＴＥＰ６で、画像処理ユニット１は、ラベルが付された領域の中から監視対象物に対応すると判断される領域（本発明の監視対象物の画像部分に相当する）を抽出し、ＳＴＥＰ７で、抽出された領域の重心Ｇ、面積Ｓ、及び外接四角形の縦横比（ＡＳＰＥＣＴ）を算出する。次のＳＴＥＰ８は変化率算出手段２１による処理である。
【００４０】
変化率算出手段２１は、図５に示したように、前回（撮像時点ｔ21）の撮像画像の２値画像Ｉm3と、今回（撮像時点ｔ20）の撮像画像の２値画像Ｉm4間で、同一の監視対象物に対応した領域を追跡する処理を行う。具体的には、以下の(a)〜(c)の要件を満たす領域を、同一の監視対象物に対応した領域であると判定する追跡処理を行う。
【００４１】
(a) 前回（撮像時点ｔ21）の撮像画像の２値画像Ｉm3における監視対象物に対応した領域４１の重心位置座標を（ｘ21，ｙ21）とし、今回（撮像時点ｔ20）の撮像画像の２値画像における監視対象物に対応した領域４０の重心位置座標を（ｘ20，ｙ20）としたときに、以下の式（３）及び式（４）の関係を満たすこと。
【００４２】
【数３】
2007213561.tif 000005
【００４３】
但し、Δｘ：ｘ方向（水平方向）の画像上の移動量の許容値。
【００４４】
【数４】
2007213561.tif 000006
【００４５】
但し、Δｙ：ｙ方向（垂直方向）の画像上の移動量の許容値。
【００４６】
(b) 前回（撮像時点ｔ21）の撮像画像の２値画像Ｉm3における監視対象物に対応した領域４１の面積をＳ21とし、今回（撮像時点ｔ20）の撮像画像の２値画像Ｉm4における監視対象物に対応した領域４０の面積をＳ20としたときに、以下の式（５）の関係を満たすこと。
【００４７】
【数５】
2007213561.tif 000007
【００４８】
但し、ΔＳ：面積変化の許容値。
【００４９】
(c) 前回（撮像時点ｔ21）の撮像画像の２値画像Ｉm3における監視対象物に対応した領域４１の縦横比をＡS21とし、今回（撮像時点ｔ20）の撮像画像の２値画像Ｉm4における監視対象物に対応した領域４０の縦横比をＡS20としたときに、以下の式（６）の関係を満たすこと。
【００５０】
【数６】
2007213561.tif 000008
【００５１】
但し、ΔＡS：縦横比変化の許容値。
【００５２】
変化率算出手段２１は、前回（撮像時点ｔ21）の撮像画像の２値画像Ｉm3における監視対象物に対応した領域４１と、今回（撮像時点ｔ20）の撮像画像の２値画像Ｉm4における監視対象物に対応した領域４０について、上記(a)〜(c)の関係が成立したときに、領域４１と領域４０は同一の監視対象物に対応したものであると判断する。そして、変化率算出手段２１は、上記式（１）により、抽出領域４１の幅ｗ21を抽出領域４０の幅ｗ20で除して、変化率Ｒateを算出する。
【００５３】
次のＳＴＥＰ９は到達時間推定手段２２による処理であり、到達時間推定手段２２は、上記式（２）により、変化率Ｒateを用いて自車両到達時間Ｔを算出する。また、ＳＴＥＰ１０は実空間位置算出手段２３による処理であり、実空間位置算出手段２３は、上記式（１）による以下の式（７）において、自車両１０と監視対象物間の相対速度Ｖs（＝車両の走行速度Ｖj＋監視対象物の移動速度Ｖd）を、自車両１０の速度Ｖjが監視対象物の移動速度Ｖdよりも十分に高いとみなして、自車両１０の走行速度Ｖjに置き換えて変形した以下の式（８）により、今回の監視対象物までの距離Ｚ0を算出する。
【００５４】
【数７】
2007213561.tif 000009
【００５５】
但し、Ｒate：変化率、Ｚ0：今回の監視対象物までの距離、Ｖs：車両と監視対象物間の相対速度、dＴ：撮像間隔。
【００５６】
【数８】
2007213561.tif 000010
【００５７】
但し、Ｚ0：今回の監視対象物までの距離、Ｒate：変化率、Ｖj：車両の走行速度、dＴ：撮像間隔。
【００５８】
また、実空間位置算出手段２３は、前回の撮像時における監視対象物までの距離Ｚ1を、以下の式（９）により算出する。
【００５９】
【数９】
2007213561.tif 000011
【００６０】
但し、Ｚ1：前回の撮像時における監視対象物までの距離、Ｚ0：今回の撮像時における監視対象物までの距離、Ｖj：車両の走行速度、dＴ：撮像間隔。
【００６１】
上記式（８）と式（９）により、実空間位置算出手段２３は、今回の撮像時における車両１０から監視対象物までの距離Ｚ0と、前回の撮像時における車両１０から監視対象物までの距離Ｚ1とを算出する。そして、続くＳＴＥＰ１１で、実空間位置算出手段２３は、今回及び前回の２値画像における監視対象物に対応した領域の位置から、今回及び前回の撮像時における監視対象物の実空間位置を算出する。
【００６２】
ここで、図６（ａ）は、２値画像Ｉm5上の今回の監視対象物の抽出位置Ｐi_0（ｘ10，ｙ10）と、前回の監視対象物の抽出位置Ｐi_1（ｘ11，ｙ11）を示しており、縦軸ｙが画像の垂直方向に設定され、横軸ｘが画像の水平方向に設定されている。
【００６３】
また、図６（ｂ）は実空間上の監視対象物の移動状況を示しており、Ｚ軸が車両１０の進行方向に設定され、Ｘ軸がＺ軸と直交する方向に設定されている。そして、図中Ｐr_0（Ｘ10，Ｙ10，Ｚ10）は今回の撮像時における監視対象物の位置を示し、Ｐr_1（Ｘ11，Ｙ11，Ｚ11）は前回の撮像時における監視対象物の位置を示している。また、Ｖmは、Ｐr_0とＰr_1から推定した監視対象物の移動ベクトルである。
【００６４】
実空間位置算出手段２３は、ＳＴＥＰ１１で、以下の式（１０）により今回の撮像時における監視対象物の実空間座標Ｐr_0（Ｘ10，Ｙ10，Ｚ10）を算出し、以下の式（１１）により前回の撮像時における監視対象物の実空間座標Ｐr_1（Ｘ11，Ｙ11，Ｚ11）を算出する。
【００６５】
【数１０】
2007213561.tif 000012
【００６６】
但し、Ｘ10，Ｙ10：今回の撮像時における監視対象物の実空間座標値、ｘ10，ｙ10：今回の撮像画像の２値画像における監視対象物に対応した領域の画像座標値、Ｚ0：今回の撮像時における車両から監視対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。
【００６７】
【数１１】
2007213561.tif 000013
【００６８】
但し、Ｘ11，Ｙ11：前回の撮像時における監視対象物の実空間座標値、ｘ11，ｙ11：前回の撮像画像の２値画像における監視対象物に対応した領域の画像座標値、Ｚ1：前回の撮像時における車両から監視対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。
【００６９】
また、次のＳＴＥＰ１２で、実空間位置算出手段２３は、車両１０が回頭することによる画像上の位置ずれを、ヨーレートセンサ３の検出信号ＹRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両１０の回頭角がθrであったときに、以下の式（１２）により実空間座標値を補正する。
【００７０】
【数１２】
2007213561.tif 000014
【００７１】
但し、Ｘr，Ｙr，Ｚr：回頭角補正後の実空間座標値、θr：回頭角、Ｘo，Ｙo，Ｚo：回頭角補正前の実空間座標値。
【００７２】
続くＳＴＥＰ１３は移動ベクトル算出手段２４による処理であり、移動ベクトル算出手段２４は、図６（ｂ）に示したように、同一の監視対象物についての前回の撮像時の実空間位置Ｐr_1と今回の撮像時の実空間位置Ｐr_0から、監視対象物と自車両１０との相対移動ベクトルに対応する近似直線Ｖmを求める。なお、過去の複数時点における監視対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近時直線の具体的な算出処理は、前掲した特開２００１−６０９６号公報に記載された手法による。
【００７３】
このように、監視対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求め、該移動ベクトルとＺ軸との交差の有無を判断することにより、位置検出誤差の影響を軽減して監視対象物との接触の可能性をより正確に予測することができる。
【００７４】
続くＳＴＥＰ１４〜ＳＴＥＰ１５及びＳＴＥＰ２０は、接触判定手段２５による処理であり、接触判定手段２５は、ＳＴＥＰ１４で以下の式（１３）によりＺ方向（車両１０の進行方向）の相対速度Ｖsを算出し、以下の式（１４）及び式（１５）により監視対象物との接触可能性を判別する。
【００７５】
【数１３】
2007213561.tif 000015
【００７６】
但し、Ｖs：監視対象物と車両間の相対速度、Ｚ11：前回の撮像時におけるＺ方向の実空間座標値、Ｚ10：今回の撮像時におけるＺ方向の実空間座標値、ｄＴ：撮像間隔。
【００７７】
【数１４】
2007213561.tif 000016
【００７８】
但し、Ｚ10：今回の撮像時における監視対象物のＺ方向の実空間座標値、Ｖs：監視対象物と車両間の相対速度、Ｔl：余裕時間閾値。
【００７９】
【数１５】
2007213561.tif 000017
【００８０】
但し、Ｙ10：今回の撮像時における監視対象物のＹ方向（高さ方向）の実空間座標値、Ｈl：高さ閾値。
【００８１】
なお、上記式（１４）におけるＴlは、接触の可能性を予測接触時刻よりもＴl時間だけ以前に判定することを意図したものであり、例えば２〜５秒程度に設定される。また、上記式（１５）におけるＨlは、高さ方向の範囲を規定するものであり、例えば車両１０の車高の２倍程度に設定される。
【００８２】
接触判定手段２５は、上記式（１４）及び式（１５）の関係が成立するときは、接触の可能性があると判断し、上記式（１４）及び式（１５)のいずれかが不成立であるときには、接触の可能性がないと判断する。接触の可能性があると判断したときは、次のＳＴＥＰ１５からＳＴＥＰ２０に進み、接触判定手段２５は、ブザー６により警報音を発すると共にＨＵＤ７により警報表示をしてＳＴＥＰ１に戻る。一方、接触の可能性がないと判断したときには、ＳＴＥＰ１６からＳＴＥＰ１に進み、ブザー６による警報音の出力とＨＵＤ７による警報表示は行われない。
【００８３】
なお、本実施の形態において、変化率算出手段２１は、図５に示した２値画像間の同一監視対象物の時間追跡処理により変化率Ｒateを算出したが、図７に示した監視対象物の画像部分の相間演算により変化率Ｒateを算出するようにしてもよい。図７を参照して、Ｉm6は前回の撮像時におけるグレースケール画像であり、５１は監視対象物の画像部分を示している。また、Ｉm7は今回の撮像時におけるグレースケールであり、５０は監視対象物の画像部分を示している。
【００８４】
そして、変化率算出手段２１は、今回のグレースケール画像Ｉm7における監視対象物の画像部分５０の大きさをアフィン変換により縮小（監視対象物が自車両に近づいている場合）又は拡大（監視対象物が自車両から遠ざかっている場合）して、前回の撮像時における監視対象物の画像部分５１との相間度を算出する。具体的には、図示したように、画像部分５０を１．５倍した画像６０，１．２５倍した画像６１、１．０倍した画像６２、０．７５倍した画像６３、０．５倍した画像６４と、画像部分５１との相間度を算出する。そして、変化率算出手段２１は、相間度が最も高くなったときの画像部分５０の倍率を変化率Ｒateとして決定する。
【００８５】
なお、本第２の実施の形態においては、図４のＳＴＥＰ１４で監視対象物の実空間における移動ベクトルを求めて、上記式（１４），式（１５）により監視対象物と自車両１０との接触可能性を判定したが、上記式（１４）に変えて、ＳＴＥＰ９で上記式（２）により算出した自車両到達時間Ｔを用いて、監視対象物と自車両１０との接触可能性を判定するようにしてもよい。
【００８６】
また、図４のＳＴＥＰ９で推定した自車両到達時間Ｔを用いて、直接的に自車両の周辺を監視するようにしてもよい。例えば、自車両到達時間Ｔが所定の下限時間以下となったときに、運転者に対して警報を発するようにしてもよい。
【００８７】
［第３の実施の形態］次に、本発明の第３の実施の形態における画像処理ユニット１による監視対象物と自車両１０との接触判定処理の実行手順について、図８に示したフローチャートに従って説明する。図８のＳＴＥＰ３０〜ＳＴＥＰ３７は上述した図４のＳＴＥＰ１〜ＳＴＥＰ８と同様の処理であり、ＳＴＥＰ３７で、変化率算出手段２１により変化率Ｒateが算出される。
【００８８】
続くＳＴＥＰ３８は位置変化量算出手段２６による処理であり、位置変化量算出手段２６は、ＳＴＥＰ３７の時間間追跡で用いられた複数の画像における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出する。次のＳＴＥＰ３９〜ＳＴＥＰ４０及びＳＴＥＰ５０は、接触判定手段２５による処理であり、接触判定手段２５は、ＳＴＥＰ３９で以下の条件１及び条件２が共に成立するか否かにより、自車両１０と監視対象物との接触可能性の有無を判別する。
【００８９】
条件１： 同一の監視対象物についての画像部分の面積が、前回の撮像画像よりも今回の撮像画像の方が大きい。すなわち、監視対象物と自車両１０が近付いている。接触判定手段２５は、この条件１が成立するか否かを以下の式（１６）により判断する。
【００９０】
【数１６】
2007213561.tif 000018
【００９１】
条件２： 変化率Ｒateを求めたときの撮像画像間における同一の監視対象物の画像部分の位置がほとんど変化していない。すなわち、時間が経過したにも拘らず画像上では該画像部分が静止している。接触判定手段２５は、この条件２が成立するか否かを以下の式（１７）により判断する。
【００９２】
【数１７】
2007213561.tif 000019
【００９３】
【数１８】
2007213561.tif 000020
【００９４】
但し、（ｘ0，ｙ0）：今回の撮像画像における監視対象物の画像部分の重心位置、Ｔhx：ｘ方向の位置変化閾値、（ｘ1，ｙ1）：前回の撮像画像における同一の監視対象物の画像部分の重心位置、Ｔhy：ｙ方向の位置変化閾値。
【００９５】
ここで、図９（ａ），図９（ｂ）を参照して、上記条件２について説明する。図９（ａ）は、自車両１０に対して、監視対象物７０が自車両１０の進行方向（Ｚ方向）の相対速度Ｖs、進行方向と直交する方向（Ｘ方向）の進入速度Ｖdで接近している状況を示している。そして、ｔ31の時点（前回の撮像時）における監視対象物７０の実空間位置が（Ｘ31，Ｚ31）、ｔ31からdＴ（撮像間隔）が経過したｔ30の時点（今回の撮像時）における監視対象物７０の実空間位置が（Ｘ30，Ｚ30）となっている。
【００９６】
図９（ａ）において、自車両１０からは監視対象物７０が以下の式（１９）で表されるθの方向に見える。そして、自車両１０と接触する監視対象物７０は、時間が経過してもθが一定となる。
【００９７】
【数１９】
2007213561.tif 000021
【００９８】
θが一定であることから、以下の式（２０）が成立する。
【００９９】
【数２０】
2007213561.tif 000022
【０１００】
但し、ΔＴ：経過時間。
【０１０１】
図９（ｂ）は図９（ａ）の状況を、以下の式（２１），式（２２）の透視変換により画像Ｉm8に表したものである。図９（ｂ）中、８０はｔ31の時点の監視対象物７０の画像部分であり、８１はｔ30の時点の監視対象物７０の画像部分である。
【０１０２】
なお、実空間上のＹ方向（自車両１０の高さ方向）とＺ方向との関係も、Ｘ方向とＺ方向と同様であり、透視変換により、ｔ31の時点における監視対象物７０の実空間位置Ｙ30に対する画像上の位置ｙ30と、ｔ30の時点における監視対象物７０の実空間位置Ｙ31に対する画像上の位置ｙ31を求めることができる。
【０１０３】
【数２１】
2007213561.tif 000023
【０１０４】
【数２２】
2007213561.tif 000024
【０１０５】
但し、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。
【０１０６】
上記式（２１），式（２２）の右辺のＸ30／Ｚ30とＸ31／Ｚ31は上記式（２０）より等しいため、ｘ30＝ｘ31となる。同様に、Ｙ方向についてもｙ30＝ｙ31となる。そのため、図９（ａ）に示した自車両１０と監視対象物７０が接触する状況にあるときは、図９（ｂ）に示したように、画像上では監視対象物７０の今回の画像部分８０及び前回の画像部分８１の重心位置が等しくなることがわかる。上記条件２は、この状況を自車両１０と監視対象物の接触可能性の判断条件としたものである。
【０１０７】
上記条件１及び条件２による場合には、複数の撮像画像における同一の監視対象物の画像部分について、変化率Ｒate及び位置変化量Δｘ，Δｙを算出するという簡易な演算処理により、自車両１０と監視対象物との接触可能性の有無を判断することができる。そのため、上述した第１の実施の形態において必要であった自車両１０と監視対象物との距離の算出や、移動ベクトル推定の処理は不要である。
【０１０８】
そして、接触判定手段２５は、上記条件１及び上記条件２が共に成立して接触の可能性があると判断したときはＳＴＥＰ４１からＳＴＥＰ５０に分岐して、ブザー６により警報音を発すると共にＨＵＤ７により警報表示をしてＳＴＥＰ３０に戻る。一方、上記条件１と上記条件２のうちの少なくともいずれか一方が成立せず、接触の可能性がないと判断したときにはＳＴＥＰ４１からＳＴＥＰ３０に進み、ブザー６による警報音の出力とＨＵＤ７による警報表示は行われない。
【０１０９】
なお、上記条件２の上記式（１７）における位置変化閾値Ｔhx及び上記式（１８）における位置変化閾値Ｔhyは、自車両１０の車幅及び車高に基づく固定値としてもよいが、位置変化閾値設定手段２７により、自車両１０と監視対象物間の距離に応じて設定するようにしてもよい。以下、図１０（ａ），図１０（ｂ）を参照して、自車両１０と監視対象物間の距離に応じて、位置変化閾値Ｔhx及びＴhyを設定する処理について説明する。
【０１１０】
ここで、自車両１０と監視対象物間の距離は、上述した第１の実施の形態における上記式（８），式（９）により算出してもよく、レーダ等を用いた測距センサ（本発明の測距手段に相当する）により検出してもよい。
【０１１１】
図１０（ａ）は、自車両１０の位置を原点とした実空間上の２次元座標で、監視対象物の位置の推移を示したものであり、縦軸がＺ（自車両１０の進行方向）に設定され、横軸がＸ（Ｚ軸と直交する方向、自車両の幅方向）に設定されている。また、Ｙは自車両１０の車高方向（Ｚ−Ｘ平面と直交する方向）である。
【０１１２】
図１０（ａ）中、２ａは自車両１０の車幅であり、Ｐr_2（Ｘ40，Ｙ40，Ｚ40）は監視対象物の今回の撮像時の実空間上の座標、Ｐr_3（Ｘ41，Ｙ41，Ｚ41）は監視対象物の前回の撮像時の実空間上の座標である。また、図１０（ｂ）は、図１０（ａ）の監視対象物の実空間上の座標Ｐr_2（Ｘ40，Ｙ40，Ｚ40），Ｐr_3（Ｘ41，Ｙ41，Ｚ41）にそれぞれ対応する画像Ｉm9上の座標Ｐi_2（ｘ40，ｙ40），Ｐi_3（ｘ41，ｙ41）を示している。図１０（ａ）において、Ｐr_2とＰr_3を通る直線Ｖlは、以下の式（２３）で表される。
【０１１３】
【数２３】
2007213561.tif 000025
【０１１４】
そして、直線Ｖlが−ａ〜ａの範囲でＸ軸と交わるとき、すなわち、上記式（２３）でＺ＝０としたときに｜Ｘ｜＜ａの条件が満たされるときには、自車両１０が監視対象物と接触する。そこで、上記式（２３）にＺ＝０を代入すると、この条件は以下の式（２４）で表される。
【０１１５】
【数２４】
2007213561.tif 000026
【０１１６】
但し、ａ：自車両の幅の１／２。
【０１１７】
上記式（２４）のＸ40，Ｘ41を以下の式（２５），式（２６）による逆透視変換により、画像上の水平座標ｘ40，ｘ41に変換すると、以下の式（２７）が得られる。
【０１１８】
【数２５】
2007213561.tif 000027
【０１１９】
但し、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。
【０１２０】
【数２６】
2007213561.tif 000028
【０１２１】
【数２７】
2007213561.tif 000029
【０１２２】
上記式（２７）を整理すると、以下の式（２８）が得られる。そこで、位置変化量算出手段２６は、以下の式（２８）の右辺を上記条件２の位置変化閾値Ｔhxとする。
【０１２３】
【数２８】
2007213561.tif 000030
【０１２４】
但し、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）、ａ：自車両の車幅の１／２。
【０１２５】
また、自車両１０の車高を２ｂとすると、上述したＸ方向についての接触可能性と同様に、Ｙ方向についても以下の式（２９）の右辺を上記条件２の位置変化閾値Ｔhyとして設定することができる。
【０１２６】
【数２９】
2007213561.tif 000031
【０１２７】
但し、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）、ｂ：自車両の車高の１／２。
【０１２８】
このように、位置変化閾値設定手段２７により自車両１０と監視対象物間の距離に基づいて位置変化閾値Ｔhx，Ｔhyを設定することによって、図１０（ａ）に示した直線Ｖlによる監視対象物の移動軌跡を想定して自車両１０と監視対象物との接触可能性を判断することができるため、接触判定手段２５による接触判定の精度を高めることができる。
【０１２９】
［第４の実施の形態］次に、本発明の第４の実施の形態における画像処理ユニット１による監視対象物と自車両１０との接触判定処理の実行手順について説明する。第４の実施の形態は、前記第３の実施の形態における条件１及び条件２に、以下の条件３を追加して、監視対象物と自車両１０との接触可能性を判定するものである。
【０１３０】
条件３： 監視対象物が自車両１０に到達するまでの時間（自車両到達時間）Ｔが、所定時間以下であること。接触判定手段２５は、この条件３が成立するか否かを以下の式（３０）により判断する。
【０１３１】
【数３０】
2007213561.tif 000032
【０１３２】
但し、Ｒａｔｅ：上記式（１６）により算出した監視対象物の画像部分の面積の変化率、ｄＴ：撮像間隔、Ｔ：自車両到達時間（前記所定時間を代入する）。
【０１３３】
このように、前記条件３を加えて監視対象物と自車両１０との接触可能性を判定することにより、接触判定手段２５は、自車両１０に到達するまでの時間Ｔが所定時間以下である緊急性の高い監視対象物に限定して、接触可能性が高いと判断することができる。
【０１３４】
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
【０１３５】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【図面の簡単な説明】
【０１３６】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】監視対象物の画像部分の大きさの変化を示した説明図。
【図４】本発明の第２の実施の形態における処理手順を示したフローチャート。
【図５】監視対象物の時間間追跡の説明図。
【図６】実空間における監視対象物の移動ベクトルの推定処理の説明図。
【図７】監視対象物の画像の大きさの変化率を画像間の相間演算により算出する方法の説明図。
【図８】本発明の第３の実施の形態における処理手順を示したフローチャート。
【図９】位置変化量を用いた接触判定処理の説明図。
【図１０】位置変化閾値の設定処理の説明図。
【符号の説明】
【０１３７】
１…画像処理ユニット、２…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、２０…監視対象物抽出手段、２１…変化率算出手段、２２…到達時間推定手段、２３…実空間位置算出手段、２４…移動ベクトル算出手段、２５…接触判定手段、２６…位置変化量算出手段、２７…位置変化閾値設定手段
【図１】
2007213561.tif 000033
【図２】
2007213561.tif 000034
【図３】
2007213561.tif 000035
【図４】
2007213561.tif 000036
【図５】
2007213561.tif 000037
【図６】
2007213561.tif 000038
【図７】
2007213561.tif 000039
【図８】
2007213561.tif 000040
【図９】
2007213561.tif 000041
【図１０】
2007213561.tif 000042
【手続補正書】
【提出日】平成19年1月17日(2007.1.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、
前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、
所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、
前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段とを備えたことを特徴とする車両周辺監視装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、
前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、
所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、
前記変化率に基づいて、監視対象物と前記車両との接触可能性を判定する接触判定手段とを備えたことを特徴とする車両周辺監視装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の位置変化量を算出する位置変化量算出手段を備え、
前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であるときに、監視対象物と前記車両との接触可能性が高いと判定することを特徴とする請求項２記載の車両周辺監視装置。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
そして、本発明の第１の態様は、前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、前記変化率に基づいて、監視対象物が前記車両に到達するまでの時間である自車両到達時間を推定する到達時間推定手段とを備えたことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の第２の態様は、前記撮像手段により撮像された画像から、監視対象物の画像部分を抽出する監視対象物抽出手段と、所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の大きさの変化率を算出する変化率算出手段と、前記変化率に基づいて、監視対象物と前記車両との接触可能性を判定する接触判定手段とを備えたことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分の位置変化量を算出する位置変化量算出手段を備え、前記接触判定手段は、所定時点から前記所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記監視対象物抽出手段により抽出された同一の監視対象物の画像部分について、前記変化率算出手段により算出された該画像部分の大きさの変化率が該画像部分の拡大を示すものであり、且つ、前記位置変化量算出手段により算出された該画像部分の位置変化量が所定の位置変化閾値以下であるときに、監視対象物と前記車両との接触可能性が高いと判定することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
続くＳＴＥＰ１３は移動ベクトル算出手段２４による処理であり、移動ベクトル算出手段２４は、図６（ｂ）に示したように、同一の監視対象物についての前回の撮像時の実空間位置Ｐr_1と今回の撮像時の実空間位置Ｐr_0から、監視対象物と自車両１０との相対移動ベクトルに対応する近似直線Ｖmを求める。なお、過去の複数時点における監視対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近似直線の具体的な算出処理は、前掲した特開２００１−６０９６号公報に記載された手法による。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
接触判定手段２５は、上記式（１４）及び式（１５）の関係が成立するときは、接触の可能性があると判断し、上記式（１４）及び式（１５)のいずれかが不成立であるときには、接触の可能性がないと判断する。接触の可能性があると判断したときは、次のＳＴＥＰ１５からＳＴＥＰ２０に進み、接触判定手段２５は、スピーカ６により警報音を発すると共にＨＵＤ７により警報表示をしてＳＴＥＰ１に戻る。一方、接触の可能性がないと判断したときには、ＳＴＥＰ１６からＳＴＥＰ１に進み、スピーカ６による警報音の出力とＨＵＤ７による警報表示は行われない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
なお、本実施の形態において、変化率算出手段２１は、図５に示した２値画像間の同一監視対象物の時間追跡処理により変化率Ｒateを算出したが、図７に示した監視対象物の画像部分の相間演算により変化率Ｒateを算出するようにしてもよい。図７を参照して、Ｉm6は前回の撮像時におけるグレースケール画像であり、５１は監視対象物の画像部分を示している。また、Ｉm7は今回の撮像時におけるグレースケール画像であり、５０は監視対象物の画像部分を示している。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
条件２： 変化率Ｒateを求めたときの撮像画像間における同一の監視対象物の画像部分の位置がほとんど変化していない。すなわち、時間が経過したにも拘らず画像上では該画像部分が静止している。接触判定手段２５は、この条件２が成立するか否かを以下の式（１７），式（１８）により判断する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
なお、実空間上のＹ方向（自車両１０の高さ方向）とＺ方向との関係も、Ｘ方向とＺ方向と同様であり、透視変換により、ｔ30の時点における監視対象物７０の実空間位置Ｙ30に対する画像上の位置ｙ30と、ｔ31の時点における監視対象物７０の実空間位置Ｙ31に対する画像上の位置ｙ31を求めることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
そして、接触判定手段２５は、上記条件１及び上記条件２が共に成立して接触の可能性があると判断したときはＳＴＥＰ４０からＳＴＥＰ５０に分岐して、スピーカ６により警報音を発すると共にＨＵＤ７により警報表示をしてＳＴＥＰ３０に戻る。一方、上記条件１と上記条件２のうちの少なくともいずれか一方が成立せず、接触の可能性がないと判断したときにはＳＴＥＰ４０からＳＴＥＰ３０に進み、スピーカ６による警報音の出力とＨＵＤ７による警報表示は行われない。