(57)【要約】【課題】車両に単一の撮像手段を備えた簡易な構成により、車両周辺の監視対象物の画像を背景画像から分離して抽出することができる車両周辺監視装置を提供することを目的とする。【解決手段】赤外線カメラによる今回の撮像画像及び前回の画像から、歩行者の頭部と推定される第１の画像部分Ａ1，Ａ2を抽出する第１の画像部分抽出手段と、今回の撮像画像の第１の画像部分Ａ1の周囲にマスク領域Ｍ1(0,0)、Ｍ1(1,0)、…、Ｍ1(5,8)を設定するマスク領域設定手段と、各マスク領域をＡ1，Ａ2間の変化率Ｒateによりアフィン変換した比較パターンにより、前回の画像についてパターンマッチング処理を行い、マスク領域の重心に対応した位置（黒点）とマッチング位置とのずれ量が所定閾値よりも小さい第２の画像部分Ｍ2(1,3)、Ｍ2(2,3)、…、Ｍ2(3,6)と、第１の画像部分Ａ2を含む領域Ａr1を監視対象物の画像領域とする対象物抽出手段とを備える。【選択図】  図６
2008113296.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、
前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出手段と、
前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出手段と、
前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記第１の撮像画像において、前記第１の画像部分の周囲の所定位置にマスク領域を設定するマスク領域設定手段を備え、
前記第２の画像部分抽出手段は、前記第２の撮像画像において、前記マスク領域の特徴量との相関度が所定レベル以上の画像領域であって、前記第１の撮像画像における前記第１の画像部分に対する前記マスク領域の位置に対応した、前記第２の撮像画像における前記第１の画像部分に対する基準位置とのずれ量が所定値以下である画像領域を、前記第２の画像部分として抽出することを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記マスク領域として、前記第１の画像部分の上方向の領域と下方向の領域とのうちの少なくともいずれか一方が規定されていることを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】
前記マスク領域として、前記第１の画像部分の左方向の領域と右方向の領域とのうちの少なくともいずれか一方が規定されていることを特徴とする請求項２又は請求項３記載の車両周辺監視装置。
【請求項５】
前記撮像手段は赤外線カメラであり、
前記第１の画像部分抽出手段は、前記撮像手段により撮像された赤外線のグレースケール画像から前記第１の画像部分を抽出し、
前記第２の画像部分抽出手段は、該グレースケール画像における前記マスク領域との相関処理により、前記第２の画像部分を抽出することを特徴とする請求項２から請求項４のうちいずれか１項記載の車両周辺監視装置。
【請求項６】
前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の位置と前記車両間の距離を把握する実空間距離把握手段と、
該実空間距離把握手段により把握された該距離を用いて、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の対象物のサイズを算出し、該サイズに基づいて該対象物の種別を判断する対象物種別判断手段を備えたことを特徴とする請求項１から請求項５のうちいずれか１項記載の車両周辺監視装置。
【請求項７】
前記対象物種別判断手段は、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の対象物のサイズとして、該対象物の実空間における高さと幅のうちの少なくともいずれか一方を算出することを特徴とする請求項６記載の車両周辺監視装置。
【請求項８】
車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を有するコンピュータに、該画像から該車両周辺の監視対象物を検出する機能を実現させるためのプログラムであって、該コンピュータを、
前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出手段と、
前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出手段と、
前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項９】
車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を備えたコンピュータにより、該車両周辺の監視対象物を検出する車両周辺監視方法であって、
該コンピュータが、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出ステップと、
該コンピュータが、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出ステップと、
該コンピュータが、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の画像領域として検出する対象物検出ステップとを含むことを特徴とする車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により得られる画像から、車両周辺に所在する監視対象物を検出して、車両周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に２台のカメラを搭載し、各カメラにより撮像された車両周囲の画像から抽出された同一の監視対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により監視対象物と車両との距離を検出するようにした車両周辺監視装置が提案されている。
【０００３】
また、車両からの距離が同一である領域を同一物体の画像部分であると判断して監視対象物の画像領域を抽出し、該画像領域に基づいて監視対象物の種別（歩行者、人口構造物等）を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。かかる従来の車両周辺監視装置によれば、車両周辺の監視対象物と車両との距離を算出し、該距離により監視対象物の画像領域を背景画像から分離して抽出している。
【０００４】
しかし、このように視差に基づいて監視対象物との距離を検出する場合には、２台のカメラを備えることによるコストアップや構造の複雑化を伴うと共に、両カメラの光軸調節を厳密に行わなければならない等の面倒な設置作業が必要となるという不都合があった。
【特許文献１】特開２００３−２１６９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記不都合を解消し、車両に単一の撮像手段を備えた簡易な構成により、車両周辺の監視対象物を背景から分離して検出することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、  車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を検出する車両周辺監視装置において、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出手段と、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出手段と、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出手段とを備えたことを特徴とする。
【０００７】
かかる本発明によれば、前記車両の走行中や歩行者等の監視対象物が移動しているときに、前記撮像手段により異なる時点で撮像された撮像画像間においては、監視対象物の画像の形状はほとんど変化しないのに対して、監視対象物の周囲の背景の画像は大きく変化する。そのため、異なる時点で撮像された前記第１の撮像画像及び前記第２の撮像画像において、前記第１の画像部分（例えば、歩行者の頭部の画像）との相対的な位置関係の変化率が所定レベル以下である前記第２の画像部分は、同一の監視対象物の他の部分（例えば、歩行者の肩部や脚部）の画像であると判断することができる。そこで、前記対象物検出手段は、前記第１の画像部分と前記第２の画像部分を含む領域を、同一の監視対象物の画像領域として背景画像から分離して検出することができる。
【０００８】
また、前記第１の撮像画像において、前記第１の画像部分の周囲の所定位置にマスク領域を設定するマスク領域設定手段を備え、前記第２の画像部分抽出手段は、前記第２の撮像画像において、前記マスク領域の特徴量との相関度が所定レベル以上の画像領域であって、前記第１の撮像画像における前記第１の画像部分に対する前記マスク領域の位置に対応した、前記第２の撮像画像における前記第１の画像部分に対する基準位置とのずれ量が所定値以下である画像領域を、前記第２の画像部分として抽出することを特徴とする。
【０００９】
かかる本発明によれば、前記第２の撮像画像において、前記マスク領域の特徴量との相関度が所定レベル以上であって、前記基準位置とのずれ量が所定値以下である画像領域は、前記第１の撮像画像における前記マスク領域に対応する画像部分であると想定することができる。そのため、この場合は、前記第１の撮像画像における前記第１の画像部分と前記マスク領域との相対的な位置関係が、前記第２の撮像画像における前記第１の画像部分と前記画像領域との間においても維持されていると判断することができる。そのため、前記第２の画像部分抽出手段は、前記画像領域を前記第２の画像部分として、抽出することができる。
【００１０】
また、前記マスク領域として、前記第１の画像部分の上方向の領域と下方向の領域とのうちの少なくともいずれか一方が規定されていることを特徴とする。
【００１１】
かかる本発明によれば、歩行者のように道路から垂直方向に長い監視対象物を、効率良く検出することができる。
【００１２】
また、前記マスク領域として、前記第１の画像部分の左方向の領域と右方向の領域とのうちの少なくともいずれか一方が規定されていることを特徴とする。
【００１３】
かかる本発明によれば、車両のように道路と水平の方向に長い監視対象物を、効率良く検出することができる。
【００１４】
また、前記撮像手段は赤外線カメラであり、前記第１の画像部分抽出手段は、前記撮像手段により撮像された赤外線のグレースケール画像から前記第１の画像部分を抽出し、前記第２の画像部分抽出手段は、該グレースケール画像における前記マスク領域との相関処理により、前記第２の画像部分を抽出することを特徴とする。
【００１５】
かかる本発明によれば、前記撮像手段として赤外線カメラを備えることによって、赤外線のグレースケール画像から、例えば、歩行者の頭部や車両のヘッドライト等の発熱部の画像部分を前記第１の画像部分として容易に検出することができ、また、歩行者の腕部や脚部、車両のボンネット等の発熱部の画像部分を前記第２の画像部分として容易に検出することができる。
【００１６】
また、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の位置と前記車両間の距離を把握する実空間距離把握手段と、該実空間距離把握手段により把握された該距離を用いて、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の対象物のサイズを算出し、該サイズに基づいて該対象物の種別を判断する対象物種別判断手段を備えたことを特徴とする。
【００１７】
かかる本発明によれば、前記実空間距離把握手段により把握された前記第１の画像部分と前第２の画像部分とを含む画像領域に対応する実空間上の位置と前記車両間の距離を用いて、前記対象物種別判断手段により該画像領域に対応する実空間上の対象物のサイズから該対象物の種別を判断することにより、対象物の種別に応じた処理（運転者に対する警報内容の変更等）を行うことができる。
【００１８】
また、前記対象物種別判断手段は、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の対象物のサイズとして、該対象物の実空間における高さと幅のうちの少なくともいずれか一方を算出することを特徴とする。
【００１９】
かかる本発明によれば、前記対象物種別判断手段は、前記第１の画像部分と前記第２の画像部分とを含む画像領域に対応する実空間上の対象物の形状に応じて、高さや幅により対象物の種別を判断することができる。
【００２０】
次に、本発明の車両周辺監視用プログラムは、車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を有するコンピュータに、該画像から該車両周辺の監視対象物を検出する機能を実現させるためのプログラムであって、該コンピュータを、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出手段と、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出手段と、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出手段として機能させることを特徴とする。
【００２１】
かかる本発明のプログラムを前記コンピュータに実行させることにより、上述した本発明の車両周辺監視装置における前記第１の画像部分抽出手段、前記第２の画像部分抽出手段、及び前記対象物検出手段の構成を実現することができる。
【００２２】
次に、本発明の車両周辺監視方法は、車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を備えたコンピュータにより、該車両周辺の監視対象物を検出する車両周辺監視方法であって、該コンピュータが、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出ステップと、該コンピュータが、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出ステップと、該コンピュータが、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の画像領域として検出する対象物検出ステップとを含むことを特徴とする。
【００２３】
かかる本発明によれば、前記コンピュータが、前記第１の画像部分抽出ステップを実行して前記第１の撮像画像及び前記第２の撮像画像から前記第１の画像部分を抽出し、前記第２の画像部分抽出ステップを実行して前記第１の撮像画像及び前記第２の撮像画像から前記第２の画像部分を抽出する。この場合、上述した本発明の車両周辺監視装置による場合と同様に、異なる時点で撮像された前記第１の撮像画像及び前記第２の撮像画像において、前記第１の画像部分（例えば、歩行者の頭部の画像）との相対的な位置関係の変化率が所定レベル以下である前記第２の画像部分は、同一の監視対象物の他の部分（例えば、歩行者の肩部や脚部）の画像であると判断することができる。そこで、前記コンピュータが前記対象物検出ステップを実行することにより、前記第１の画像部分と前記第２の画像部分を含む画像領域を、同一の監視対象物の画像領域として背景画像から分離して検出することができる。
【発明を実施するための最良の形態】
【００２４】
本発明の実施の形態の一例について、図１〜図１０を参照して説明する。図１は本発明の車両周囲監視装置の構成図、図２は図１に示した車両周囲監視装置の車両への取り付け態様の説明図、図３は図１に示した画像処理ユニットによる一連の処理のフローチャート、図４は監視対象物の画像の大きさの変化率を時系列画像間の相関演算により算出する処理の説明図、図５は時系列画像における監視対象物の画像部分間の相対的な位置関係の説明図、図６は第１の画像部分の上下左右にマスク領域を設定する態様の説明図、図７は第１の画像部分の左右にマスク領域を設定する態様の説明図、図８は第１の画像部分の上下にマスク領域を設定する態様の説明図、図９は監視対象物の実空間位置の算出処理の説明図、図１０は実空間における監視対象物の移動ベクトルの推定処理の説明図である。
【００２５】
図１を参照して、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な１台の赤外線カメラ２（本発明の撮像手段に相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、該監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット１と、音声により警報を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２６】
図２を参照して、赤外線カメラ２は車両１０の前部に配置され、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２７】
また、画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有している。図１を参照して、画像処理ユニット１は、画像メモリに取り込んだ車両前方の画像から監視対象物の画像領域を抽出する対象物抽出手段２０（本発明の第１の画像部分抽出手段、第２の画像部分抽出手段、マスク領域設定手段、対象物検出手段の機能を含む）、所定時間間隔をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒateを算出する変化率算出手段２１、該変化率Ｒateを用いて監視対象物が車両１０に到達するまでの時間Ｔを推定する到達時間推定手段２２、監視対象物の実空間における位置を算出する実空間位置算出手段２３（本発明の実空間距離把握手段の機能を含む）、監視対象物の実空間における移動ベクトルを算出する移動ベクトル算出手段２４、該移動ベクトルに基づいて監視対象物と車両１０との接触可能性を判定する接触判定手段２５、及び監視対象物の種別を判断する対象物種別判断手段２６を備えている。
【００２８】
また、画像処理ユニット１は、ＣＰＵ（本発明のコンピュータに相当する）やメモリ等により構成された電子ユニットであり、該ＣＰＵに本発明の車両周辺監視用プログラムを実行させることによって、対象物抽出手段２０、変化率算出手段２１、到達時間算出手段２２、実空間位置算出手段２３、移動ベクトル算出手段２４、接触判定手段２５、及び対象物種別判断手段２６の機能が実現される。また、該ＣＰＵに本発明の車両周辺監視用プログラムを実行させることによって、本発明の車両周辺監視方法が実施される。
【００２９】
次に図３に示したフローチャートに従って、画像処理ユニット１による監視対象物の検出処理及び監視対象物と車両との接触判定処理の実行手順について説明する。
【００３０】
画像処理ユニット１は、先ず、ＳＴＥＰ１でカウンタ変数ｃｎｔをクリア（ｃｎｔ＝０）する。そして、続くＳＴＥＰ２で赤外線カメラ２からの赤外線映像信号を入力して、カウンタ変数ｃｎｔをカウントアップ（ｃｎｔ←ｃｎｔ＋１）する。
【００３１】
次のＳＴＥＰ４で、画像処理ユニット１は、赤外線映像信号（アナログ信号）をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。そして、続くＳＴＥＰ５で、画像処理ユニット１は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が該閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。
【００３２】
続くＳＴＥＰ６〜ＳＴＥＰ８及びＳＴＥＰ１０〜ＳＴＥＰ１２は対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ６で２値画像から監視対象物の特定の部位（例えば、歩行者の頭部）の画像部分を第１の画像部分として抽出する。具体的には、２値画像中の白の各領域のランレングスデータを算出し、水平方向に重なる部分がある領域をまとめてラベルを付するラベリング処理を行う。そして、ラベルが付された領域うち、予め設定された特徴量（本発明の所定の特徴量に相当する）を有する領域を第１の画像部分として抽出する。
【００３３】
次のＳＴＥＰ７で、対象物抽出手段２０は、２値画像における第１の画像部分の重心と外接四角形を算出する。そして、対象物抽出手段２０は、２値画像における第１の画像部分の重心と外接四角形の位置に基づいて、グレースケール画像における第１の画像部分の領域を設定する。
【００３４】
なお、ＳＴＥＰ６〜ＳＴＥＰ７により、対象物抽出手段２０がグレースケール画像Ｉg(cnt)に第１の画像部分を設定する構成が本発明の第１の画像部分抽出手段に相当し、対象物抽出手段２０によりグレースケール画像Ｉg(cnt)に第１の画像部分を設定する処理が本発明の第１の画像部分抽出ステップに相当する。
【００３５】
次のＳＴＥＰ８で、画像処理ユニット１は、カウンタ変数ｃｎｔが２であるか否かを判断する。そして、カウンタ変数ｃｎｔが２でなかったとき（ｃｎｔ＝１のとき）は、ＳＴＥＰ２に分岐して、画像処理ユニット１はＳＴＥＰ２〜ＳＴＥＰ７の処理を再度実行し、これにより異なる時点におけるグレースケール画像Ｉg(1)（本発明の第１の撮像画像に相当する）とＩg(2)において、第１の画像部分の領域が設定される。
【００３６】
一方、ＳＴＥＰ８でカウンタ変数ｃｎｔが２であったとき、すなわち、異なる時点におけるグレースケール画像Ｉg(1)及びＩg(2)について、それぞれ第１の画像部分の領域が設定されたときにはＳＴＥＰ９に進む。ＳＴＥＰ９は変化率算出手段２１による処理であり、変化率算出手段２１は、グレースケール画像Ｉg(1)における第１の画像部分とグレースケール画像Ｉg(2)における第１の画像部分の大きさの変化率Ｒateを算出する。
【００３７】
図４は変化率算出手段２１による変化率Ｒateの算出方法を説明したものであり、図中５０はｔ50でのグレースケール画像Ｉg(1)における第１の画像部分を示し、５１はｔ51（ｔ50の制御サイクルの次の制御サイクルにおける撮像時点）でのグレースケール画像Ｉg(2)における第１の画像部分を示している。
【００３８】
変化率算出手段２１は、ｔ51でのグレースケール画像Ｉg(2)における第１の画像部分５１の大きさをアフィン変換により縮小（監視対象物が自車両に近づいている場合）又は拡大（監視対象物が自車両から遠ざかっている場合）して、ｔ50でのグレースケール画像Ｉg(1)における第１の画像部分５０との相関度を算出する。具体的には、図示したように、第１の画像部分５１を１．５倍した画像６０、１．２５倍した画像６１、１．０倍した画像６２、０．７５倍した画像６３、及び０．５倍した画像６４と、グレースケール画像Ｉg(1)の第１の画像部分５０との相関度を算出する。そして、変化率算出手段２１は、相関度が最も高くなったときの第１の画像部分５１の倍率を変化率Ｒateとして決定する。
【００３９】
次に、図４は異なる時刻ｔ0，ｔ1（ｔ0はｔ1に先行する時刻）における同一の歩行者の画像Ｐと同一の信号機の画像Ｓを示したものである。ｔ1における歩行者の画像の頭部Ｐ1(ｔ1)，肩部Ｐ2(ｔ1)，脚部Ｐ3(ｔ1)間の相対的な位置関係は、ｔ0における歩行者の画像の頭部Ｐ1(ｔ0)，肩部Ｐ2(ｔ0)，脚部Ｐ3(ｔ0)間の相対的な位置関係から、大きさの変化を除けば、ほとんど変化しないと考えられる。
【００４０】
同様に、信号機の画像Ｓについても、ｔ1における信号機の画像の点灯部Ｓ1(ｔ1)，支柱上端部Ｓ2(ｔ1)，支柱下端部Ｓ3(ｔ1)間の相対的な位置関係は、ｔ0における信号機の画像の点灯部Ｓ1(ｔ0)，支柱上端部Ｓ2(ｔ0)，支柱下端部Ｓ3(ｔ0)間の相対的な位置関係から、大きさの変化を除けば、ほとんど変化しないと考えられる。
【００４１】
そこで、対象物抽出手段２０は、異なる時点におけるグレースケール画像Ｉg(1)，Ｉg(2)間において、第１の画像部分との相対的な位置関係の変化率が所定レベル以下であって、特徴量の相関度が所定レベル以上である画像部分を第２の画像部分として抽出し、第１の画像部分と第２の画像部分を含む領域を同一の監視対象物の画像領域として、背景画像から分離して検出する。
【００４２】
対象物抽出手段２０は、先ず、ＳＴＥＰ１０で、グレースケール画像Ｉg(2)の第１の画像部分の周囲にマスク領域を設定する。具体的には、図６（ａ）に示したように、第１の画像部分Ａ1の周囲にマトリックス状に５０個のマスク領域Ｍ1（Ｍ1(0,0)、Ｍ1(1.0)、…、Ｍ1(5,8)）を設定する。なお、各マスク領域における黒点は各マスク領域の重心位置を示している。また、ＳＴＥＰ１０で、対象物抽出手段２０によりマスク領域を設定する構成が本発明のマスク領域設定手段に相当する。
【００４３】
続くＳＴＥＰ１１で、対象物抽出手段２０は、グレースケール画像Ｉg(1)から第２の画像部分を抽出する。具体的には、図６（ａ）に示した各マスク領域Ｍ1(0,0)〜Ｍ1(5,8)を、変化率Ｒateでアフィン変換した比較パターンについて、グレースケール画像Ｉg(2)に対してパターンマッチング処理を実行する。
【００４４】
図６（ｂ）は、パターンマッチングの結果を示したものであり、図６（ａ）の歩行者の胴部及び脚部の画像Ｂ1に対応するＢ2を含む１２個の領域Ｍ2(1,3)、Ｍ2(2,3)、Ｍ2(3,3)、Ｍ2(4,3)、Ｍ2(1,4)、Ｍ2(2,4)、Ｍ2(3,4)、Ｍ2(4,4)、Ｍ2(2,5)、Ｍ2(3,5)、Ｍ2(2,6)、Ｍ2(3,6)が抽出されている。例えば、図６（ｂ）のＭ2(1,3)は図６(a)のＭ1(1,3)をアフィン変換した比較パターンにより抽出された領域を示しており、図６（ｂ）のＭ2(4,3)は図６（ａ）のＭ1(4,3)をアフィン変換した比較パターンにより抽出された領域を示している。
【００４５】
図６（ｂ）中の黒点は、図６（ａ）におけるマスク領域Ｍ1(1,3)、Ｍ1(2,3)、Ｍ1(3,3)、Ｍ1(4,3)、Ｍ1(1,4)、Ｍ1(2,4)、Ｍ1(3,4)、Ｍ1(4,4)、Ｍ1(2,5)、Ｍ1(3,5)、Ｍ1(2,6)、Ｍ1(3,6)の各重心位置に対応した位置（第１の画像部分Ａ2に対して、マスク領域Ｍ1を変化率Ｒateで縮小した領域の重心位置）を示している。また、図６（ｂ）中の×点は、パターンマッチングにより抽出された各領域Ｍ2の重心位置を示している。
【００４６】
対象物抽出手段２０は、以下の式（１）により、パターンマッチングにより抽出された各領域の重心位置（xm(i,j)，ym(i,j))と、マスク領域に対応した重心位置（xb(i,j)，yb(i,j)）とのずれ量Ｄが、閾値ＴＨよりも小さいか否かを判断する。なお、i,jはマスク領域のインデックスを示している。
【００４７】
【数１】
2008113296.tif 000003
【００４８】
但し、Ｄ：マスク領域に対応した重心位置とパターンマッチングにより抽出された領域の重心位置とのずれ量、ＴＨ：閾値。
【００４９】
そして、対象物抽出手段２０は、ずれ量Ｄが閾値ＴＨよりも小さい領域を第２の画像部分として抽出する。図６（ｂ）の例では、歩行者の胴部及び脚部の画像Ｂ２を含む１２個の領域が第２の画像部分として抽出されている。なお、ＳＴＥＰ１１で、対象物抽出手段２０により第２の画像部分を抽出する構成が、本発明の第２の画像部分抽出手段に相当する。また、対象物抽出手段２０により第２の画像部分を抽出する処理が本発明の第２の画像部分抽出ステップに相当する。
【００５０】
続くＳＴＥＰ１２で、対象物抽出手段２０は、第１の画像部分と第２の画像部分を含む領域を同一の監視対象物の画像領域として検出する。図６（ｂ）の例では、第１の画像部分Ａ2と、第２の画像部分Ｍ2(1,3)，Ｍ2(2,3)，Ｍ2(3,3)，Ｍ2(4,3)，Ｍ2(1,4)，Ｍ2(2,4)，Ｍ2(3,4)，Ｍ2(4,4)，Ｍ2(2,5)，Ｍ2(3,5)，Ｍ2(2,6)，Ｍ2(3,6)を含む領域Ａr1が、監視対象物の画像領域Ａr1として検出される。なお、ＳＴＥＰ１２で、対象物抽出手段２０により第１の画像部分と第２の画像部分を含む領域を同一の監視対象物の画像領域として検出する構成が、本発明の対象物検出手段に相当する。また、対象物抽出手段２０により、第１の画像部分と第２の画像部分を含む領域を同一の監視対象物の画像領域として検出する処理が、本発明の対象物検出ステップに相当する。
【００５１】
なお、図６（ａ）では、第１の画像部分Ａ1の上下左右に格子状にマスク領域Ｍ1(0.0)〜Ｍ1(5,8)を設定したが、監視対象物が限定される場合には、監視対象物の形状に合わせてマスク領域を設定することで、効率良く第２の画像部分を抽出することができる。
【００５２】
例えば、図７（ａ）及び図７（ｂ）は、水平方向に長い車両を対象とする場合のマスク領域の設定態様を示している。この場合は、図７（ａ）に示したように、第１の画像部分（車両の右側のヘッドライト付近の画像部分）Ａ3の左右にマスク領域Ｍ3(0)，Ｍ3(1)，…，Ｍ3(6)が設定されている。なお、図中ｙb1は第１の画像部分Ａ3の重心を通る水平線である。
【００５３】
この場合は、図７（ｂ）に示したように、第１の画像部分Ａ4の左右方向に限定して、マスク領域Ｍ3(0)〜Ｍ3(6)を変化率Ｒateでアフィン変換した比較パターンによるパターンマッチングを行えばよいので、パターンマッチング処理に要する時間を短縮することができる。そして、図７（ｂ）に示したように、車両の画像Ｂ4を含む領域Ｍ4(1)〜Ｍ(5)を第２の画像部分として抽出し、該第２の画像部分と第１の画像部分Ａ4を含む領域を監視対象物の画像領域Ａr2として検出することができる。なお、図中ｙb2は第１の画像部分Ａ4の重心を通る水平線である。
【００５４】
また、図８（ａ）及び図８（ｂ）は、垂直方向に長い歩行者を対象とする場合のマスク領域の設定態様を示している。この場合は、図８（ａ）に示したように、第１の画像部分（歩行者の頭部）Ａ5の上下にマスク領域Ｍ5(0)，Ｍ5(1)，…，Ｍ5(9)が設定されている。なお、図中ｘb1は第１の画像部分Ａ5の重心を通る垂直線である。
【００５５】
この場合は、図８（ｂ）に示したように、第１の画像部分Ａ6の上下方向に限定して、マスク領域Ｍ5(0)〜Ｍ5(6)を変化率Ｒateでアフィン変換した比較パターンによるパターンマッチングを行えばよいので、パターンマッチング処理に要する時間を短縮することができる。そして、図８（ｂ）に示したように、歩行者の胴部及び脚部の画像Ｂ6を含む領域Ｍ6(3)〜Ｍ6(6)を第２の画像部分として抽出し、該第２の画像部分と第１の画像部分を含む領域Ａr3を監視対象物の画像領域として検出することができる。なお、図中ｘb2は第１の画像部分Ａ6の重心を通る垂直線である。
【００５６】
次に、ＳＴＥＰ１３は到達時間推定手段２２による処理である。以下、図９を参照して、到達時間推定手段２２により、変化率Ｒateを用いて監視対象物が車両１０に到達するまでの時間（以下、自車両到達時間という）Ｔを推定する方法について説明する。図中、Ｉm1は撮像時点ｔ10における赤外線カメラ２の撮像画像であり、Ｉm2は該時点ｔ10からdＴ経過した時点ｔ11における赤外線カメラ２の撮像画像である。
【００５７】
Ｉm1においては監視対象物として歩行者の画像部分３０が撮像されており、Ｉm2においては同一の歩行者の画像部分３１が撮像されている。図９は歩行者が車両１０に向かって歩いてきている状況を示しており、Ｉm1の撮像時点ｔ10よりもＩm2の撮像時点ｔ11の方が、歩行者が車両１０に接近しているため、Ｉm1における歩行者の画像部分３０の幅ｗ10よりもＩm2における歩行者の画像部分３１の幅ｗ11の方が、大きくなっている。
【００５８】
この場合、変化率Ｒateと自車両到達時間Ｔは以下の式（２）の関係にあるため、以下の式（３）により、変化率Ｒateから自車両到達時間Ｔを算出することができる。そして、自車両到達時間Ｔから自車両１０と監視対象物との接触可能性を判定することができる。
【００５９】
【数２】
2008113296.tif 000004
【００６０】
但し、ｗ11：監視対象物の今回の撮像時（撮像時点ｔ11）の画像部分の幅、ｗ10：監視対象物の前回の撮像時（撮像時点ｔ10）の画像部分の幅、ｆ：赤外線カメラ２の焦点距離、Ｗ：実空間における監視対象物の幅、Ｚ1：今回の撮像時（撮像時点ｔ11）における車両１０から監視対象物までの距離、Ｚ0：前回の撮像時（撮像時点ｔ10）における車両１０から監視対象物までの距離、Ｖs：車両と監視対象物間の相対速度、dＴ：撮像間隔、Ｔ：自車両到達時間。
【００６１】
【数３】
2008113296.tif 000005
【００６２】
但し、Ｔ：自車両到達時間、dＴ：撮像間隔、Ｒate：変化率。
【００６３】
次に、ＳＴＥＰ１３は実空間位置算出手段２３による処理である。実空間位置算出手段２３は、上記式（２）を変形した以下の式（４）において、自車両１０と監視対象物間の相対速度Ｖs（＝車両の走行速度Ｖj＋監視対象物の移動速度Ｖd）を、自車両１０の速度Ｖjが監視対象物の移動速度Ｖdよりも十分に高いとみなして、自車両１０の走行速度Ｖjに置き換えて変形した以下の式（５）により、今回の監視対象物までの距離Ｚ1を算出する。
【００６４】
【数４】
2008113296.tif 000006
【００６５】
但し、Ｒate：変化率、Ｚ1：今回の監視対象物までの距離、Ｖs：車両と監視対象物間の相対速度、dＴ：撮像間隔。
【００６６】
【数５】
2008113296.tif 000007
【００６７】
但し、Ｚ1：今回の監視対象物までの距離、Ｒate：変化率、Ｖj：車両の走行速度、dＴ：撮像間隔。
【００６８】
また、実空間位置算出手段２３は、前回の撮像時における監視対象物までの距離Ｚ0を、以下の式（６）により算出する。
【００６９】
【数６】
2008113296.tif 000008
【００７０】
但し、Ｚ0：前回の撮像時における監視対象物までの距離、Ｚ1：今回の撮像時における監視対象物までの距離、Ｖj：車両の走行速度、dＴ：撮像間隔。
【００７１】
上記式（５）と式（６）により、実空間位置算出手段２３は、今回の撮像時における車両１０から監視対象物までの距離Ｚ1と、前回の撮像時における車両１０から監視対象物までの距離Ｚ0とを算出する。そして、実空間位置算出手段２３は、今回及び前回の２値画像における監視対象物に対応した領域の位置から、今回及び前回の撮像時における監視対象物の実空間位置を算出する。
【００７２】
ここで、図１０（ａ）は、画像Ｉm5上の前回の監視対象物の抽出位置Ｐi_0（ｘ10，ｙ10）と、今回の監視対象物の抽出位置Ｐi_1（ｘ11，ｙ11）を示しており、縦軸ｙが画像の垂直方向に設定され、横軸ｘが画像の水平方向に設定されている。
【００７３】
また、図１０（ｂ）は実空間上の監視対象物の移動状況を示しており、Ｚ軸が車両１０の進行方向に設定され、Ｘ軸がＺ軸と直行する方向に設定されている。そして、図中Ｐr_0（Ｘ10，Ｙ10，Ｚ10）は前回の撮像時における監視対象物の位置を示し、Ｐr_1（Ｘ11，Ｙ11，Ｚ11）は今回の撮像時における監視対象物の位置を示している。また、Ｖmは、Ｐr_0とＰr_1から推定した監視対象物の移動ベクトルである。
【００７４】
実空間位置算出手段２３は、以下の式（７）により前回の撮像時における監視対象物の実空間座標Ｐr_0（Ｘ10，Ｙ10，Ｚ10）を算出し、以下の式（８）により今回の撮像時における監視対象物の実空間座標Ｐr_1（Ｘ11，Ｙ11，Ｚ11）を算出する。
【００７５】
【数７】
2008113296.tif 000009
【００７６】
但し、Ｘ10，Ｙ10：前回の撮像時における監視対象物の実空間座標値、ｘ10，ｙ10：前回の撮像画像における監視対象物に対応した領域の画像座標値、Ｚ0：前回の撮像時における車両から監視対象物までの距離、ｆ：赤外線カメラの焦点距離。
【００７７】
【数８】
2008113296.tif 000010
【００７８】
但し、Ｘ11，Ｙ11：今回の撮像時における監視対象物の実空間座標値、ｘ11，ｙ11：今回の撮像画像の２値画像における監視対象物に対応した領域の画像座標値、Ｚ1：今回の撮像時における車両から監視対象物までの距離、ｆ：赤外線カメラの焦点距離。
【００７９】
また、次のＳＴＥＰ１４で、実空間位置算出手段２３は、車両１０が回頭することによる画像上の位置ずれを、ヨーレートセンサ３の検出信号ＹRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両１０の回頭角がθrであったときに、以下の式（９）により実空間座標値を補正する。
【００８０】
【数９】
2008113296.tif 000011
【００８１】
但し、Ｘr，Ｙr，Ｚr：回頭角補正後の実空間座標値、θr：回頭角、Ｘo，Ｙo，Ｚo：回頭角補正前の実空間座標値。
【００８２】
続くＳＴＥＰ１５は移動ベクトル算出手段２４による処理であり、移動ベクトル算出手段２４は、図１０（ｂ）に示したように、同一の監視対象物についての前回の撮像時の実空間位置Ｐr_0と今回の撮像時の実空間位置Ｐr_1から、監視対象物と自車両１０との相対移動ベクトルに対応する近似直線Ｖmを求める。なお、過去の複数時点における監視対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近似曲線の具体的な算出処理は、例えば特開２００１−６０９６号公報に記載された手法による。
【００８３】
このように、監視対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求め、該移動ベクトルとＺ軸との交差の有無を判断することにより、位置検出誤差の影響を軽減して監視対象物との接触の可能性をより正確に予測することができる。
【００８４】
続くＳＴＥＰ１７〜ＳＴＥＰ１８及びＳＴＥＰ２０は、接触判定手段２５による処理であり、接触判定手段２５は、ＳＴＥＰ１６で以下の式（１０）によりＺ方向（車両１０の進行方向）の相対速度Ｖsを算出し、以下の式（１１）及び式（１２）により車両１０と監視対象物との接触可能性を判別する。
【００８５】
【数１０】
2008113296.tif 000012
【００８６】
但し、Ｖs：監視対象物と車両間の相対速度、Ｚ10：前回の撮像時におけるＺ方向の実空間座標値、Ｚ11：今回の撮像時におけるＺ方向の実空間座標値、ｄＴ：撮像間隔。
【００８７】
【数１１】
2008113296.tif 000013
【００８８】
但し、Ｚ11：今回の撮像時における監視対象物のＺ方向の実空間座標値、Ｖs：監視対象物と車両間の相対速度、Ｔl：余裕時間閾値。
【００８９】
【数１２】
2008113296.tif 000014
【００９０】
但し、Ｙ11：今回の撮像時における監視対象物のＹ方向（高さ方向）の実空間座標値、Ｈl：高さ閾値。
【００９１】
なお、上記式（１１）におけるＴlは、接触の可能性を予測接触時刻よりもＴl時間だけ以前に判定することを意図したものであり、例えば２〜５秒程度に設定される。また、上記式（１２）におけるＨlは、高さ方向の範囲を規定するものであり、例えば車両１０の車高の２倍程度に設定される。
【００９２】
接触判定手段２５は、上記式（１１）及び式（１２）の関係が成立するときは、接触の可能性があると判断し、上記式（１１）及び式（１２)のいずれかが不成立であるときには、接触の可能性がないと判断する。接触の可能性があると判断したときは、次のＳＴＥＰ１８からＳＴＥＰ２０に進み、接触判定手段２５は、ブザー６により警報音を発すると共にＨＵＤ７により警報表示をしてＳＴＥＰ１に戻る。一方、接触の可能性がないと判断したときには、ＳＴＥＰ１８からＳＴＥＰ１に進み、ブザー６による警報音の出力とＨＵＤ７による警報表示は行われない。
【００９３】
また、ＳＴＥＰ２０において、対象物種別判断手段２６は、監視対象物との距離Ｚを用いて以下の式（１３）により、監視対象物の実空間における高さＧＨ（本発明の実空間上の対象物のサイズに相当する）を算出する。なお、距離Ｚは、上記式（５）により変化率Ｒateを用いて算出する場合の他、別個に設けた距離センサ（レーザーレーダ等）により検出してもよい。
【００９４】
【数１３】
2008113296.tif 000015
【００９５】
但し、ｇｈ：監視対象物の画像の高さ、Ｚ：車両と監視対象物間の距離、ｆ：赤外線カメラの焦点距離。
【００９６】
そして、ＧＨは監視対象物の路面からの高さＹであるため、対象物種別判断手段２６は、以下の式（１４）の条件を満たすときに、監視対象物が歩行者であると判断する。この場合、車両１０がピッチングを受けた状態においても、路面からの監視対象物の高さを算出することができるため、該高さに基づいて歩行者の画像を抽出することが可能である。
【００９７】
【数１４】
2008113296.tif 000016
【００９８】
但し、ＴＨ１：下限閾値（例えば１ｍ）、ＴＨ２：上限閾値（例えば２ｍ）、Ｙ：監視対象物の路面からの高さ。
【００９９】
なお、歩行者のように垂直方向に長い種別を判断するときは、このように高さを用いればよいが、車両のように水平方向に長い種別を判断するときには、監視対象物の実空間における幅を本発明のサイズとして用いればよい。また、監視対象物の実空間上の高さと幅を本発明のサイズとして用いることで、より精度良く監視対象物の種別を判断することができる。
【０１００】
そして、対象物種別判断手段２６は、このように監視対象物の種別を判断して、種別に応じてＳＴＥＰ２０におけるブザー６による警報音の出力とＨＵＤ７による警報内容を変更する。
【０１０１】
なお、本実施の形態では、本発明の撮像手段として赤外線カメラ２を用いたが、可視カメラを用いた場合であっても、可視画像から第１の画像部分及び第２の画像部分を抽出すして本発明を適用することが可能である。
【０１０２】
また、本実施の形態では、図６（ａ），図６（ｂ）に示したように、マスク領域を縮小した比較パターンによりパターンマッチングを行ったが、撮像間隔が短く、監視対象物の画像部分の大きさの変化が小さいときには、マスク領域そのものを比較パターンとしてパターンマッチングを行なってもよい。
【図面の簡単な説明】
【０１０３】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットによる一連の処理のフローチャート。
【図４】監視対象物の画像の大きさの変化率を時系列画像間の相関演算により算出する処理の説明図。
【図５】時系列画像間における監視対象物の画像部分間の相対的な位置関係の説明図。
【図６】第１の画像部分の上下左右にマスク領域を設定する態様の説明図。
【図７】第１の画像部分の左右にマスク領域を設定する態様の説明図。
【図８】第１の画像部分の上下にマスク領域を設定する態様の説明図。
【図９】監視対象物の実空間位置の算出処理の説明図。
【図１０】実空間における監視対象物の移動ベクトルの推定処理の説明図。
【符号の説明】
【０１０４】
１…画像処理ユニット、２…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、２０…対象物抽出手段、２１…変化率算出手段、２２…到達時間推定手段、２３…実空間位置算出手段、２４…移動ベクトル算出手段、２５…接触判定手段
【図１】
2008113296.tif 000017
【図２】
2008113296.tif 000018
【図３】
2008113296.tif 000019
【図４】
2008113296.tif 000020
【図５】
2008113296.tif 000021
【図６】
2008113296.tif 000022
【図７】
2008113296.tif 000023
【図８】
2008113296.tif 000024
【図９】
2008113296.tif 000025
【図１０】
2008113296.tif 000026
【手続補正書】
【提出日】平成19年10月10日(2007.10.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を備えたコンピュータにより、該車両周辺の監視対象物を検出する車両周辺監視方法であって、
該コンピュータが、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出ステップと、
該コンピュータが、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出ステップと、
該コンピュータが、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出ステップとを含むことを特徴とする車両周辺監視方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
次に、本発明の車両周辺監視方法は、車両に搭載された単一の撮像手段により撮像された画像のデータにアクセスする手段を備えたコンピュータにより、該車両周辺の監視対象物を検出する車両周辺監視方法であって、該コンピュータが、前記撮像手段により異なる時点で撮像された第１の撮像画像及び第２の撮像画像から、所定の特徴量を有する第１の画像部分を抽出する第１の画像部分抽出ステップと、該コンピュータが、前記第１の撮像画像及び前記第２の撮像画像間において、前記第１の画像部分との相対的な位置関係の変化率が所定レベル以下である第２の画像部分を抽出する第２の画像部分抽出ステップと、該コンピュータが、前記第１の撮像画像又は前記第２の撮像画像における前記第１の画像部分と前記第２の画像部分を含む領域を、車両周辺の同一の監視対象物の画像領域として検出する対象物検出ステップとを含むことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
画像処理ユニット１は、先ず、ＳＴＥＰ１でカウンタ変数ｃｎｔをクリア（ｃｎｔ＝０）する。そして、続くＳＴＥＰ２で赤外線カメラ２からの赤外線映像信号を入力して、カウンタ変数ｃｎｔをカウントアップ（ｃｎｔ←ｃｎｔ＋１）する（ＳＴＥＰ３）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
続くＳＴＥＰ６，ＳＴＥＰ７及びＳＴＥＰ１０〜ＳＴＥＰ１２は対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ６で２値画像から監視対象物の特定の部位（例えば、歩行者の頭部）の画像部分を第１の画像部分として抽出する。具体的には、２値画像中の白の各領域のランレングスデータを算出し、水平方向に重なる部分がある領域をまとめてラベルを付するラベリング処理を行う。そして、ラベルが付された領域うち、予め設定された特徴量（本発明の所定の特徴量に相当する）を有する領域を第１の画像部分として抽出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
次のＳＴＥＰ８で、画像処理ユニット１は、カウンタ変数ｃｎｔが２であるか否かを判断する。そして、カウンタ変数ｃｎｔが２でなかったとき（ｃｎｔ＝１のとき）は、ＳＴＥＰ２に分岐して、画像処理ユニット１はＳＴＥＰ２〜ＳＴＥＰ７の処理を再度実行し、これにより異なる時点におけるグレースケール画像Ｉg(1)とＩg(2)（本発明の第１の撮像画像に相当する）において、第１の画像部分の領域が設定される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
次に、図５は異なる時刻ｔ0，ｔ1（ｔ0はｔ1に先行する時刻）における同一の歩行者の画像Ｐと同一の信号機の画像Ｓを示したものである。ｔ1における歩行者の画像の頭部Ｐ1(ｔ1)，手部Ｐ2(ｔ1)，足部Ｐ3(ｔ1)間の相対的な位置関係は、ｔ0における歩行者の画像の頭部Ｐ1(ｔ0)，手部Ｐ2(ｔ0)，足部Ｐ3(ｔ0)間の相対的な位置関係から、大きさの変化を除けば、ほとんど変化しないと考えられる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
対象物抽出手段２０は、先ず、ＳＴＥＰ１０で、グレースケール画像Ｉg(2)の第１の画像部分の周囲にマスク領域を設定する。具体的には、図６（ａ）に示したように、第１の画像部分Ａ1の周囲にマトリックス状に５０個のマスク領域Ｍ1（Ｍ1(0,0)、Ｍ1(1,0)、…、Ｍ1(5,8)）を設定する。なお、各マスク領域における黒点は各マスク領域の重心位置を示している。また、ＳＴＥＰ１０で、対象物抽出手段２０によりマスク領域を設定する構成が本発明のマスク領域設定手段に相当する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
なお、図６（ａ）では、第１の画像部分Ａ1の上下左右に格子状にマスク領域Ｍ1(0,0)〜Ｍ1(5,8)を設定したが、監視対象物が限定される場合には、監視対象物の形状に合わせてマスク領域を設定することで、効率良く第２の画像部分を抽出することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
この場合は、図７（ｂ）に示したように、第１の画像部分Ａ4の左右方向に限定して、マスク領域Ｍ3(0)〜Ｍ3(6)を変化率Ｒateでアフィン変換した比較パターンによるパターンマッチングを行えばよいので、パターンマッチング処理に要する時間を短縮することができる。そして、図７（ｂ）に示したように、車両の画像Ｂ4を含む領域Ｍ4(1)〜Ｍ4(5)を第２の画像部分として抽出し、該第２の画像部分と第１の画像部分Ａ4を含む領域を監視対象物の画像領域Ａr2として検出することができる。なお、図中ｙb2は第１の画像部分Ａ4の重心を通る水平線である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
この場合は、図８（ｂ）に示したように、第１の画像部分Ａ6の上下方向に限定して、マスク領域Ｍ5(0)〜Ｍ5(9)を変化率Ｒateでアフィン変換した比較パターンによるパターンマッチングを行えばよいので、パターンマッチング処理に要する時間を短縮することができる。そして、図８（ｂ）に示したように、歩行者の胴部及び脚部の画像Ｂ6を含む領域Ｍ6(3)〜Ｍ6(6)を第２の画像部分として抽出し、該第２の画像部分と第１の画像部分を含む領域Ａr3を監視対象物の画像領域として検出することができる。なお、図中ｘb2は第１の画像部分Ａ6の重心を通る垂直線である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
次に、ＳＴＥＰ１４は実空間位置算出手段２３による処理である。実空間位置算出手段２３は、上記式（２）を変形した以下の式（４）において、自車両１０と監視対象物間の相対速度Ｖs（＝車両の走行速度Ｖj＋監視対象物の移動速度Ｖd）を、自車両１０の速度Ｖjが監視対象物の移動速度Ｖdよりも十分に高いとみなして、自車両１０の走行速度Ｖjに置き換えて変形した以下の式（５）により、今回の監視対象物までの距離Ｚ1を算出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
【数７】
2008113296.tif 000027
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
【数８】
2008113296.tif 000028
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
また、次のＳＴＥＰ１５で、実空間位置算出手段２３は、車両１０が回頭することによる画像上の位置ずれを、ヨーレートセンサ３の検出信号ＹRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両１０の回頭角がθrであったときに、以下の式（９）により実空間座標値を補正する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
続くＳＴＥＰ１６は移動ベクトル算出手段２４による処理であり、移動ベクトル算出手段２４は、図１０（ｂ）に示したように、同一の監視対象物についての前回の撮像時の実空間位置Ｐr_0と今回の撮像時の実空間位置Ｐr_1から、監視対象物と自車両１０との相対移動ベクトルに対応する近似直線Ｖmを求める。なお、過去の複数時点における監視対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近似直線の具体的な算出処理は、例えば特開２００１−６０９６号公報に記載された手法による。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
続くＳＴＥＰ１７〜ＳＴＥＰ１８及びＳＴＥＰ２０は、接触判定手段２５による処理であり、接触判定手段２５は、ＳＴＥＰ１７で以下の式（１０）によりＺ方向（車両１０の進行方向）の相対速度Ｖsを算出し、以下の式（１１）及び式（１２）により車両１０と監視対象物との接触可能性を判別する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
但し、Ｖs：監視対象物と車両間の相対速度、Ｚ10：前回の撮像時における監視対象物のＺ方向の実空間座標値、Ｚ11：今回の撮像時における監視対象物のＺ方向の実空間座標値、ｄＴ：撮像間隔。
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2008113296.tif 000029