(57)【要約】【課題】車両周辺に所在する対象物の種別を精度良く認識することができる車両周辺監視装置を提供する。【解決手段】赤外線カメラの撮像画像から、対象物の頭部の可能性がある第１の画像部分ＨＰ_１を抽出して、ＨＰ_１を含む基準マスク領域ＭＡＳＫ_Ｃと、基準マスク領域ＭＡＳＫ_Ｃの左側近傍の左方マスク領域ＭＡＳＫ_Ｌと、該基準マスク領域ＭＡＳＫ_Ｃの右側近傍の右方マスク領域ＭＡＳＫ_Ｒとを設定する手段と、基準マスク領域ＭＡＳＫ_Ｃの平均輝度ＡＶＥ_Ｃと、左方マスク領域ＭＡＳＫ_Ｌの平均輝度ＡＶＥ_Ｌとの差、又は該ＡＶＥ_Ｃと右方マスク領域ＭＡＳＫ_Ｒの平均輝度ＡＶＥ_Ｒとの差が、所定レベル以下であるときに、下方検索領域ＡＲＥＡ_３内で脚部の画像と推定される第２の画像部分を検索し、該第２の画像部分が複数検出されたときには、対象物の種別は歩行者であると認識する手段とを備える。【選択図】  図７
2007334751.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段による撮像画像により、該車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、
前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、
前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、
前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分に応じた特徴量を有する第２の画像部分を検索する第２の画像部分検索手段と、
該第２の画像部分検索手段により前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記所定種別は歩行者であって前記第１の所定部分は歩行者の頭部であり、
前記対象物種別判断手段は、前記第２の画像部分検索手段により前記第２の画像部分が複数検出されたときに、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記第２の所定部分は歩行者の脚部であることを特徴とする請求項２記載の車両周辺監視装置。
【請求項４】
前記撮像画像において、前記基準マスク領域の左側近傍の左方マスク領域と、前記基準マスク領域の右側近傍の右方マスク領域とを設定する比較マスク領域設定手段を備え、
前記下方検索領域設定手段は、前記基準マスク領域と前記左方マスク領域と前記右方マスク領域の下方に前記下方検索領域を設定し、
前記対象物種別判断手段は、前記基準マスク領域と前記左方マスク領域との輝度差が第１の所定レベル以上であり、且つ、前記基準マスク領域と前記右方マスク領域との輝度差が第２の所定レベル以上であるときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、
前記基準マスク領域と前記左方マスク領域との輝度差が前記第１の所定レベルよりも小さいとき、又は前記基準マスク領域と前記右方マスク領域との輝度差が前記第２の所定レベルよりも小さいときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする請求項３記載の車両周辺監視装置。
【請求項５】
前記対象物種別判断手段は、前記基準マスク領域における輝度分布が所定条件を満たすときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、
前記基準マスク領域における輝度分布が前記所定条件を満たさないときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする請求項３記載の車両周辺監視装置。
【請求項６】
前記撮像画像に含まれる画像部分に対応する実空間上の位置と、前記車両との距離を認識する実空間距離認識手段と、
前記撮像画像において、前記基準マスク領域の左側近傍の左方マスク領域と、前記基準マスク領域の右側近傍の右方マスク領域とを設定する比較マスク領域設定手段とを備え、
前記下方領域設定手段は、前記基準マスク領域と前記左方マスク領域と前記右方マスク領域の下方に前記下方検索領域を設定し、
前記対象物種別判断手段は、前記第１の画像部分に対応する実空間上の位置と前記車両との距離である基準距離と、前記左方マスク領域の画像部分に対応する実空間上の位置と前記車両との距離である左方比較距離との差が第１の所定距離以上であり、且つ、該基準距離と、前記右方マスク領域の画像部分に対応する実空間上の位置と前記車両との距離である右方比較距離との差が第２の所定距離以上であるときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、
前記基準距離と前記左方比較距離との差が前記第１の所定距離よりも小さいとき、又は前記基準距離と前記右方比較距離との差が前記第２の所定距離よりも小さいときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする請求項３記載の車両周辺監視装置。
【請求項７】
車両に搭載された撮像手段による撮像画像により、該車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、
前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、
前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、
前記下方検索領域内で、前記所定種別の対象物が複数所在する場合に応じて予め設定された第３の特徴量を有する第３の画像部分を検索する第３の画像部分検索手段と、
該第３の画像部分検索手段により前記第３の画像部分が検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする車両周辺監視装置。
【請求項８】
前記所定種別は歩行者であって前記第１の所定部分は歩行者の頭部であり、
前記第３の特徴量は複数の歩行者の脚部の画像が含まれる場合の特徴量であって、
前記対象物種別判断手段は、前記第３の画像部分検索手段により前記第３の画像部分が検出されたときに、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする請求項７記載の車両周辺監視装置。
【請求項９】
前記請求項１から請求項８のうちいずれか１項記載の車両周辺監視装置を搭載したことを特徴とする車両。
【請求項１０】
車両に搭載された撮像手段による撮像画像にアクセスする手段を有するコンピュータに、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、
前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、
前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、
前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、
前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分の特徴量を有する第２の画像部分を検索する第２の画像部分検索手段と、
該第２の画像部分検索手段により、前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項１１】
車両に搭載された撮像手段による撮像画像にアクセスする手段を有するコンピュータにより、該車両周辺を監視する方法であって、
前記コンピュータが、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出ステップと、
前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定ステップと、
前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定ステップと、
前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分に応じた特徴量を有する第２の画像部分を検索する第２の画像部分検索ステップと、
該第２の画像部分検索ステップにより、前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断ステップとを含むことを特徴とする車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段により得られる画像から、車両周辺に所在する対象物の種別を判断する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、例えば、車両に搭載された赤外線カメラにより撮像された車両周辺の画像から、歩行者の頭部の画像である可能性がある画像部分を抽出し、該画像部分の輝度や該画像部分に対応した実空間上の位置と車両との距離等を用いた判定条件によって、該画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを判断するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
しかし、本願発明者らは、車両周囲に複数の歩行者が接近して存在する状況を赤外線カメラで撮像して、歩行者の頭部の画像である可能性がある画像部分を抽出し、前記判定条件によって該画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを判断したときに、実際には該対象物が歩行者であるにも拘らず、該対象物の種別が歩行者ではないと誤って判断されてしまうことがあることを知見した。
【特許文献１】特開２００４−３０３２１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上記背景を鑑みてなされたものであり、車両周辺に所在する対象物の種別を精度良く認識することができる車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置の第１の態様は、車両に搭載された撮像手段による撮像画像により、該車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分に応じた特徴量を有する第２の画像部分を検索する第２の画像部分検索手段と、該第２の画像部分検索手段により前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする。
【０００６】
かかる本発明の車両周辺監視装置によれば、前記第１の画像部分抽出手段により前記撮像手段の撮像画像から前記第１の画像部分が抽出され、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分が検索される。そして、前記対象物種別判断手段により、複数の前記第２の画像部分が検出されたか否かによって前記第１の画像部分に対応する実空間上の対象物の種別が判断される。このように、前記第１の画像部分が抽出されたことに加えて、前記第１の画像部分の下方で複数の前記第２の画像部分が検出されたことを条件として対象物の種別を判断することにより、前記撮像手段により撮像したときに、前記第１の画像部分とその下方に複数の前記第２の画像部分を有するものとなる対象物（例えば、頭部とその下方に腕、肩、脚等の対象な複数の部分を有する歩行者や動物等）の種別を、前記第１の画像部分のみに基いて種別を判断する場合よりも精度を向上させて判断することができる。
【０００７】
また、前記所定種別は歩行者であって前記第１の所定部分は歩行者の頭部であり、前記対象物種別判断手段は、前記第２の画像部分検索手段により前記第２の画像部分が複数検出されたときに、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする。
【０００８】
かかる本発明において、前記撮像手段により歩行者を撮像したときに、歩行者の画像は、頭部の画像部分の下方に肩部、腕部、脚部等の一対となる複数の画像部分を有するものとなると想定される。そこで、このように一対となる部分のいずれかを前記第２の所定部分として、前記第２の画像部分検索手段による検索を行うことで、歩行者の画像が有する固有の特徴に基いて前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを精度良く判別することができる。
【０００９】
また、前記第２の所定部分は歩行者の脚部であることを特徴とする。この場合には、比較的形状が大きく、前記撮像画像において前記第１の画像部分（頭部の画像部分）と共に撮像され易い脚部を前記第２の所定部分とすることによって、前記第２の画像部分検索手段による前記第２の画像部分の検索を容易なものとすることができる。
【００１０】
また、前記撮像画像において、前記基準マスク領域の左側近傍の左方マスク領域と、前記基準マスク領域の右側近傍の右方マスク領域とを設定する比較マスク領域設定手段を備え、前記下方検索領域設定手段は、前記基準マスク領域と前記左方マスク領域と前記右方マスク領域の下方に前記下方検索領域を設定し、前記対象物種別判断手段は、前記基準マスク領域と前記左方マスク領域との輝度差が第１の所定レベル以上であり、且つ、前記基準マスク領域と前記右方マスク領域との輝度差が第２の所定レベル以上であるときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、前記基準マスク領域と前記左方マスク領域との輝度差が前記第１の所定レベルよりも小さいとき、又は前記基準マスク領域と前記右方マスク領域との輝度差が前記第２の所定レベルよりも小さいときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする。
【００１１】
かかる本発明によれば、前記対象物種別判断手段により、前記基準マスク領域と前記左方マスク領域との輝度差が前記第１の所定レベル以上であり、且つ、前記基準マスク領域と前記右方マスク領域との輝度差が前記第２の所定レベル以上であるという条件（以下、第１の条件という）が満たされるときに、前記第１の画像部分に対応する実空間上の対象物が歩行者であると認識される。
【００１２】
ここで、前記第１の条件は、前記撮像画像において、歩行者の頭部の画像と背景画像とでは輝度に差が生じるという特徴に基づいて、歩行者の頭部の画像部分を抽出するためのものである。しかし、複数の歩行者が接近して存在するときには、前記左方マスク領域と前記右方マスク領域にも歩行者の頭部の画像が含まれる状態となる場合がある。そして、この場合には、前記基準マスク領域の輝度と前記左方マスク領域及び前記右方マスク領域との輝度差が小さくなり、前記第１の条件が満たされないため、前記第１の条件のみによる判断では前記第１の画像部分に対応する実空間上の対象物の種別は歩行者ではないと判断されてしまう。
【００１３】
そこで、前記対象物種別判断手段は、前記条件が満たされないときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像を検索する。そして、前記第２の画像部分が複数検出されたとき、すなわち、歩行者の脚部に応じた特徴量を有する画像部分が複数検出されたときに、前記対象物種別判断手段は、前記第１の画像部分に対応する実空間上の対象物は歩行者であると認識する。これにより、車両の周辺に複数の歩行者が接近して存在する場合に、歩行者ではないと誤って認識されることを回避して歩行者の認識精度を向上させることができる。
【００１４】
また、前記対象物種別判断手段は、前記基準マスク領域における輝度分布が所定条件を満たすときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、前記基準マスク領域における輝度分布が前記所定条件を満たさないときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする。
【００１５】
かかる本発明によれば、前記対象物種別判断手段は、前記基準マスク領域の輝度分布が前記所定条件を満たすときに、前記第１の画像部分に対応する実空間上の対象物は歩行者であると判断する。ここで、前記所定条件は、抽出対象である歩行者の頭部の輝度分布に基いて設定されるが、複数の歩行者が接近して存在するときには、各歩行者の頭部の画像部分が重なって前記所定条件による頭部の輝度分布とは異なる輝度分布となる場合がある。そして、この場合に前記所定条件のみによる判断を行って、前記所定条件が満たされなかったときは、前記第１の画像部分に対応する実空間上の対象物は歩行者ではないと判断されてしまう。
【００１６】
そこで、前記対象物種別判断手段は、前記輝度マスク領域の輝度分布が前記所定条件を満たさないときには、前記第２の画像部分検索手段により、前記下方検索領域内で前記第２の画像部分を検索する。そして、前記第２の画像部分が複数検出されたとき、すなわち、歩行者の脚部に応じた特徴量を有する画像部分が複数検出されたときに、前記対象物種別判断手段は、前記第１の画像部分に対応する実空間上の対象物は歩行者であると認識する。これにより、車両の周辺に複数の歩行者が接近して存在する場合に、歩行者ではないと誤って認識されることを回避して歩行者の認識精度を向上させることができる。
【００１７】
また、前記撮像画像に含まれる画像部分に対応する実空間上の位置と、前記車両との距離を認識する実空間距離認識手段と、前記撮像画像において、前記基準マスク領域の左側近傍の左方マスク領域と、前記基準マスク領域の右側近傍の右方マスク領域とを設定する比較マスク領域設定手段とを備え、前記下方領域設定手段は、前記基準マスク領域と前記左方マスク領域と前記右方マスク領域の下方に前記下方検索領域を設定し、前記対象物種別判断手段は、前記第１の画像部分に対応する実空間上の位置と前記車両との距離である基準距離と、前記左方マスク領域の画像部分に対応する実空間上の位置と前記車両との距離である左方比較距離との差が第１の所定距離以上であり、且つ、該基準距離と、前記右方マスク領域の画像部分に対応する実空間上の位置と前記車両との距離である右方比較距離との差が第２の所定距離以上であるときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断し、前記基準距離と前記左方比較距離との差が前記第１の所定距離よりも小さいとき、又は前記基準距離と前記右方比較距離との差が前記第２の所定距離よりも小さいときには、前記第２の画像部分検索手段により前記下方検索領域内で前記第２の画像部分を検索し、前記第２の画像部分が複数検出されたときは、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする。
【００１８】
かかる本発明によれば、前記対象物種別判断手段は、前記基準距離と前記左方比較距離との差が前記第１の所定距離以上であり、且つ、前記基準距離と前記右方比較距離との差が前記第２の所定距離以上であるという条件（以下、第２の条件という）が満たされるときに、前記第１の画像部分に対応した実空間上の対象物が歩行者であると認識する。
【００１９】
ここで、前記第２の条件は、前記撮像画像に含まれる画像部分に対応する実空間上の位置と前記車両との距離は、歩行者の画像部分よりも背景の画像部分の方が長くなることに基づいて、歩行者の頭部の画像を抽出するためのものである。しかし、複数の歩行者が接近して存在するときには、前記左方マスク領域と右方マスク領域にも歩行者の頭部の画像が含まれる状態となる場合がある。そして、この場合には、前記基準距離と前記左方比較距離及び前記右方比較距離との差が小さくなって前記第２の条件が満たされないため、前記第２の条件のみによる判断では前記第１の画像部分に対応する実空間上の対象物の種別は歩行者ではないと判断されてしまう。
【００２０】
そこで、前記対象物種別判断手段は、前記第２の条件が満たされないときには、前記第２の画像部分検索手段により前記第２の画像部分を検索する。そして、前記第２の画像部分が複数検出されたとき、すなわち、歩行者の脚部に応じた特徴量を有する画像部分が複数検出されたときに、前記対象物種別判断手段は、前記第１の画像部分に対応する実空間上の対象物が歩行者であると判断する。これにより、車両の周辺に複数の歩行者が接近して存在する場合に、歩行者ではないと誤って認識されることを回避して、歩行者の認識精度を向上させることができる。
【００２１】
次に、本発明の車両周辺監視装置の第２の態様は、車両に搭載された撮像手段による撮像画像により、該車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、前記下方検索領域内で、前記所定種別の対象物が複数所在する場合に応じて予め設定された第３の特徴量を有する第３の画像部分を検索する第３の画像部分検索手段と、該第３の画像部分検索手段により前記第３の画像部分が検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする。
【００２２】
かかる本発明によれば、前記所定種別の対象物が複数所在することによって、前記第１の画像部分抽出手段による前記第１の画像部分の抽出のみでは、対象物の種別の判断が困難な状況となっている場合に、前記第３の画像部分の検索により前記所定種別の対象物が複数所在することを検知して、前記第１の画像部分に対応する実空間上の対象物の種別を判断することができる。
【００２３】
また、前記本発明の車両周辺監視装置の第２の態様において、前記所定種別は歩行者であって前記第１の所定部分は歩行者の頭部であり、前記第３の特徴量は複数の歩行者の脚部の画像が含まれる場合の特徴量であって、前記対象物種別判断手段は、前記第３の画像部分検索手段により前記第３の画像部分が検出されたときに、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であると判断することを特徴とする。
【００２４】
かかる本発明によれば、歩行者が複数所在することにより、歩行者の頭部の画像部分の抽出のみによっては、対象物の種別が歩行者であるか否かの判断が困難な状況となっている場合に、複数の歩行者の脚部の画像に対応した特徴量を有する前記第３の画像部分を検索することで、前記第１の画像部分に対応する実空間上の対象物の種別が歩行者であるか否かを判断することができる。
【００２５】
また、前記車両周辺監視装置を搭載した車両によれば、周囲に所在する対象物の種別を精度良く判断することができる。
【００２６】
次に、本発明の車両監視用プログラムは、車両に搭載された撮像手段による撮像画像にアクセスする手段を有するコンピュータに、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、前記撮像画像から、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出手段と、前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定手段と、前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定手段と、前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分の特徴量を有する第２の画像部分を検索する第２の画像部分検索手段と、該第２の画像部分検索手段により、前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断手段として機能させることを特徴とする。
【００２７】
かかる本発明の車両周辺監視用プログラムを前記コンピュータで実行させることにより、該コンピュータが前記第１の画像部分抽出手段として機能して、前記撮像手段による撮像画像から前記第１の画像部分が抽出される。また、該コンピュータが前記基準マスク領域設定手段、前記下方検索領域設定手段、及び前記第２の画像部分検索手段として機能して、前記下方検索領域内で前記第２の画像部分が検索される。そして、該コンピュータが前記対象物種別判断手段として機能して、前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する。これにより、撮像されたときに、前記第１の画像部分とその下方に位置する複数の前記第２の画像部分とを有することになる対象物（例えば、頭部とその下方に腕、肩、脚等の対象な複数の部分を有する歩行者や動物等）の種別を精度良く判断することができる。
【００２８】
また、車両周辺監視方法は、車両に搭載された撮像手段による撮像画像にアクセスする手段を有するコンピュータにより、該車両周辺を監視する方法であって、前記コンピュータが、実空間上の所定種別の対象物における第１の所定部分の画像である可能性がある第１の画像部分を抽出する第１の画像部分抽出ステップと、前記撮像画像において、前記第１の画像部分を含む所定領域を基準マスク領域として設定する基準マスク領域設定ステップと、前記撮像画像において、前記基準マスク領域の下方に下方検索領域を設定する下方検索領域設定ステップと、前記下方検索領域内で、予め設定された前記所定種別の対象物における第２の所定部分に応じた特徴量を有する第２の画像部分を検索する第２の画像部分検索ステップと、該第２の画像部分検索ステップにより、前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する対象物種別判断ステップとを含むことを特徴とする。
【００２９】
かかる本発明の車両周辺監視方法を前記コンピュータで実行することによって、前記第１の画像部分抽出ステップにより、前記撮像手段による撮像画像から前記第１の画像部分が抽出される。また、前記基準マスク領域設定ステップ、前記下方検索領域設定ステップ、及び前記第２の画像部分検索ステップにより、前記下方検索領域内で前記第２の画像部分が検索される。そして、前記対象物種別判断ステップにより、前記下方検索領域内で前記第２の画像部分が複数検出されたか否かにより、前記第１の画像部分に対応する実空間上の対象物の種別を判断する。これにより、前記撮像手段により撮像されたときに、前記第１の画像部分とその下方の位置する複数の前記第２の画像部分とを有することになる対象物（例えば、頭部とその下方に腕、肩、脚等の対象な複数の部分を有する歩行者や動物等）の種別を精度良く判断することができる。
【発明を実施するための最良の形態】
【００３０】
本発明の実施の形態の一例について、図１〜図１０を参照して説明する。図１は本発明の車両周囲監視装置の構成図、図２は図１に示した車両周囲監視装置の車両への取り付け態様の説明図、図３は図１に示した画像処理ユニットにおける処理手順を示したフローチャート、図４は注意喚起判定処理のフローチャート、図５，図６は歩行者判定処理のフローチャート、図７は頭部画像を含むマスク領域とその左右のマスク領域との比較により歩行者を認識する場合の説明図、図８，図９は頭部画像を含むマスク領域の輝度プロファイルにより歩行者を認識する場合の説明図、図１０は歩行者の脚部画像の検出処理の説明図である。
【００３１】
図１を参照して、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像（撮像画像）から車両前方の対象物（歩行者等）を検出し、該対象物と車両が接触する可能性が高い場合に注意喚起を行う画像処理ユニット１と、音声により注意喚起を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７とを備えている。
【００３２】
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００３３】
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない、本発明のコンピュータに相当する）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、インターフェース回路（図示しない、本発明の撮像画像にアクセスする手段に相当する）を介して、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
【００３４】
そして、該マイクロコンピュータに、本発明の車両監視用プログラムを実行させることによって、該マイクロコンピュータが、撮像画像に含まれる画像部分に対応した実空間上の位置と車両１０との距離（実空間距離）を算出する実空間距離認識手段２０、所定時間間隔をもって撮像された画像間における同一の対象物の画像部分の位置変化から該対象物の実空間における移動ベクトルを算出する移動ベクトル算出手段２１、歩行者である可能性がある対象物の画像部分を含む領域を基準マスク領域として設定する基準マスク領域設定手段２２、該基準マスク領域の左右に左方マスク領域と右方マスク領域を設定する比較マスク領域設定手段２３、及び基準マスク領域の画像部分が歩行者の画像であるか否かを認識する歩行者認識手段２４として機能し、これらの手段により、本発明の車両周囲監視方法の第１の画像部分抽出ステップ、基準マスク領域設定ステップ、下方検索領域設定ステップ、第２の画像部分検索ステップ、及び対象物種別判断ステップとが実行される。
【００３５】
次に、図３に示したフローチャートに従って、画像処理ユニット１による対象物の検出及び注意喚起処理について説明する。
【００３６】
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
【００３７】
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。そして、画像処理ユニット１は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、画像処理ユニット１は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を対象物の画像候補として抽出する。
【００３８】
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、前掲した特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
【００３９】
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された対象物の画像について同一性判定を行い、同一の対象物の画像であると判定された画像の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
【００４０】
一方、ＳＴＥＰ２０において、画像処理ユニット１は、基準画像（右画像）の２値画像によって追跡される対象物の画像候補の中の一つを選択して、右画像のグレースケール画像から探索画像Ｒ１（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、画像処理ユニット１は、左画像のグレースケール画像から探索画像Ｒ１に対応する画像（以下、対応画像Ｒ１’という）を探索する探索領域を設定し、探索画像Ｒ１との相間演算を実行して対応画像Ｒ１’を抽出する。そして、ＳＴＥＰ２２で、画像処理ユニット１は、探索画像Ｒ１の重心位置と対応画像Ｒ１’の重心位置との差を視差量Δｄ（画素数）として算出し、ＳＴＥＰ１０に進む。
【００４１】
ＳＴＥＰ１０は、実空間距離認識手段２０による処理であり、実空間距離認識手段２０は、視差量Δｄに基づいて車両１０と対象物との距離ｚを算出し、探索画像の座標（ｘ，ｙ）と距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像に対応する実空間位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。
【００４２】
続くＳＴＥＰ１１で、画像処理ユニット１は、車両１０が回頭することによる画像上の位置ずれを補正する回頭角補正を行う。続くＳＴＥＰ１２は、移動ベクトル算出手段２１による処理であり、移動ベクトル算出手段２１は、所定のモニタ期間内に撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。
【００４３】
なお、実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。
【００４４】
次に、ＳＴＥＰ１３で、画像処理ユニット１は、車両１０と検出した対象物との接触の可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときには、ＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
【００４５】
次に、「注意喚起判定処理」の具体的な内容について、図４に示したフローチャートに従って説明する。
【００４６】
図４のＳＴＥＰ５０で、画像処理ユニット１は、車両１０と検出した対象物との接触可能性の有無を判定する「接触判定処理」を実行する。「接触判定処理」は、対象物と車両１０との相対速度を求めて、余裕時間Ｔ（例えば２〜５秒）以内に対象物と車両１０とが接触する可能性の有無を判定する処理である。
【００４７】
「接触判定処理」により、余裕時間Ｔ以内に対象物が車両１０と接触する可能性がないと判定されたときは、続くＳＴＥＰ５１からＳＴＥＰ７０に分岐して、画像処理ユニット１は対象物は注意喚起の対象ではないと判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。
【００４８】
一方、ＳＴＥＰ５０で対象物が車両１０と接触する可能性があると判定されたときには、ＳＴＥＰ５１からＳＴＥＰ５２に進み、画像処理ユニット１は「接近判定処理」を実行する。「接近判定処理」は、対象物が車両１０の前方に設定される接近判定領域内に存在するか否かを判定する処理である。
【００４９】
「接近判定処理」により、対象物が接近判定領域内に存在しないと判定されときは、続くＳＴＥＰ５３でＳＴＥＰ６０に分岐し、画像処理ユニット１は、「進入接触判定処理」を実行する。「進入接触判定処理」は、対象物が接近判定領域内に進入して車両１０と接触する可能性の有無を判定するものであり、接近判定領域の水平方向の外側に設定された進入判定領域内に存在する対象物が、接近判定領域内に進入して車両１０に接触する可能性の有無を該対象物の移動ベクトルから判定する処理である。
【００５０】
「進入接触判定処理」により、対象物が車両１０と接触する可能性がないと判定されたときは、続くＳＴＥＰ６１でＳＴＥＰ７０に分岐して、画像処理ユニット１は対象物は注意喚起の対象ではないと判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。
【００５１】
一方、「進入接触判定処理」により、対象物が車両１０と接触する可能性があると判定されたときには、ＳＴＥＰ６１からＳＴＥＰ５８に進んで、画像処理ユニット１は対象物は注意喚起の対象であると判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。
【００５２】
また、ＳＴＥＰ５２の「接近判定処理」で、対象物が接近判定領域内に存在すると判定されたときは、ＳＴＥＰ５３からＳＴＥＰ５４に進み、画像処理ユニット１は「歩行者判定処理」を実行する。「歩行者判定処理」は、対象物が歩行者であるか否かを判定する処理である。「歩行者判定処理」の詳細については後述する。
【００５３】
「歩行者判定処理」により、対象物が歩行者ではないと判定されたときは、続くＳＴＥＰ５７でＳＴＥＰ７０に分岐して、画像処理ユニット１は対象物は注意喚起の対象ではないと判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。
【００５４】
一方、「歩行者判定処理」により対象物が歩行者であると判定されたときには、ＳＴＥＰ５５からＳＴＥＰ５６に進み、画像処理ユニット１は、歩行者であると判定された対象物が人工構造物であるか否かを判定する「人工構造物判定処理」を実行する。「人工構造物判定処理」は、対象物の画像部分が、歩行者の画像であれば有することががないと想定される特徴（直線エッジ部分を含む、直角部分を含む、複数の同一形状部分を含む等）を有しているときに、対象物が人工構造物であると判定する処理である。
【００５５】
「人工構造物判定処理」により、対象物が人工構造物であると判定されたときは、続くＳＴＥＰ５７でＳＴＥＰ７０に分岐して、画像処理ユニット１は対象物は注意喚起の対象ではないと判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。一方、「人工構造物判定処理」により、対象物が人工構造物ではないと判定されたときには、ＳＴＥＰ５７からＳＴＥＰ５８に進んで、画像処理ユニット１は対象物は注意喚起の対象であると判定し、ＳＴＥＰ５９に進んで「注意喚起判定処理」を終了する。
【００５６】
次に、図５，図６に示したフローチャートに従って、「歩行者判定処理」の実行手順について説明する。
【００５７】
画像処理ユニット１は、図５のＳＴＥＰ８０で、対象物の２値画像の形状特徴量（外接四角形と面積の比率、外接四角形の縦横比、幅、高さ等）を算出し、ＳＴＥＰ８１で、対象物のグレースケール画像の高さを算出する。そして、続くＳＴＥＰ８２で、画像処理ユニット１は、対象物の２値画像及びグレースケール画像の特徴量が、対象物が歩行者である場合に適当な範囲内の値であるか否かを判断して、対象物が歩行者である可能性の有無を判定する。
【００５８】
対象者が歩行者の可能性があると判定されなかったときは、続くＳＴＥＰ８３から図６（ａ）のＳＴＥＰ１００に分岐して、画像処理ユニット１は対象物は歩行者ではないと判定し、ＳＴＥＰ９４に進んで「歩行者判定処理」を終了する。一方、対象物が歩行者の可能性があると判定されたときには、ＳＴＥＰ８３からＳＴＥＰ８４に進む。
【００５９】
ＳＴＥＰ８４で、画像処理ユニット１は、対象物の画像部分の中から頭部の画像であると推定される第１の画像部分を抽出する。なお、頭部の画像の抽出は、グレースケール画像における予め登録された頭部画像パターンとのパターンマッチングや、２値画像における特徴量の算出等の手法を用いて行うことができる。
【００６０】
そして、画像処理ユニット１は、基準マスク領域設定手段２２により前記第１の画像部分の外接四角形を基準マスク領域ＭＡＳＫ_Ｃとして設定し、基準マスク領域ＭＡＳＫ_Ｃよりも若干広い範囲を輝度マスク領域ＭＡＳＫ_Ｙとして設定する。また、比較マスク領域設定手段２３により、基準マスク領域ＭＡＳＫ_Ｃの左側近傍の領域を左方マスク領域ＭＡＳＫ_Ｌとして設定し、基準マスク領域ＭＡＳＫ_Ｃの右側近傍の領域を右方マスク領域ＭＡＳＫ_Ｒとして設定する。
【００６１】
なお、ＳＴＥＰ８４において、第１の画像部分を抽出するための構成が本発明の第１の画像部分抽出手段に相当し、第１の画像部分を抽出する工程が本発明の第１の画像部分抽出ステップに相当する。また、基準マスク領域ＭＡＳＫ_Ｃと輝度マスク領域ＭＡＳＫ_Ｙは、本発明の基準マスク領域に相当する。また、ＳＴＥＰ８４で、基準マスク領域ＭＡＳＫ_Ｃと輝度マスク領域ＭＡＳＫ_Ｙを設定する処理は本発明の車両周辺監視方法における基準マスク領域設定ステップに相当する。
【００６２】
例えば、図７（ａ）に示した撮像画像では、歩行者の頭部の画像であると推定される第１の画像部分ＨＰ_１の外接四角形が基準マスク領域ＭＡＳＫ_Ｃに設定される。また、基準マスク領域ＭＡＳＫ_Ｃの左側近傍に左方マスク領域ＭＡＳＫ_Ｌが設定され、基準マスク領域ＭＡＳＫ_Ｃの右側近傍に右方マスク領域ＭＡＳＫ_Ｒが設定される。また、図８（ａ）に示したように、基準マスク領域ＭＡＳＫ_Ｃよりも広い範囲に輝度マスク領域ＭＡＳＫ_Ｙが設定される。
【００６３】
次のＳＴＥＰ８５〜図６（ａ）のＳＴＥＰ９４，ＳＴＥＰ１００、及び図６（ｂ）のＳＴＥＰ１１０〜ＳＴＥＰ１１２，ＳＴＥＰ１２０は、歩行者認識手段２４（図１参照）による処理である。
【００６４】
歩行者認識手段２４は、ＳＴＥＰ８５で、実空間距離認識手段２０により、基準マスク領域ＭＡＳＫ_Ｃの画像部分に対応する実空間上の位置と車両１０との距離を基準距離ＤＩＳ_Ｃとして算出する。また、左方マスク領域ＭＡＳＫ_Ｌの画像部分に対応する実空間上の位置と車両１０との距離を左方比較距離ＤＩＳ_Ｌとして算出し、右方マスク領域ＭＡＳＫ_Ｒの画像部分に対応する実空間上の位置と車両１０との距離を右方比較距離ＤＩＳ_Ｒとして算出する。
【００６５】
また、ＳＴＥＰ８６で、歩行者認識手段２４は、各マスク領域（ＭＡＳＫ_Ｃ，ＭＡＳＫ_Ｌ，ＭＡＳＫ_Ｒ）のグレースケール画像における平均輝度（ＡＶＥ_Ｃ，ＡＶＥ_Ｌ，ＡＶＥ_Ｒ）を算出する。
【００６６】
続くＳＴＥＰ８７で、歩行者認識手段２４は、輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルを算出する。輝度プロファイルは、グレースケール画像における輝度マスク領域ＭＡＳＫ_Ｙの各画素の輝度値を、ｙ方向（垂直方向）に積算した積算輝度のｘ方向（水平方向）の分布である。
【００６７】
図８（ｂ）は、図８（ａ）の輝度マスク領域ＭＡＳＫ_Ｙについて算出された輝度プロファイルを示しており、横軸がグレースケール画像のｘ座標に設定され、縦軸が各ｘ座標における輝度の積算値（積算輝度）に設定されている。また、図中ｘ1は、図８（ａ）のＬＩＮＥ_１のｘ座標を示している。図８（ｂ）に示したように、歩行者の頭部の画像ＨＰ_1を含む輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルＹＰ_1は、頭部の画像部分ＨＰ_１の中心（ＬＩＮＥ_１）付近を積算輝度のピーク点として、該ピーク点から離れるに従って積算輝度が減少する特徴を有している。
【００６８】
次に、ＳＴＥＰ８８で、歩行者認識手段２４は、平均輝度に基づいて対象物が歩行者であるか否かを認識する。具体的には、基準マスク領域ＭＳＫ_Ｃの平均輝度ＡＶＥ_Ｃと左方マスク領域ＭＳＫ_Ｌの平均輝度ＡＶＥ_Ｌとの差が、予め設定された閾値ＡＶＥ_ＴＨ（本発明の第１の所定レベルに相当する）以上（ＡＶＥ_ＴＨ≦｜ＡＶＥ_Ｃ−ＡＶＥ_Ｌ｜）であり、且つ、基準マスク領域ＭＳＫ_Ｃの平均輝度ＡＶＥ_Ｃと右方マスク領域ＭＳＫ_Ｒの平均輝度ＡＶＥ_Ｒとの差が、閾値ＡＶＥ_ＴＨ（本発明の第２の所定レベルに相当する）以上（ＡＶＥ_ＴＨ≦｜ＡＶＥ_Ｃ−ＡＶＥ_Ｒ｜）である（以下、第１の歩行者認識条件という）ときに、歩行者認識手段２４は、対象物が歩行者の可能性があると認識する。
【００６９】
ここで、図７（ａ）を参照して、歩行者の頭部は赤外線の放射レベルが高いため、頭部の画像部分ＨＰ_１を含む基準マスク領域ＭＡＳＫ_Ｃの平均輝度ＡＶＥ_Ｃが大きくなるのに対して、赤外線の放射レベルが低い背景（壁等）である左方マスク領域ＭＡＳＫ_Ｌの平均輝度ＡＶＥ_Ｌと、右方マスク領域ＭＡＳＫ_Ｒの平均輝度ＡＶＥ_Ｒは小さくなる。そのため、前記第１の歩行者認識条件が満たされる。
【００７０】
一方、前記第１の歩行者認識条件が満たされないとき、すなわち、基準マスク領域ＭＡＳＫ_Ｃの平均輝度ＡＶＥ_Ｃと、左方マスク領域ＭＡＳＫ_Ｌの平均輝度ＡＶＥ_Ｌ及び右方マスク領域ＭＡＳＫ_Ｒの平均輝度ＡＶＥ_Ｒとの差が小さいときには、対象物が歩行者であるか否かを明確に判断することが困難である。
【００７１】
そこで、この場合はＳＴＥＰ８８から図６（ｂ）のＳＴＥＰ１１０に分岐する。そして、歩行者認識手段２４は、図７（ｂ）を参照して、基準マスク領域ＭＡＳＫ_Ｃ、左方マスク領域ＭＡＳＫ_Ｌ、及び右方マスク領域ＭＡＳＫ_Ｒの下方に下方検索領域ＡＲＥＡ_３を設定する。なお、このように下方検索領域ＡＲＥＡ_３を設定するための構成が本発明の下方検索領域設定手段に相当し、下方検索領域ＡＲＥＡ_３を設定する工程が本発明の車両周辺監視方法における下方領域設定ステップに相当する。
【００７２】
図７（ｂ）は、３人の歩行者が接近して存在している場合の画像を示しており、この場合は、基準マスク領域ＭＡＳＫ_Ｃに歩行者の頭部の画像部分ＨＰ_２が含まれると共に、左方マスク領域ＭＡＳＫ_Ｌに歩行者の頭部の画像部分ＨＰ_３が含まれ、右方マスク領域ＭＡＳＫ_Ｒにも歩行者の頭部の画像部分ＨＰ_４が含まれている。そのため、左方マスク領域ＭＡＳＫ_Ｌの平均輝度ＡＶＥ_Ｌと、右方マスク領域ＭＡＳＫ_Ｒの平均輝度ＡＶＥ_Ｒが大きくなり、前記第１の歩行者認識条件を満たさない状態となる。
【００７３】
そこで、歩行者認識手段２４は、図６（ｂ）のＳＴＥＰ１１１で、基準マスク領域ＭＡＳＫ_Ｃと左方マスク領域ＭＡＳＫ_Ｌ及び右方スク領域ＭＡＳＫ_Ｒの下方に設定した下方検索領域内で歩行者の脚部の画像であると推定される第２の画像部分を検索する。そして、脚部の画像と推定される画像部分が２個以上検出されなかったときは、続くＳＴＥＰ１１２から図６（ａ）のＳＴＥＰ１００に分岐して、歩行者認識手段２４は対象物は歩行者ではないと判定し、ＳＴＥＰ９４に進んで「歩行者判定処理」を終了する。
【００７４】
なお、このように、下方検索領域内で第２の画像部分を検索するための構成が本発明の第２の画像部分検索手段に相当し、下方検索領域内で第２の画像部分を検索する工程が本発明の車両周辺監視方法における第２の画像部分検索ステップに相当する。
【００７５】
また、歩行者の脚部の画像の検索は、上述した頭部の画像の場合と同様に、グレースケール画像における予め登録された脚部画像パターンとのパターンマッチングや、２値画像における特徴量の算出等の手法を用いて行うことができる。
【００７６】
例えば、図１０（ａ）は、３人の歩行者が接近して存在している場合の２値画像を示しており、基準マスク領域ＭＡＳＫ_Ｙの下方に設定された下方検索領域ＡＲＥＡ_５内で、幅Ｌwが所定範囲内（実空間における歩行者の脚部の幅を想定して予め設定される）であって、長さＬlが所定範囲内（実空間における歩行者の脚部の長さを想定して予め設定される）である部分を、第２の画像部分として検索した状態を示している。そして、この場合は、幅がＬw_９で長さがＬl_９であるＬＰ_９、幅がＬw_10で長さがＬl_10であるＬＰ_10、幅がＬw_11で長さがＬl_11であるＬＰ_11、及び幅がＬw_11で長さがＬl_12であるＬＰ_12が、第２の画像部分として検出される。
【００７７】
また、図１０（ｂ）は図１０（ａ）の下方検索領域ＡＲＥＡ_５の輝度プロファイルを示したものであり、縦軸が積算輝度に設定されて横軸がｘ座標に設定されている。この場合、輝度プロファイルＹＰ_３は、図１０（ａ）の第２の画像部分ＬＰ_９，ＬＰ_10，ＬＰ_11，ＬＰ_12に応じた４つの極大点（ｘ＝ｘ10，ｘ11，ｘ12，ｘ13の点）を有している。そこで、下方検索領域の輝度プロファイルが複数の極大点を有するときに、下方領域内に複数の第２の画像部分（脚部の画像部分）が存在すると判断するようにしてもよい。
【００７８】
一方、図６（ｂ）のＳＴＥＰ１１１で、下方検索領域内で第２の画像部分（歩行者の脚部の画像部分）が２個以上検出されたときには、ＳＴＥＰ１１２から図６（ａ）のＳＴＥＰ９３に進んで、歩行者認識手段２４は対象物の種別は歩行者であると判断し、ＳＴＥＰ９４に進んで「歩行者判定処理」を終了する。
【００７９】
なお、このように対象物の種別が歩行者であると判断するための構成が本発明の対象物種別判断手段に相当し、対象物の種別が歩行者であると判断する工程が本発明の車両周辺監視方法における対象物種別判断ステップに相当する。
【００８０】
例えば、図７（ｂ）においては、基準マスク領域ＭＡＳＫ_Ｂと左方マスク領域ＭＡＳＫ_Ｌ及び右方マスク領域ＭＡＳＫ_Ｒの下方に下方検索領域ＡＲＥＡ_３が設定される。そして、下方検索領域ＡＲＥＡ_３内での検索により、４個の第２の画像部分（歩行者の脚部の画像部分）ＬＰ_１、ＬＰ_２、ＬＰ_３、ＬＰ_４が検出される。そのため、対象物の種別は歩行者であると判断される。
【００８１】
このように、前記第１の歩行者認識条件を満たさない対象物に対して、ＳＴＥＰ１１０〜ＳＴＥＰ１１２の処理により第２の画像部分（歩行者の脚部の画像部分）を検索することで、図７（ｂ）に示したように、対象物が接近して存在する複数の歩行者である場合であっても、該対象物が歩行者であると判断することができる。
【００８２】
また、図５のＳＴＥＰ８８で、前記第１の歩行者認識条件が満たされるときにはＳＴＥＰ８９に進み、歩行者認識手段２４は、輝度プロファイルに基づいて対象物が歩行者であるか否かを判定する。具体的には、輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルが予め設定された基準態様（積算輝度のピーク点が１つ、ピーク点の積算輝度の値が所定値以上、ピーク点から離れるに従って積算輝度が次第に減少する等）を満たしている（以下、第２の歩行者認識条件という）ときに、歩行者認識手段２４は、対象物が歩行者である可能性があると認識する。
【００８３】
ここで、図８（ａ）に示したように、対象物が単独の歩行者であるときには、輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルは、図８（ｂ）に示した態様（ＹＰ_１）となって前記第２の歩行者認定条件を満たす（本発明の基準マスク領域の輝度分布が所定条件を満たすときに相当する）。そのため、対象物の種別が歩行者であると認識することができる。
【００８４】
それに対して、図９（ａ）に示したように、対象物が接近した複数の歩行者であるときには、輝度マスク領域ＭＡＳＫ_Ｙ内に３個の頭部の画像部分ＨＰ_５、ＨＰ_６、ＨＰ_７が含まれるため、輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルは、図９（ｂ）に示す態様（ＹＰ_２）となってピーク点が複数になる。そのため、前記第２の歩行者認識条件を満たさない（本発明の基準マスク領域の輝度分布が所定条件を満たさないときに相当する）。なお、図９（ｂ）のｘ2は、図９（ａ）のＬＩＮＥ_２に対応したｘ座標である。
【００８５】
そこで、この場合はＳＴＥＰ８９から図６（ｂ）ＳＴＥＰ１２０に分岐し、歩行者認識手段２４は、輝度マスク領域ＭＡＳＫ_Ｙの下方に下方検索領域を設定する。そして、上述した第１の歩行者認識条件が満たされなかった場合と同様に、ＳＴＥＰ１１１以下の処理を実行して、対象物が歩行者であるか否かを判定する。
【００８６】
なお、このように輝度マスク領域の下方に下方検索領域を設定するための構成が本発明の下方検索領域設定手段に相当し、下方検索領域を設定する工程が本発明の車両周辺監視方法における下方検索領域設定ステップに相当する。また、対象物の種別が歩行者であるか否かを判断するための構成が本発明の対象物種別判断手段に相当し、対象物の種別が歩行者であるか否かを判断する工程が本発明の車両周辺監視方法における対象物種別判断ステップに相当する。
【００８７】
例えば、図９（ｂ）においては、輝度マスク領域ＭＡＳＫ_Ｙの下方に下方検索領域ＡＲＥＡ_４が設定される。そして、下方検索領域ＡＲＥＡ_４内での検索により、歩行者の脚部の画像であると推定される４個の第２の画像部分ＬＰ_５、ＬＰ_６、ＬＰ_７、ＬＰ_８が検出される。そのため、対象物の種別は歩行者であると判断される。
【００８８】
このように、前記第２の歩行者認識条件を満たさない対象物に対して、ＳＴＥＰ１２０及びＳＴＥＰ１１１〜ＳＴＥＰ１１２の処理により歩行者の脚部の画像であると推定される第２の画像部分の検索を行うことで、図９（ａ）に示したように、対象物が接近して存在する複数の歩行者である場合であっても、該対象物が歩行者であると判断することができる。
【００８９】
次に、図５のＳＴＥＰ８９で、前記第２の歩行者認識条件が満たされるときにはＳＴＥＰ９０に進み、歩行者認識手段２４は、対象物と車両１０との距離に基づいて対象物が歩行者であるか否かを判定する。具体的には、上述したＳＴＥＰ８５で算出された基準距離ＤＩＳ_Ｃと左方比較距離ＤＩＳ_Ｌとの差が、予め設定された閾値ＤＩＳ_ＴＨ（本発明の第１の所定距離に相当する）以上（ＤＩＳ_ＴＨ≦｜ＤＩＳ_Ｃ−ＤＩＳ_Ｌ｜）であり、且つ、基準距離ＤＩＳ_Ｃと右方比較距離ＤＩＳ_Ｒとの差が、該閾値ＤＩＳ_ＴＨ（本発明の第２の距離差に相当する）である（ＤＩＳ_ＴＨ≦｜ＤＩＳ_Ｃ−ＤＩＳ_Ｒ｜）である（以下、第３の歩行者認識条件という）ときに、対象物の種別が歩行者である可能性があると認識する。
【００９０】
ここで、図７（ａ）に示したように、対象物が単独の歩行者であるときは、歩行者の頭部の画像部分を含む基準マスク領域ＭＡＳＫ_Ｃに対して、左方マスク領域ＭＡＳＫ_Ｌ及び右方マスク領域ＭＡＳＫ_Ｒは、歩行者の背景部分となる。そのため、基準距離ＤＩＳ_Ｃと左方比較距離ＤＩＳ_Ｒ及び右方比較距離ＤＩＳ_Ｌとの差が大きくなり、前記第３の歩行者認識条件が満たされる。
【００９１】
一方、前記第３の歩行者認識条件が満たされないとき、すなわち、基準距離ＤＩＳ_Ｃと左方比較距離との差が前記閾値ＤＩＳ_ＴＨよりも小さいとき、又は基準距離ＤＩＳ_Ｃと右方比較距離との差が前記閾値ＤＩＳ_ＴＨよりも小さいときには、対象物が歩行者であるか否かを明確に判断することが困難である。
【００９２】
そこで、この場合はＳＴＥＰ９０から図６（ｂ）のＳＴＥＰ１１０に分岐し、歩行者認識手段２４は、上述した第１の歩行者認識条件が満たされなかった場合と同様に、ＳＴＥＰ１１０以下の処理を実行して、対象物の種別が歩行者であるか否かを判断する。これにより、図７（ｂ）に示したように、複数の歩行者が接近して存在する場合であっても、対象物が歩行者であると判断することができる。
【００９３】
また、ＳＴＥＰ９０で前記第３の歩行者認識条件が満たされたときは、図６（ａ）のＳＴＥＰ９１に進み、歩行者認識手段２４は「肩部判定処理」を実行する。「肩部判定処理」は、図７（ａ）に示したように、基準マスク領域ＭＡＳＫ_Ｃの下方の左側に設定した検索領域ＡＲＥＡ_１と、基準マスク領域ＭＡＳＫ_Ｃの下方の右側に設定した検索領域ＡＲＥＡ_２において、それぞれ、肩から腕に相当する画像部分が存在するか否かを検索することにより実行される。
【００９４】
そして、検索領域ＡＲＥＡ_１及びＡＲＥＡ_２において、それぞれ、肩から腕に相当する画像部分が検出されたときに、続くＳＴＥＰ９２からＳＴＥＰ９３に進んで、歩行者認識手段２４は、対象物が歩行者であると判定する。そして、ＳＴＥＰ９４に進んで「歩行者判定処理」を終了する。一方、検索領域ＡＲＥＡ_１又はＡＲＥＡ_２において、肩から腕に相当する画像部分が検出されなかったときには、ＳＴＥＰ９２からＳＴＥＰ１００に分岐して、歩行者認識手段２４は対象物が歩行者ではないと判定する。そして、ＳＴＥＰ９４に進んで「歩行者判定処理」を終了する。
【００９５】
なお、本実施の形態では、「歩行者判定処理」において、図５のＳＴＥＰ８８で前記第１の歩行者認識条件により対象物が歩行者であるか否かを判定し、ＳＴＥＰ８９で前記第２の歩行者認識条件により対象物が歩行者であるか否かを判定し、ＳＴＥＰ９０で前記第３の歩行者認識条件により対象物が歩行者であるか否かを判定したが、これらの条件のうちの少なくともいずれか一つの条件を用いる場合であれば、本発明の効果を得ることができる。
【００９６】
また、本実施の形態においては、前記第１の歩行者判定条件における本発明の第１の所定レベルと第２の所定レベルを同一（ＡＶＥ_ＴＨ）としたが、異なる値に設定してもよい。
【００９７】
また、本実施の形態においては、前記第３の歩行者判定条件における本発明の第１の所定距離と第２の所定距離を同一（ＤＩＳ_ＴＨ）したが、異なる値に設定してもよい。
【００９８】
また、本実施の形態では、基準マスク領域ＭＡＳＫ_Ｃと左方マスク領域ＭＡＳＫ_Ｌと右方マスク領域ＭＡＳＫ_Ｒの輝度として、各領域の平均輝度を用いたが、各領域の代表値や中間値を用いてもよい。
【００９９】
また、本実施の形態では、本発明の輝度マスク領域の輝度分布が所定条件を満たすか否かの判断を、輝度マスク領域ＭＡＳＫ_Ｙの輝度プロファイルを用いて行ったが、輝度マスク領域の輝度分散等、他の指標を用いてもよい。
【０１００】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との衝突可能性を判断するようにしてもよい。
【０１０１】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
【０１０２】
また、本実施の形態において、実空間距離算出手段２０は、赤外線カメラ２Ｒの撮像画像と赤外線カメラ２Ｌの撮像画像の視差量に基いて車両１０と対象物との距離を算出したが、レーダー等による距離センサを用いて車両１０と対象物との距離を直接的に検知するようにしてもよい。
【０１０３】
また、本実施の形態では、歩行者認識手段２４は、下方検索領域（ＡＲＥＡ_３，ＡＲＥＡ_４，ＡＲＥＡ_５）内で、歩行者の脚部の画像であると推定される画像部分が２個以上検出されたときに、対象物の種別が歩行者であるか否かを判断したが、下方検索領域内で、複数の歩行者が所在する場合に応じて予め設定された特徴量を有する画像部分（本発明の第３の画像部分に相当する）と検索し、第３の画像部分が検出されたときに対象物の種別が歩行者であると判断するようにしてもよい。
【０１０４】
この場合は、例えば、図７（ｂ）に示したように、３人の歩行者の脚部に応じた画像パターンが検出されたときや、図１０（ａ）及び図１０（ｂ）に示したように、３人の歩行者の脚部に応じた画像プロファイルを有する画像部分が検出されたときに、対象物の種別が歩行者であると判断する。なお、このように第３の画像部分を検索する構成が、本発明の第３の画像部分検索手段に相当する。また、歩行者以外の種別の対象物に対しても、対象物が複数所在するときに応じた特徴量を有する画像部分を検索することによって、対象物が複数所在する場合における対象物の種別の判別精度を高めることができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】図１に示した画像処理ユニットにおける処理手順を示したフローチャート。
【図４】注意喚起判定処理のフローチャート。
【図５】歩行者判定処理のフロチャート。
【図６】歩行者判定処理のフローチャート。
【図７】頭部画像を含むマスク領域とその左右のマスク領域との比較により歩行者を認識する場合の説明図。
【図８】頭部画像を含むマスク領域の輝度プロファイルにより歩行者を認識する場合の説明図。
【図９】頭部画像を含むマスク領域の輝度プロファイルにより歩行者を認識する場合の説明図。
【図１０】歩行者の脚部画像の検出処理の説明図。
【符号の説明】
【０１０６】
１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…実空間距離認識手段、２１…移動ベクトル算出手段、２２…基準マスク領域設定手段段、２３…比較マスク領域設定手段、２４…歩行者認識手段
【図１】
2007334751.tif 000003
【図２】
2007334751.tif 000004
【図３】
2007334751.tif 000005
【図４】
2007334751.tif 000006
【図５】
2007334751.tif 000007
【図６】
2007334751.tif 000008
【図７】
2007334751.tif 000009
【図８】
2007334751.tif 000010
【図９】
2007334751.tif 000011
【図１０】
2007334751.tif 000012