(57)【要約】  レーダーにより検出された物体と車両との距離に基づいて、撮像画像Ｉm2内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域６１を設定する画像処理対象領域設定手段と、画像処理対象領域６１に基づく探索領域６４内で歩行者の頭部の特徴量を有する特徴領域を抽出する特徴領域抽出手段と、特徴領域６０ａが抽出されたときに、特徴領域６０ａの位置に基づいて、画像処理対象領域の範囲を６１から６２に補正する画像処理対象領域補正手段と、補正後の画像処理対象領域６２に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備える。これにより、監視対象物の画像部分を抽出する画像領域を、画像対象物の種別に応じて適切に設定することができる。
2008139529.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物体と該車両との距離を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段とを有し、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する車両周辺監視装置であって、
前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段と、
該特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、
該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記所定種別の監視対象物の大きさを示す対象物サイズデータを保持したデータ保持手段を備え、
前記画像領域対象領域設定手段は、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、該物体と路面との接触部に対応する前記撮像画像上の位置を検知し、該位置を基準として、前記対象物サイズデータを該距離により補正して決定した範囲を、前記画像処理対象領域として設定することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記所定種別は歩行者であり、
前記特定部位は歩行者の頭部であり、
前記対象物種別判別手段は、前記画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物が歩行者であるか否かを判別することを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段とを有し、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する車両周辺監視装置であって、
前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出手段と、
該輝度分布算出手段により算出された輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、
該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする車両周辺監視装置。
【請求項５】
所定種別の監視対象物の大きさを示す対象物サイズデータを保持したデータ保持手段を備え、
前記画像処理対象領域設定手段は、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、該物体と路面との接触部に対応する前記撮像画像上の位置を検知し、該位置を基準として、前記対象物サイズデータを該距離により補正して決定した範囲を、前記画像処理対象領域として設定することを特徴とする請求項５記載の車両周辺監視装置。
【請求項６】
請求項４又は請求項５記載の車両周辺監視装置において、
前記輝度分布算出手段は、前記輝度分布として、前記輝度算出領域の水平方向及び垂直方向の輝度のプロジェクションを算出することを特徴とする車両周辺監視装置。
【請求項７】
請求項４から請求項６のうちいずれか１項記載の車両周辺監視装置において、
前記画像処理対象領域補正手段により補正された前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段を備え、
前記画像処理対象領域補正手段は、前記特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲をさらに補正することを特徴とする車両周辺監視装置。
【請求項８】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータに、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、
前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段と、
該特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、
該第像処理領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項９】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータに、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムであって、該コンピュータを、
前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出手段と、
該輝度分布算出手段により算出された輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、
該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする車両周辺監視用プログラム。
【請求項１０】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータにより、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法であって、
前記コンピュータが、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定ステップと、
前記コンピュータが、前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出ステップと、
前記コンピュータが、前記特徴領域抽出ステップにより前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正ステップと、
前記コンピュータが、該画像処理対象領域補正ステップにより補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする車両周辺監視方法。
【請求項１１】
車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータにより、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法であって、
前記コンピュータが、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定ステップと、
前記コンピュータが、前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出ステップと、
前記コンピュータが、前記輝度分布算出ステップにより算出された前記輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正ステップと、
前記コンピュータが、前記画像処理対象領域補正ステップにより補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする車両周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたレーダーによる距離情報と車両に搭載された撮像手段による撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法に関する。
【背景技術】
【０００２】
従来より、車両にレーダーとカメラを併設し、レーダーによる距離検出データに基づいて、カメラの撮像画像において物体の画像部分が存在すると推定される画像領域を決定し、該画像領域（画像処理領域）を対象として監視対象物の画像部分を抽出する画像処理を行うようにした車両周辺監視装置が提案されている（例えば、特開２００６−１５１１２５号公報参照）。【０００３】
かかる従来の車両周辺監視装置によれば、距離検出データにより物体が存在するとして検出された測定位置を中心として、レーダーのビームプロファイル（ビームの伝播方向に直交する断面における二次元方向の拡がり）に応じた拡がりを持つ領域が画像処理領域に決定される。そして、このように画素処理領域を限定することにより、カメラの撮像画像全体に対して監視対象物の画像部分を抽出する画像処理を行う場合よりも、該画像処理に要する時間が短縮することが期待できる。【０００４】
しかし、レーダーのビームプロファイルはレーダービームが照射される物体表面の反射特性によって変化する。そのため、レーダービームを反射し難い物体については、レーダーにより検出された物体の距離情報に基づいて、監視対象物の画像部分を抽出する画像領域を決定したときに、該画像領域に該物体の画像部分の一部が含まれなくなる等の不都合が生じる場合がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記背景を鑑みてなされものであり、監視対象物の画像部分を抽出する画像処理領域を、監視対象物の種別に応じて適切に設定することができる車両周辺監視装置、車両周辺監視用プログラム、及び車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて該車両周囲の第１監視範囲内に所在する物体と該車両との距離を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段とを有し、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する車両周辺監視装置に関する。【０００７】
そして、本発明の車両周辺監視装置の第１の態様は、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段と、該特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。【０００８】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域が設定される。そして、前記特徴量抽出手段により前記特徴領域が抽出されたときに、前記画像処理対象領域補正手段により、該特徴領域の位置に基づいて前記画像処理対象領域の範囲が補正される。このように、前記画像処理対象領域を前記特徴領域の位置に基づいて補正することによって、前記特徴量を有する画像部分の全体或いは主要部が含まれるように、前記画像処理対象領域の範囲を適切に補正することができる。そして、前記対象物種別判別手段により、補正後の前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別することによって、対象物種別判別の精度を高めることができる。【０００９】
また、前記所定種別の監視対象物の大きさを示す対象物サイズデータを保持したデータ保持手段を備え、前記画像領域対象領域設定手段は、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、該物体と路面との接触部に対応する前記撮像画像上の位置を検知し、該位置を基準として、前記対象物サイズデータを該距離により補正して決定した範囲を、前記画像処理対象領域として設定することを特徴とする。【００１０】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記第２監視範囲内の路上に所在する所定種別の監視対象物の大きさに応じて前記画像処理対象領域を設定することができる。そして、このように前記画像処理対象領域を設定することによって、前記特徴領域抽出手段による前記特徴領域の抽出、及び前記画像処理対象領域補正手段による前記画像処理対象領域の補正を、対象とする画像領域の範囲を監視対象物の種別に応じて限定して、効率良く行うことができる。【００１１】
また、前記対象物種別判別手段は、前記画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物が歩行者であるか否かを判別することを特徴とする。【００１２】
かかる本発明によれば、前記画像処理対象領域補正手段により、歩行者の画像部分の全体或いは主要部が前記画像処理対象領域に含まれるように、前記画像処理対象領域を補正して、前記対象物種別判別手段により、監視対象物が歩行者であるか否かを判別することができる。【００１３】
また、本発明の車両周辺監視装置の第２の態様は、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出手段と、該輝度分布算出手段により算出された輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。【００１４】
かかる本発明によれば、詳細は後述するが、前記画像処理対象領域に基づいて設定された前記輝度算出領域における輝度分布から、前記輝度算出領域に含まれる画像部分の位置を認識することができる。そこで、前記画像処理対象領域補正手段により、前記輝度算出領域における画素の輝度分布に基づいて、監視対象物の画像部分の全体或いは主要部が含まれるように、前記画像処理対象領域の範囲を補正することができる。そして、前記対象物種別判別手段により、補正後の前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別することによって、対象物種別判別の精度を高めることができる。【００１５】
また、所定種別の監視対象物の大きさを示す対象物サイズデータを保持したデータ保持手段を備え、前記画像処理対象領域設定手段は、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との距離に基づいて、該物体と路面との接触部に対応する前記撮像画像上の位置を検知し、該位置を基準として、前記対象物サイズデータを該距離により補正して決定した範囲を、前記画像処理対象領域として設定することを特徴とする。【００１６】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記第２監視範囲内の路上に所在する所定種別の監視対象物の大きさに応じて前記画像処理対象領域を設定することができる。そして、このように前記画像処理対象領域を設定することによって、前記輝度分布算出手段による前記輝度分布の算出、及び前記画像処理対象領域補正手段による前記画像処理対象領域の補正を、対象とする画像領域の範囲を監視対象物の種別に応じて限定して、効率良く行うことができる。【００１７】
また、前記輝度分布算出手段は、前記輝度分布として、前記輝度算出領域の水平方向及び垂直方向の輝度のプロジェクションを算出することを特徴とする。【００１８】
ここで、前記輝度算出領域の水平座標の輝度のプロジェクションとは、前記撮像画像における前記輝度算出領域の各水平座標について、各画素の輝度値を合計した分布態様をいう。また、前記輝度算出領域の垂直座標の輝度のプロジェクションとは、前記撮像画像における前記輝度算出領域の各垂直座標について、各画素の輝度値を合計した分布態様をいう。そして、前記輝度算出領域の輝度分布として、前記輝度算出領域の水平座標及び垂直座標の輝度のプロジェクションを用いることにより、前記輝度算出領域の全体的な輝度分布を容易に認識して、前記輝度算出領域内に存在する画像部分の位置を検知することができる。【００１９】
また、前記画像処理対象領域補正手段により補正された前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段を備え、前記画像処理対象領域補正手段は、前記特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲をさらに補正することを特徴とする。【００２０】
かかる本発明によれば、前記画像処理対象領域補正手段は、前記輝度分布算出手段により算出された輝度分布に基づいて補正した前記画像処理対象領域に対して、前記特徴領域抽出手段により抽出された前記特徴領域の位置に基づいて更に補正を行う。これにより、前記画像処理対象領域設定手段により設定された前記画像処理対象領域に、前記特徴領域が含まれていなかった場合であっても、前記輝度分布から監視対象物の画像部分が含まれるように前記画像処理対象領域を補正することができる。そして、このように補正された前記画像処理対象領域について、前記特徴領域の位置に基づいてさらに補正を行うことにより、前記特徴量を有する画像部分の全体或いは主要部が含まれるように、前記画像処理対象領域の範囲を補正することができる。そのため、前記対象物種別判別手段による対象物種別判別の精度を高めることができる。【００２１】
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータに、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する機能を実現させるためのプログラムに関する。【００２２】
そして、本発明の車両周辺監視用プログラムの第１の態様は、該コンピュータを、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出手段と、該特徴領域抽出手段により前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、該第像処理領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする。【００２３】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることにより、上述した第１の態様の車両周辺監視装置における前記画像処理対象領域設定手段、前記特徴領域抽出手段、前記画像処理対象領域補正手段、及び前記対象物種別判別手段を構成することができる。【００２４】
また、本発明の車両周辺監視用プログラムの第２の態様は、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出手段と、該輝度分布算出手段により算出された輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正手段と、該画像処理対象領域補正手段により補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別手段として機能させることを特徴とする。【００２５】
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることにより、上述した第２の態様の車両周辺監視装置における前記画像処理対象領域設定手段、前記輝度分布算出手段、前記画像処理対象領域補正手段、及び前記対象物種別判別手段を構成することができる。【００２６】
次に、本発明の車両周辺監視方法は、車両に搭載されて該車両周囲の第１監視範囲内に所在する物と該車両との距離を検出するレーダーの検出信号を入力する手段と、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する撮像手段の撮像画像にアクセスする手段とを有するコンピュータにより、該レーダーによる距離情報と該撮像手段による撮像画像に基づいて、該車両周辺を監視する方法に関する。【００２７】
そして、本発明の車両周辺監視方法の第１の態様は、前記コンピュータが、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定ステップと、前記コンピュータが、前記画像処理対象領域に基づいて設定した探索領域内で、所定種別の監視対象物の特定部位に応じて設定された特徴量を有する特徴領域を抽出する特徴領域抽出ステップと、前記コンピュータが、前記特徴領域抽出ステップにより前記特徴領域が抽出されたときに、前記特徴領域の位置に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正ステップと、前記コンピュータが、該画像処理対象領域補正ステップにより補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする。【００２８】
かかる本発明によれば、前記画像処理対象領域設定ステップにより、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、監視対象物の画像部分が含まれる可能性がある前記画像処理対象領域が設定される。そして、前記特徴量抽出ステップにより前記特徴領域が抽出されたときに、前記画像処理対象領域補正ステップにより、前記特徴領域の位置に基づいて前記画像処理対象領域の範囲が補正される。このように、前記画像処理対象領域を前記特徴領域に基づいて補正することによって、前記特徴量を有する画像部分の全体或いは主要部が含まれるように、前記画像処理対象領域の範囲を適切に補正することができる。そして、前記対象物種別判別ステップにより、補正後の前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別することによって、対象物種別判別の精度を高めることができる。【００２９】
また、本発明の車両周辺監視方法の第２の態様は、前記コンピュータが、前記レーダーにより検出された前記第２監視範囲内に所在する物と前記車両との距離に基づいて、前記撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定ステップと、前記コンピュータが、前記画像処理対象領域に基づいて設定した輝度算出領域の輝度分布を算出する輝度分布算出ステップと、前記コンピュータが、前記輝度分布算出ステップ第２画像処理領域における画素の輝度分布に基づいて、前記画像処理対象領域の範囲を補正する画像処理対象領域補正ステップと、前記コンピュータが、前記画像処理対象領域補正ステップにより補正された前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別する対象物種別判別ステップとを含むことを特徴とする。【００３０】
かかる本発明によれば、詳細は後述するが、前記画像処理対象領域に基づいて設定された前記輝度算出領域における輝度分布から、前記輝度算出領域に含まれる画像部分の位置を認識することができる。そこで、前記画像処理対象領域補正ステップにより、前記輝度算出領域における画素の輝度分布に基づいて、監視対象物の画像部分の全体或いは主要部が含まれるように、前記画像処理対象領域の範囲を補正することができる。そして、前記対象物種別判別ステップにより、補正後の前記画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の対象物の種別を判別することによって、対象物種別判別の精度を高めることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の車両周囲監視装置の構成図。
【図２】図１に示した車両周囲監視装置の車両への取り付け態様の説明図。
【図３】本発明の第１の実施形態における歩行者判別処理の処理手順を示したフローチャート。
【図４】レーダーによる監視対象物の測距データに基づいて、画像処理対象領域を設定する処理の説明図。
【図５】頭部の画像部分の位置に基づいて、画像処理対象領域の範囲を補正する処理の説明図。
【図６】画像処理対象領域の範囲を補正して、画像部分の輪郭線抽出を行うことによる効果を示した説明図。
【図７】本発明の第２の実施形態における歩行者判別処理の処理手順を示したフローチャート。
【図８】輝度のプロジェクションに基づいて、画像処理対象領域の範囲を補正する処理の説明図。
【図９】本発明の第３の実施形態における歩行者判別処理の処理手順を示したフローチャート。
【発明を実施するための最良の形態】
【００３２】
本発明の実施の形態について、図１〜図９を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明の撮像手段に相当する）と、レーザー光線を物体に照射して物体と車両間の距離を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。【００３３】
画像処理ユニット１は、赤外線カメラ２により得られる画像から車両前方の監視対象物の種別（歩行者、動物等）を判別し、監視対象物と車両が接触する可能性が高い場合に警報を出力する。そして、車両周囲監視装置は、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。【００３４】
次に、図２を参照して、車両周囲監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダーは、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。【００３５】
また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。【００３６】
画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路（本発明の撮像手段の撮像画像にアクセルする手段に相当する）と、レーザーレーダー８による距離の検出信号を入力するためのインターフェース回路（本発明のレーダーの検出信号を入力する手段）とを有している。【００３７】
そして、画像処理ユニット１は、該画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。【００３８】
また、前記コンピュータに、本発明の車両監視用プログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による第１監視範囲内に所在する物体の距離情報に基づいて、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２０、所定種別の監視対象物の特定部位の特徴量を有する画像部分を、特徴領域として抽出する特徴領域抽出手段２１、水平方向及び垂直方向の輝度のプロジェクションを算出するプロジェクション算出手段２４、該特徴領域の位置又は該プロジェクションに基づいて画像処理対象領域の範囲を補正する画像処理対象領域補正手段２２、及び補正後の画像処理対象領域に含まれる画像部分について、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段２３として機能する。なお、本実施の形態では、対象物種別判別手段２３は、監視対象物の種別が歩行者であるか否かを判別する。【００３９】
そして、これらの手段により、本発明の車両周囲監視方法における画像処理対象領域設定ステップ、特徴領域抽出ステップ、プロジェクション算出ステップ、画像処理対象領域補正ステップ、及び対象物種別判別ステップが実行される。【００４０】
［第１の実施の形態］本発明の第１の実施の形態における画像処理ユニット１による監視対象物の種別の判別方法について、図３に示したフローチャートに従って説明する。【００４１】
画像処理ユニット１は、先ず、ＳＴＥＰ１とＳＴＥＰ２０とＳＴＥＰ３０の処理を並列して実行する。ＳＴＥＰ１で、画像処理ユニット１は車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出する。また、ＳＴＥＰ２０で、画像処理ユニット１はレーザーレーダー８による第１監視領域の測距データを入力する。また、ＳＴＥＰ３０で、画像処理ユニット１は赤外線カメラ２による赤外線画像を入力する。【００４２】
続くＳＴＥＰ２で、画像処理ユニット１は、レーザーレーダー８による測距データに基づいて、回頭角補正を行いつつ第１監視領域内に所在する監視対象物のトラッキングを行う。次のＳＴＥＰ３，ＳＴＥＰ４は、画像処理対象領域設定手段２０による処理である。画像処理対象領域設定手段２０は、ＳＴＥＰ３で監視対象物と路面との交点を推定し、ＳＴＥＰ４で該交点を基準として画像処理対象領域を設定する。なお、ＳＴＥＰ４により画像処理対象領域を設定する工程が、本発明の画像処理対象領域設定ステップに相当する。【００４３】
図４は、レーザーレーダー８による測距データと歩行者の体格データに基づいて、赤外線画像上に画像処理対象領域を設定する方法の説明図である。図４の左側は、車両１０の進行方向をＶz、鉛直方向をＶy、車幅方向をＶxとして、実空間における時点ｔkでの車両１０の前方の監視対象物（本実施形態では歩行者）５２ａ，５４ａの測距状況を示したものである。また、図４の右側は、時点ｔkにおける赤外線カメラ２の撮像画像Ｉm1を示したものである。【００４４】
図４では、歩行者５２ａと車両１０との距離Ｖz1(tk)と、歩行者５４ａと車両１０との距離Ｖz2(tk)が測定されている。そして、画像処理対象領域設定手段２０は、歩行者５２ａについて、歩行者５２ａと路面との交点を基準として、歩行者の体格データ（一般的な歩行者よりも大きめに設定されて、図示しないメモリに予め保持されている。本発明の対象物サイズデータに相当する）に応じて設定した範囲５１ａ（Ｖb1(tk)×Ｖh1(tk)）を、歩行者５２ａと車両１０との距離Ｖz1(tk)に基づいて縮小した画像処理対象領域５１ｂを撮像画像Ｉm1上に設定する。【００４５】
同様に、画像処理対象領域設定手段２０は、歩行者５４ａについて、歩行者５４ａと路面との交点を基準として、歩行者の体格データに応じて設定した範囲５３ａ（Ｖb2(tk)×Ｖh2(tk)）を、歩行者５４ａと車両１０との距離Ｖz2(tk)に基づいて縮小した画像処理対象領域５３ｂを設定する。【００４６】
このように、路面との交点を基準として、歩行者の体格データに基づいて、歩行者５２ａと歩行者５４ａについての画像処理対象領域５１ａ，５３ｂを設定することで、歩行者５２ａの画像部分５２ｂの全体が含まれるように画像処理対象領域５１ｂが設定され、歩行者５４ａの画像部分５４ｂの全体が含まれるように画像処理対象領域５３ｂが設定されることが期待できる。【００４７】
しかし、実際には、歩行者の姿勢や、車両のピッチング、レーダーの分解能等によって、画像処理対象領域内に歩行者の画像部分の全体が含まれない場合がある。図５（ａ）は、このような場合を示したものであり、歩行者の画像部分６０の路面との接地部分６０ｂを基準として設定された画像処理対象領域６１から、歩行者の画像部分の一部（一方の脚に相当する部分）がはみ出してしまっている。【００４８】
ここで、図６（ａ）は、このように、歩行者の画像部分６０の全体が含まれていない画像処理対象領域６１に対して、後述するＳＴＥＰ７，８の輪郭線抽出処理を行った場合を示している。この場合、画像Ｉm4で画像処理対象領域６１について設定されたイニシャル楕円輪郭線６５ａから抽出される画像Ｉm5の輪郭線６５ｂの形状が、予め設定された歩行者判別用の形状から乖離したものとなるため、画像部分６０に対応した実空間上の対象物を、歩行者であると判定することができなくなる。【００４９】
そこで、画像処理ユニット１は、ＳＴＥＰ５〜ＳＴＥＰ６により、図５（ａ），図５（ｂ）に示したように、画像部分６０の特徴領域６０ａを抽出して画像処理対象領域６１の範囲を補正する処理を行う。なお、ＳＴＥＰ５により特徴領域を抽出する工程が、本発明の特徴領域抽出ステップに相当する。また、ＳＴＥＰ６により画像処理対象領域を補正する工程が、本発明の画像処理対象領域補正ステップに相当する。【００５０】
ＳＴＥＰ５は特徴領域抽出手段２１による処理である。特徴領域抽出手段２１は、本実施の形態の監視対象物である歩行者の頭部（本発明の特定部位に相当する）に応じて設定された特徴量を有する特徴領域を、画像処理対象領域６１の上方部分を水平座標方向（図の左右方向）に拡大して設定した探索領域６４から抽出する。具体的には、特徴領域抽出手段２１は、画像処理対象領域６１の部分画像から、歩行者の身長から仮定したサイズ（例えば歩行者の身長の1/14の直径とする）円モデルの円周及び該円周±１画素の範囲に属するエッジ画素の総数を特徴量として、特徴領域６０ａを抽出する。【００５１】
また、ＳＴＥＰ６は画像処理対象領域補正手段２２による処理である。画像処理対象領域補正手段２２は、図５（ａ）に示したように、特徴領域抽出手段２１により特徴された頭部の画像部分６０ａの位置を基準として、画像処理対象領域６１の範囲を６２に補正する。具体的には、画像処理対象領域補正手段２２は、水平方向については、頭部の画像部分６０ａが画像処理対象領域６２の水平方向の中央付近に位置するように補正をし、垂直方向については、頭部の画像部分６０ａが画像処理対象領域６２の上端付近に位置するように補正をする。これにより、補正後の画像処理対象領域６２内に歩行者の画像部分６０が含まれる状態とすることができる。【００５２】
続くＳＴＥＰ７〜ＳＴＥＰ９は対象物種別判別手段２３による処理である。図６（ｂ）を参照して、対象物種別判別手段２３は、ＳＴＥＰ７で画像処理対象領域６２内でイニシャル楕円輪郭線６６ａを設定する。また、ＳＴＥＰ８でイニシャル楕円輪郭６６ａを収束させて、画像部分６０の輪郭線６６ｂを抽出する。なお、輪郭線６６ｂの抽出は、公知の動的輪郭検出法（Snakes）等を用いて行われる。【００５３】
そして、次のＳＴＥＰ９で、対象物種別判別手段２３は、抽出した輪郭線６６ｂの形状から、画像部分６６ｂに対応する実空間上の監視対象物が歩行者であるか否かを判別する。なお、ＳＴＥＰ７〜ＳＴＥＰ９により監視対象物が歩行者であるか否かを判別する工程が、本発明の対象物種別判別ステップに相当する。【００５４】
画像処理ユニット１は、画像部分６６ｂに対応する実空間上の監視対象物が歩行者であると判別したときは、ＨＵＤ７に画像部分６６ｂの位置を強調した表示をし、また、スピーカ５から注意を喚起する音声を出力する。【００５５】
［第２の実施形態］次に、本発明の第２の実施の形態における画像処理ユニット１による監視対象物の種別の判別方法について、図７に示したフローチャートに従って説明する。図７のＳＴＥＰ１からＳＴＥＰ４、ＳＴＥＰ２０、及びＳＴＥＰ３０は、上述した図３と同様なので、説明を省略する。【００５６】
ＳＴＥＰ４０は、プロジェクション算出手段２４による処理であり、プロジェクション算出手段２４は、図８に示したように、ＳＴＥＰ４で画像処理対象領域設定手段２０により設定された画像Ｉm8の画像処理対象領域７１に基づいて、画像処理対象領域７１を含み、画像処理対象領域７１よりも広い輝度算出領域７３を設定する。【００５７】
そして、プロジェクション算出手段２４は、輝度算出領域７３の水平方向の輝度のプロジェクション８０と、垂直方向の輝度のプロジェクション８１とを算出する。ここで、輝度のプロジェクションは、水平方向については、輝度算出領域７３の各水平座標ｘ80，ｘ81，…，ｘ8nに対して各画素の輝度値を合計して算出する。例えば、ｘ80については、（ｘ80，ｙ90），（ｘ80，ｙ91），…，（ｘ80，ｙ9m）の輝度値を合計する。【００５８】
また、垂直方向については、輝度算出領域７３の各垂直座標ｙ90，ｙ91，…，ｙ9mに対して各画像の輝度を合計して算出する。例えば、ｙ90については、（ｘ80，ｙ90），（ｘ81，ｙ90），…，（ｘ8n，ｙ90）の輝度値を合計する。なお、ＳＴＥＰ４０により水平方向及び垂直方向の輝度のプロジェクションを算出する工程が、本発明のプロジェクション算出ステップに相当する。【００５９】
次のＳＴＥＰ４１は画像処理対象領域補正手段２２による処理である。画像処理対象領域補正手段２２は、水平方向及び垂直方向の輝度のプロジェクションから、輝度値の合計が大きい水平及び垂直座標の範囲が含まれるように、画像処理対象領域の範囲を７１から７２に補正する。これにより、補正後の画像処理対象領域７２内に、画像部分７０を含ませることができる。なお、ＳＴＥＰ４１により画像処理対象領域の範囲を補正する工程が、本発明の画像処理対象領域補正ステップに相当する。【００６０】
続くＳＴＥＰ４２〜ＳＴＥＰ４４は上述した図３のＳＴＥＰ７〜ＳＴＥＰ９と同様の処理であり、対象物種別判別手段２３により、補正後の画像処理対象領域７２に含まれる画像部分７０の輪郭線が抽出されて、画像部分７０に対応する実空間上の監視対象物が歩行者であるか否かが判別される。なお、ＳＴＥＰ４２〜ＳＴＥＰ４４により監視対象物が歩行者であるか否かを判別する工程が、本発明の対象物種別判別ステップに相当する。【００６１】
なお、本第２の実施形態では、本発明の輝度分布として水平座標及び垂直座標の輝度のプロジェクションを算出したが、他の態様により、例えば、輝度算出領域を複数のサブ領域に分割し、各サブ領域の画素の輝度値を合計若しくは平均した指標値を輝度分布として算出してもよい。【００６２】
［第３の実施形態］次に、本発明の第３の実施の形態における画像処理ユニット１による監視対象物の種別の判別方法について、図７に示したフローチャートに従って説明する。図７のＳＴＥＰ１からＳＴＥＰ４、ＳＴＥＰ２０、ＳＴＥＰ３０、ＳＴＥＰ４０、ＳＴＥＰ４２〜ＳＴＥＰ４４は、上述した図７と同様なので、説明を省略する。【００６３】
本第３の実施形態においては、ＳＴＥＰ４１により、画像処理対象領域補正手段２２が、水平方向及び垂直方向の輝度のプロジェクションに基づいて、上述したように画像処理対象領域の範囲を補正した後、ＳＴＥＰ４１−１，ＳＴＥＰ４１−２の処理が実行される。【００６４】
ＳＴＥＰ４１−１の処理は、上述した図３のＳＴＥＰ５の処理と同様であり、特徴領域抽出手段２１が、歩行者の頭部に対応して設定された特徴量を有する特徴領域を、探索領域から抽出する。また、ＳＴＥＰ４１−２の処理は、上述した図３のＳＴＥＰ６の処理と同様であり、画像処理対象領域補正手段２２が、特徴領域（歩行者の頭部の画像部分）の位置に基づいて画像処理対象領域の範囲を補正する。【００６５】
このように、先ず、ＳＴＥＰ４０〜ＳＴＥＰ４１により水平方向及び垂直方向の輝度のプロジェクションに基づいて画像処理対象領域の範囲を補正することで、ＳＴＥＰ４で設定された画像処理対象領域に特徴領域が含まれていない場合であっても、画像処理対象領域の補正を行うことができる。【００６６】
そして、次に、ＳＴＥＰ４１−１〜ＳＴＥＰ４１−２の処理により、特徴領域の位置に基づいて画像処理対象領域の範囲を補正することによって、監視対象物の種別（本実施の形態では歩行者）を限定して、監視対象物の形状に適応した画像処理対象領域を設定することができる。【００６７】
なお、本実施の形態では、本発明の特定種別が歩行者である場合を示したが、大型動物や他の車両等を特定種別として、撮像画像に含まれる画像部分に対応する実空間上の物体が該特定種別の監視対象物であるか否かを判断する場合にも、本発明を適用することができる。【００６８】
また、本実施の形態では、対象物種別判別手段２３は、補正後の画像処理対象領域内で輪郭線抽出を行って監視対象物の種別を判別したが、輪郭線抽出を行わずに、予め登録された比較パターンとのパターンマッチング処理や、画像部分の重心，面積，縦横比等の特徴量の抽出処理により、監視対象物の種別を判別してもよい。【００６９】
また、本実施の形態では、図４に示したように、レーザーレーダ８の測距データから物体と路面との接点を検知し、該接点と体格データに基づいて画像処理対象領域５１ｂ，５３ｂを設定したが、該接点及び体格データによらずに、レーザーレーダ８の測距データから直接的に画像処理対象領域を設定してもよい。【００７０】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。【００７１】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【産業上の利用可能性】
【００７２】
以上のように、本発明は、車両前方の撮像画像において、監視対象物の画像部分を抽出する画像処理対象領域を、監視対象物の種別に応じて適切に設定することができるため、車両周辺監視のために有用である。
【図１】
2008139529.tif 000003
【図２】
2008139529.tif 000004
【図３】
2008139529.tif 000005
【図４】
2008139529.tif 000006
【図５】
2008139529.tif 000007
【図６】
2008139529.tif 000008
【図７】
2008139529.tif 000009
【図８】
2008139529.tif 000010
【図９】
2008139529.tif 000011
【国際調査報告】
2008139529.tif 000012
2008139529.tif 000013
2008139529.tif 000014
2008139529.tif 000015