(57)【要約】【課題】車載撮像装置を通じて得られた画像において歩行者等の対象物の一部がその背景と重なった場合でも、当該対象物の存在を高精度で検知することができる装置等を提供する。【解決手段】赤外線カメラ１０２を通じて得られた画像において対象物が存在する領域が第１領域Ａ1iとして設定され、当該第１領域Ａ1iの下方領域が第２領域Ａ2iとして設定される。また、第２領域Ａ2iにおいて対象物の特徴が抽出され、当該抽出結果に基づき、対象物が識別される。これにより、第１領域Ａ1iが設定されたにもかかわらず、画像において対象物の上部が背景に重なっているために対象物の上部の特徴が抽出されない場合でも、第２領域Ａ2iにおいて対象物の下部の特徴が抽出されることにより当該対象物が高精度で識別されうる。【選択図】  図１
2008271165.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、
前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、
該第１処理部により設定された該第２領域において該対象物の特徴を抽出する第２処理部と、
該第２処理部による抽出結果に基づき、該対象物を識別する第３処理部とを備えていることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記第１処理部が前記車両から前記対象物までの距離を測定し、
該第１処理部による測定距離が所定距離範囲にあることを要件として、前記第２処理部が該対象物の特徴を抽出することを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記第１処理部が前記第１処理部により設定された、前記対象物が存在する前記第１または第２領域の下端の路面からの高さを測定し、
該第１処理部による測定高さが所定高さ範囲にあることを要件として、前記第２処理部が該対象物の特徴を抽出することを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のうちいずれか１つに記載の車両周辺監視装置において、
前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物の正または負エッジラインと、該正または負エッジラインのそれぞれの長さとを抽出し、
前記第３処理部が、長さが第１長さ範囲にある３つ以上の該正または負エッジラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする車両周辺監視装置。
【請求項５】
請求項１〜３のうちいずれか１つに記載の車両周辺監視装置において、
前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物のエッジラインと、該エッジラインの長さと、２つの該エッジラインの上部横方向間隔および下部横方向間隔とを抽出し、
前記第３処理部が、長さが第２長さ範囲にあり、かつ、該上部横方向間隔の該下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの該エッジラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする車両周辺監視装置。
【請求項６】
請求項５記載の車両周辺監視装置において、
前記第２処理部が前記２つのエッジラインのそれぞれを構成するエッジ点の総数を当該２本のエッジラインのそれぞれの長さとして測定し、
前記第２領域の上部領域および下部領域のそれぞれにおける前記２つのエッジラインのそれぞれを構成する同じ高さにあるエッジ点の平均横方向間隔を当該２つのエッジラインの上部横方向間隔および下部横方向間隔のそれぞれとして測定することを特徴とする車両周辺監視装置。
【請求項７】
請求項１〜３のうちいずれか１つに記載の車両周辺監視装置において、
前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物の輝度ピークラインと、２つの該輝度ピークラインの横方向間隔とを抽出し、
前記第３処理部が、横方向間隔が所定範囲内に含まれている２つの該輝度ピークラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする車両周辺監視装置。
【請求項８】
車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、
前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理と、
該第１処理において設定された該第２領域において該対象物の特徴を抽出する第２処理と、
該第２処理における抽出結果に基づき、該対象物を識別する第３処理とを実行することを特徴とする車両周辺監視方法。
【請求項９】
車両に搭載されているコンピュータを、該車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置として機能させるプログラムであって、
前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、
該第１処理部により設定された該第２領域において該対象物の特徴を抽出する第２処理部と、
該第２処理部による抽出結果に基づき、該対象物を識別する第３処理部として前記コンピュータを機能させることを特徴とする車両周辺監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置等に関する。
【背景技術】
【０００２】
車載の赤外線カメラにより撮像された車両周辺の画像に基づき、当該車両と接触する可能性がある歩行者等、対象物の存在を認識するための技術が提案されている（たとえば、特許文献１参照）。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、当該画像において歩行者の頭部や上半身等とその背景にある建造物とが重なると、この歩行者の存在を設定することが困難となる場合がある。
【０００４】
そこで、本発明は、車載撮像装置を通じて得られた画像において歩行者等の対象物の一部がその背景と重なった場合でも、当該対象物の存在を高精度で検知することができる装置等を提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための第１発明の車両周辺監視装置は、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、該第１処理部により設定された該第２領域において該対象物の特徴を抽出する第２処理部と、該第２処理部による抽出結果に基づき、該対象物を識別する第３処理部とを備えていることを特徴とする。
【０００６】
第１発明の車両周辺監視装置によれば、撮像装置を通じて得られた画像において対象物が存在する領域が第１領域として設定され、当該対象物の下部を包含する第１領域の下方領域が第２領域として設定される。これにより、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物の上部の特徴が抽出されない場合でも、第２領域において対象物下部の特徴が抽出されることにより当該対象物が高精度で識別されうる。
【０００７】
また、第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理部が前記車両から前記対象物までの距離を測定し、該第１処理部による測定距離が所定距離範囲にあることを要件として、前記第２処理部が該対象物の特徴を抽出することを特徴とする。
【０００８】
第２発明の車両周辺監視装置によれば、車両から対象物までの測定距離に鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。
【０００９】
さらに、第３発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理部が前記第１処理部により設定された、前記対象物が存在する前記第１または第２領域の下端の路面からの高さを測定し、該第１処理部による測定高さが所定高さ範囲にあることを要件として、前記第２処理部が該対象物の特徴を抽出することを特徴とする。
【００１０】
第３発明の車両周辺監視装置によれば、路面を基準とした第１または第２領域の下端部の位置に鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。
【００１１】
また、第４発明の車両周辺監視装置は、第１〜第３発明のうちいずれか１つに記載の車両周辺監視装置において、前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物の正または負エッジラインと、該正または負エッジラインのそれぞれの長さとを抽出し、前記第３処理部が、長さが第１長さ範囲にある３つ以上の該正または負エッジラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする。
【００１２】
第４発明の車両周辺監視装置によれば、撮像装置を通じて得られた画像に人間（歩行者）が含まれる場合、第２領域においてその両脚を表す２本の正エッジライン（または負エッジライン）が検出されるのが通常であるところ、３本以上の正エッジラインが検出された場合でも当該正エッジラインのそれぞれの長さに鑑みて人間およびこれ以外の対象物が識別されうる。これにより、画像において人間の両脚の隙間から建造物等が覗いている等の理由により、当該両脚を表している２本の正エッジラインのほかに正エッジラインが付加的に検出される状況でも、高精度で人間およびこれ以外の対象物が識別されうる。なお「正エッジライン」とは上下に所定数行以上にわたって連続する正エッジ点の集合を意味し、「負エッジライン」とは上下に所定数行以上にわたって連続する負エッジ点の集合を意味する。点が上下に連続するとは、上下方向に隣接する行における当該点の横方向のずれが閾値以下であることを意味する。正エッジ点とは、画像において横方向について輝度が閾値を超えた点を意味する。負エッジ点とは、画像において横方向について輝度が閾値以下となった点を意味する。
【００１３】
さらに、第５発明の車両周辺監視装置は、第１〜第３発明のうちいずれか１つに記載の車両周辺監視装置において、前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物のエッジラインと、該エッジラインの長さと、２つの該エッジラインの上部横方向間隔および下部横方向間隔とを抽出し、前記第３処理部が、長さが第２長さ範囲にあり、かつ、該上部横方向間隔の該下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの該エッジラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする。
【００１４】
第５発明の車両周辺監視装置によれば、（１）人間が２本の脚を有していること、（２）人間の脚の標準的な長さ、および（３）人間を正面視したときに下半身下側の間隔が上側の間隔より狭く見えるという傾向に鑑みて、人間およびこれ以外の対象物が高精度で識別されうる。
【００１５】
また、第６発明の車両周辺監視装置は、第５発明の車両周辺監視装置において、前記第２処理部が前記２つのエッジラインのそれぞれを構成するエッジ点の総数を当該２本のエッジラインのそれぞれの長さとして測定し、前記第２領域の上部領域および下部領域のそれぞれにおける前記２つのエッジラインのそれぞれを構成する同じ高さにあるエッジ点の平均横方向間隔を当該２つのエッジラインの上部横方向間隔および下部横方向間隔のそれぞれとして測定することを特徴とする。
【００１６】
第６発明の車両周辺監視装置によれば、エッジラインが斜めになっているために当該エッジラインを構成するエッジ点の画像横方向に広がって分布している場合でも、当該エッジ点の数が累計されることにより当該エッジラインのサイズが測定されうる。また、一対のエッジラインの間隔が下方に向かうにつれて狭くなっているになっているという傾向が、当該エッジラインの上部および下部のそれぞれの平均横方向間隔の対比によって認識されうる。
【００１７】
さらに、第７発明の車両周辺監視装置は、第１〜第３発明のうちいずれか１つに記載の車両周辺監視装置において、前記第２処理部が前記対象物の特徴として、前記第１処理部により設定された前記第２領域において該対象物の輝度ピークラインと、２つの該輝度ピークラインの横方向間隔とを抽出し、前記第３処理部が、横方向間隔が所定範囲内に含まれている２つの該輝度ピークラインが該第２処理部により抽出されたことを要件として、該対象物を人間として識別することを特徴とする。
【００１８】
第７発明の車両周辺監視装置によれば、撮像装置を通じて得られた画像の第２領域において検出された輝度ピークラインの間隔と、人間の両脚の標準的な間隔とに鑑みて人間およびこれ以外の対象物が高精度で識別されうる。なお「輝度ピークライン」とは上下に所定数行以上にわたって連続する輝度ピーク点の集合を意味する。輝度ピーク点とは、撮像装置を通じて得られた画像において横方向に沿って輝度が閾値を超えてから再び閾値以下となるまでの区域において、輝度が最高となる点を意味する。
【００１９】
前記課題を解決するための第８発明の方法は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理と、該第１処理において設定された該第２領域において該対象物の特徴を抽出する第２処理と、該第２処理における抽出結果に基づき、該対象物を識別する第３処理とを実行することを特徴とする。
【００２０】
第８発明の車両周辺監視方法によれば、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域において対象物下部の特徴が抽出されることにより当該対象物が識別されうる。
【００２１】
前記課題を解決するための第９発明のプログラムは、車両に搭載されているコンピュータを、第１発明の車両周辺監視装置として機能させることを特徴とする。
【００２２】
第９発明の車両周辺監視プログラムによれば、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域において対象物の下部の特徴が抽出されることにより当該対象物を識別しうるように車載コンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の車両周辺監視装置等の実施形態について図面を用いて説明する。
【００２４】
図１に示されている車両１には、車両周辺監視装置１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。
【００２５】
車両周辺監視装置１０は車載の赤外線カメラ１０２により得られた画像に基づいて車両の周辺を監視する装置である。車両周辺監視装置１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ）に格納されていてもよい。図示しないが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプログラムの一部または全部がサーバからネットワークや衛星を介して当該車載コンピュータに配信または放送され、そのメモリ（ＲＡＭ）等に格納されてもよい。車両周辺監視装置１０は位置のＥＣＵにより構成されていてもよいが、分散制御システムを構成する複数のＥＣＵにより構成されていてもよい。
【００２６】
車両周辺監視装置１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３と、第４処理部１４とを備えている。
【００２７】
第１処理部１１は赤外線カメラ１０２を通じて得られた画像において対象物が存在する領域を第１領域Ａ1i（ｉ＝１，２，‥）として設定する。また、第１処理部１１は第１領域Ａ1iの下方領域を第２領域Ａ2iとして設定する。
【００２８】
第２処理部１２は第２領域Ａ2iに含まれる対象物の特徴量として、エッジラインＥＬや高輝度ラインＰＬを検出し、さらには当該検出ラインの特徴量等を測定する。
【００２９】
第３処理部１３は第２処理部１２による対象物の特徴抽出結果に基づいて当該対象物を識別する。
【００３０】
第４処理部１４は第３処理部１３による対象物の識別結果に基づき、必要に応じて車両１と当該識別対象物との接触可能性を評価する。また、第４処理部１４は車両１と対象物との接触可能性の評価に応じて、車両１の前方における当該対象物の存在を知らせるまたは強調する画像をＨＵＤ１０４に表示させる等、車載機器の動作を制御する。
【００３１】
前記構成の車両１および車両周辺監視装置１０の機能について説明する。
【００３２】
第１処理部１１により「第１処理」が実行される（図３／Ｓ０１０）。これにより、一対の赤外線カメラ１０２により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像において、対象物が存在する領域が第１領域Ａ1i（ｉ＝１，２，‥）として設定される（図３／Ｓ０１２）。
【００３３】
図４（ａ）に示されている部分的なグレースケール画像が得られた場合、当該画像において高輝度領域（二重枠で囲まれている。）Ｑが抽出される。また、図４（ｂ）に示されているように高輝度領域Ｑを含む矩形状の小領域ａ0に加えて、その上下に連続する同じく矩形状の複数の小領域ａ-2，ａ-1，ａ1〜ａ8が設定される。さらに、小領域ａk（ｋ＝−２〜８）のそれぞれの高輝度領域の重心等の実空間位置が一対の赤外線カメラ１０２の視差を利用して測定される。この際、ヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による画像における位置ずれが補正される。回頭補正された実空間における測定位置はメモリに格納される。実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では説明を省略する。そして、各小領域ａkに含まれる高輝度領域の車両１からの距離が共通の距離範囲に含まれ、かつ、連続する複数の小領域ａkの集合が第１領域Ａ1iとして設定される。これにより、図４（ｃ）に示されているような第１領域（二重枠で囲まれている。）Ａ1i＝｛ａk｜ｋ＝０〜６｝が設定される。第１領域Ａ1iに含まれる高輝度領域の集合が対象物として認識される。
【００３４】
また、第１領域Ａ1iの下方領域が第２領域Ａ2iとして設定される（図３／Ｓ０１４）。これにより、図４（ｄ）に示されているように矩形状の第１領域（破線枠で囲まれている。）Ａ1iの下方の矩形状の第２領域（二重枠で囲まれている。）Ａ2iが設定される。画像における第２領域Ａ2iの下端は第１領域Ａ1iの下端とほぼ同じ高さに設定され、第２領域Ａ2iの上下方向の幅ｗは、第２領域Ａ2iに含まれる高輝度領域の実空間における上下方向の幅が所定間隔（たとえば人間の脚の標準的な長さ）に一致するように設定される。ただし、第１領域Ａ1iに含まれる対象物の車両１からの距離が所定距離範囲にあることを要件として、当該第１領域Ａ1iの下方領域が第２領域Ａ2iとして設定される。
【００３５】
さらに、第２領域Ａ2iに含まれる対象物の車両１からの距離が所定距離範囲にあるか否かが判定される（図３／Ｓ０１６）。当該判定結果が肯定的であった場合（図３／Ｓ０１６‥ＹＥＳ）、第２領域Ａ2i（または第１領域Ａ1i）の下端の路面からの高さが所定高さ範囲にあるか否かがさらに判定される（図３／Ｓ０１８）。当該判定結果が肯定的であった場合（図３／Ｓ０１８‥ＹＥＳ）、後述する第２処理等が実行される。一方、これら２つの判定結果のいずれかが否定的であった場合（図３／Ｓ０１６‥ＮＯ，Ｓ０１８‥ＮＯ）、第２処理等は実行されない。車両１からの対象物の距離と、第２領域Ａ2iの路面からの高さとのそれぞれは、メモリに格納されている当該対象物を表す高輝度領域の実空間位置に基づいて算定されうる。
【００３６】
次に第２処理部１２により、前記２つの判定結果がともに肯定的であったことを要件として、第１処理部１１により設定された第２領域Ａ2iのそれぞれに含まれる対象物の特徴が抽出される「第２処理」が実行される（図３／Ｓ０２０）。具体的には、第２領域Ａ2iにおいてエッジラインが抽出される（図３／Ｓ０２４）。第２領域Ａ2iの横方向の走査ラインに沿って輝度が閾値を超える正エッジ点および輝度が閾値以下となる負エッジ点が抽出される。例として、図５（ａ）に示されている第２領域Ａ2iにおける走査ライン（横並びの複数のピクセルにより構成されている。）に沿って図５（ｂ）に示されているように輝度が変化している場合を考える。この場合、輝度が閾値を超える２つの正エッジ点ＥＰ1+およびＥＰ2+ならびに輝度が閾値以下となる２つの負エッジ点ＥＰ1-およびＥＰ2-が検出される。そして、上下方向に所定数行以上にわたって連続する正エッジ点ＥＰm+（ｍ＝１，２）の集合がエッジラインＥＬm+として検出される。また、上下方向に所定数行以上にわたって連続する負エッジ点ＥＰn-（ｎ＝１，２）の集合がエッジラインＥＬn-として検出される。点が上下方向に連続するとは、画像の上下方向について隣り合う行（ピクセルの横列）における当該点の横方向のずれ（ピクセル数）が閾値以下であることを意味する。
【００３７】
また、当該エッジラインのそれぞれの特徴量が測定される（図３／Ｓ０１４）。各エッジラインを構成するエッジ点の数の合計が当該各エッジラインの長さとして測定される。例として、図６（ａ）に示されているように２本の正エッジラインＥＬ1+およびＥＬ2+ならびに２本の負エッジラインＥＬ1-およびＥＬ2-が検出され、列（ピクセルの縦列）ごとのエッジ点の数が図６（ｂ）に示されているように画像横方向に分布している場合を考える。当該分布グラフにおいて、隣接または近接して局所的にまとまっている局所的分布グラフが１つのエッジラインを構成するエッジ点の分布を表しているとみなされる。そして、局所的分布グラフを構成するエッジ点の数の総計が各エッジラインの画像における長さとして測定される。エッジラインの実空間長さは、メモリに格納されている対象物の実空間位置の測定結果に基づき、第２領域Ａ2iにおける１ピクセルあたりの実空間の長さが算定されることにより算定される。なお、エッジラインの下端点および上端点との距離が、当該エッジラインの長さとして測定されてもよい。
【００３８】
また、複数のエッジラインが検出された場合、２つのエッジラインの上部横方向間隔および下部横方向間隔が測定される。図６（ａ）に示されているように破線で区切られた第２領域Ａ2iの上側における２つのエッジラインのそれぞれを構成する同じ高さのエッジ点の平均横方向間隔が、当該２つのエッジラインの上部横方向間隔として測定される。同様に、第２領域Ａ2iの下側における２つのエッジラインの平均横方向間隔が、当該２つのエッジラインの下部横方向間隔として測定される。
【００３９】
また、第２領域Ａ2iにおいて輝度ピークラインが抽出される（図３／Ｓ０２６）。たとえば図５（ｂ）に示されているように第２領域Ａ2iにおける各走査ラインに沿って輝度が閾値を超えてから再び閾値以下となるまでの区域において、輝度が最高となる点が輝度ピーク点ＰＰ1およびＰＰ2として検出される。そして、上下方向に連続性がある輝度ピーク点の集合が輝度ピークラインとして検出される。
【００４０】
また、当該輝度ピークラインの特徴量が抽出される（図３／Ｓ０２８）。具体的には、当該輝度ピークラインのそれぞれの実空間における長さが測定される。また、複数の輝度ピークラインが検出された場合、当該複数の輝度ピークラインのうち任意の２本の輝度ピークラインの実空間における横方向間隔が測定される。対象物の輝度ピークラインの長さおよび横方向間隔は、メモリに格納されている当該対象物の実空間位置に基づいて測定されうる。
【００４１】
続いて第３処理部１３により、第２処理部１２による対象物の特徴抽出結果に基づいて当該対象物が識別される「第３処理」が実行される（図３／Ｓ０３０）。具体的には、次の３つの要件のうちいずれか１つが満たされるか否かが判定される（図３／Ｓ０３２）。
（第１要件）第２領域Ａ2iにおいて長さが第１長さ範囲にある正または負エッジラインが３つ以上抽出されたこと。
（第２要件）第２領域Ａ2iにおいて長さが第２長さ範囲にあり、かつ、上部横方向間隔の下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つのエッジラインが抽出されたこと。
（第３要件）第２領域Ａ2iにおいて横方向間隔が所定範囲にある２つの輝度ピークラインが抽出されたこと。
【００４２】
第１〜第３要件のうち少なくとも１つが満たされていると判定された場合（図３／Ｓ０３２‥ＹＥＳ）、対象物が人間として識別される（図３／Ｓ０３４）。
【００４３】
一方、第１〜第３要件のすべてが満たされていない場合（図３／Ｓ０３２‥ＮＯ）、当該対象物が人間とは異なる対象物であると識別される。なお、この場合、第２領域Ａ2iにおいて、所定の配置関係にある複数のエッジラインが検出されたこと等、第１〜第３要件とは異なる要件が満たされるか否かがさらに判定され、当該判定結果が肯定的であった場合に対象物が他車両や建造物等であると識別されてもよい。
【００４４】
さらに、第４処理部１４により第３処理部１２による識別結果に基づいて車載機器が制御される「第４処理」が実行される（図３／Ｓ０４０）。具体的には、人間であると識別された対象物の時系列的な測定位置がメモリから読み取られ、当該読み取りデータに基づいて車両１を基準とした対象物の相対速度（大きさおよび向きを含む。）が算出される（図３／Ｓ０４２）。
【００４５】
また、車両１と当該対象物との接触可能性の高低が判定される（図３／Ｓ０４４）。たとえば、図７に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ0よりも、車両１に対する二輪車等の物体ｘの相対速度ｖsと余裕時間Ｔとの積（ｖs×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ1と、第１領域Ａ1の左右の第２領域（侵入判定領域）Ａ2LおよびＡ2Rとが定義される。そして、物体ｘが第１領域Ａ1にある場合や、物体ｘが左右の第２領域Ａ2にあって、その相対速度ベクトルｖsに鑑みて第１領域Ａ1に侵入してくることが予測される場合、この物体ｘと車両１とが接触する可能性が高いと判定される。
【００４６】
そして、車両１と対象物とが接触する可能性が高いと判定された場合（図３／Ｓ０４４‥ＹＥＳ）、「第１制御処理」が実行される（図３／Ｓ０４６）。これにより、当該対象物の存在を強調するため、たとえば当該対象物を囲む橙色のフレームが第１情報としてＨＵＤ１０４に表示される。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。
【００４７】
一方、車両１と対象物とが接触する可能性が低いと判定された場合（図３／Ｓ０４４‥ＮＯ）、「第２制御処理」が実行される（図３／Ｓ０４８）。これにより、対象物の存在を明確化するため、たとえば対象物を囲む黄色のフレームが第２情報としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または小さい）音声がスピーカ（図示略）から出力されてもよい。
【００４８】
前記機能を発揮する本発明の車両周辺監視装置１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像において対象物が存在する領域が第１領域Ａ1iとして設定され、当該対象物の下部を包含する第１領域Ａ1iの下方領域が第２領域Ａ2iとして設定される（図３／Ｓ０１２，Ｓ０１４，図４（ａ）〜（ｄ）参照）。これにより、対象物が存在する領域が第１領域Ａ1iとして設定されたにもかかわらず、当該画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域Ａ2iにおいて人間の脚等、対象物下部の特徴が抽出されることによって当該対象物が識別されうる。
【００４９】
また、車両１から対象物までの測定距離が所定距離範囲にあること、および第２領域Ａ2iの下端の路面からの測定高さが所定高さ範囲にあることを要件として、第２処理以降の処理が実行される（図３／Ｓ０１６，Ｓ０１８参照）。したがって、車両１から対象物までの測定距離と、第２領域Ａ2iの下端位置（ひいては対象物の下端位置）とに鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。
【００５０】
また「第２領域Ａ2iにおいて長さが第１長さ範囲にある正または負エッジラインが３つ以上抽出された」という第１要件が満たされた場合、対象物が人間であると識別される。これにより、赤外線カメラ１０２を通じて得られた画像に人間（歩行者）が含まれる場合、第２領域Ａ2iにおいてその両脚を表す２本の正エッジライン（または負エッジライン）が検出されるのが通常であるところ、３本以上の正エッジラインが検出された場合でも当該正エッジラインのそれぞれの長さに鑑みて人間およびこれ以外の対象物が識別されうる。そして、画像において人間の両脚の隙間から建造物等が覗いている等の理由により、当該両脚を表している２本の正エッジラインのほかに正エッジラインが付加的に検出される状況でも、高精度で人間およびこれ以外の対象物が識別されうる。
【００５１】
さらに「第２領域Ａ2iにおいて長さが第２長さ範囲にあり、かつ、上部横方向間隔の下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つのエッジラインが抽出された」という第２要件が満たされた場合、対象物が人間であると識別される。これにより、（１）人間が２本の脚を有していること、（２）人間の脚の標準的な長さ、および（３）人間を正面視したときに下半身下側の間隔が上側の間隔より狭く見えるという傾向に鑑みて、人間およびこれ以外の対象物が高精度で識別されうる。
【００５２】
また「第２領域Ａ2iにおいて横方向間隔が所定範囲にある２つの輝度ピークラインが抽出され」という第３条件が満たされる場合、対象物が人間であると識別される。これにより、赤外線カメラ１０２を通じて得られた画像の第２領域Ａ2iにおいて検出された輝度ピークラインの間隔と、人間の両脚の標準的な間隔とに鑑みて人間およびこれ以外の対象物が高精度で識別されうる。
【００５３】
さらに、対象物が人間であると識別された場合に当該対象物と車両１との接触可能性が評価され、さらには当該判定結果に基づいて適当な処理が実行される（図３／Ｓ０４０参照）。前記のように対象物が人間であることが高精度で識別されるので、当該人間との接触回避等の観点から車載機器が適当に制御されうる。
【００５４】
なお、前記実施形態では人間の脚が対象部分として認識されたが、他の実施形態として人間の両脚が設定される場合と同様の考え方に基づいて人間の両腕等、人間の他の身体部分が対象部分として認識されてもよい。
【００５５】
前記実施形態では車両１に一対の赤外線カメラ１０２が搭載され、当該一対の赤外線カメラ１０２を通じて画像が取得され、当該一対の赤外線カメラ１０２の視差を利用して対象物または高輝度領域の実空間位置が測定された。他の実施形態として車両１に１つの赤外線カメラ１０２とレーダや超音波式の測距システムとが搭載され、当該１つの赤外線カメラ１０２を通じて画像が取得され、当該測距システムにより対象物の実空間位置または車両１からの距離が測定されてもよい。
【００５６】
前記実施形態では各小領域ａkに含まれる高輝度領域の車両１からの距離が測定された上で、当該測定距離が共通の距離範囲に含まれ、かつ、連続する複数の小領域ａkの集合が第１領域Ａ1iとして設定された（図４（ｃ）参照）。他の実施形態として、１つの赤外線カメラ１０２を通じて異なる時刻ｔおよびｔ＋δｔ（δｔ＞０）に得られた画像において高輝度領域Ｑ（図４（ａ）参照）と同様に振舞う小領域ａkの集合が第１領域Ａ1iとして設定されてもよい。具体的には、時刻ｔにおける画像において図８（ａ）に示されているように高輝度領域Ｑ（ｔ）の重心を通る、一点鎖線で表されている垂直線Ｒ（ｔ）上に中心を有する複数の小領域（マスク）ａk（ｔ）（ｋ＝−２〜８）が設定される。また、時刻ｔ＋δｔにおける画像において、相関演算によるパターンマッチングにより、図８（ｂ）に示されているように時刻ｔにおける各小領域ａk（ｔ）対応する複数の小領域ａk（ｔ＋δｔ）が設定される。そして、高輝度領域Ｑ（ｔ＋δｔ）の重心を通る、一点鎖線で表されている垂直線Ｒ（ｔ＋δｔ）から横方向の微小範囲内に中心が含まれている、上下に連続する小領域ａj（ｔ＋δｔ）（ｊ＝０〜６）の集合を包含するエリアが、図８（ｃ）に示されているような第１領域Ａ1iとして設定される。また、第１領域Ａ1iに包含される対象物の車両１からの距離は、時刻ｔおよびｔ＋δｔのそれぞれにおける画像での当該対象物の面積変化率に基づいて測定されうる。
【００５７】
当該手法により、超音波やレーダを用いた測距システムが車両１に搭載されていなくても、１台の撮像装置（赤外線カメラ等）が車両１に搭載されていれば、第１領域Ａ1iが設定されうる。また、当該１台の撮像装置を通じて得られた画像を用いて車両１から当該対象物までの距離が測定されうる。
【００５８】
前記実施形態では赤外線カメラ１０２が撮像装置として車両１に搭載されていたが、他の実施形態として近赤外線カメラや可視光カメラ（ＣＣＤカメラなど）等、さまざまな波長領域の電磁波に感度を有する撮像装置が車両１に搭載されていてもよい。
【００５９】
前記実施形態では車両１と対象物との接触可能性の評価に基づきこの対象物の存在を示す第１または第２情報がＨＵＤ１０４に表示されたが、他の実施形態として当該接触可能性の評価に基づき、車両１の挙動を制御するまたはステアリングシステムやブレーキシステム等の車載機器が制御されてもよい。当該構成の車両周辺監視装置１０によれば、車両１と前記のように高精度で識別された対象物との接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物との接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。
【図面の簡単な説明】
【００６０】
【図１】本発明の車両周辺監視装置の構成説明図
【図２】本発明の車両周辺監視装置の構成説明図
【図３】本発明の車両周辺監視装置の機能説明図
【図４】本発明の車両周辺監視装置の機能説明図
【図５】本発明の車両周辺監視装置の機能説明図
【図６】本発明の車両周辺監視装置の機能説明図
【図７】本発明の車両周辺監視装置の機能説明図
【図８】本発明の車両周辺監視装置の機能説明図
【符号の説明】
【００６１】
１‥車両、１０‥車両周辺監視装置、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、１４‥第４処理部、１０２‥赤外線カメラ（撮像装置）
【図１】
2008271165.tif 000003
【図２】
2008271165.tif 000004
【図３】
2008271165.tif 000005
【図４】
2008271165.tif 000006
【図５】
2008271165.tif 000007
【図６】
2008271165.tif 000008
【図７】
2008271165.tif 000009
【図８】
2008271165.tif 000010