(57)【要約】【課題】物体の検出精度の向上を図ることができ、しかも、車両以外の物体も検出できる物体検出装置を提供する【解決手段】カメラ１およびレーダ２から得られた情報に基づいて物体を検出するコントロールユニットＣＵを備えた物体検出装置であって、コントロールユニットＣＵが、画像上の物体を示す領域である注目領域内の大きさ変化を求めるとともに、検波情報から得られた計測点上の物体との距離変化を求める変化算出処理と、大きさ変化と距離変化とを照合し、両者の相関性が得られた場合に物体検出と判定する物体検出処理と、前記相関性が得られた注目領域内の画像情報と、前記計測点の検波情報との少なくとも一方に基づいて物体の種類を判定する種類判定処理と、を実行する。【選択図】図１
2007255978.tif 000002
【特許請求の範囲】
【請求項１】
画像情報取得手段から、物体検出対象領域の物体に関する画像情報を取得するとともに、検波情報取得手段から、物体検出対象領域を検出波で走査して得られた物体に関する検波情報を取得し、
前記画像情報に基づいて、画像上の物体を示す領域の大きさの変化を求めるとともに、前記検波情報に基づいて、前記検波情報取得手段と物体との距離変化を求め、
求めた大きさ変化と距離変化とを照合し、両者の相関性が得られた場合に物体検出と判定し、
相関性が得られた領域の画像情報と検波情報との少なくとも一方に基づいて物体の種類を判定することを特徴とする物体検出方法。
【請求項２】
物体検出対象領域の物体に関する画像情報を取得する画像情報取得手段と、
物体検出対象領域を検出波で走査して得られた検出波の反射に基づく物体に関する検波情報を取得する検波情報取得手段と、
前記画像情報および検波情報に基づいて物体を検出する物体検出手段と、
を備えた物体検出装置であって、
前記物体検出手段が、
前記画像情報および検波情報を取得する取得処理と、
前記画像上の物体を示す領域である注目領域の大きさの変化を求めるとともに、前記検波情報から得られた計測点上の物体と前記検波情報取得手段との距離変化を算出する変化算出処理と、
前記大きさ変化と距離変化とに基づいて物体検出を行う物体検出処理と、
物体が検出された場合、前記注目領域内の画像情報と、前記計測点の検波情報との少なくとも一方に基づいて物体の種類を判定する種類判定処理と、
を実行することを特徴とする物体検出装置。
【請求項３】
前記注目領域は、画像上の物体を示す領域内の一部を抽出した小領域であることを特徴とする請求項２に記載の物体検出装置。
【請求項４】
前記注目領域は、画像上の物体を示す領域を細分化した各細分化領域であることを特徴とする請求項２に記載の物体検出装置。
【請求項５】
前記変化算出処理における大きさ変化は、前記注目領域内に存在する複数のエッジの間隔の変化から求められることを特徴とする請求項２〜４のいずれか１項に記載の物体検出装置。
【請求項６】
前記変化算出処理において距離変化を求めるにあたり、算出対象となる計測点の距離変化と反射強度変化との少なくとも一方に計測対象が代わったことを判定するしきい値が設定され、このしきい値との比較に基づいて同一計測対象について距離変化を算出していることの確認が成されることを特徴とする請求項２〜５のいずれか１項に記載の物体検出装置。
【請求項７】
前記物体検出処理では、前記画像情報から得られたエッジ強度および前記検波情報から得られた検出波の反射強度の少なくとも一方が所定のしきい値以上である場合、前記大きさ変化と距離変化との相関性の判定を行うことなく、物体検出と判定することを特徴とする請求項２〜６のいずれか１項に記載の物体検出装置。
【請求項８】
前記物体検出処理では、同じ方位で距離が異なる位置に物体を示す複数の計測点が存在した場合には、同方位処理が実行され、
この同方位処理は、まず、一番手前の計測点の距離変化と、同方位およびその近傍の物体の注目領域の大きさ変化との照合を行い、距離変化と相関のある大きさ変化を示す注目領域が含まれる画像上の物体の領域を一番手前の物体領域として設定し、以後、次に近い計測点における距離変化と、設定された物体領域を除いた同方位およびその近傍の物体の注目領域の大きさ変化との照合を行い、相関性がとれた注目領域が含まれる画像上の物体の領域を次に近い物体領域として設定するという処理を、残りの計測点の数だけ順次繰り返す処理であることを特徴とする請求項２〜７のいずれか１項に記載の物体検出装置。
【請求項９】
前記物体検出手段は、前記画像情報と検波情報の少なくとも一方を時系列方向に、あるいは検波情報をスキャン面上の任意の方向に、微分変換もしくは積分変換する変換手段を有し、
前記種類判定処理において、前記変換手段で得られた微分情報と積分情報との少なくとも一方を用いることを特徴とする請求項２〜８のいずれか１項に記載の物体検出装置。
【請求項１０】
前記物体の種類の判定に用いられる画像上の領域としての種類判定用領域が、画像上の物体の端縁部と内部とにそれぞれ設定されていることを特徴とする請求項３〜９のいずれか１項に記載の物体検出装置。
【請求項１１】
前記物体の種類の判定に、前記物体端縁部および内部の種類判定用領域の画像情報で得られた方向ベクトルおよび時系列的な変換値と、検波情報から得られた強度分散および強度平均と、が用いられることを特徴とする請求項１０に記載の物体検出装置。
【請求項１２】
前記物体検出手段に、判定対象の物体の種類ごとに、物体と前記情報との相関性に関する判定特性情報が保管され、
前記物体検出手段は、前記種類判定処理において、前記画像情報および前記検波情報とあらかじめ保管された前記判定特性情報との比較に基づいて物体の種類の判定を行うことを特徴とする請求項２〜１０のいずれか１項に記載の物体検出装置。
【請求項１３】
前記判定特性情報が、物体の種類ごとに設定された所定の基準値に対する前記画像情報および前記検波情報の割合を示す情報であり、
前記物体検出手段は、前記種類判定処理において、基準値に対する取得された情報の割合を算出し、この算出された割合と、保管された情報の割合と、の比較に基づいて物体の種類の判定を行うことを特徴とする請求項１２に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの画像情報取得手段から得られる画像情報と、レーダなどの検波情報取得手段から得られる距離情報と、に基づいて物体を検出する物体検出方法および物体検出装置に関する。
【背景技術】
【０００２】
従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されている。これらの運転支援装置では、自車両の前方を走行する車両などの物体（障害物）を検出する物体検出装置が用いられている。
【０００３】
このような物体検出装置では、高い精度で物体を検出することが求められる。
【０００４】
このような検出精度の向上を図る従来技術として、例えば、検出センサとしてカメラとレーダとを備え、カメラ画像で抽出した物体のエッジと、レーザレーダによる物体の検出情報とに基づいて車両であることを正確に検出および判定する技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１５７８７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術は、車両と想定される画像上の領域を、エッジのヒストグラムやレーダの検出方位から判定しているが、この車両と想定した領域に、車両の周囲に存在する背景や他の物体が含まれるおそれがある。この場合、車両と相対した領域に含まれた他の物体が、例えば、直線エッジを有する建物などの人工物である場合には、レーダからの反射情報の検出を行っていても、この他の物体を車両と誤検出するおそれがある。
【０００６】
本発明は、上述の問題点に着目してなされたもので、物体の検出精度の向上を図ることができる物体検出方法および物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するため、本発明は、画像情報取得手段から、物体検出対象領域の物体に関する画像情報を取得するとともに、検波情報取得手段から、物体検出対象領域を検出波で走査して得られた物体に関する検波情報を取得し、前記画像情報に基づいて、画像上の物体を示す領域の大きさの変化を求めるとともに、前記検波情報に基づいて、前記検波情報取得手段と物体との距離変化を求め、求めた大きさ変化と距離変化とを照合し、両者の相関性が得られた場合に物体検出と判定し、相関性が得られた領域の画像情報と検波情報との少なくとも一方に基づいて物体の種類を判定することを最も主要な特徴とする物体検出方法である。
【発明の効果】
【０００８】
本発明の物体検出方法にあっては、画像上の物体を示す領域内の大きさ変化と、検波情報により計測された物体との距離変化と、に基づいて物体検出を行うようにしたため、背景や隣り合う物体などの判定対象とは異なる物体の情報に基づいて物体検出が行われるのを抑制でき、物体の検出精度を向上させることができる。
【０００９】
さらに、本発明の物体検出方法にあっては、物体の種類の判定は、上記のように大きさ変化と距離変化の照合により同一物体と判定された領域の画像情報と検波情報の少なくとも一方に基づいて物体の判定を行うようにした。
【００１０】
このため、背景や隣り合う物体など、判定対象とは異なる物体の情報に基づいて物体の種類の判定を行うことを防止でき、物体の検出精度の向上を図ることができるとともに、物体の種類も判定することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１２】
この実施の形態の物体検出装置は、物体検出対象領域の物体に関する画像情報を取得する画像情報取得手段（１）および物体検出対象領域を検出波で走査して得られた検出波の反射に基づく物体に関する検波情報を取得する検波情報取得手段（２）と、前記画像情報および検波情報に基づいて物体を検出する物体検出手段（ＣＵ）と、を備えた物体検出装置であって、前記物体検出手段（ＣＵ）が、前記画像情報および検波情報を取得する取得処理と、前記画像上の物体を示す領域である注目領域内の大きさ変化を求めるとともに、前記検波情報から得られた計測点上の物体と検波情報取得手段との距離変化を求める変化算出処理と、前記大きさ変化と距離変化とに基づいて物体検出を行う物体検出処理と、物体が検出された場合、前記注目領域内の画像情報と、前記計測点の検波情報との少なくとも一方に基づいて物体の種類を判定する種類判定処理と、を実行することを特徴とする。
【実施例１】
【００１３】
図１〜図１４に基づいて本発明の最良の実施の形態の実施例１の物体検出装置について説明する。
【００１４】
実施例１の物体検出装置は、図１に示すように、車両ＭＢ（以下、後述する他車両ＡＢと区別するために物体検出装置が設けられた車両ＭＢを自車両と称する）に搭載されており、画像取得手段としてのカメラ１と検波情報取得手段としてのレーダ２とを備えている。なお、この物体検出装置で検出された物体の情報は、運転支援装置などに出力される。
【００１５】
カメラ１は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ１としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いた輝度画像を撮像する可視光用カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例１では、可視光用カメラを用いている。
【００１６】
レーダ２は、自車両ＭＢの前部に取り付けられ、車両前方（矢印ＦＲ方向）を水平方向にスキャニングし、レーダ２から車両前方に存在する物体（検知点）までの距離と反射強度を検出する。なお、検知点は、物体を検出した位置であって、図１に示すＸＺ軸の座標上の位置として検出する。
【００１７】
このレーダ２としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例１では、レーザレーダを使用している。なお、レーザレーダの場合、検出物体の情報として、距離とレーザ光の反射強度とを得ることができる。また、ミリ波レーダの場合、検出物体の情報として、距離・電波の反射強度・自車両と検出物体との相対速度を得ることができる。
【００１８】
カメラ１およびレーダ２で得られた情報は、物体検出手段としてのコントロールユニットＣＵに入力される。コントロールユニットＣＵは、カメラ１やレーダ２を含む車載のセンサから信号を入力して、物体を検出し、かつその種類を判別する物体検出制御を行うもので、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＣＰＵ（Central Processing Unit）などを備えた周知のものである。
【００１９】
このコントロールユニットＣＵにおける物体検出制御における処理の流れを、図２により、簡単に説明すると、まず、ステップＳ１では、カメラ１とレーダ２を含むセンサから情報を入力し、メモリ１１（図３参照）に保存する取得処理を実行する。
【００２０】
次のステップＳ２では、保存した入力情報に対し、これ以降の処理において使用する情報に変換する（この変換した情報を変換情報と称する）情報変換処理を実行する。
【００２１】
次のステップＳ３では、画像情報およびその変換情報に基づく物体の存在の判定と、検波情報およびその変換情報に基づく物体の存在の判定と、を行う物体存在判定処理を実行する。
【００２２】
次のステップＳ４では、ステップＳ３で存在すると判定された物体について、その物体との距離変化および画像上の大きさ変化を算出する変化算出処理を実行する。
【００２３】
次に、ステップＳ５では、ステップＳ４で得られた距離変化および大きさ変化との照合に基づいて、物体検出を行う物体検出処理を実行する。
【００２４】
次のステップＳ６では、検出された物体の種類を判定する種類判定処理を実行する。
【００２５】
図３は、コントロールユニットＣＵにおいて行われる上記各処理を行う部分を概念的に示すブロック図である。
【００２６】
メモリ１１は、ステップＳ１の取得処理により得られた各情報を保存する。
変換処理部１２は、ステップＳ２の情報変換処理を実行する部分である。
物体存在判定処理部１３は、ステップＳ３の物体存在判定処理を実行する部分である。
距離変化算出処理部１４および大きさ変化算出処理部１５は、ステップＳ４の変化算出処理を実行する部分である。
物体検出処理部１６は、ステップＳ５の物体検出処理を実行する部分である。
種類判定処理部１７は、ステップＳ６の種類判定処理を実行する部分である。
【００２７】
次に、上記ステップＳ１〜Ｓ６の各処理について詳細に説明する。
まず、ステップＳ１の取得処理では、図４に示すように、メモリ１１に、カメラ１が撮像した輝度画像情報を保存し、また、レーダ２が検知した検波情報として、レーダ２の水平方向のスキャン分解能（角度）ごとに、各角度におけるレーダ２から物体までの距離とレーザ光の反射強度とを保存する。
【００２８】
ここで、カメラ１による画像情報の一例を図５および図６に示す。
図５および図６は、自車両ＭＢの前方に他車両（先行車両）ＡＢと人物（歩行者）ＰＥと道路構造物としての壁ＷＯとが存在する場合の画像の一例を示しており、これらがカメラ１の撮像面１ａにおいて同図（ｂ）に示すように投影される。
【００２９】
なお、図５（ａ）は、横から見た状態を示し、図６（ａ）は上から見た状態を示している。また、両図において、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示しており、自車両ＭＢ図中ＭＰは高温として捉えられている部分（マフラ部分）を示している。
【００３０】
これら図５，６では、カメラ１の路面への垂直投影点ＰＡから人物（歩行者）ＰＥの路面への垂直投影像における自車両ＭＢ側の端点ＰＦまでの距離をｚ、点ＰＡと点ＰＦとのｘ軸方向の間隔をｘｓとしている。
【００３１】
そこで、基準座標をカメラ１のレンズ１ｂの中心を原点とすると、基準座標系における点ＰＦの位置は、（ｘｓ，−Ｈ，ｚ）と表され、撮像面１ａの画像上において点ＰＦが位置する座標（ｘｃ，ｙｃ）は、焦点距離ｆを用いて、下記の式（１）および式（２）の関係で表される。
ｘｃ＝ｘｓ・ｆ／ｚ  ・・・（１）
ｙｃ＝−Ｈ・ｆ／ｚ  ・・・（２）
【００３２】
次に、レーダ２による検波情報の一例を図７に示す。
図７では（ａ）に示す図５および図６に示した画像情報と同様の物体の検知例を上から見た状態として（ｂ）に示している。この図に示すように、自車両（自車両ＭＢ）の前方に存在する他車両ＡＢと人物（歩行者）ＰＥと壁ＷＯとにおいて反射したレーザ光を検出することで、物体が存在することを検出できる。なお、図において円形で示すｑＰ，ｑＡ，ｑＷが、それぞれ各物体の検知点を示している。
【００３３】
そこで、レーダ用メモリでは、反射波が観測された方位ごとに、計測点までの距離とその反射強度とを保存する。また、図７の方位θの計測点では、距離ｚ１、ｚ３（人物ＰＥおよび壁ＷＯ）で反射波が観測されているが、それぞれの距離の計測点で反射強度が保存される。
【００３４】
次に、変換処理部１２で実行されるステップＳ２の情報変換処理を説明する。
この情報変換処理では、画像情報を変換する処理と、検波情報を変換する処理とが行われる。
【００３５】
この画像情報を変換する処理としては、図４に示すように、カメラ１から得られる輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を抽出するエッジ検出処理と、方向ベクトルを抽出する方向ベクトル算出処理と、オプティカルフローを算出するオプティカルフロー処理と、が成される。
【００３６】
また、検波情報を変換する処理としては、レーダ２からの検波情報から得られる計測点に基づいて相対速度を求める処理が成される。
【００３７】
上述のエッジ検出処理におけるエッジの検出は、ソーベルフィルタなどとのコンボリューション（たたみこみ（掛け合わせ））演算により算出できる。
【００３８】
図８は、単純なソーベルフィルタの例であり、（ａ）（ｂ）が縦エッジ用のフィルタ、（ｃ）（ｄ）が横エッジ用のフィルタである。このようなフィルタと画像情報とを掛け合わせることで、縦エッジと横エッジとを求めることができる。なお、これらのエッジ強度は、例えば、これらの値の絶対値として求めることができる。
【００３９】
また、方向ベクトルは、縦エッジの強度をＤｘ、横エッジの強度をＤｙとしたときに下記の式（３）の演算により求めることができる。
方向ベクトル＝Ｄｘ／Ｄｙ  ・・・（３）
【００４０】
なお、この方向ベクトルの角度とエッジ強度との関係を図９に示す。
【００４１】
次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点（ｘｃ、ｙｃ）に表示された映像と、その映像がΔｔ秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。
【００４２】
このオプティカルフローについて、図７および図１０を用いて具体的に説明する。
これらの図７および図１０では、人物ＰＥが止まっていて、他車両ＡＢが自車両ＭＢと同方向に前進している場合を示しており、図１０は図７に示す時点からΔｔ秒後の状態を示している。また、両図において、（ａ）は図５，図６で示したのと同様のカメラ１の画像であり、（ｂ）はレーダ２による検出範囲を上方から見た状態を示している。
【００４３】
ここで図７において人物ＰＥを示す値ｘｃ１，ｙｃ１，ｈｃ１は、図１０に示すΔｔ秒後には、前述した式（１）（２）において、分母となるｚの値だけが小さくなるため、自車両ＭＢの前進に伴って大きくなる。そこで、オプティカルフローの矢印は消失点ＶＰ（画像上の前方の無限遠点が撮像される点のことであり、図５，６の設定のように、カメラ１の光軸ＬＺを路面ＲＳと平行にした場合は、画像中心が消失点ＶＰとなる）から遠ざかる方向に長くなる。
【００４４】
同様に、壁ＷＯの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点ＶＰを中心としてそこから画像の外側に向く矢印となる。
【００４５】
そこで、図１０の（ａ）に示す人物ＰＥのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。
【００４６】
一方、他車両ＡＢは、自車両ＭＢと等速運動をしていると仮定すると、距離関係が略一定で前述の式（１）（２）においてｚの値が変化しないため、オプティカルフローの長さは短くなる．
【００４７】
次に、図４に戻り、レーダ２からの検波情報の変換処理について説明する。
上記のようにレーダ２の検波情報の変換処理は、計測点が有する距離データに基づいて相対速度を求める処理である。この相対速度は、時系列的に（例えば、０．１秒ごとに）レーダ２からの距離情報を取得する場合、ある一定時間の同一の計測点に対する距離変化、すなわち、距離変化／一定時間の長さで求めることができる。
【００４８】
あるいは、同一計測点間の最小二乗誤差直線を求め、その傾きを相対速度として求めてもよい。距離精度にはバラツキもあるため、例えば、０．１秒ごとの距離結果に対して求めた最小二乗誤差直線を求める方法を採ることで、計測点の１点程度の誤差や非計測点を補完して相対速度を安定して求めることができる。
【００４９】
次に、物体存在判定処理部１３で実行されるステップＳ３の物体存在判定処理について説明する。
【００５０】
この物体の存在判定は、画像情報に基づく判定と、検波情報に基づく判定と、がそれぞれ並列に行われる。
【００５１】
画像情報に基づく判定は、本実施例１では、オプティカルフローにより同じ動きが集中している部分に物体が存在すると判定することで行われる。
【００５２】
そして、画像上で物体が存在すると判定された領域にあっては、オプティカルフローが観測された位置を囲う矩形の領域が設定される。例えば、図７（ａ）に示す他車両ＡＢの場合、座標（ｘｃ０，ｙｃ０）を基準として幅ｗｃ０、高さｈｃ０の矩形が設定され、人物ＰＥの場合、座標（ｘｃ１，ｙｃ１）を基準として幅ｗｃ１、高さｈｃ１の矩形の領域ＳＧ１，ＳＧ２が設定される。なお、この物体が存在すると判定された領域ＳＧ１，ＳＧ２を、以後、物体判定領域と称する。
【００５３】
一方、検波情報に基づく判定は、基本的には、何らかの計測点が同じ距離に時間的に連続して観測された場合に、その位置に物体が存在すると判定することで行われる。例えば、本実施例１では、レーダ２のスキャニング周期が０．１ｍｓｅｃとし、０．３ｍｓｅｃ連続して、同じ方位、同じ距離に計測点が観測された場合に、その方位に物体が存在すると判定される。
【００５４】
また、本実施例１では、図７における他車両ＡＢおよび人物ＰＥのように、その計測点ｑＡ，ｑＰが、方位的に連続している（図では左右方向に連続している）場合には、上述の時系列的な観測無しに物体が存在すると判定する。
【００５５】
さらに、本実施例１では、計測点ｑＡ，ｑＰ，ｑＷのうち、反射強度があらかじめ設定されたしきい値よりも高い場合には、時系列的な連続性や方位の連続性が小さい場合であっても、その計測点に物体が存在すると判定する。
【００５６】
すなわち、一般的にノイズは反射強度が弱く、かつ、計測点が単独で存在することが多い。このことから、他車両ＡＢや二輪車ＭＳのように、反射強度の強い計測点が観測された場合には、即時に、物体が存在すると判定する。
【００５７】
なお、反射強度はレーダ２が発光するレーザ光の強さに依存するため、しきい値は、実験的に検出対象物体を計測した場合の一般的な反射強度を求め、その実験値に基づいて設定される。また、反射強度は、レーダ２からの距離が遠ざかると弱くなる。このため、しきい値は、物体との距離が遠くなるほど小さな値に設定されている。このようにしきい値に距離との相関を持たせるにあたり、あらかじめ実験値に基づき、距離に相関させたしきい値を記憶させてもよいし、あるいは、しきい値に距離に応じた係数を乗じることで距離との相関性を持たせるようにしてもよい。
【００５８】
次に、ステップＳ４の変化算出処理のうち、距離変化算出処理部１４で算出される距離変化について説明する。
図１１は、（ａ）にレーダ２による計測状態、（ｂ）にカメラ１で撮像した画像を示している。
【００５９】
レーダ２では、画像上の人物ＰＥ、他車両ＡＢ、壁ＷＯ、二輪車ＭＳのそれぞれについて、それぞれ計測点群Ｐ０，Ｐ１，Ｐ２，Ｐ３が得られ、かつ、それらとの距離ｚ０，ｚ１，ｚ２，ｚ３（ここでは、各計測点群に含まれる計測点の距離の各計測点群ごとの平均値）が計測されている。
【００６０】
距離変化算出処理部１４では、レーダ２により計測されている物体、すなわち計測点群Ｐ０，Ｐ１，Ｐ２，Ｐ３について、時間的に連続して観測される距離の変化が求められる。
【００６１】
さらに、距離変化算出処理部１４では、距離変化と共に反射強度（ここでは、各計測点群に含まれる計測点における反射強度の各計測点ごとの平均値）の変化も求められる。そして、この距離変化および反射強度変化に、あらかじめしきい値が設定されており、距離変化および反射強度変化が、しきい値を超えない範囲で時間的に連続して観測されている場合に、同じ物体を継続して計測していると判定され、この物体にフラグなどが与えられる。
【００６２】
一方、距離変化と反射強度変化との少なくとも一方が、あらかじめ設定されたしきい値を越えた場合には、観測中の物体が代わったと判断される。
【００６３】
すなわち、距離変化は、同じ物体を連続して観測し続ける必要がある。そこで、同じ物体を連続して観測しているかどうかを確認するために、上述のように距離変化および反射強度のしきい値を設定し、観測の途中で他の物体に代わっていないかどうかの確認を行うようにしている。ここで、距離変化のしきい値は、検出対象である物体としてあり得ない速度で距離変化したことを示す値に設定されているもので、物体の種類毎に異なるしきい値を用いることもできる。同様に、反射強度も、検出対象の物体上において、あり得ない反射強度変化が生じたことを示す値に設定されている。
【００６４】
次に、大きさ変化算出処理部１５で算出される大きさ変化について説明する。なお、この大きさ変化とは、本実施例１では、検出対象の物体そのものの画像上の大きさではなく、その物体の一部の画像上における大きさの変化が求められる。
【００６５】
カメラ１により撮像された物体の画像上の大きさは、距離に反比例している。また、その画像上の大きさの変化は、物体の上の或る部位と、物体全体と、のいずれでも、上記の距離との反比例との関係にある。
【００６６】
例えば、他車両ＡＢを検出している場合に、他車両ＡＢまでの距離ｚ１が半分になると、画像上の他車両ＡＢの大きさは２倍になる。また、他車両ＡＢのナンバプレートの部分のみでも、そのナンバプレートの画像上の大きさは、上記のように距離が半分になったときには、大きさは２倍になる。
【００６７】
このように、観測している或る物体において、その画像上の大きさの変化は、物体全体でも、物体の任意の部位でも、同様である。
【００６８】
そこで、本実施例１では、大きさ変化の算出対象は、図７（ａ）に示したような物体（他車両ＡＢ，人物ＰＥ）の全体を囲む矩形の物体判定領域ＳＧ１，ＳＧ２ではなく、これら物体判定領域ＳＧ１，ＳＧ２の中の一部の領域について行う。この大きさ変化の算出対象となる領域を、本明細書では注目領域と称する。
【００６９】
図１１（ｂ）に示す例では、画像上の人物ＰＥ、他車両ＡＢ、壁ＷＯ、二輪車ＭＳの一部に、図において点線で囲まれた矩形の注目領域Ｒ０，Ｒ１，Ｒ２，Ｒ３が示されている。これら注目領域Ｒ０，Ｒ１，Ｒ２，Ｒ３は、画像情報に基づいて設定された物体判定領域（図７のＳＧ１，ＳＧ２参照）の中で、エッジ強度などに基づき、或る物体を確実に撮像していると判定される一部の領域である。
【００７０】
すなわち、注目領域Ｒ０は、人物ＰＥの中央部のみの領域、注目領域Ｒ１は、他車両ＡＢのリヤバンパ１１ｃおよびナンバプレート１１ｄを含む部分のみの領域、注目領域Ｒ２は、壁ＷＯの他車両ＡＢから確実に離れた一部のみの領域、注目領域Ｒ３は、二輪車ＭＳの中央部のみの領域である。
【００７１】
次に、大きさ変化の求め方について、他車両ＡＢにおける注目領域Ｒ１を例にとり説明する。
【００７２】
この大きさ変化は、注目領域Ｒ１内のエッジ間の距離により求める。すなわち、この注目領域Ｒ１には、他車両ＡＢにおいて水平エッジが強く検出されるリヤウインドウ１１ａ、トランクリッド１１ｂ、リヤバンパ１１ｃ、ナンバプレート１１ｄが含まれている。
【００７３】
図１２は、注目領域Ｒ１を示しており、（ａ）がｔ０の時点であって自車両ＭＢとの距離がｚ１の状態を示し、（ｂ）がｔ０から時間が経過して自車両ＭＢとの距離がｚ１よりも小さくなった状態（この距離をａｆｚ１とする）を示している。
【００７４】
この図１２に示されるように、トランクリッド１１ｂとリヤバンパ１１ｃの各下側水平エッジ間の距離ｗｗ１およびリヤウインドウ１１ａとリヤバンパ１１ｃの各下側水平エッジ間の距離ｗｗ２は、相対距離の変化に応じて変化する。
【００７５】
すなわち、（ａ）に示す、距離＝ｚ１のときの水平エッジ間距離ｗｗ１，ｗｗ２よりも、距離が近付いた（ｂ）に示す、距離＝ａｆｚ１のときの水平エッジ間距離ａｆｗｗ１，ａｆｗｗ２の方が大きくなる。
【００７６】
この場合、距離ｚ１，ａｆｚ１と、水平エッジ間距離ｗｗ１，ｗｗ２，ａｆｗｗ１，ａｆｗｗ２は、下記の式（３）の関係が成り立つ。
ｚ１／ａｆｚ１＝ ａｆｗｗ１／ ｗｗ１＝ａｆｗｗ２ ／ｗｗ２  ・・・（３）
【００７７】
また、壁ＷＯなども明確なエッジを有する場合、上記と同じようにエッジ間距離の変化により大きさ変化を求めることができるが、繰り返し模様やテクスチャなどが観測される場合には、上述のようなエッジ間距離ではなく、観測される繰り返し模様やテクスチャの周波数成分により大きさ変化が求められる。
【００７８】
図１１（ｂ）に示すように、壁ＷＯに斜めのエッジの繰り返しが観測される場合において注目領域Ｒ２の距離変化に応じた画像変化を図１３に示している。図１３の（ａ）に示す距離＝ｚ１では、注目領域Ｒ２における繰り返しパターンの間隔が狭いのに対し、それよりも距離が近付いた（ｂ）に示す距離＝ａｆｚ１では、注目領域Ｒ２における繰り返しパターンの間隔が拡がる。
【００７９】
このような繰り返しパターンの間隔の変化は、注目領域Ｒ２におけるエッジの周波数変化として得られる。そこで、エッジの繰り返しパターンの周波数成分を、ウエーブレット変換や画像のＦＦＴ変換（高速フーリエ変換）などにより求める。
【００８０】
一般に繰り返しパターンのようにエッジが多く存在する場合、何本も同じ種類のエッジがあると、エッジの組み合わせを間違える可能性が有り、前述したエッジ間隔の変化に基づく物体の大きさ変化を信頼性高く算出することが難しい。そこで、本実施例１では、エッジ間距離の短い繰り返しパターンについては、周波数ｆの変化を求め、これを大きさ変化とする。
【００８１】
この場合、距離ｚ１，ａｆｚ１と、周波数ｆ１，ａｆｆ１は、下記の式（４）の関係が成り立つ。
ｚ１／ａｆｚ１＝ｆ１／ａｆｆ１  ・・・（４）
【００８２】
ここで、周波数は、周波数分解したときに強い繰り返しパターンが観測されるような種類の画像にだけ適用すればよいので、ＦＦＴ変換などで強いピークが観測された周波数ｆ１に適用すればよい。
【００８３】
次に、物体検出処理部１６におけるステップＳ５の物体検出処理について説明する。すなわち、ステップＳ３の物体存在判定処理では、画像上と検波情報とのそれぞれで物体が存在すると判定される。しかし、ステップＳ５の物体検出処理は、画像上で物体が検出されている或る領域の「大きさ変化」と、レーダで物体が検出されている或る方位の計測点における「距離変化」とを照合し、両変換に反比例という相関性が得られる物体が存在する場合に、「物体検出」とする。
【００８４】
なお、この照合には、図１１に示した画像上の注目領域Ｒ０，Ｒ１，Ｒ２，Ｒ３と、検波情報により物体が検出されている計測点群Ｐ０，Ｐ１，Ｐ２，Ｐ３とが用いられる。
【００８５】
次に、種類判定処理部１７で実行するステップＳ６の物体種類判定処理について説明する。
【００８６】
この物体種類判定は、前述のステップＳ５の物体検出処理に用いた、注目領域Ｒ０，Ｒ１，Ｒ２，Ｒ３および計測点群Ｐ０，Ｐ１，Ｐ２，Ｐ３の情報に基づいて行う。
【００８７】
本実施例１では、物体の種類の判定に用いられる情報として、縦・横エッジ、エッジ強度、方向ベクトル分散、反射強度、相対速度が用いられ、これら判定用の情報と物体の種類との関係を示す判定特性情報があらかじめデータベースに保管されている。
【００８８】
図１４は、その判定特性情報の一例を示す。図において、「少」「多」「弱」「強」「高」「低」は、検出する物体における各情報の特徴を示し、「０」は、その種類の物体判定に用いないことを示している。
【００８９】
したがって、各注目領域Ｒ０，Ｒ１，Ｒ２，Ｒ３および計測点群Ｐ０，Ｐ１，Ｐ２，Ｐ３の情報の特徴が、図１４の判定特性情報の各物体の種類と一致するか否かに基づいて、物体の種類が判定される。
【００９０】
すなわち、注目領域が持つ情報である縦・横エッジが多く、エッジ強度が強いとともに、方向ベクトル分散が小さく、かつ、計測点群が持つ情報である反射強度が、リフレクタからの反射に相当する強い値を示すとともに、相対速度が、先行車両に相当する遅い速度である場合は、走行中の他車両ＡＢと判定される。
【００９１】
また、注目領域が持つ情報である縦・横エッジが少なく、エッジ強度が弱いとともに、方向ベクトル分散が小さく、かつ、計測点群が持つ情報である反射強度が弱いとともに、相対速度が速い場合には、人物（歩行者）ＰＥと判定される。
【００９２】
また、注目領域が持つ情報である縦・横エッジが少なく、エッジ強度が弱いとともに、方向ベクトル分散が大きく、かつ、計測点群が持つ情報である反射強度が強いとともに、相対速度が遅い場合には、走行中の二輪車ＭＳと判定される。
【００９３】
また、注目領域が持つ情報である縦エッジが多く、横エッジが少なく、エッジ強度が強く、方向ベクトル分散が小さく、かつ、計測点群が持つ情報である相対速度が速いとともに反射強度が低い場合には、道路構造物と判定される。
【００９４】
さらに、物体として検出されているが、これらの基準のいずれにも属さない場合には、種類は、「その他の物体」と判定される。
【００９５】
以上説明したように、本実施例１の物体検出装置では、カメラ１で撮像された画像上の領域の大きさ変化と、レーダ２で捉えられた計測点の距離変化と、の照合に基づいて物体を検出し、さらに、照合がとれた領域の画像情報および検波情報の少なくとも一方に基づいて、物体の種類の判定を行うようにした。
【００９６】
このように、実施例１の物体検出装置では、「車両」のみに限定されることなく様々な種類の物体を検出でき、しかも、このような様々な種類の物体を検出するにあたり、背景などの情報が入ることのない、信頼度の高い物体の種類判定が可能となる。
【００９７】
すなわち、画像情報の中から物体を抽出するにあたり、従来のように、物体の輪郭を抽出したり、図７に示すような物体を含む矩形を抽出したりする手段では、抽出部分に、背景部分や隣り合う他の物体を含むおそれがある。
【００９８】
このように、抽出部分に、検出対象である物体の他に、背景や隣り合う他の物体の情報が含まれてしまった場合、レーダ２による検波情報と不一致の部分が含まれ、物体との距離などの精度が低下するおそれがある。加えて、このように抽出した情報に基づいて物体の種類を判別する際に、その物体以外の物に関する情報が含まれていることから、種類の判別精度も低下するおそれがある。
【００９９】
さらに、本実施例１では、物体の検出の際に、「大きさ変化」を算出するが、このように背景などの情報が含まれると、背景のエッジなどが悪影響し、「大きさ変化」を誤って算出するおそれもある。
【０１００】
それに対し、本実施例１では、上述のように、画像上の物体のなかで、画像上の物体の中の一部の小領域を注目領域として抽出しているため、上述のような背景や隣り合う他の物体の情報が含まれるおそれが低くなり、従来のように、物体の輪郭や物体を含む矩形に基づいて物体検出を行うのに比べて物体検出精度が向上する。
【０１０１】
しかも、物体の検出において、画像上の特定の小領域の情報に基づいて得られた「大きさ変化」と、検波情報で得られた同じ方位に存在する物体の「距離変化」と、を照合して、カメラ１とレーダ２とで同一の物体を検出していることの照合を行うようにしたため、カメラ１とレーダ２とで検出される物体の一致を精度の高いものとでき、いっそう物体検出精度の向上を図ることができる。
【０１０２】
さらに、本実施例１では、レーダ２による計測点と一致した注目領域および計測点群との情報に基づいて、物体の種類を判定するようにしているため、車両以外の物体も検出できる。しかも、この判定に、検出対象となる物体以外の背景や隣り合う物体などの情報が含まれる可能性が低く、従来のように、物体の輪郭や物体を含む矩形の情報に基づいて物体の種類の判定を行うものに比べて、物体の種類の判定精度を向上させることができる。
【０１０３】
また、本実施例１では、物体の種類の判定として、データベースに保管された判定特性情報に基づいて判定を行うようにしているため、判定の処理の簡略化を図ることができる。しかも、この判定に、縦・横エッジ、エッジ強度、方向ベクトル分散、反射強度、相対速度を用いるようにしているため、人物ＰＥ、他車両ＡＢ、二輪車ＭＳ、道路構造物（壁ＷＯ）を識別して判定することができる。
【実施例２】
【０１０４】
次に、図１５に基づいて本発明の実施の形態の実施例２の物体検出装置について説明する。なお、この実施例２を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１０５】
この実施例２の物体検出装置では、ステップＳ４の大きさ変化算出処理において画像上の物体から注目領域を抽出する手法が実施例１と異なる。
【０１０６】
すなわち、実施例１では、画像上の物体の中の一部の領域を抽出していたが、本実施例２では、まず、図７（ａ）に示すような物体を含む矩形の物体判定領域ＳＧ１，ＳＧ２を形成した後、これを細分化して注目領域を設定する。
【０１０７】
図１５は、その一例を示しており、他車両ＡＢが含まれる物体判定領域ＳＧ３を、さらに、縦方向および横方向のそれぞれで等間隔の分割線ＢＬにより細分化し、この細分化された各細分化領域を注目領域ＴＲとする。
【０１０８】
そして、ステップＳ５の物体検出処理において、「大きさ変化」と「距離変化」とによる照合を行って、反比例という相関性がとれた注目領域ＴＲのみを、種類判定用領域ＲＳＧとする。
【０１０９】
したがって、その後の種類判定処理では、種類判定用領域ＲＳＧの画像情報が他車両ＡＢの判定に用いられる。
【０１１０】
なお、実施例２では、他の構成は実施例１と同様であるので説明を省略する。
【０１１１】
本実施例２では、注目領域ＴＲの設定が、物体を含む矩形の物体判定領域ＳＧを単純に分割するだけであるので、処理が単純で、処理速度の向上あるいは処理に要する構成の簡略化を図ることができる。
【０１１２】
また、物体の種類の判定には、このように大まかに設定した複数の注目領域ＴＲのうちで、「大きさ変化」と「距離変化」とが相関する種類判定用領域ＲＳＧのみの情報に基づいて物体の種類の判定を行うため、実施例１と同様に、物体の種類の判定に検出対象となる物体以外の情報が含まれにくくなり、物体の検出精度の向上を図ることができ、かつ、物体の種類の判定精度を向上させることができる。
【実施例３】
【０１１３】
次に、本発明の実施の形態の実施例３の物体検出装置について説明する。なお、この実施例３を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１１４】
この実施例３の物体検出装置では、物体検出処理の内容が実施例１と相違している。すなわち、実施例３では、実施例１の物体検出処理と並列に以下の処理を実行し、「大きさ変化」と「距離変化」とに基づく照合を行う前に物体検出と判断する処理を追加した。
【０１１５】
詳細には、ステップＳ３の物体存在判定処理において、画像情報から得られたエッジ強度および検波情報から得られた反射強度が、あらかじめ設定されたしきい値よりも高く、何れか単独の検出結果であっても信頼度が高い場合には、即時に物体の検出と判定する。
【０１１６】
これにより、霧や雨・雪や逆光などにより、カメラ１とレーダ２とのうちで、いずれか一方の検出信頼性が低い状況でも、物体の検出が可能となる。
【０１１７】
しかも、本実施例３では、カメラ１とレーダ２との一方のみで物体の検出を行う際は、信頼度を確保できるしきい値を設定しているため、両者１，２の一方のみの検出であっても、高い信頼度を確保することができる。
【実施例４】
【０１１８】
次に、本発明の実施の形態の実施例４の物体検出装置について説明する。なお、この実施例４を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１１９】
この実施例４では、図３の変換処理部１２の情報変換処理の内容の一部が実施例１と異なる。すなわち、実施例４では、変換処理部１２において、画像情報と検波情報に対して、方向微分、時系列微分および時系列積分をかける処理を行う。
【０１２０】
なお、画像の微分は、図８に示したフィルタとのコンボリューションを求める。また、レーダ２の計測値を微分する場合は、例えば、隣り合う計測点の反射強度の差を求めるなどの単純処理を適用すればよい。また、時系列的な微分および積分は、或る注目画素や計測点に注目し、連続して入力されるその注目点の画素または計測点の差分あるいは加算値を微分値および積分値として算出する。
【０１２１】
以上のように、本実施例４では、エッジに、たまたま欠損が生じるような状況であっても、積分値が用いられることで、このような欠損を防いで安定した物体の検出が可能となる。
【０１２２】
また、あらかじめ微分値が算出されていることで、図７（ａ）に示す物体判定領域ＳＧ１，ＳＧ２の情報として、輝度値に替えて微分画像を用いるか、あるいは、輝度値と微分画像との両方を用いることで、直線成分の検出を、より正確に行うことができる。
【実施例５】
【０１２３】
次に、図１６，１７に基づいて本発明の実施の形態の実施例５の物体検出装置について説明する。なお、この実施例５を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１２４】
この実施例５は、図３に示される種類判定処理部１７における種類判定処理が実施例１とは異なる。
【０１２５】
すなわち、実施例５では、物体の種類判定には、カメラ１からの画像情報として、エッジの方位分散、水平エッジ強度、輝度分散、輝度平均、垂直エッジ強度が用いられ、また、レーダ２からの検波情報として、反射強度分散、反射強度平均、輝度分散が用いられるもので、これらを総称して特徴量と呼ぶ。
【０１２６】
そして、本実施例５では、物体の種類の判定に、これら特徴量の割合を用いる。すなわち、本実施例５では、物体の種類別に、実験結果に基づく平均的な特徴量の割合を示す判定特性情報が図外のデータベースに保管されている。
【０１２７】
図１６は、データベースに保管された判定特性情報の一例を示しており、（ａ）が他車両ＡＢの判定特性情報、（ｂ）が人物ＰＥの判定特性情報を示している。
【０１２８】
そして、実際に検出された注目領域Ｒ０〜Ｒ３および計測点群Ｐ０〜Ｐ３などの特徴量の割合を算出し、それらの結果と保管された判定特性情報とを比較することで、物体の種類の判定を行う。
【０１２９】
また、図１７は、特徴量の割合の検出例を示している。図１７において、（ａ）は図１１の他車両ＡＢを検出した計測点Ｐ１および注目領域Ｒ１における特徴量の種類別の割合を示している。また、同図（ｂ）は、図１１の人物ＰＥの計測点群Ｐ０と注目領域Ｒ０において求めた縦横エッジや反射強度などの特徴量の種類別の割合を示している。
【０１３０】
これら図１６、図１７を参照すると分かるように、他車両ＡＢは、水平線などの直線エッジが多く、反射強度が強く、エッジの方向ベクトル分散が小さい。また、人物ＰＥは、エッジは少ないが、方向ベクトル分散が大きく、反射強度が強い。このように、物体の種類により、特徴量の割合が異なる。
【０１３１】
そこで、本実施例５のように、保管データと、検出した物体との特徴量の割合を比較することで、高い精度で物体の種類を判定することができる。
【０１３２】
なお、上述の特徴量の割合をバーグラフ上の値として、処理するにあたっては、以下に述べる処理を行う。
【０１３３】
まず、縦横エッジ数ＥＣＴ、反射強度ＬＣＴ、エッジの方向ベクトル分散値ＥＶを算出する。なお、これらの縦横エッジ数、反射強度、エッジの方向ベクトル分散値には、それぞれに、あらかじめ基準値ＥＣＴ０、ＬＣＴ０、ＥＶ０を設定しておく。
【０１３４】
次に、各値について、算出値と基準値との比、ＥＣＴ／ＥＣＴ０（＝ＲＥ）、ＬＣＴ／ＬＣＴ０（＝ＲＬ）、ＥＶ／ＥＶ０（＝ＲＶ）を算出する。
次に、算出比の総和Ｗ＝ＲＥ＋ＲＬ＋ＲＶを算出する。
【０１３５】
さらに、総和Ｗに対する各比の割合、すなわち、ＲＥ／Ｗ、ＲＬ／Ｗ、ＲＶ／Ｗを算出する。
最後に、これらの値ＲＥ／Ｗ、ＲＬ／Ｗ、ＲＶ／Ｗを、図１７に示すように、バーグラフとして処理する。
【０１３６】
以上のように、実施例５では、物体の種類の判別を特徴量の割合により行うことで、精度の高い判別が可能となる。
【０１３７】
また、判別する物体の種類を増加あるいは変更する場合などでも、データベースに保管した特徴量を示すデータを変更あるいは増加するだけで対応可能であり、判別する物体の種類の変更が容易である。
【実施例６】
【０１３８】
次に、図１８に基づいて本発明の実施の形態の実施例６の物体検出装置について説明する。なお、この実施例６を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１３９】
この実施例６は、図３の種類判定処理部１７における物体の種類を判定する領域の設定が実施例１と異なる。すなわち、実施例６では、他車両ＡＢのように横長の物体や壁ＷＯのように物体を示す領域が画像内で大きく区切られた物体について、物体の端縁部と内部との２箇所に種類判定用領域を設定するように構成されている。
【０１４０】
この一例を図１８に示しており、他車両ＡＢと壁ＷＯについて、それぞれ、物体の端縁部に配置された端部種類判定用領域ＴＲ１，ＴＲ２と、物体の内部に配置された内部種類判定用領域ＮＲ１，ＮＲ２とが設定されている。
【０１４１】
これら各領域ＴＲ１，ＴＲ２，ＮＲ１，ＮＲ２の設定は、実施例２で説明した処理を用いて設定される。すなわち、まず、実施例２で説明したように、物体（この例の場合、他車両ＡＢおよび壁ＷＯ）を含む広範囲の物体判定領域を設定し、これを細分化して注目領域が設定され。そして、各注目領域について、「大きさ変化」と「距離変化」との照合を行い、相関性が得られた領域が、種類判定用領域として設定される。ここまでは、実施例２と同様の処理である。
【０１４２】
さらに、本実施例６では、得られた種類判定用領域から、物体の端縁の示す強いエッジを有する部分を含む領域と、この端縁を示すエッジよりも内側に配置された領域と、が抽出される。このように抽出された前者の領域が端部種類判定用領域ＴＲ１，ＴＲ２であり、後者の領域が内部種類判定用領域ＮＲ１，ＮＲ２である。
【０１４３】
なお、人物ＰＥや二輪車ＭＳのように細長い物体や、もともと小さな物体などは、物体端を含む領域を設けると、背景を多く含んでしまうおそれが強い。そこで、上述の横長および画像内で大きく区切られた物体以外の、細長い物体や小さな物体などは、物体端に特徴量無しとし、実施例２と同様に、物体内部に設定された種類判定用領域の情報のみを用いて物体の検出およびその種類判定が行われるようになっている。
【０１４４】
また、物体の種類判定は、実施例５で説明した、特徴量の割合を示す判定特性情報に基づいて行われる。この場合、物体の種類により端縁部と内部とで、特徴量の割合が異なって設定されている。
【０１４５】
すなわち、画像情報において、他車両ＡＢでは、物体端が、強いエッジを持つのに対し、内部は、バンパなどエッジを有する部分と、窓ガラス面やボディ面などのエッジを持たない部分とが存在する。
【０１４６】
また、壁ＷＯや図外の建物などの人工物も、他車両ＡＢと同様に、物体端に直線性を有するのに対し、内部は、エッジやテクスチャを有していなかったり、エッジやテクスチャがあっても、それが弱かったりする場合がある。
【０１４７】
そこで、同じ種類の物体であっても、判定特性情報が、端縁部と内部とで、異なって設定されている。
【０１４８】
以上説明したとおり、実施例６の物体検出装置にあっては、物体の端縁部と内部とに設定された端部種類判定用領域ＴＲ１，ＴＲ２と、内部種類判定用領域ＮＲ１，ＮＲ２とで得られる画像情報に基づいて、物体の種類の判定を行うようにした。このため、物体の特徴をより明確に把握することができ、物体の検出精度および種類の判定精度を向上させることができる。
【実施例７】
【０１４９】
次に、図１９，２０に基づいて本発明の実施の形態の実施例７の物体検出装置について説明する。なお、この実施例７を説明するにあたり、前記実施例１と同一ないし均等な部分については、同一符号を付して、相違する部分を中心として説明する。
【０１５０】
この実施例７は、図３に示す物体検出処理部１６では、同じ方位で距離が異なる位置に複数の物体を示す計測点が存在した場合には、同方位処理が実行される。すなわち、同じ方位に複数の物体が存在する場合、後方の物体の全体が手前の物体に隠れていない場合には、これら後方に存在する物体も、レーダ２により計測される。
【０１５１】
図１９（ａ）は、このようなレーダ２の計測例を示しており、方位αの方向に、手前側から順に、人物ＰＥの計測点群Ｐ００、他車両ＡＢの計測点群Ｐ０１、壁ＷＯの計測点群Ｐ０２が、方位αの距離ｚ０、ｚ１、ｚ２に存在している。なお、これは図１１に示したのと同様の計測例を示している。
【０１５２】
また、図１９（ｂ）は、カメラ１で撮像した画像を示しており、図中Ｈαは、レーダ２の方位αに相当する画像上の領域を示している。この図１９（ｂ）に示すように、画像上の領域Ｈαでは、手前の人物ＰＥの陰に、他車両ＡＢと壁ＷＯの一部が隠れている。なお、同図において、画像上の縦の点線は、レーダ２のスキャニング分解能の単位を画像上に対応させた範囲を示している。
【０１５３】
本実施例７では、図示のように同じ方位αの異なる距離に複数の物体が存在する場合には、これら同じ方位αに存在する物体を区別する同方位処理を実行する。
【０１５４】
図２０のフローチャートは、実施例７の物体検出処理の流れを示すもので、ステップＳ７１では、同じ方位で異なる距離に複数の計測点が存在するか否か判定し、複数存在すると判定された場合には、ステップＳ７２の同方位処理を実行する。一方、同じ方位で異なる距離に計測点が複数存在しない場合には、ステップＳ７３の通常処理に進む。なお、この通常処理は、実施例１で説明した物体検出処理である。
【０１５５】
次に、ステップＳ７２の同方位処理について説明する。この同方位処理は、距離の異なる計測点ごと（図１９の計測点群Ｐ００，Ｐ０１，Ｐ０２ごと）に、「距離変化」と「大きさ変化」と照合して、距離の近い順に、画像上の物体を示す物体領域を設定する処理である。
【０１５６】
すなわち、まず、最も手前の物体（人物ＰＥ）の計測点群Ｐ００の「距離変化」と各注目領域の大きさ変化とを照合し、相関性（反比例の関係）を有する注目領域であって、方位αが含まれる領域を、手前の物体（人物ＰＥ）を示す物体領域Ｒ００とする。なお、本実施例７では、物体領域の設定にあたり、矩形の領域として設定するようにしている。
【０１５７】
次に、方位αにおいて、２番目に近い物体の計測点群Ｐ０１の「距離変化」と、残りの注目領域の「大きさ変化」との照合を行うが、この場合、上記物体領域Ｒ００に含まれる注目領域は除外して行われる。
【０１５８】
さらに、この２番目に近い物体（この例では、他車両ＡＢ）の計測点群Ｐ０１における「距離変化」に相関する注目領域が決定されたら、この注目領域を含む物体領域Ｒ０１を設定する。この物体領域Ｒ０１は、先に設定された人物ＰＥの物体領域Ｒ００とは重ることのないように設定される。
【０１５９】
次に、３番目に近い計測点群Ｐ０２についても、１番目および２番目に設定された物体領域Ｒ００，Ｒ０１の外の注目領域について、上記と同様の距離変化と大きさ変化との照合を行い、その物体の物体領域Ｒ０２が設定される。
【０１６０】
以上のように、各物体について物体領域Ｒ００，Ｒ０１，Ｒ０２が設定されたら、この物体領域Ｒ００，Ｒ０１，Ｒ０２および計測点群Ｐ００，Ｐ０１，Ｐ０２が有する情報に基づいて、物体の検出を行い、また、物体の種類の判定が行われる。この物体検出および種類の判定は、実施例１と同様の処理であるので、説明を省略する。
【０１６１】
以上のように、本実施例７では、同方位で異なる距離に複数の物体が計測される場合には、画像上に設定される物体領域Ｒ００，Ｒ０１，Ｒ０２は、確実に手前の物体の画像とは区別される。したがって、その後の、物体検出処理および種類判定処理において、誤って手前の物体が有する情報が抽出されて、物体検出や物体の種類判定が成されることがない。よって、物体の検出精度がさらに向上する。
【０１６２】
以上、図面を参照して、本発明の実施の形態および実施例１ないし実施例７を詳述してきたが、具体的な構成は、この実施の形態および実施例１ないし実施例７に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１６３】
例えば、実施例１〜７では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。
【０１６４】
また、物体存在判定処理において、画像情報に基づく判定は、実施例１では、オプティカルフローにより同じ動きが集中している部分を物体とする例を示したが、これに限定されない。例えば、
ａ．ある物体のモデルを定義し、物体検出用のテンプレートを用意した上で、そのテンプレートとの類似性より検出する。
ｂ．Hough変換などの直線を検出する手段を利用し、直線が多く存在する領域を物体とする。
ｃ．色領域により検出する。
あるいは、特開２００４−２３５７１１号公報、特開平１１−３４５３３６号公報に記載された技術を用いることができる。
【０１６５】
また、実施例２では、矩形の物体判定領域ＳＧ３を細分化するにあたり、図では略等分割した例を示したが、これに限定されない。例えば、矩形の物体判定領域ＳＧ３内において観測されるエッジなどに基づいて、ランダムに細分化してもよい。
【図面の簡単な説明】
【０１６６】
【図１】本発明の実施の形態の実施例１の物体検出装置を搭載した自車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。
【図２】前記実施例１の物体検出装置における物体検出制御の流れを示すフローチャートである。
【図３】前記実施例１の物体検出装置におけるコントロールユニットＣＵにて行われる各処理を行う部分を概念的に示すブロック図である。
【図４】前記実施例１の物体検出装置の物体検出制御におけるメモリ１１に保存される情報と変換処理部１２における変換処理の概略を説明する概念図である。
【図５】前記実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を横から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図６】前記実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は実施例１の物体検出装置を上方から見た状態を示し、（ｂ）はカメラ１の撮像面１ａに投影された輝度画像を示しており、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示している。
【図７】前記実施例１の物体検出装置におけるカメラ１の画像情報とレーダの距離検出の状態を示す説明図である。
【図８】前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。
【図９】前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、（ａ）は垂直エッジ成分算出用のフィルタを示し、（ｂ）は水平エッジ成分算出用のフィルタを示し、（ｃ）はエッジ強度とエッジ方向ベクトルとの関係を示している。
【図１０】前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理におけるオプティカルフローとレーダの距離検出の状態を示す説明図である。
【図１１】前記実施例１の物体検出装置におけるカメラ１の画像情報とレーダの距離検出の状態を示す説明図であり、（ａ）はレーダ２による計測状態、（ｂ）はカメラ１で撮像した画像を示している。
【図１２】前記実施例１の物体検出装置において注目領域Ｒ１による「大きさ変化」の算出例の説明図であり、（ａ）がｔ０の時点の状態を示し、（ｂ）がｔ０から時間が経過した上体を示している。
【図１３】前記実施例１の物体検出装置において注目領域Ｒ２における「大きさ変化」の算出例の説明図であり、（ａ）が距離＝ｚ１の状態を示し、（ｂ）が（ａ）よりも距離が近付いた距離＝ａｆｚ１の状態を示している。
【図１４】前記実施例１の物体検出装置において用いる判定特性情報の一例を示す特性図である。
【図１５】本発明の実施の形態の実施例２の物体検出装置における注目領域の設定例を説明する説明図であり、（ａ）は物体判定領域を細分化して注目領域を設定した状態を示し、（ｂ）は種類判定用領域を設定した状態を示している。
【図１６】本発明の実施の形態の実施例５の物体検出装置において、データベースに保管された判定特性情報を示す特性図であり、（ａ）が他車両ＡＢの判定特性情報、（ｂ）が人物ＰＥの判定特性情報を示している。
【図１７】前記実施例５の物体検出装置における特徴量の割合の検出例を示す図であり、ａ）が他車両ＡＢの検出例、（ｂ）が人物ＰＥの検出例を示している。
【図１８】本発明の実施の形態の実施例６の物体検出装置の種類判定用領域の設定例を説明する説明図である。
【図１９】本発明の実施の形態の実施例７の物体検出装置における計測例を示す図であり、（ａ）はレーダ２の計測例を示し、（ｂ）はカメラ１で撮像した画像を示している。
【図２０】本発明の実施の形態の実施例７の物体検出装置における物体検出処理の流れを示すフローチャートである。
【符号の説明】
【０１６７】
１     カメラ（画像取得手段）
１ｂ   レンズ
１ａ   撮像面
２     レーダ（検波情報取得手段）
１１   メモリ
１１ａ リヤウインドウ
１１ｃ リヤバンパ
１１ｂ トランクリッド
１１ｄ ナンバプレート
１２   変換処理部
１３   物体存在判定処理部
１４   距離変化算出処理部
１５   大きさ変化算出処理部
１６   物体検出処理部
１７   種類判定処理部
ＣＵ   コントロールユニット（物体検出手段）
【図１】
2007255978.tif 000003
【図２】
2007255978.tif 000004
【図３】
2007255978.tif 000005
【図４】
2007255978.tif 000006
【図５】
2007255978.tif 000007
【図６】
2007255978.tif 000008
【図７】
2007255978.tif 000009
【図８】
2007255978.tif 000010
【図９】
2007255978.tif 000011
【図１０】
2007255978.tif 000012
【図１１】
2007255978.tif 000013
【図１２】
2007255978.tif 000014
【図１３】
2007255978.tif 000015
【図１４】
2007255978.tif 000016
【図１５】
2007255978.tif 000017
【図１６】
2007255978.tif 000018
【図１７】
2007255978.tif 000019
【図１８】
2007255978.tif 000020
【図１９】
2007255978.tif 000021
【図２０】
2007255978.tif 000022