(57)【要約】【課題】自車に搭載したカメラの自車前方の撮影画像の二値化されたエッジヒストグラムから、撮影画像に含まれた対向車のヘッドランプ等の大きなノイズの影響を極力抑制して自車前方の先行車等の障害物を精度よく認識する。【解決手段】単眼カメラ２の各時刻の撮影画像の二値化されたエッジヒストグラムにつき、前回のエッジヒストグラムの候補領域と、今回のエッジヒストグラムの候補領域を拡大縮小した拡縮領域とにつき、近傍大小関係処理手段により、各画素位置のヒストグラム高さと左、右いずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、その関係度数値で表記し、類似度演算手段により、前回の候補領域と今回の各拡大率それぞれの拡縮領域との関係度数値の差を加算して各拡大率の近傍大小関係の類似度を決定し、前記関係度数値の差の加算値が最小になる類似度が最も高い拡大率を検出して障害物を認識する。【選択図】図１
2006285492.tif 000002
【特許請求の範囲】
【請求項１】
自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識装置において、
前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成するエッジヒストグラム算出手段と、
前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定する候補領域決定手段と、
前記エッジヒストグラム算出手段の前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと左、右いずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた関係度数値で表記する近傍大小関係処理手段と、
前記各画素位置毎の前回の前記候補領域と今回の各拡大率それぞれの前記拡縮領域との前記関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定する類似度演算手段と、
前記関係度数値の差の加算値が最小になる前記類似度が最も高い拡大率を検出する拡大率検出手段とを備え、
前記拡大率検出手段の検出結果から前記障害物を捕捉して認識するようにしたことを特徴とする障害物認識装置。
【請求項２】
自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識装置において、
前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成するエッジヒストグラム算出手段と、
前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定する障害物領域決定手段と、
前記エッジヒストグラム算出手段の前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと左隣、右隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた前記左隣の関係度と前記右隣の関係度との組み合わせの二次元関係度数値で表記する近傍大小関係処理手段と、
前記各画素位置毎の前回の前記候補領域と今回の前記拡縮領域との前記二次元関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定する類似度演算手段と、
前記二次元関係度数値の差の加算値が最小になる前記類似度が最も高い拡大率を検出する拡大率検出手段とを備え、
前記拡大率検出手段の検出結果から前記障害物を捕捉して認識するようにしたことを特徴とする障害物認識装置。
【請求項３】
請求項１又は２に記載の障害物認識装置において、
拡大率検出手段が検出した拡大率から自車と障害物との衝突予測時間を算出して前記障害物を認識する衝突予測演算手段とを備えたことを特徴とする障害物認識装置。
【請求項４】
請求項１〜３のいずれかに記載の障害物認識装置において、
自車に自車前方を探査する測距用のレーダを搭載し、該レーダとカメラとのセンサフュージョンにより、前記レーダの測距結果からの先行車等の障害物のレーダ側の認識と、拡大率検出手段の検出結果に基づく前記障害物のカメラ側の認識とにより、前記障害物を総合的に認識するようにしたことを特徴とする障害物認識装置。
【請求項５】
自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識方法において、
前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成し、
前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定し、
前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと該各画素位置の左、右のいずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた関係度数値で表記し、
前記各画素位置毎の前回の前記候補領域と今回の各拡大率それぞれの前記拡縮領域との前記関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定し、
前記関係度数値の差の加算値が最小になる前記類似度が最も高い拡大率を検出して前記障害物を捕捉し、認識することを特徴とする障害物認識方法。
【請求項６】
自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識方法において、
前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成し、
前記エッジヒストグラムのピーク位置から前記撮影画像の前記障害物の候補領域を決定し、
前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと該各画素位置の左隣、右隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた前記左隣の関係度と前記右隣の関係度との組み合わせの二次元関係度数値で表記し、
前記各画素位置毎の前回の前記候補領域と今回の前記拡縮領域との前記二次元関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定し、
前記二次元関係度段階の差の加算値が最小になる前記類似度が最も高い拡大率を検出して前記障害物を捕捉し、認識することを特徴とする障害物認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車に搭載したカメラの自車前方の撮影画像の二値化されたエッジヒストグラムから自車前方の先行車等の障害物を認識し、その結果として自車とその障害物との衝突予測時間を求める障害物検出装置及び障害物認識方法に関する。
【背景技術】
【０００２】
一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能を実現するため、自車前方の先行車等の障害物を認識し、自車とその障害物との衝突予測時間（ＴＴＣ）等を把握することが要求される。
【０００３】
ところで、自車にレーザレーダやミリ波レーダ等の測距用のレーダの他に単眼カメラ、ステレオカメラ等のカメラを搭載し、その撮影画像の画像処理により、前記障害物の候補領域の二値化されたエッジヒストグラムを求め、今回の前記候補領域のエッジヒストグラムを拡大縮小した各拡大率のエッジヒストグラムのうちの前回の前記候補領域のエッジヒストグラムと同じヒストグラム高さ（レベル）の画素位置が多いもの、換言すれば、前回の前記候補領域のエッジヒストグラムとのヒストグラム高さの差が最も小さくなるものの拡大率から、自車と障害物との距離の変化率を求めることが提案されている（例えば、特許文献１参照。）。
【０００４】
そして、前記の距離の変化率は自車とその障害物とのＴＴＣに対応し、前記のヒストグラム高さの差が最も小さくなるものの拡大率をｋ０とすると、ＴＴＣは、概略、ＴＴＣ＝１／（ｋ０−１）の演算から求まる。
【０００５】
【特許文献１】特許３５９６３３９号公報（段落［００２３、］及び［００３８］−［００４０］、［００４８］、図１、図８−図１０）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記特許文献１のように今回の前記候補領域のエッジヒストグラムを拡大縮小した各拡大率のエッジヒストグラムと前回の前記候補領域のエッジヒストグラムとのヒストグラム高さの差（レベル差）そのものの大小から、前記差の最小のものを検出して今回の拡大率を検出する場合は、拡大率計算精度が障害物の認識性能に大きく影響するが、画像上の拡大率計測領域（障害物の候補領域）を厳密に先行車位置等の障害物に一致するように配置することは難しく、夜間等においては、図８の（ａ）の夜間の撮影画像Ｐに示すように、障害物である先行車ＴＧの候補領域α及びその近傍に対向車のヘッドランプのような強いノイズ成分ＮＺが含まれると、このノイズ成分ＮＺが図８の（ｂ）の撮影画像Ｐのエッジ画像Ｐ＊に含まれるようになり、その結果、図９の（ａ）の垂直エッジヒストグラムｖｈに示すように、そのエッジヒストグラムｖｈにも先行車ＴＧの点灯したブレーキランプのような大きなノイズ成分ｎｚが含まれるようになる。
【０００７】
そのため、前記のヒストグラム高さの差に誤差が生じ、この差の和（残差和）の拡大率特性が例えば図９の（ｂ）に示すようになり、本来は中央の正解拡大率ｋ０で前記の残差和が最小になるところ、ノイズ成分ｎｚによって誤りの拡大率ｋｅで前記の残差和が最小になり、拡大率の検出ミスが生じ、その結果、先行車ＴＧ等の障害物の捕捉ミスが生じて認識精度が低下する。
【０００８】
そのため、例えば自車に測距用のレーダ及びカメラを搭載し、レーダとカメラとのセンサフュージョンにより、レーダの測距結果からの先行車ＴＧ等の障害物のレーダ側の認識を、前記カメラの前記の拡大率の検出に基づく障害物のカメラ側の認識との一致、不一致から検証して障害物を認識する場合に、レーダの正しい認識に対して誤っていると誤判定し、例えば衝突可能性の誤警報や警報不作動が発生するおそれがある。
【０００９】
本発明は、自車に搭載したカメラの自車前方の撮影画像の二値化されたエッジヒストグラムから、撮影画像に含まれた対向車のヘッドランプ等の大きなノイズの影響を極力抑制して自車前方の先行車等の障害物を精度よく認識することを目的とし、その結果として自車とその障害物との衝突予測時間を精度よく求めることも目的とする。
【課題を解決するための手段】
【００１０】
上記した目的を達成するために、本発明の障害物認識装置は、自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識装置において、前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成するエッジヒストグラム算出手段と、前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定する候補領域決定手段と、前記エッジヒストグラム算出手段の前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと左、右いずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた関係度数値で表記する近傍大小関係処理手段と、前記各画素位置毎の前回の前記候補領域と今回の各拡大率それぞれの前記拡縮領域との前記関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定する類似度演算手段と、前記関係度数値の差の加算値が最小になる前記類似度が最も高い拡大率を検出する拡大率検出手段とを備え、前記拡大率検出手段の検出結果から前記障害物を捕捉して認識するようにしたことを特徴としている（請求項１）。
【００１１】
また、本発明の障害物認識装置は、自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識装置において、前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成するエッジヒストグラム算出手段と、前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定する障害物領域決定手段と、前記エッジヒストグラム算出手段の前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと左隣、右隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた前記左隣の関係度と前記右隣の関係度との組み合わせの二次元関係度数値で表記する近傍大小関係処理手段と、前記各画素位置毎の前回の前記候補領域と今回の前記拡縮領域との前記二次元関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定する類似度演算手段と、前記二次元関係度段階の差の加算値が最小になる前記類似度が最も高い拡大率を検出する拡大率検出手段とを備え、前記拡大率検出手段の検出結果から前記障害物を捕捉して認識するようにしたことを特徴としている（請求項２）。
【００１２】
さらに、本発明の障害物認識装置は、前記拡大率検出手段が検出した拡大率から自車と障害物との衝突予測時間を算出して前記障害物を認識する衝突予測演算手段とを備えたことを特徴とし（請求項３）、自車に自車前方を探査する測距用のレーダを搭載し、該レーダとカメラとのセンサフュージョンにより、前記レーダの測距結果からの先行車等の障害物のレーダ側の認識と、拡大率検出手段の検出結果に基づく前記障害物のカメラ側の認識とにより、前記障害物を総合的に認識するようにしたことも特徴とする（請求項４）。
【００１３】
つぎに、本発明の障害物認識方法は、自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識方法において、前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成し、前記エッジヒストグラムのピーク位置から前記障害物の候補領域を決定し、前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと該各画素位置の左、右のいずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた関係度数値で表記し、前記各画素位置毎の前回の前記候補領域と今回の各拡大率それぞれの前記拡縮領域との前記関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定し、前記関係度数値の差の加算値が最小になる前記類似度が最も高い拡大率を検出して前記障害物を捕捉し、認識することを特徴としている（請求項５）。
【００１４】
また、本発明の障害物認識方法は、自車に少なくともカメラを搭載し、該カメラの時々刻々の撮影画像から先行車等の自車前方の障害物を認識する障害物認識方法において、前記カメラの各時刻の前記撮影画像の二値化されたエッジヒストグラムを形成し、前記エッジヒストグラムのピーク位置から前記撮影画像の前記障害物の候補領域を決定し、前回の前記エッジヒストグラムの前記候補領域と、今回の前記エッジヒストグラムの前記候補領域を拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと該各画素位置の左隣、右隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた前記左隣の関係度と前記右隣の関係度との組み合わせの二次元関係度数値で表記し、前記各画素位置毎の前回の前記候補領域と今回の前記拡縮領域との前記二次元関係度数値の差を加算して前記各拡大率の前記近傍大小関係の類似度を決定し、前記二次元関係度段階の差の加算値が最小になる前記類似度が最も高い拡大率を検出して前記障害物を捕捉し、認識することを特徴としている（請求項６）。
【発明の効果】
【００１５】
まず、請求項１、５の構成によれば、前回のエッジヒストグラムの候補領域と、今回のエッジヒストグラムの候補領域を拡大縮小した拡縮領域とにつき、従来のようにヒストグラム高さの差そのものを求めて残差和を算出するのでなく、各画素位置のヒストグラム高さの左、右いずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係（トポロジー）を、その近傍大小関係に予め割り付けた関係度数値で表記し、その差を加算して各拡大率の前記近傍大小関係の類似度を決定するため、隣の画素位置とのヒストグラム高さの大小の大きな差は相対的に抑制されて小さい差が相対的に伸張され、候補領域に対向車のヘッドライトのような大きなノイズ成分が含まれて隣の画素位置とのヒストグラム高さに前記の大小の大きな差があっても、その近傍大小関係の類似度への影響は圧縮されて抑制される。
【００１６】
そのため、前回と今回の前記関係度数値の差を加算した各拡大率の近傍大小関係の類似度において、前記のノイズ成分が抑制されて本来のヒストグラム高さの差が強調され、前記の差の加算値が最小になる拡大率を検出することで、前記の大きなノイズ等の影響を極力抑制して自車前方の先行車等の障害物を精度よく認識することができる。
【００１７】
また、請求項２、６の構成によれば、前記の近傍大小関係を、各画素位置の左隣のヒストグラム高さとの関係度と、右隣のヒストグラム高さとの関係度との組み合わせの二次元関係度数値で表記して求めるため、より精度よく近傍大小関係を求めて前記のノイズ成分を抑制することができ、前記の大きなノイズ等の影響を極力抑制して自車前方の先行車等の障害物を一層精度よく認識することができる。
【００１８】
さらに、請求項３の構成によれば、拡大率検出手段の残差和が最小になる拡大率から自車と障害物との衝突予測時間を算出して障害物を認識する具体的な認識構成を提供することができ、請求項４の構成によれば、レーダとカメラとのセンサフュージョンにより障害物を認識する場合に適用することができる。
【発明を実施するための最良の形態】
【００１９】
つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図７にしたがって詳述する。
【００２０】
（第１の実施形態）
まず、第１の実施形態について、図１〜図５を参照して説明する。
【００２１】
（構成）
図１は車両（自車）１に搭載された障害物認識装置のブロック図、図２は動作説明用のフロチャート、図３はエッジヒストグラムの説明図、図４はエッジヒストグラムの残差和の説明図、図５は近傍大小関係に割り付けたの類似度段階値の１例の説明図である。
【００２２】
図１の障害物認識装置は、自車前方を撮影するカメラとして、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ２を搭載するとともに、自車前方を探査するレーザレーダ又はミリ波レーダからなる測距用のレーダ３を搭載し、自車１の始動後、単眼カメラ２により自車前方を連続的に撮像し、その時々刻々の撮影画像の例えば画素当たり８ビットの輝度データの信号を自車１のマイクロコンピュータ構成の制御ＥＣＵ４に取り込み、レーダ３の自車前方の測距結果も制御ＥＣＵ４に取り込む。
【００２３】
この制御ＥＣＵ４は、予め設定された図２のステップＳ１〜Ｓ７の障害物認識の画像処理プログラムを実行し、ソフトウエア構成のつぎの（ａ）〜（ｆ）の各手段を備える。
【００２４】
（ａ）エッジヒストグラム算出手段
この手段は、単眼カメラ２の各時刻の撮影画像の二値化された水平、垂直のエッジヒストグラムを形成する。具体的には、例えば毎フレームの撮影画像の８ビット／画素の輝度データを水平、垂直両方向に微分二値化処理して８ビット／画素のエッジ画像に変換し、このエッジ画像を２値化して水平、垂直の１ビット／画素のエッジ画像を得、その画像エッジを、例えば図３の横軸方向に加算して水平のエッジヒストグラムＹ、Ｙｍを得、縦軸方向に加算して垂直のエッジヒストグラムＸ、Ｘｍを得る。なお、図３は後述の候補領域αの前回（既記憶）のエッジヒストグラムＹｍ、Ｘｍ及び今回（最新）のエッジヒストグラムＹ、Ｘを示したものであり、ｋは拡大縮小の倍率、Ｍｘ、Ｍｙはヒストグラム合わせのための軸方向の並進移動を示す。
【００２５】
（ｂ）候補領域決定手段
この手段は、前記の水平、垂直のエッジのヒストグラムＹ、Ｘ（Ｙｍ、Ｘｍ）の各画素位置の積が極大値になる、エッジヒストグラムのピーク位置から、障害物の候補領域αを決定する。具体的には、よく知られているように、単眼カメラ２の撮像画像に画像中央部の視野（ＦＯＶ；Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）を含む水平方向に長い注視領域を設定し、その注視領域における各画素の輝度から水平、垂直の画像エッジのヒストグラム積を演算し、そのピーク点を導出することで矩形の候補領域αを抽出して決定する。
【００２６】
（ｃ）近傍大小関係処理手段
この手段は、エッジヒストグラム算出手段の前回のエッジヒストグラムＹｍ、Ｘｍの候補領域αと、今回のエッジヒストグラムＹ、Ｘの候補領域αを拡大縮小した拡縮領域とにつき、各画素位置のヒストグラム高さと左、右いずれか一方の隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた関係度数値で表記する。
【００２７】
すなわち、道路に立設した車両等の障害物は自車１の相対的な接近、離間によって水平、垂直の倍率が等しく変化して路面のキャッツアイ等と区別することができ、さらに、前回と今回とのエッジヒストグラムＹｍとＹ、ＸｍとＸの差が最も小さくなる拡大率からＴＴＣが求まるため、今回のエッジヒストグラムＹ、Ｘを設定範囲の各倍率でそれぞれ軸方向に拡大縮小する。なお、エッジヒストグラムＹとＹｍ、ＸとＸｍの個別の残差和Ｖｙ、Ｖｘ及びその総合の残差和Ｖは拡大率ｋに対して、例えば図４に示すように変化し、同図では拡大率ｋ≒１のときに残差和Ｖｙ、Ｖｘ、Ｖが最小になり、ＴＴＣが無限大となって衝突の可能性がない状態であることがわかる。
【００２８】
さらに、前記の残差和Ｖｙ、Ｖｘ、Ｖから最小の拡大率ｋ０を求めると、前記図８、図９に示した対向車のヘッドライト等の大きなノイズ成分ＮＺの影響がエッジヒストグラムに大きく現れ、障害物の誤認識が発生するおそれがあるため、この発明ではエッジヒストグラムＹ、Ｘ（Ｙｍ、Ｘｍ）の特徴を近傍大小関係（トポロジー）で表わす。
【００２９】
そのため、この実施形態の場合は、図５に示すようにエッジヒストグラムＹ、Ｙｍ、Ｘ、Ｘｍそれぞれにつき、図５の（ａ）に示す各画素位置ｉのヒストグラム高さ（レベル）ＥＨにつき、その左、右いずれか一方の隣の画素位置のヒストグラム高さＥＨとの近傍大小関係を、その関係に予め割り付けた関係度数値で表記する。
【００３０】
具体的には、図５の（ａ）の場合は、図中の比較ｂＲに示すように、各画素位置ｉのヒストグラム高さＥＨにつき、その右隣の画素位置ｉ＋１のヒストグラム高さＥＨと比較し、そのレベルの類似度を、同図の（ｂ）に示すように、例えば関係度数値１〜７の７段階に分類して関係度数値１〜７で表記する。
【００３１】
この場合、同じレベルであれば関係度数値４であり、右隣の画素位置ｉ＋１のヒストグラム高さＥＨのほうが低ければ、その程度の応じて関係度数値３、２、１になり、右隣の画素位置ｉ＋１のヒストグラム高さＥＨのほうが高ければ、その程度の応じて関係度数値５、６、７になる。
【００３２】
このようにしてエッジヒストグラムＹ、Ｙｍ、Ｘ、Ｘｍを近傍大小関係で表記すると、ヒストグラム高さの例えば２５６段階が、関係度数値１〜７の７段階に圧縮される。
【００３３】
（ｄ）類似度演算手段
この手段は、各画素位置ｉ毎の前回の候補領域αと今回の各拡大率ｋそれぞれの拡縮領域との前記関係度段階の差を加算して各拡大率ｋの近傍大小関係の類似度を決定する。
【００３４】
具体的には、例えば水平のエッジヒストグラムＹｍ、Ｙにおいて、関係度数値が６と７であれば、画素位置単位の類似度は（７−６＝）１、関係度数値が７と１であれば、その類似度は（７−１＝）６、関係度数値が４と２であれば、類似度は（４−２＝）２となり、類似度が小さい程似ていることになる。
【００３５】
そして、エッジヒストグラムＹ、Ｙｍの各画素位置ｉの類似度（関係度数値の差）を加算することで、今回の各拡大率ｋのエッジヒストグラムＹそれぞれと前回のエッジヒストグラムＹｍとの総合の類似度が求められて決定される。
【００３６】
このとき、総合の類似度が小さい程、エッジヒストグラムが似ている。しかも、近傍大小関係の表記により、エッジヒストグラムＹ、Ｙｍそれぞれの隣の画素位置ｉ＋１とのヒストグラム高さの大小の大きな差が相対的に抑制されて小さい差が相対的に伸張されるため、候補領域αに対向車のヘッドライトのような大きなノイズ成分が含まれて隣の画素位置ｉ＋１とのヒストグラム高さに前記の大小の大きな差があっても、前記の総合の類似度への影響は圧縮されて抑制される。
【００３７】
（ｅ）拡大率検出手段
この手段は、関係度数値の差の加算値が最小になる前記の総合の類似度が最も高い拡大率ｋを検出し、これが例えば図９の（ｂ）の拡大率ｋ０になる。
【００３８】
すなわち、前記したように候補領域αに対向車のヘッドライトのような大きなノイズ成分が含まれて隣の画素位置ｉ＋１とのヒストグラム高さに前記の大小の大きな差があっても、前記の総合の類似度への影響は圧縮されて抑制されるため、前回と今回の関係度数値の差を加算した各拡大率ｋそれぞれの近傍大小関係の総合の類似度において、前記のノイズ成分が抑制されて本来のヒストグラム高さの差が強調され、前記の差の加算値が最小になる拡大率ｋを検出することにより、図９の（ｂ）の拡大率ｋｅを誤って選択することなく、同図の（ｂ）の拡大率ｋ０を検出する。
【００３９】
（ｆ）衝突予測演算手段
この手段は、前記の拡大率検出手段が検出した拡大率ｋ０から自車１と障害物とのＴＴＣ（＝１／（ｋ０−１））を算出して障害物を認識する。
【００４０】
つぎに、この実施形態の制御ＥＣＵ４は、レーダ３とカメラ２とのセンサフュージョンにより、レーダ３の測距結果からの障害物のレーダ側の認識と、前記の拡大率検出手段の検出結果に基づく障害物のカメラ側の認識とにより、レーダ側の認識の誤りをカメラ側の認識から検出して補正し、障害物を精度よく総合的に認識するため、障害物認識のレーダ測距処理プログラムも実行し、レーダ３の測距結果から障害物を検出して捕捉し、周知の手方で自車１と障害物との時々刻々の距離（車間距離）等を検出する。
【００４１】
例えばレーダ側、カメラ側それぞれでも障害物の認識は行なえるが、センサフュージョンの認識を行うことにより、（ａ）トラッキング時の位置ずれに強い。一般に、レーダ２で検出した障害物の位置や幅から撮影画像上に候補領域αを配置しても、いくつかの理由により厳密には一致しないが、センサフュージョンの認識を行うことでこの点の解消が図られるからである。（ｂ）撮影画像の画像パターンが大きく異なる昼と夜で共通の認識処理ができ計算が共通化等が図られる。（ｃ）認識の計算量が比較的少なくて済む。（ｄ）車両画像に関する知識が不要であり、設計、製造等において、カメラ２の変更やエッジ抽出の閾値変更等に際してもプログラムの変更をしなくて済む。等の種々の利点がある。
【００４２】
（動作）
つぎに、前記構成に基く障害物認識の主に画像処理について、図２等を参照して説明する。
【００４３】
自車１のエンジン始動後、前記のエッジヒストグラム算出手段が動作し、図２のステップＳ１により時々刻々の（フィールド毎の）撮影画像を画像微分二値化処理して各時刻の水平、垂直のエッジヒストグラムを形成する。
【００４４】
また、図２のステップＳ２により、候補領域決定手段が動作して候補領域αを決定し、ステップＳ３により、近傍大小関係処理手段が動作し、エッジヒストグラム算出手段の前回のエッジヒストグラムＹｍ、Ｘｍの候補領域αと、今回のエッジヒストグラムＹ、Ｘの候補領域αを拡大縮小した拡縮領域とにつき、各画素位置ｉのヒストグラム高さと右の隣の画素位置ｉ＋１のヒストグラム高さとの近傍大小関係を前記の関係度数値で表記する。
【００４５】
さらに、ステップＳ４により類似度演算手段が動作して各拡大率ｋの近傍大小関係の類似度を決定し、この決定に基き、ステップＳ５により、拡大率検出手段が関係度数値の差の加算値が最小になる前記の総合の類似度が最も高い拡大率ｋ、すなわちを拡大率ｋ０を検出する。
【００４６】
そして、ステップＳ６により、衝突予測演算手段が動作して拡大率ｋ０からＴＴＣを精度よく演算して障害物を認識し、ステップＳ７を介してステップＳ１に戻る。以降、自車１が停止等するまでステップＳ１から処理をくり返す。
【００４７】
なお、上記の処理は候補領域αが複数個の場合、各候補領域αについて行なわれる。また、前記した周知のセンサフュージョンの認識を行なうため、このようにして認識した障害物のカメラ側の認識結果（ＴＴＣ等）に基き、レーダ側の認識結果を補正等する。
【００４８】
そして、補正された認識結果のＴＴＣに基づき、自車１の被害軽減自動ブレーキ機能を実現して交通安全に寄与することができる。
【００４９】
したがって、この実施形態の場合、前回のエッジヒストグラムＹｍ、Ｘｍの候補領域αと、今回のエッジヒストグラムＹ、Ｘの候補領域αを拡大縮小した拡縮領域とにつき、各画素位置ｉのヒストグラム高さと右隣の画素位置のヒストグラム高さとの近傍大小関係を、図５の（ｂ）の一次元の関係度数値で表記し、近傍大小関係に基いて前回と今回との近傍大小関係の類似度から拡大率ｋ０を検出して障害物を認識したため、カメラ３の撮影画像に含まれた対向車のヘッドランプ等の大きなノイズの影響を極力抑制して自車前方の先行車等の障害物を精度よく認識することができる。
【００５０】
（第２の実施形態）
つぎに、第２の実施形態について、図６、図７を参照して説明する。
【００５１】
この実施形態においては、前記の近傍大小関係処理手段により、エッジヒストグラム算出手段の前回のエッジヒストグラムＹｍ，Ｘｍの候補領域αと、今回のエッジヒストグラムＹ、Ｘの候補領域αを拡大縮小した拡縮領域とにつき、各画素位置ｉのヒストグラム高さと左隣、右隣の画素位置のヒストグラム高さとの近傍大小関係を、該近傍大小関係に予め割り付けた、図６の（ａ）の左隣ｂＬの関係度と右隣ｂＲの関係度との組み合わせの同図の（ｂ）に示す二次元マップＭＰの二次元関係度数値で表記し、類似度演算手段が各画素位置ｉ毎の前回の候補領域αと今回の拡縮領域との前記の二次元関係度数値の差を加算して各拡大率ｋの近傍大小関係の類似度を決定する点が、前記第１の実施形態と異なる。
【００５２】
すなわち、この実施形態の場合は、エッジヒストグラムの近傍大小関係を、予め設定した図６の（ｂ）の二次元マップＭＰに基き、各画素位置ｉのヒストグラム高さＥＨ［ｉ］と、左隣ｂＬ、右隣ｂＲのヒストグラム高さＥＨ［ｉ−１］、ＥＨ［ｉ＋１］それぞれとの例えば３段階の大小関係の組合わせにつけられた０〜８の二次元関係度数値で表記する。なお、図６の（ｂ）の二次元マップＭＰの３×３の各ブロックのｌはＥＨ［ｉ］とＥＨ［ｉ−１］の大小関係の状態を示し、ｒはＥＨ［ｉ］とＥＨ［ｉ＋１］の大小関係の状態を示す。
【００５３】
この場合、二次元マップＭＰの３×３の各ブロック間の距離（具体的には、縦横方向に最短で移動したブロック数）がエッジヒストグラムの局所類似度を示し、例えば、二次元関係度数値の３と２は類似度が１であり、二次元関係度数値の５と６も類似度が１であり、二次元関係度数値の０と８は類似度が２であり、二次元関係度数値の１と４は類似度が３であり、二次元関係度数値の４と８は類似度が４である。
【００５４】
そして、このようにして表記した二次元関係度数値に基いて決定した各拡大率の近傍大小関係の類似度から前記第１の実施形態の場合と同様にして前記の差の加算値が最小になる類似度が最も高い拡大率ｋ０を検出することにより、この実施形態の場合、左、右の一方の隣との類似度から検出する前記第１の実施形態の場合より一層精度よく確実に拡大率ｋ０を検出することができる。
【００５５】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記第１の実施形態において、近傍大小関係が左隣の各画素位置ｉ−１のヒストグラム高さとの大小関係であってもよく、また、前記両実施形態の関係度数値（二次元関係度数値）の段階の個数は適当に設定してよいのも勿論である。
【００５６】
そして、第２の実施形態において、例えば左、右両隣れぞれとの大小関係の段階数を第１の実施形態と同様の７段階とし、二次元マップＭＰを７×７とすれば、認識精度が極めて向上する。
【００５７】
つぎに、制御ＥＣＵ４の各手段等が前記両実施形態と異なっていてもよいのは勿論であり、レーダ２を省いてカメラ３の撮影画像Ｐの画像処理のみから障害物を認識する場合等にも本発明を同様に適用できるのも勿論である。
【００５８】
そして、本発明は、障害物の認識結果に基いて自車１の種々の制御等を行なう場合に適用することができ、前記の被害軽減自動ブレーキ機能を実現する場合だけでなく、例えば、ＡＣＣの先行車の追跡に適用してその追跡性能を向上し、誤加速、誤制動を低減することも可能である。
【産業上の利用可能性】
【００５９】
ところで、自車１の装備部品数を少なくするため、単眼カメラ２等を追従走行制御等の他の制御のセンサ等に兼用する場合にも適用することができる。
【図面の簡単な説明】
【００６０】
【図１】この発明の第１の実施形態のブロック図である。
【図２】図１の動作説明用のフローチャートである。
【図３】図１のエッジヒストグラムの１例の説明図である。
【図４】図３の撮影画像の拡大率に対するエッジヒストグラムの残差和の特性図である。
【図５】図１の近傍大小関係の説明図である。
【図６】この発明の第２の実施形態の近傍大小関係の二次元マップの説明図である。
【図７】図６の二次元マップに基く類似度の説明図である。
【図８】カメラの撮影画像、そのエッジ画像の１例の図である。
【図９】従来例の説明図である。
【符号の説明】
【００６１】
１    自車
２    単眼カメラ
３    レーダ
４    制御ＥＣＵ
【図１】
2006285492.tif 000003
【図２】
2006285492.tif 000004
【図４】
2006285492.tif 000005
【図３】
2006285492.tif 000006
【図５】
2006285492.tif 000007
【図６】
2006285492.tif 000008
【図７】
2006285492.tif 000009
【図８】
2006285492.tif 000010
【図９】
2006285492.tif 000011