(57)【特許請求の範囲】
【請求項１】
画像を処理して自車前方の車両を認識する前方車両認識装置において、
自車前方を撮像する画像センサと、
前記画像センサによる撮像画像に対して画像中央部の視野を含む所定の注視領域を設定し、その注視領域における各画素の輝度から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで複数の車両候補としての矩形領域を抽出する画像処理部と、
前記画像処理部により抽出された前記各矩形領域それぞれについて、車両らしさを表わす特徴係数として、その矩形領域での左右の対称画素における輝度値の差の合計である左右対称度、その矩形領域での縦方向エッジヒストグラムの平均値から求まる水平線分含有率、及び、その矩形領域を貫通する水平線分の長さから求まる水平成分貫通率を少なくとも導出する特徴係数導出部と、
前記各矩形領域それぞれについての前記各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる前記矩形領域を選別して車両と判断する判断部と
を備えていることを特徴とする前方車両認識装置。
【請求項２】
前記特徴係数導出部が、前記特徴係数として、その矩形領域のカルマンフィルタによる動き予測を行い、予測位置に近い位置に存在する度合いを表わす予測動き一致率を導出し、
前記判断部が、前記和にこの予測動き一致率も加味して車両かどうかの判断を行う
ことを特徴とする請求項１に記載の前方車両認識装置。
【請求項３】
前記特徴係数導出部が、前記特徴係数として、その矩形領域において推測される推測車両幅と、カルマンフィルタによる予測位置における画像上での車両幅との差を導出し、この差と、予め定められた車両幅変化の最大許容量との比率である車両幅変化率を導出し、
前記判断部が、前記和にこの車両幅変化率も加味して車両かどうかの判断を行うことを特徴とする請求項１または２に記載の前方車両認識装置。
【請求項４】
前記各特徴係数が正規化されていることを特徴とする請求項１ないし３のいずれかに記載の前方車両認識装置。
【請求項５】
前記判断部が、選別した前記矩形領域についての前記各特徴係数の和の時間的な連続性をさらに評価し、連続性があるときにその選別した前記矩形領域を車両と判断することを特徴とする請求項１ないし４のいずれかに記載の前方車両認識装置。
【請求項６】
画像を処理して自車前方の車両を認識する前方車両認識方法において、
画像センサにより自車前方を撮像する撮像工程と、
前記画像センサによる撮像画像に対して画像中央部の視野を含む所定の注視領域を設定し、その注視領域における各画素の輝度から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで複数の車両候補としての矩形領域を抽出する画像処理工程と、
前記画像処理部工程において抽出された前記各矩形領域それぞれについて、車両らしさを表わす特徴係数として、その矩形領域での左右の対称画素における輝度値の差の合計である左右対称度、その矩形領域での縦方向エッジヒストグラムの平均値から求まる水平線分含有率、及び、その矩形領域を貫通する水平線分の長さから求まる水平成分貫通率を少なくとも導出する特徴係数導出工程と、
前記各矩形領域それぞれについての前記各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる前記矩形領域を選別して車両と判断する判断工程と
備えていることを特徴とする前方車両認識方法。
【請求項７】
前記特徴係数導出工程が、前記特徴係数として、その矩形領域のカルマンフィルタによる動き予測を行い、予測位置に近い位置に存在する度合いを表わす予測動き一致率を導出する工程を含み、
前記判断工程が、前記和にこの予測動き一致率も加味して車両かどうかの判断を行う工程を含む
ことを特徴とする請求項６に記載の前方車両認識方法。
【請求項８】
前記特徴係数導出工程が、前記特徴係数として、その矩形領域において推測される推測車両幅と、カルマンフィルタによる予測位置における画像上での車両幅との差を導出し、この差と、予め定められた車両幅変化の最大許容量との比率である車両幅変化率を導出する工程を含み、
前記判断工程が、前記和にこの車両幅変化率も加味して車両かどうかの判断を行う工程を含む
ことを特徴とする請求項６または７に記載の前方車両認識方法。
【請求項９】
前記特徴係数導出工程が、前記各特徴係数を正規化する工程を含むことを特徴とする請求項６ないし８のいずれかに記載の前方車両認識方法。
【請求項１０】
前記判断工程が、選別した前記矩形領域についての前記各特徴係数の和の時間的な連続性をさらに評価し、連続性があるときにその選別した前記矩形領域を車両と判断する工程を含むことを特徴とする請求項６ないし９のいずれかに記載の前方車両認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像を処理して自車前方の車両を認識する前方車両認識装置及び認識方法に関する。
【０００２】
【従来の技術】
近年、例えば高速道路における追従走行機能や操舵アシスト機能といった、より高度でより快適な運転支援システムを搭載した車両が提案され、その手法として次のようなものがある。第１の手法は、２台のカメラによるステレオ画像を利用し、左右２枚の画像の距離情報をクラスタリングする手法である。また、第２の手法として、各種の車両について、その後端面を撮像した教師画像を準備し、単眼カメラによる撮像画像と各教師画像との照合によって、その撮像画像が車両のものかどうかを判断する手法もある。
【０００３】
【発明が解決しようとする課題】
しかし、上記した第１の手法の場合、カメラ及び撮像データを記憶するＶＲＡＭが、それぞれ一対ずつ必要であることから構成の複雑化を招き、しかもリアルタイム処理を実現するために高速の演算チップが必要になり、コスト面でも高価になるという問題点がある。更に、距離画像を得るために、いわゆるテンプレートマッチングとも呼ばれる相関演算を行うが、相関演算法はアパーチャ問題を内包しているため、実環境下では距離情報を得にくいシーンが多く、実用性に欠ける面もある。
【０００４】
一方、第２の手法の場合、例えば天候、季節や時間帯等によって照明条件が様々に異なる各車種毎の車両後端面の教師画像や、実際の走行状況を考慮して微妙に回転した各車種毎の車両後端面の教師画像などを多数準備しなければならず、非常に面倒であり、加えて新しい車種が登場した場合には、それらに対する教師画像が欠落するため、新しい車種の認識が困難になるという問題があった。
【０００５】
そこで、本発明は、教師画像を必要とせず、安価な構成によりリアルタイム処理を実現でき、新しい車種も認識可能な認識装置及びその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記した目的を達成するために、請求項１に記載の発明にかかる前方車両認識装置は、画像を処理して自車前方の車両を認識する前方車両認識装置において、自車前方を撮像する画像センサと、前記画像センサによる撮像画像に対して画像中央部の視野を含む所定の注視領域を設定し、その注視領域における各画素の輝度から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで複数の車両候補としての矩形領域を抽出する画像処理部と、前記画像処理部により抽出された前記各矩形領域それぞれについて、車両らしさを表わす特徴係数として、その矩形領域での左右の対称画素における輝度値の差の合計である左右対称度、その矩形領域での縦方向エッジヒストグラムの平均値から求まる水平線分含有率、及び、その矩形領域を貫通する水平線分の長さから求まる水平成分貫通率を少なくとも導出する特徴係数導出部と、前記各矩形領域それぞれについての前記各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる前記矩形領域を選別して車両と判断する判断部とを備えていることを特徴としている。
【０００７】
このような構成によれば、画像処理部によるエッジヒストグラムから複数の車両候補としての矩形領域が抽出されると、特徴係数導出部により、各矩形領域それぞれについて、車両らしさを表わす特徴係数として、左右対称度、水平線分含有率及び水平成分貫通率が少なくとも導出され、判断部により、各矩形領域それぞれについての各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる矩形領域が選別されて車両と判断される。
【０００８】
そのため、これらの特徴係数に基づき車両かどうかを判断することができ、従来の相関演算法のように教師画像を必要とせず、安価な構成によりリアルタイム処理を実現できるとともに、新しい車種についても特徴係数に基づいて認識することができる。
【０００９】
また、請求項２に記載の発明にかかる前方車両認識装置は、前記特徴係数導出部が、前記特徴係数として、その矩形領域のカルマンフィルタによる動き予測を行い、予測位置に近い位置に存在する度合いを表わす予測動き一致率を導出し、前記判断部が、前記和にこの予測動き一致率も加味して車両かどうかの判断を行うことを特徴としている。
【００１０】
このような構成によれば、車両の場合その動きをある程度予測できることから、特徴係数として予測動き一致率も加味することで、車両かどうかの判断をより確実に行うことができる。
【００１１】
また、請求項３に記載の発明にかかる前方車両認識装置は、前記特徴係数導出部が、前記特徴係数として、その矩形領域において推測される推測車両幅と、カルマンフィルタによる予測位置における画像上での車両幅との差を導出し、この差と、予め定められた車両幅変化の最大許容量との比率である車両幅変化率を導出し、前記判断部が、前記和にこの車両幅変化率も加味して車両かどうかの判断を行うことを特徴としている。
【００１２】
このような構成によれば、車両の場合、推測される推測車両幅は時間的には連続的に変化し、車両幅の変化も予測可能であることから、特徴係数として車両幅変化率も加味することで、車両かどうかの判断をよりいっそう確実に行うことができる。
【００１３】
また、請求項４に記載の発明にかかる前方車両認識装置は、前記各特徴係数が正規化されていることを特徴としている。このような構成によれば、各特徴係数を正規化することにより、矩形領域それぞれについての各特徴係数の和は１よりも小さい値となって取り扱い易くなり、車両として各特徴係数の和が最小となる矩形領域を選別する際に、容易に選別することができる。
【００１４】
また、請求項５に記載の発明にかかる前方車両認識装置は、前記判断部が、選別した前記矩形領域についての前記各特徴係数の和の時間的な連続性をさらに評価し、連続性があるときにその選別した前記矩形領域を車両と判断することを特徴としている。
【００１５】
このような構成によれば、車両の場合、その候補となる矩形領域についての各特徴係数の和の時間的な変化には連続性があるため、この連続性を評価することで車両かどうかをよりいっそう確実に判断することができる。
【００１６】
また、請求項６に記載の発明にかかる前方車両認識方法は、画像センサにより自車前方を撮像する撮像工程と、前記画像センサによる撮像画像に対して画像中央部の視野を含む所定の注視領域を設定し、その注視領域における各画素の輝度から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで複数の車両候補としての矩形領域を抽出する画像処理工程と、前記画像処理工程において抽出された前記各矩形領域それぞれについて、車両らしさを表わす特徴係数として、その矩形領域での左右の対称画素における輝度値の差の合計である左右対称度、その矩形領域での縦方向エッジヒストグラムの平均値から求まる水平線分含有率、及び、その矩形領域を貫通する水平線分の長さから求まる水平成分貫通率を少なくとも導出する特徴係数導出工程と、前記各矩形領域それぞれについての前記各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる前記矩形領域を選別して車両と判断する判断工程と備えていることを特徴としている。
【００１７】
このような構成によれば、画像処理工程においてエッジヒストグラムから複数の車両候補としての矩形領域が抽出されると、特徴係数導出工程により、各矩形領域それぞれについて、車両らしさを表わす特徴係数として、左右対称度、水平線分含有率及び水平成分貫通率が少なくとも導出され、判断工程により、各矩形領域それぞれについての各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる矩形領域が選別されて車両と判断されるため、これらの特徴係数に基づき車両かどうかを判断することができ、従来の相関演算法のように教師画像を必要とせず、安価な構成によりリアルタイム処理を実現できるとともに、新しい車種についても特徴係数に基づいて認識することができる。
【００１８】
また、請求項７に記載の発明にかかる前方車両認識方法は、前記特徴係数導出工程が、前記特徴係数として、その矩形領域のカルマンフィルタによる動き予測を行い、予測位置に近い位置に存在する度合いを表わす予測動き一致率を導出する工程を含み、前記判断工程が、前記和にこの予測動き一致率も加味して車両かどうかの判断を行う工程を含むことを特徴としている。
【００１９】
このような構成によれば、車両の場合、その動きをある程度予測できることから、特徴係数として予測動き一致率も加味することで、車両かどうかの判断をより確実に行うことができる。
【００２０】
また、請求項８に記載の発明にかかる前方車両認識方法は、前記特徴係数導出工程が、前記特徴係数として、その矩形領域において推測される推測車両幅と、カルマンフィルタによる予測位置における画像上での車両幅との差を導出し、この差と、予め定められた車両幅変化の最大許容量との比率である車両幅変化率を導出する工程を含み、前記判断工程が、前記和にこの車両幅変化率も加味して車両かどうかの判断を行う工程を含むことを特徴としている。
【００２１】
このような構成によれば、車両の場合、推測される推測車両幅は時間的には連続的に変化し、車両幅の変化も予測可能であることから、特徴係数として車両幅変化率も加味することで、車両かどうかの判断をよりいっそう確実に行うことができる。
【００２２】
また、請求項９に記載の発明にかかる前方車両認識方法は、前記特徴係数導出工程が、前記各特徴係数を正規化する工程を含むことを特徴としている。このような構成によれば、各特徴係数を正規化することにより、矩形領域それぞれについての各特徴係数の和は１よりも小さい値となって取り扱い易くなり、車両として各特徴係数の和が最小となる矩形領域を選別する際に、容易に選別することができる。
【００２３】
また、請求項１０に記載の発明にかかる前方車両認識方法は、前記判断工程が、選別した前記矩形領域についての前記各特徴係数の和の時間的な連続性をさらに評価し、連続性があるときにその選別した前記矩形領域を車両と判断する工程を含むことを特徴としている。
【００２４】
このような構成によれば、車両の場合、その候補となる矩形領域についての各特徴係数の和の時間的な変化には連続性があるため、この連続性を評価することで車両かどうかをよりいっそう確実に判断することができる。
【００２５】
【発明の実施の形態】
この発明の一実施形態について図１ないし図８を参照して説明する。但し、図１はブロック図、図２ないし図７は動作説明図、図８は動作説明用フローチャートである。
【００２６】
図１に示すように、自車に画像センサとしての単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１により自車の前方が撮像され、得られた撮像画像がＣＰＵ２によりＶＲＡＭ等から成るメモリ３に保存される。そして、ＣＰＵ２により、以下のようにして撮像画像中に含まれる車両候補が車両であるかどうかの判断がなされる。
【００２７】
即ち、ＣＰＵ２は、ＣＣＤカメラ１による撮像画像に対して画像中央部の視野(FOV; Field Of View)を含む水平方向に長い注視領域を設定し、その注視領域における各画素の輝度から画面のＹ（垂直）方向のエッジヒストグラムＧ１、これに直交する画面のＸ（水平）方向のエッジヒストグラムＧ２及び両方向へのエッジヒストグラムの積Ｇ３（＝Ｇ１×Ｇ２）を演算してその極大点を導出することで複数の車両候補としての矩形領域を抽出する。このＣＰＵによる矩形領域の抽出処理が画像処理部に相当し、この工程が画像処理工程に相当する。
【００２８】
より具体的には、ＣＣＤカメラ１により図２に示すような画像が撮像されたときに、ＣＰＵ２により、画像中央部の視野(FOV )を含む水平方向に長い注視領域（図２中の白枠の矩形）が設定され、上記したように画像処理のために設定された注視領域内で垂直エッジ成分を垂直方向に加算（投影）した垂直エッジヒストグラムＧ１が導出されると共に、注視領域内で水平エッジ成分を垂直方向に加算した水平エッジヒストグラムＧ２が導出され、これらＧ１，Ｇ２の積Ｇ３が導出される。更に、このＧ３に空間フィルタをかけたものがＧ４であり、このＧ４中の極大点に着目して矩形領域が抽出されるのである。
【００２９】
尚、図２中の白塗りの矩形のうち、Ｇ５はカルマンフィルタにより撮像画像中の左車線の車両に対して設定される予測範囲であり、Ｇ６はカルマンフィルタにより撮像画像中の右車線の車両に対して設定される予測範囲である。
【００３０】
ところで、例えばＧ５では車両左後端予測範囲に極大点が３個存在し、車両右後端予測範囲には極大点が２個存在し、全部で６（＝３×２）通りの組み合わせがある。また、Ｇ６についてもほぼ同様の結果となっている。
【００３１】
そして、ＣＰＵ２は、このようにして複数の車両候補としての矩形領域を抽出すると、抽出した各矩形領域それぞれについてカルマンフィルタによる動き予測を行う（図２中のＧ５，Ｇ６）と共に、各矩形領域それぞれについて、車両らしさを表わす特徴係数として、その矩形領域での左右の対称画素における輝度値の差の合計である左右対称度Ｅ１、その矩形領域での縦方向エッジヒストグラムの平均値から求まる水平線分含有率Ｅ２、その矩形領域を貫通する水平線分の長さから求まる水平成分貫通率Ｅ３、予測位置に近い位置に存在する度合いを表わす予測動き一致率Ｅ４を導出する。
【００３２】
更に、ＣＰＵ２は、その矩形領域において推測される推測車両幅と、カルマンフィルタによる予測位置における画像上での車両幅との差を導出し、この差と、予め定められた車両幅変化の最大許容量との比率である車両幅変化率Ｅ５も導出する。このＣＰＵ２による特徴係数の導出処理が特徴係数導出部に相当し、この導出工程が特徴係数導出工程に相当する。
【００３３】
そして、ＣＰＵ２は、抽出した各矩形領域それぞれについての上記した各特徴係数Ｅ１〜Ｅ５の和Ｅａが最小となり、かつ予め定められたしきい値（例えば、１以下の固定値）よりも小さくなる矩形領域を選別し、選別した矩形領域についての各特徴係数Ｅ１〜Ｅ５の和Ｅａの時間的な連続性をさらに評価し、連続性があるときにその選別した矩形領域を車両と判断する。このＣＰＵ２による判断処理が判断部に相当し、この判断工程が判断工程に相当する。
【００３４】
ところで、上記した各特徴係数Ｅ１〜Ｅ５について説明する。まず、左右対称度Ｅ１について説明すると、図３に示すように、抽出された矩形領域に車両の後端面画像を含む矩形領域が含まれていると、車両の後端面画像の場合、その他の画像には見られない左右対称という特徴を有するため、車両の後端面画像を含む矩形領域での左右対称位置にある画素毎に輝度値の差の合計（以下、これを残差和と称する）を左右対称度Ｅ１として算出する。このとき、例えば図３に示すように、Ｘ座標におけるｘｌ，ｘｒを両端とする矩形領域に着目し、その矩形領域内における画像の濃淡解像度を０〜２５５の２５６階調として、車両枠の半分に相当する面積をｓ、残差和をＣｒとすると、
Ｅ１＝Ｃｒ／ｓ＊２５５
の式により、左右対称度Ｅ１は０〜１の値に正規化されている。ここで、車両として最も望ましい左右対称度Ｅ１の値は０であり、左右が完全に対称であって残差和Ｃｒが０になるときである。
【００３５】
続いて、水平線分含有率Ｅ２について説明すると、図４に示すように、抽出された矩形領域に車両の後端面画像を含む矩形領域が含まれていると、車両の後端面画像にはリアバンパやリアガラスなどの横（水平）方向のエッジが多く含まれるという特徴を有する。
【００３６】
そのため、全ての矩形領域の両端であるＸ座標におけるｘｌ，ｘｒに対して、その区間（ｘｌ，ｘｒ）内の垂直（Ｙ）方向へのエッジヒストグラムＧ２の平均値を計算すると、もしその区間（ｘｌ，ｘｒ）が車両端を構成するのであれば、他の組み合わせで計算したときの平均値と比較して、極端に大きな値となる。そこで、エッジヒストグラムＧ２の平均値をａｖ（Ｇ２）とすると、
Ｅ２＝１−ａｖ（Ｇ２）
の式により、０〜１の値に正規化された水平線分含有率Ｅ２を計算すればよく、最小値となるＥ２が最も望ましい。
【００３７】
更に、水平成分貫通率Ｅ３について図５を参照して説明すると、上記の水平線分含有率Ｅ２で説明したように、抽出された矩形領域に車両の後端面画像を含む矩形領域が含まれていると、車両の後端面画像にはリアバンパやリアガラス、ルーフなどの横（水平）方向の線分を多く含み、しかもそれらの線分のいくつかはがその矩形領域をほぼ貫通するという特徴を有する。
【００３８】
そこで、全ての矩形領域の両端であるＸ座標におけるｘｌ，ｘｒに対して、その区間（ｘｌ，ｘｒ）を水平（Ｘ）方向に貫通している水平線分を調べ、完全に貫通している線分があるときに、
Ｅ３＝１−（最も長い水平線分長）／（ｘｌ−ｘｒ）
の式により、０〜１の値に正規化された水平成分貫通率Ｅ３を計算すればよく、水平線分が貫通していればＥ３＝０となる。
【００３９】
また、予測動き一致率Ｅ４について説明すると、ＣＰＵ２により、全ての矩形領域の両端であるＸ座標におけるｘｌ，ｘｒに対して、その区間（ｘｌ，ｘｒ）のカルマンフィルタによる動き予測を行い、予測位置（ｘｌｐ，ｘｒｐ）に近い位置に存在する（ｘｌ，ｘｒ）に対して、最大許容量をｗｍａｘとして、
Ｅ４＝（｜ｘｌ−ｘｌｐ｜＋｜ｘｒ−ｘｒｐ｜）／ｗｍａｘ
の式により、０〜１の値に正規化された予測動き一致率Ｅ４を計算すればよい。このとき、車両の場合、連続的な動きをしてある程度動きを予測できることから、計算した予測動き一致率Ｅ４のうち、最小値となるものが車両として最も望ましい。
【００４０】
そして、車両幅変化率Ｅ５について説明すると、ＣＰＵ２により、全ての矩形領域の両端であるＸ座標におけるｘｌ，ｘｒに対して、画像から推測される推測車両幅｜ｘｌ−ｘｒ｜を導出すると共に、カルマンフィルタによる動き予測を行ってその予測位置（ｘｌｐ，ｘｒｐ）の画像上での車両幅｜ｘｌｐ−ｘｒｐ｜を導出し、これらの差をＷ、その最大許容量をＷｍａｘとして、
Ｅ５＝Ｗ／Ｗｍａｘ
の式により、０〜１の値に正規化された車両幅変化率Ｅ５を計算すればよい。
【００４１】
このとき、車両の場合、推測される推測車両幅｜ｘｌ−ｘｒ｜は時間的には連続的に変化し、その車両幅の変化も予測可能であることから、推測車両幅｜ｘｌ−ｘｒ｜と予測位置の画像上での車両幅｜ｘｌｐ−ｘｒｐ｜との差Ｗは小さくなり、この場合も最小値となるものが車両として最も望ましい。
【００４２】
例えば、実験的に求めた１４個の矩形領域についての左右対称度Ｅ１、水平線分含有率Ｅ２及び車両幅変化率Ｅ５の値、並びに、各特徴係数Ｅ１〜Ｅ５の和Ｅａの値を、図６に示す。但し、図６中の横軸の数字は矩形領域の番号を表わしている。
【００４３】
そして、図６の結果から、全１４個の矩形領域それぞれについての両端のＸ座標の組（ｘｌ，ｘｒ）に対して、このときのＥａのしきい値を例えば０．８とすると、各特徴係数Ｅ１〜Ｅ５の和Ｅａが最小で、かつしきい値よりも小さくなるのは第１１番面の矩形領域のみであり、今回の観測ではこの第１１番目の矩形領域が最適な組（ｘｌｏ，ｘｒｏ）として選択され、車両であると判断されることになる。尚、第１１番目の矩形領域の和Ｅａが、例え最小であってもしきい値より大きければ車両とは判断されず、今回の観測は失敗として処理される。
【００４４】
更に、こうして選択された最適組（ｘｌｏ，ｘｒｏ）の時間的な連続性が、ＣＰＵ２により判断される。例えば、この最適組（ｘｌｏ，ｘｒｏ）についての左右対称度Ｅ１、水平線分含有率Ｅ２及び車両幅変化率Ｅ５の値、並びに、各特徴係数Ｅ１〜Ｅ５の和Ｅａが、図７に示すように時間的に変化するとした場合、車両であれば、各特徴係数Ｅ１〜Ｅ５の和Ｅａの時間的な変化には連続性がある、つまり連続するフレーム画像では、ほぼ同じような値になる。
【００４５】
そのため、このＥａの変化が滑らかであるかどうかによって、その最適組（ｘｌｏ，ｘｒｏ）によって表わされる矩形領域が車両かであるかどうかを、より的確に判断できるのである。尚、和Ｅａの時間的な変化に連続性がなければ、その最適組（ｘｌｏ，ｘｒｏ）によって表わされる矩形領域が車両ではないと判断され、今回の観測は失敗として処理される。但し、図７の横軸は任意の時刻を表わす。
【００４６】
次に、車両かどうかの判断するための一連の処理動作について、図８のフローチャートを参照して説明する。
【００４７】
いま、ＣＣＤカメラ１により自車前方の撮像画像が得られると、ＣＰＵ２により注視領域が設定され（Ｓ１）、車両候補となる複数の矩形領域が抽出され（Ｓ２）、ＣＰＵ２により、抽出された各矩形領域に対して各特徴係数Ｅ１〜Ｅ５が各々導出された後（Ｓ３）、ＣＰＵ２により、各特徴係数Ｅ１〜Ｅ５の和Ｅａが導出される（Ｓ４）。
【００４８】
そして、ＣＰＵ２により、各特徴係数Ｅ１〜Ｅ５の和Ｅａが最小となり、かつ予め定められたしきい値よりも小さくなる矩形領域が選別され（Ｓ５）、その和Ｅａに時間的な連続性があるか否かの判定がなされ（Ｓ６）、この判定の結果、ＣＰＵ２により連続性がないと判断されると（Ｓ６のＮＯ）、今回の観測は失敗として判断されて上記したステップＳ５の処理に戻る。
【００４９】
一方、判定の結果、ＣＰＵ２により連続性があると判断されると（Ｓ６のＹＥＳ）、その選別された矩形領域が車両であると判断できるため、続いてＣＰＵ２によりカルマンフィルタ処理されてその矩形領域の動き予測が行われ（Ｓ７）、その後上記したステップＳ１に戻る。
【００５０】
従って、上記した実施形態によれば、各特徴係数Ｅ１〜Ｅ５に基づき車両かどうかを判断することができるため、従来の相関演算法のように教師画像を必要とすることもなく、しかもカメラ及びＶＲＡＭも１個ずつでよく、ＣＰＵ２として高速処理能力が要求されることもなく、安価な構成によりリアルタイム処理を実現することができる。
【００５１】
更に、新しい車種についても、勿論、教師画像は不要であり、各特徴係数Ｅ１〜Ｅ５に基づき新車種の車両を認識することができる。
【００５２】
なお、上記した実施形態では、特徴係数として予測動き一致率Ｅ４及び車両幅変化率Ｅ５を加味するようにした場合ついて説明したが、これらＥ４及びＥ５は特徴係数として必ず加味しなければならないものではなく、特徴係数は、少なくとも左右対称度Ｅ１、水平線分含有率Ｅ２、水平成分貫通率Ｅ３であればよい。
【００５３】
このとき、これら左右対称度Ｅ１、水平線分含有率Ｅ２、水平成分貫通率Ｅ３に、予測動き一致率Ｅ４或いは車両幅変化率Ｅ５の一方を加味するようにしてもよいのは勿論である。
【００５４】
また、上記した実施形態では、選別した矩形領域についての各特徴係数の和の時間的な連続性をさらに評価し、連続性があるときにその選別した矩形領域を車両と判断するようにした場合について説明したが、このような連続性の評価を行わなくても構わない。
【００５５】
更に、自車に搭載すべき画像センサは、上記したＣＣＤカメラ１に限定されるものでないのはいうまでもない。
【００５６】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００５７】
【発明の効果】
以上のように、請求項１、６に記載の発明によれば、エッジヒストグラムから複数の車両候補としての矩形領域が抽出されると、各矩形領域それぞれについて、車両らしさを表わす特徴係数として、左右対称度、水平線分含有率及び水平成分貫通率が少なくとも導出され、各矩形領域それぞれについての各特徴係数の和が最小となり、かつ予め定められたしきい値よりも小さくなる矩形領域が選別されて車両と判断されるため、これらの特徴係数に基づき車両かどうかを判断することができ、従来の相関演算法のように教師画像を必要とせず、安価な構成によりリアルタイム処理を実現できるとともに、新しい車種についても特徴係数に基づいて認識することが可能になり、より高度でより快適な運転支援システムを提供することができる。
【００５８】
また、請求項２、７に記載の発明によれば、車両の場合、その動きをある程度予測できることから、特徴係数として予測動き一致率も加味することで、車両かどうかの判断をより確実に行うことが可能になる。
【００５９】
また、請求項３、８に記載の発明によれば、車両の場合、推測される推測車両幅は時間的には連続的に変化し、車両幅の変化も予測可能であることから、特徴係数として車両幅変化率も加味することで、車両かどうかの判断をよりいっそう確実に行うことが可能になる。
【００６０】
また、請求項４、９に記載の発明によれば、各特徴係数を正規化することにより、矩形領域それぞれについての各特徴係数の和は１よりも小さい値となって取り扱い易くなり、車両として各特徴係数の和が最小となる矩形領域を選別する際に、容易に選別することが可能になる。
【００６１】
また、請求項５、１０に記載の発明によれば、車両の場合、その候補となる矩形領域についての各特徴係数の和の時間的な変化には連続性があるため、この連続性を評価することで車両かどうかをよりいっそう確実に判断することが可能になる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の一実施形態の動作説明図である。
【図７】この発明の一実施形態の動作説明図である。
【図８】この発明の一実施形態の動作説明用フローチャートである。
【符号の説明】
１    ＣＣＤカメラ（画像センサ）
２    ＣＰＵ（画像処理部、特徴係数導出部、判断部）
３    メモリ
【図１】
0004070450.tif 000002
【図２】
0004070450.tif 000003
【図３】
0004070450.tif 000004
【図４】
0004070450.tif 000005
【図５】
0004070450.tif 000006
【図６】
0004070450.tif 000007
【図７】
0004070450.tif 000008
【図８】
0004070450.tif 000009