(57)【要約】【課題】車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出が可能な画像処理式車両検出装置および画像処理式車両検出方法を提供すること。  【解決手段】道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段１２１と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段１２３と、前記車頭検出手段１２１および前記ヘッドライト点灯判定手段１２３の結果に基づいて前記車頭位置を補正する車頭検出補正手段１２２とを有する構成とした。【選択図】図１
2007272785.tif 000002
【特許請求の範囲】
【請求項１】
道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、
車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、
前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段と
を有し、
前記車両検出補正手段は、
前記車両候補矩形内の水平ライン毎の平均輝度を算出し、
前記平均輝度の最大値および最小値を算出し、
車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、
前記車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い前記車両候補矩形内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、
前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する画像処理式車両検出装置。
【請求項２】
請求項１に記載の画像処理式車両検出装置であって、
前記車両検出補正手段は、
前記車両候補矩形内の水平ライン毎の平均輝度についてヒストグラムを作成し、
前記ヒストグラムにおいて最大値に準ずるおおよその最大値を前記車頭判定閾値Ｃｔｈを求める際に用いる前記平均輝度の最大値とし、
前記ヒストグラムにおいて最小値に準ずるおおよその最小値を前記車頭判定閾値Ｃｔｈを求める際に用いる前記平均輝度の最大値とする画像処理式車両検出装置。
【請求項３】
請求項１に記載の画像処理式車両検出装置であって、
前記撮像画像を逐次撮影する画像入力手段を有し、
前記車頭判定閾値算出手段は、
前記画像入力手段によって逐次撮影された複数の撮像画像に基づいて、複数の前記車頭判定閾値を求め、
所定数の前記車頭判定閾値についての平均値Ｃｔｈ＿ｍおよび標準偏差Ｃｔｈ＿σを算出し、
新たに車頭判定閾値Ｃｔｈ＝Ｃｔｈ＿ｍ−ｐ×Ｃｔｈ＿σ（ｐは正の補正係数）を前記車頭判定閾値とする画像処理式車両検出装置。
【請求項４】
請求項１に記載の画像処理式車両検出装置であって、
前記撮像画像を逐次撮影する画像入力手段を有し、
前記車頭判定閾値算出手段は、
前記画像入力手段によって逐次撮影された複数の撮像画像に基づいて、複数の前記車頭判定閾値を求め、
前記車頭判定閾値を求める際に使用された複数の前記平均輝度の最大値および最小値の差の平均値ＭＭ＿ｍおよび標準偏差ＭＭ＿σを算出し、
新たに車頭判定閾値の補正係数Ｋ＝（ＭＭ＿ｍ−ｑ×ＭＭ＿σ）／ＭＭ＿ｍ（ｑは正の補正係数）を前記車頭検出閾値の補正係数Ｋとする画像処理式車両検出装置。
【請求項５】
道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、
車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、
前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段と
を有し、
前記車頭検出手段は、
前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域を複数のライト領域として検出し、前記複数のライト領域を包含するライト対領域を前記車両候補矩形として検出し、
前記車頭検出補正手段は、
前記ライト対領域に基づいて車頭位置補正領域を作成し、
前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて、前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、
前記平均輝度の最大値と最小値との差が予め設定した値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する画像処理式車両検出装置。
【請求項６】
道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、
車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、
前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段と
を有し、
前記車頭検出手段は、
前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域を複数のライト領域として検出し、前記複数のライト領域を包含するライト対領域を前記車両候補矩形として検出し、
前記車頭検出補正手段は、
前記ライト対領域に基づいて車頭位置補正領域を作成し、
前記車頭位置補正領域内の水平ライン毎の平均輝度を算出し、
前記平均輝度の最大値および最小値を算出し、
車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、
前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、
前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する画像処理式車両検出装置。
【請求項７】
請求項５または６に記載の画像処理式車両検出装置であって、
前記車頭検出補正手段は、
前記車両候補矩形の垂直方向の長さを延長することにより前記車両候補矩形を包含する車頭位置補正領域を作成する画像処理式車両検出装置。
【請求項８】
請求項５または６に記載の画像処理式車両検出装置であって、
前記車頭検出補正手段は、
前記車両候補矩形の垂直方向の長さを所定倍とすることにより前記車両候補矩形を包含する車頭位置補正領域を作成する画像処理式車両検出装置。
【請求項９】
請求項５または６に記載の画像処理式車両検出装置であって、
前記車頭検出補正手段は、
前記車両候補矩形の垂直方向の長さを水平方向の長さの所定倍だけ延長することにより前記車両候補矩形を包含する車頭位置補正領域を作成する画像処理式車両検出装置。
【請求項１０】
道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出されて車頭位置が検出される車頭検出ステップと、
車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、
前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップにおける判定結果に基づいて、前記車頭位置が補正される車頭検出補正ステップと
を有し、
前記車両検出補正ステップにおいては、
前記車両候補矩形内の水平ライン毎の平均輝度が算出され、
前記平均輝度の最大値および最小値が算出され、
車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出ステップが有され、
前記車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い前記車両候補矩形内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、
前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される画像処理式車両検出方法。
【請求項１１】
道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出されて車頭位置が検出される車頭検出ステップと、
車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、
前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップの判定結果に基づいて前記車頭位置が補正される車頭検出補正ステップと
を有し、
前記車頭検出ステップにおいては、
前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域が複数のライト領域として検出され、前記複数のライト領域を包含するライト対領域が前記車両候補矩形として検出され、
前記車頭検出補正ステップにおいては、
前記ライト対領域に基づいて車頭位置補正領域が作成され、
前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて、前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、
前記平均輝度の最大値と最小値との差が予め設定した値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される画像処理式車両検出方法。
【請求項１２】
道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出され車頭位置が検出される車頭検出ステップと、
車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、
前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップの判定結果に基づいて前記車頭位置が補正される車頭検出補正ステップと
を有し、
前記車頭検出ステップにおいては、
前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域が複数のライト領域として検出され、前記複数のライト領域を包含するライト対領域が前記車両候補矩形として検出され、
前記車頭検出補正ステップにおいては、
前記ライト対領域に基づいて車頭位置補正領域が作成され、
前記車頭位置補正領域内の水平ライン毎の平均輝度が算出され、
前記平均輝度の最大値および最小値が算出され、
車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出ステップが有され、
前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、
前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される画像処理式車両検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理による車両検出装置装置及び車両検出方法に関する。
【背景技術】
【０００２】
従来の車両検出装置では、道路上の車両を撮影した画像から車両を検出する技術が提案されており、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別している。（例えば、特許文献１参照）。
【特許文献１】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、カメラの設置状況や路面状況によってはヘッドライトの路面反射が画像内に大きく発生し、正確に車両の車頭位置を検出することが困難になる。車頭が正確に検出できなければ、車両速度を正確に計測することができないという課題があった。
【０００４】
本発明は、上記従来の課題を鑑みてなされたものであって、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能な画像処理式車両検出装置および画像処理式車両検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の第１の画像処理式車両検出装置は、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段とを有し、前記車両検出補正手段が、前記車両候補矩形内の水平ライン毎の平均輝度を算出し、前記平均輝度の最大値および最小値を算出し、車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、前記車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い前記車両候補矩形内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成としている。
【０００６】
この構成により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、低コントラストな画像では車頭判定閾値Ｃｔｈを小さく、高コントラストな画像では車頭判定閾値Ｃｔｈを大きく自動的に算出することが可能であり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能となり、より正確な車頭位置を検出することが可能である。
【０００７】
また、本発明の第２の画像処理式車両検出装置は、前記車両検出補正手段が、前記車両候補矩形内の水平ライン毎の平均輝度についてヒストグラムを作成し、前記ヒストグラムにおいて最大値に準ずるおおよその最大値を前記車頭判定閾値Ｃｔｈを求める際に用いる前記平均輝度の最大値とし、前記ヒストグラムにおいて最小値に準ずるおおよその最小値を前記車頭判定閾値Ｃｔｈを求める際に用いる前記平均輝度の最大値とする構成としている。
【０００８】
この構成により、ノイズの影響を受けることなく車両として認識した外接矩形の高輝度値と低輝度値とを安定的に算出することができる。
【０００９】
また、本発明の第３の画像処理式車両検出装置は、前記撮像画像を逐次撮影する画像入力手段を有し、前記車頭判定閾値算出手段が、前記画像入力手段によって逐次撮影された複数の撮像画像に基づいて、複数の前記車頭判定閾値を求め、所定数の前記車頭判定閾値についての平均値Ｃｔｈ＿ｍおよび標準偏差Ｃｔｈ＿σを算出し、新たに車頭判定閾値Ｃｔｈ＝Ｃｔｈ＿ｍ−ｐ×Ｃｔｈ＿σ（ｐは正の補正係数）を前記車頭判定閾値とする構成としている。
【００１０】
この構成により、直近において実際に車頭補正位置の検出ができた車頭判定閾値Ｃｔｈの分布に基づいて新たな車頭判定閾値Ｃｔｈを算出することになり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。
【００１１】
また、本発明の第４の画像処理式車両検出装置は、前記撮像画像を逐次撮影する画像入力手段を有し、前記車頭判定閾値算出手段が、前記画像入力手段によって逐次撮影された複数の撮像画像に基づいて、複数の前記車頭判定閾値を求め、前記車頭判定閾値を求める際に使用された複数の前記平均輝度の最大値および最小値の差の平均値ＭＭ＿ｍおよび標準偏差ＭＭ＿σを算出し、新たに車頭判定閾値の補正係数Ｋ＝（ＭＭ＿ｍ−ｑ×ＭＭ＿σ）／ＭＭ＿ｍ（ｑは正の補正係数）を前記車頭検出閾値の補正係数Ｋとする構成としている。
【００１２】
この構成により、直近において実際に車頭補正位置を検出できた探索窓内の探索窓内最大値と探索窓内最小値との差の分布に基づいて新たな車頭判定閾値Ｃｔｈを算出することになり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。さらに、補正係数Ｋを更新し、車両１台毎の輝度に基づいて車頭判定閾値Ｃｔｈを算出するので、個々の車両に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。
【００１３】
また、本発明の第５の画像処理式車両検出装置は、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段とを有し、前記車頭検出手段が、前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域を複数のライト領域として検出し、前記複数のライト領域を包含するライト対領域を前記車両候補矩形として検出し、前記車頭検出補正手段が、前記ライト対領域に基づいて車頭位置補正領域を作成し、前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて、前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、前記平均輝度の最大値と最小値との差が予め設定した値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成としている。
【００１４】
この構成により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００１５】
また、本発明の第６の画像処理式車両検出装置は、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段と、前記車頭検出手段および前記ヘッドライト点灯判定手段の結果に基づいて前記車頭位置を補正する車頭検出補正手段とを有し、前記車頭検出手段が、前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域を複数のライト領域として検出し、前記複数のライト領域を包含するライト対領域を前記車両候補矩形として検出し、前記車頭検出補正手段が、前記ライト対領域に基づいて車頭位置補正領域を作成し、前記車頭位置補正領域内の水平ライン毎の平均輝度を算出し、前記平均輝度の最大値および最小値を算出し、車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成としている。
【００１６】
この構成により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００１７】
また、本発明の第７の画像処理式車両検出装置は、前記車頭検出補正手段が、前記車両候補矩形の垂直方向の長さを延長することにより前記車両候補矩形を包含する車頭位置補正領域を作成する構成としている。
【００１８】
この構成により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００１９】
また、本発明の第８の画像処理式車両検出装置は、前記車頭検出補正手段が、前記車両候補矩形の垂直方向の長さを所定倍とすることにより前記車両候補矩形を包含する車頭位置補正領域を作成する構成としている。
【００２０】
この構成により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００２１】
また、本発明の第９の画像処理式車両検出装置は、前記車頭検出補正手段が、前記車両候補矩形の垂直方向の長さを水平方向の長さの所定倍だけ延長することにより前記車両候補矩形を包含する車頭位置補正領域を作成する構成としている。
【００２２】
この構成により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００２３】
また、本発明の第１の画像処理式車両検出方法は、道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出されて車頭位置が検出される車頭検出ステップと、車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップにおける判定結果に基づいて、前記車頭位置が補正される車頭検出補正ステップとを有し、前記車両検出補正ステップにおいては、前記車両候補矩形内の水平ライン毎の平均輝度が算出され、前記平均輝度の最大値および最小値が算出され、車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出ステップが有され、前記車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い前記車両候補矩形内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される方法としている。
【００２４】
この方法により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、低コントラストな画像では車頭判定閾値Ｃｔｈを小さく、高コントラストな画像では車頭判定閾値Ｃｔｈを大きく自動的に算出することが可能であり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能となり、より正確な車頭位置を検出することが可能である。
【００２５】
また、本発明の第２の画像処理式車両検出方法は、道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出されて車頭位置が検出される車頭検出ステップと、車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップの判定結果に基づいて前記車頭位置が補正される車頭検出補正ステップとを有し、前記車頭検出ステップにおいては、前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域が複数のライト領域として検出され、前記複数のライト領域を包含するライト対領域が前記車両候補矩形として検出され、前記車頭検出補正ステップにおいては、前記ライト対領域に基づいて車頭位置補正領域が作成され、前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて、前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、前記平均輝度の最大値と最小値との差が予め設定した値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される方法としている。
【００２６】
この方法により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【００２７】
また、本発明の第３の画像処理式車両検出方法は、道路上の車両が撮影された撮影画像から車両位置を示す車両候補矩形が検出され車頭位置が検出される車頭検出ステップと、車両のヘッドライトの点灯が判定されるヘッドライト点灯判定ステップと、前記車頭検出ステップおよび前記ヘッドライト点灯判定ステップの判定結果に基づいて前記車頭位置が補正される車頭検出補正ステップとを有し、前記車頭検出ステップにおいては、前記撮影画像内において所定値以上の輝度を有する複数の高輝度領域が複数のライト領域として検出され、前記複数のライト領域を包含するライト対領域が前記車両候補矩形として検出され、前記車頭検出補正ステップにおいては、前記ライト対領域に基づいて車頭位置補正領域が作成され、前記車頭位置補正領域内の水平ライン毎の平均輝度が算出され、前記平均輝度の最大値および最小値が算出され、車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出ステップが有され、前記車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて前記撮影画像の水平ライン毎の平均輝度が前記探索窓内の画像最下段から上方へと検索され、前記平均輝度の最大値と最小値との差が前記車頭判定閾値以上となった場合、前記検出された車頭位置が最小値である水平ラインの垂直位置に補正される方法としている。
【００２８】
この方法により、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出することが可能である。また、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【発明の効果】
【００２９】
本発明は、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出が可能な画像処理式車両検出装置および画像処理式車両検出方法を提供することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態の画像処理式車両検出装置について、図面を用いて説明する。
【００３１】
まず、ヘッドライトを点灯している車両と路面の状況に関して先に説明する。図５は、本発明の実施形態におけるヘッドライト点灯車両および路面の概略図である。
【００３２】
撮影カメラなどにより車両や路面などを撮影した撮影画像から車両候補矩形５００を抜粋する。この画像では、ヘッドライト５０２を点灯している車両５０１が路面５０３上を走行しており、路面５０３にヘッドライト光が反射している。車両５０１と路面５０３との間にあるタイヤ近傍の部分は、車両自身が作り出した水平方向にのびている車体影５０４が発生している。
【００３３】
後述のような車両候補矩形５００を抽出して車頭位置を求めると、ヘッドライト光も含まれた車両候補矩形５００の矩形底辺が車頭位置として認識されてしまう。そこで、本発明においては、車体影５０４を利用することで車体影５０４の部分を車頭として車頭位置を補正するように、後述する３つの実施形態を提案する。
【００３４】
次に、本発明の実施形態における画像処理式車両検出装置について説明する。
図１は本発明の第１〜第３の実施形態における画像処理式車両検出装置１００のブロック図である。
【００３５】
本発明の実施形態における画像処理式車両検出装置１００は、画像入力手段１０１、背景画像作成手段１０２、特徴画像作成手段１０３、特徴コード作成手段１０４、画像格納手段１１０、車両認識手段１２０および特徴コード格納手段１３１を有する。また、画像格納手段１１０は、現画像格納手段１１１、背景画像格納手段１１２および特徴画像格納手段１１３を有する。また、車両認識手段１２０は、車頭検出手段１２１、車頭検出補正手段１２２およびヘッドライト点灯判定手段１２３を有する。
【００３６】
背景画像作成手段１０２、特徴画像作成手段１０３、特徴コード作成手段１０４および車両認識手段１２０は、後述する各処理を行うプロセッサ等により構成される。また、画像格納手段１１０および特徴コード格納手段１３１はメモリ等により構成される。
【００３７】
画像入力手段１０１では、撮影用カメラなどにより撮影された撮影画像データを入力する。撮影画像データには、２５６階調の濃淡画像データ等が用いられる。撮影画像データは現画像格納手段１１１に格納される。背景画像作成手段１０２では、撮影画像データに基づいて背景画像を作成する。背景画像データは背景画像格納手段１１２に格納される。
【００３８】
特徴画像作成手段１０３では、撮影画像データおよび背景画像データを用いて背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行うことで特徴画像を作成する。特徴画像データは特徴画像格納手段１１３に格納される。
【００３９】
特徴コード作成手段１０４では、特徴画像データに基づいて車両候補矩形を算出するための各画素の特徴を示す特徴コードを作成する。特徴コードは、特徴画像において各画素ごとに０、１、２、…、９などのコードを割り当てたものである。例えば、背景画像データと同一で差分処理によってデータ無しとなったデータは０、ノイズ等と思われる捨てデータは１、車両として有効な有効データのうち、車幅より小さい部分は２、車幅より大きい部分は３、車両候補となる部分は６、車体として認識される部分は８、車尾として認識される部分は９などとして、車両の位置を判別可能にしたデータである。特徴コードは特徴コード格納手段１３１に格納される。
【００４０】
車頭検出手段１２１では、撮影画像データおよび特徴コードを用いて車両候補矩形および車頭の位置を検出する。車頭検出補正手段１２２では、車頭検出手段１２１および後述するヘッドライト点灯判定手段１２３の結果に基づいて車頭位置を補正する。
【００４１】
ヘッドライト点灯判定手段１２３では、撮影画像データおよび特徴コードから車両のヘッドライトが点灯しているか否かを判定する。例えば、車両候補矩形の矩形底辺から車両最小高さ（予め設定した任意の高さ）までの平均輝度がヘッドライト点灯判定値（予め設定した任意の値）よりも大きい場合はヘッドライトが点灯していると判定する。また、撮影画像データおよび背景画像データの車両候補矩形の矩形底辺から前述の車両最小高さまでの平均輝度を比較して、撮影画像データの平均輝度が背景画像データの平均輝度よりも大きい場合にヘッドライトが点灯していると判定してもよい。
（第１の実施形態）
【００４２】
次に、本発明の第１の実施形態について説明する。
第１の実施形態では、背景差分法を用いて車頭位置を補正する場合の画像処理式車両検出装置の動作を説明する。ここで背景差分法とは、入力画像および背景画像の明度や輝度を比較し、その輝度差に基づいて移動物体を抽出する手法である。図２は本発明の第１の実施形態における画像処理式車両検出装置１００の動作説明のためのフロー図である。
【００４３】
まず、車頭検出手段１２１により車両候補矩形の検出が完了する（ステップＳ２０１）。ヘッドライト点灯判定手段１２３により車両候補矩形の車両のヘッドライトが点灯されていると判定された場合、車頭検出補正手段１２２は、検出された車両候補矩形内の撮影画像データおよび背景画像データについて、各水平ライン毎の平均輝度（撮影画像データの平均輝度（１）、背景画像データの平均輝度（２）とする）を算出する（ステップＳ２０２）。そして各車両候補矩形の画像最下段の水平ライン（車両候補矩形底辺）から上方へと検索を開始する（ステップＳ２０３）。
【００４４】
車頭検出補正手段１２２は、撮影画像データおよび背景画像データの水平ラインの垂直位置が等しい位置において、撮影画像データの平均輝度（１）と背景画像データの平均輝度（２）との比較を行い、撮影画像データの平均輝度（１）が背景画像データの平均輝度（２）よりも小さいか否かの判定を行う（ステップＳ２０４）。判定結果が真の場合は、車頭検出補正手段１２２は現在比較している水平ラインの垂直位置を車頭補正位置として登録し（ステップＳ２０５）、処理を終了する。
【００４５】
また、ステップＳ２０４の判定結果が偽の場合は、現在比較している水平ラインよりも一段上に比較を行うための水平ラインを移動する（ステップＳ２１１）。そして移動後の水平ラインの垂直位置が車両候補矩形の上辺よりも上方に位置するか否かの判定を行う（ステップＳ２１２）。判定結果が偽の場合はステップＳ２０４に戻り、処理を続行する。判定結果が真の場合は、車頭補正位置の検出は不可能であるので（ステップＳ２１３）、処理を終了する。
【００４６】
このような本発明の第１の実施形態の画像処理式車両検出装置１００によれば、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段１２１と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段１２３と、車頭検出手段１２１およびヘッドライト点灯判定手段１２３の結果に基づいて車頭位置を補正する車頭検出補正手段１２２とを有し、車両候補矩形は、撮影画像および撮影画像に基づいて作成された背景画像から検出される構成とすることで、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置を検出することができる。
（第２の実施形態）
【００４７】
次に本発明の第２の実施形態について説明する。
第２の実施形態では、背景差分法を用いずに車頭位置を補正する場合の画像処理式車両検出装置の動作を説明する。図３は本発明の第２の実施形態における画像処理式車両検出装置１００の動作説明のためのフロー図である。
【００４８】
まず、車頭検出手段１２１により車両候補矩形の検出が完了する（ステップＳ３０１）。ヘッドライト点灯判定手段１２３により車両候補矩形の車両のヘッドライトが点灯されていると判定された場合、車両検出補正手段１２２は、検出された車両候補矩形内の撮影画像データについて、各水平ライン毎の平均輝度を算出する（ステップＳ３０２）。そして各車両候補矩形の画像最下段の水平ライン（車両候補矩形底辺）から上方へと検索を開始する（ステップＳ３０３）。
【００４９】
車両検出補正手段１２２は、車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い車両候補矩形内の探索窓（図５の探索窓５０５に相当）を用いて、探索窓内における水平ラインの平均輝度の最大値および最小値を検索する（ステップＳ３０４）。そして、この最大値および最小値の差が車頭判定閾値（車頭を判定するために、予め設定されている値）よりも大きいか否かを判定する（ステップＳ３０５）。判定結果が真の場合、車両検出補正手段１２２は検索された平均輝度が最小値である水平ラインの垂直位置を車頭補正位置として登録し（ステップＳ３０６）、処理を終了する。
【００５０】
尚、前述の探索窓は車両候補矩形内の垂直方向の長さを有する直線や矩形などである。また、探索窓の垂直方向の長さは例えば車両候補矩形の横幅から算出し、車両候補矩形の横幅の半分から車両候補矩形の横幅までの間が適値と考えられる。本実施形態および後述する本発明の第３の実施形態における探索窓は垂直方向の長さを有する直線とし、探索窓の長さは車両候補矩形の横幅の半分とする。
【００５１】
また、ステップＳ３０５の判定結果が偽の場合は、現在の検索に使用している探索窓と比較して水平ライン一段分上に探索窓を移動する（ステップＳ３１１）。そして移動後の探索窓の上端が、車両候補矩形の上辺よりも上方に位置するか否かの判定を行う（ステップＳ３１２）。判定結果が偽の場合はステップＳ３０４に戻り、処理を続行する。判定結果が真の場合は車頭補正位置の検出が不可能であるので（ステップＳ３１３）、処理を終了する。
【００５２】
このような本発明の第２の実施形態の画像処理式車両検出装置１００によれば、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段１２１と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段１２３と、車頭検出手段１２１およびヘッドライト点灯判定手段１２３の結果に基づいて車頭位置を補正する車頭検出補正手段１２２とを有し、車両検出補正手段１２２は、車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い車両候補矩形内の探索窓を用いて、撮影画像の水平ライン毎の平均輝度を探索窓内の画像最下段から上方へと検索し、平均輝度の最大値と最小値との差が予め設定した値以上となった場合、検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成とすることで、画面全体がヘッドライト光路面反射により明るくなり、背景よりも撮影画像が暗くならない場合でも、安定的に車頭位置を検出することができる。
（第３の実施形態）
【００５３】
次に本発明の第３の実施形態について説明する。
第３の実施形態では、車頭位置の補正に背景差分法を用いる方法と用いない方法を組み合わせて実施する画像処理式車両検出装置の動作を説明する。図４は本発明の第３の実施形態における画像処理式車両検出装置１００の動作説明のためのフロー図である。
【００５４】
まず、車頭検出手段１２１により車両候補矩形の検出が完了する（ステップＳ４０１）。ヘッドライト点灯判定手段１２３により車両候補矩形の車両のヘッドライトが点灯されていると判定された場合、車両検出補正手段１２２は、検出された車両候補矩形内の撮影画像データおよび背景画像データについて、各水平ライン毎の平均輝度（撮影画像データの平均輝度（１）、背景画像データの平均輝度（２）とする）を算出する（ステップＳ４０２）。そして各車両候補矩形の画像最下段の水平ライン（車両候補矩形底辺）から上方へと検索を開始する（ステップＳ４０３）。
【００５５】
背景差分法を用いない車頭位置の補正方法によって、車頭補正位置が検出されたか否かを判定する（ステップＳ４０４）。実際の背景差分法を用いない車頭位置の補正方法は、本発明の第２の実施形態を参照されたい。判定結果が真の場合には、車頭検出補正手段１２２は車頭補正位置の登録を行い（ステップＳ４１１）、処理を終了する。判定結果が偽の場合は、以下の処理を続行する。
【００５６】
背景差分法を用いた車頭位置の補正方法によって、車頭補正位置が検出されたか否かを判定する（ステップＳ４０５）。実際の背景差分法を用いた車頭位置の補正方法は、本発明の第１の実施形態を参照されたい。判定結果が真の場合には、車頭検出補正手段１２２は車頭補正位置の登録を行い（ステップＳ４１１）、処理を終了する。判定結果が偽の場合には以下の処理を続行する。
【００５７】
次に、背景差分法を用いない場合に関しては、現在の検索に使用している探索窓と比較して水平ライン一段分上に探索窓を移動し、背景差分法を用いる場合に関しては、現在比較している水平ラインよりも一段上に比較を行うための水平ラインを移動する（ステップＳ４０６）。
【００５８】
背景差分法を用いない場合に関して、ステップＳ４０６にて移動後の探索窓の上端が、車両候補矩形の上辺よりも上方に位置するか否かの判定を行う（ステップＳ４０７）判定結果が偽の場合はステップＳ４０４に戻り、処理を続行する。判定結果が真の場合は、以下の処理を続行する。
【００５９】
背景差分法を用いる場合に関して、ステップＳ４０６にて移動後の水平ラインの垂直位置が、車両候補矩形の上辺よりも上方に位置するか否かの判定を行う（ステップＳ４０８）。判定結果が偽の場合はステップＳ４０５に戻り、処理を続行する。判定結果が真の場合は、背景差分法を用いない場合、用いる場合ともに車頭補正位置の検出は不可能であるの       で（ステップＳ４０９）、処理を終了する。
【００６０】
このような本発明の第３の実施形態の画像処理式車両検出装置１００によれば、道路上の車両を撮影した撮影画像から車両位置を示す車両候補矩形を検出して車頭位置を検出する車頭検出手段１２１と、車両のヘッドライトの点灯を判定するヘッドライト点灯判定手段１２３と、車頭検出手段１２１およびヘッドライト点灯判定手段１２３の結果に基づいて車頭位置を補正する車頭検出補正手段１２２とを有し、車両検出補正手段１２２は、車頭検出手段１２１により検出された車頭位置を、撮影画像および背景画像の水平ライン毎の平均輝度を車両候補矩形内の画像最下段から上方へと比較し、撮影画像の平均輝度が背景画像の平均輝度未満となった場合には水平ラインの垂直位置に、車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い車両候補矩形内の探索窓を用いて、撮影画像の水平ライン毎の平均輝度を探索窓内の画像最下段から上方へと検索し、平均輝度の最大値と最小値との差が予め設定した値以上となった場合には平均輝度が最小値である水平ラインの垂直位置に、補正する構成とすることで、ヘッドライト光路面反射部分をより安定的に除去して車頭位置を検出することができる。
【００６１】
（第４の実施形態）
次に、本発明の第２の実施形態における車両検出補正手段１２２が実施したような、探索窓内における水平ラインの平均輝度の最大値および最小値の差との比較を行う際に使用した車頭判定閾値について、さらに好ましい形態を説明する。本発明の第２の実施形態では背景差分法を用いない場合を想定していたが、本実施形態はこれに限らない。
【００６２】
本発明の第２の実施形態においては、上記の車頭判定閾値として車頭を判定するためにあらかじめ設定されている値を利用していたが、この車頭判定閾値を固定の値ではなく、動的に変化させることによって、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能となる。尚、本実施形態における車頭判定閾値は平均輝度（平均輝度）の最大値および最小値の差との比較を行うために使用されるのみならず、それに準ずる値との比較を行うためにも使用される。
【００６３】
図６は本発明の第４の実施形態における画像処理式車両検出装置６００は、現画像入力手段６１０、背景画像作成手段６２０、差分画像作成手段６３０、２値化画像作成手段６４０、画像格納手段６５０、外接矩形検出手段６６０、車両認識手段６７０、車頭位置補正手段６８０、および車両追跡手段６９０を有する。
【００６４】
現画像入力手段６１０は、ビデオカメラ等により現画像を逐次入力する。背景画像作成手段６２０は、現画像格納手段６５１によって格納された現画像や背景画像格納手段６５２によって格納された元の背景画像を基に、平均化もしくは累積化などによって背景画像を作成する。差分画像作成手段６３０は、現画像格納手段６５１によって格納された現画像および背景画像格納手段６５２によって格納された背景画像の差分をとり、背景差分処理やフレーム差分処理などを用いて差分画像を作成する。２値化画像作成手段６４０は、差分画像格納手段６５３によって格納された差分画像から予め定められた閾値などとの比較に基づいて２値化画像を作成する。
【００６５】
外接矩形検出手段６６０は、２値化画像格納手段６５４によって格納された２値化画像から特徴のある部分を有する車両候補の外接矩形として検出する。車両認識手段６７０は、外接矩形検出手段６６０が検出した外接矩形の領域に含まれる画像データに対して、パターン認識等の手法を用いて処理することにより、外接矩形内の像を車両として認識する。また、車両認識手段６７０は、図５のような車両を想定した場合には外接矩形検出手段６６０が検出した外接矩形の最下ラインが車頭の位置であると認識する。さらに車両認識手段６７０は、図１のヘッドライト点灯判定手段１２３が実施するのと同様に車両のヘッドライトが点灯されているか否かを判定する。
【００６６】
車頭位置補正手段６８０は、外接矩形検出手段が検出した外接矩形の水平ライン毎に平均輝度を算出し、この平均輝度をもとに車頭判定閾値Ｃｔｈを動的に算出し、車頭判定閾値Ｃｔｈが探索窓内における平均輝度の最大値と最小値との差分以上である場合には、平均輝度が最小値である水平ラインを車頭位置として検出し、車頭位置の補正を行う。
【００６７】
車両追跡手段６９０は、車頭位置補正手段６８０が検出した車頭位置と現画像入力手段６１０によって今回以前に逐次入力された現画像について車頭位置補正手段６８０が検出した車頭位置との比較に基づいて、車両の追跡を行う。
【００６８】
また、画像格納手段６５０は、現画像入力手段６１０により入力された現画像を格納する現画像格納手段６５１、背景画像作成手段６２０により作成された背景画像を格納する背景画像格納手段６５２、差分画像作成手段６３０により作成された差分画像を格納する差分画像格納手段６５３、及び２値化画像作成手段６４０により作成された２値化画像を格納する２値化画像格納手段６５４を有する。
【００６９】
ここで、車両認識手段６７０の一部は車頭位置検出手段の一例である。また、車両認識手段６７０の一部はヘッドライト点灯判定手段の一例である。また、車頭位置補正手段６８０は車頭検出補正手段の一例である。
【００７０】
次に、画像処理式車両検出装置６００の車両検出時の動作について説明する。
本実施形態においては、車両認識手段６７０によって認識された車両の車頭位置を検出するための動的な車頭判定閾値Ｃｔｈの算出方法については、例えば次の４つの方法がある。
【００７１】
（１）外接矩形検出手段６６０が検出した外接矩形全体の水平ライン毎に平均輝度の最大値および最小値を算出し、
車頭判定閾値Ｃｔｈ＝Ｋ×（最大値―最小値）
によって車頭判定閾値Ｃｔｈを算出し、これを用いて予め外接矩形の垂直長より短い長さに設定した探索窓（図５の探索窓５０５）を外接矩形の下部から上部に向かって走査し探索窓内の水平ライン平均輝度最大値と最小値を算出し、その差が車頭判定閾値Ｃｔｈ以上となった場合、最小値が検出されたラインを車頭位置とする。
【００７２】
（２）車頭判定閾値Ｃｔｈを算出する際に用いる水平ライン毎平均輝度の最大値と最小値を、いわゆる最大値および最小値ではなくヒストグラムを作成して最大値からＭ％番目および最小値からＮ％番目に相当する画素の輝度とする。
【００７３】
（３）車頭位置補正手段６８０が現画像入力手段６１０によって逐次入力されたＮ台（Ｎは任意の正数）の車両補正位置を検出したら、そのＮ台の車頭判定閾値Ｃｔｈの平均値Ｃｔｈ＿ｍと標準偏差Ｃｔｈ＿σを算出し、Ｃｔｈ＝Ｃｔｈ＿ｍ−ｐ×Ｃｔｈ＿σによって新たな車頭判定閾値Ｃｔｈを算出し、以降のＮ台の車両においては算出された車頭判定閾値Ｃｔｈを用いて車頭補正位置検出を行い、Ｎ台毎に新たな車頭判定閾値Ｃｔｈを算出して用いる。
【００７４】
（４）車頭位置補正手段６８０が現画像入力手段６１０によって逐次入力されたＮ台の車頭補正位置を検出したら、そのＮ台の車頭補正位置検出ができた際の探索窓内の水平ライン平均輝度最大値と最小値との差の平均値ＭＭ＿ｍと標準偏差ＭＭ_σを算出し、Ｋ＝（ＭＭ＿ｍ−ｑ×ＭＭ＿σ）／ＭＭ＿ｍ（ｑは正の補正係数）によって新たな車頭判定閾値Ｃｔｈを算出する補正係数Ｋを算出し、以降のＮ台の車両においては算出された補正係数Ｋによる車頭判定閾値Ｃｔｈを用いて車頭補正位置検出を行い、Ｎ台毎に新たな補正係数Ｋによる車頭判定閾値Ｃｔｈを算出して用いる。
【００７５】
図７は本発明の第４の実施形態における画像処理式車両検出装置６００の第１の車両検出時の動作フロー図である。図４に示すフローは、上記（１）および（２）によって車頭判定閾値Ｃｔｈを算出する場合を想定している。
【００７６】
まず、現画像入力手段６１０が現画像を入力した後、背景画像作成手段６２０は背景画像を作成する（ステップＳ７０１）。そして、差分画像作成手段６３０は現画像および背景画像の差分から差分画像を作成し（ステップＳ７０２）、２値化画像作成手段６４０は、差分画像から２値化画像を作成する（ステップＳ７０３）。そして、外接矩形検出手段６６０は２値化画像内の特徴的な部分を有するように外接矩形を検出し（ステップＳ７０４）、車両認識手段６７０は外接矩形内の特徴のある像に関して車両であると認識する（ステップＳ７０５）。
【００７７】
次に、車頭位置補正手段６８０は、外接矩形内において水平ライン毎に平均輝度を算出する（ステップＳ７０６）。そして、車頭位置補正手段６８０は、算出した水平ライン毎の平均輝度から外接矩形内における最大および最小の平均輝度を示す外接矩形内最大値と外接矩形内最小値を算出し、車頭判定閾値Ｃｔｈ＝Ｋ×（外接矩形内最大値−外接矩形内最小値）を算出する（ステップＳ７０７）。
【００７８】
尚、上記（２）の方法を用いる場合には、車頭位置補正手段６８０は水平ライン毎の平均輝度のヒストグラムを作成し、上記の外接矩形内最大値として外接矩形内最大値からＭ％番目に相当する輝度を利用し、上記の外接矩形内最小値として外接矩形内最小値からＮ％番目に相当する輝度を利用する。
【００７９】
また、車頭位置補正手段６８０は、探索窓内における水平ライン毎の平均輝度から探索窓内における最大および最小の平均輝度を示す探索窓内最大値および探索窓内最小値を算出し、探索窓内最大値と探索窓内最小値との差を算出する（ステップＳ７０８）。そして、車頭位置補正手段６８０は、車頭判定閾値Ｃｔｈが探索窓内最大値と探索窓内最小値との差以下であるか否かを判定する（ステップＳ７０９）。
【００８０】
ステップＳ７０９における判定結果が真である場合、車頭位置補正手段６８０は、探索窓内最小値を有する水平ラインを車頭補正位置として検出し（ステップＳ７１０）、処理が終了される。一方、ステップＳ７０９における判定結果が偽である場合、探索窓を１ライン上に走査する（ステップＳ７１１）。
【００８１】
探索窓による車頭補正位置の検出動作は外接矩形内の全域において実施されるため、走査領域の上限、つまり外接矩形の最下端から最上端に至るまで車頭補正位置の検出動作は実施される。ステップＳ７１１の結果、走査領域の上限に達した場合には（ステップＳ７１２）、車頭位置補正手段６８０は車頭補正位置の検出は不可能であるとし（ステップＳ７１３）、処理が終了される。また、走査領域の上限には未だ達していない場合には（ステップＳ７１２）、ステップＳ７０８以降の処理が再び行われる。
【００８２】
このような上記（１）の方法を利用することで、低コントラストな画像では車頭判定閾値Ｃｔｈを小さく、高コントラストな画像では車頭判定閾値Ｃｔｈを大きく自動的に算出することが可能であり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。
【００８３】
また、上記（２）の方法を利用することで、ノイズの影響を受けることなく車両として認識した外接矩形の高輝度値と低輝度値とを安定的に算出することができる。尚、上記Ｍ、Ｎの値は、いずれも５程度とするのが望ましい。
【００８４】
次に、上記（３）の方法を用いた場合の車両検出装置６００の動作について説明する。
図８は本発明の第４の実施形態における画像処理式車両検出装置６００の第２の車両検出時の動作フロー図である。上記（３）の方法では、現画像入力手段６１０によって逐次入力された複数の現画像を対象として複数の車両検出を行う場合を想定している。尚、図７と同一の動作を行うステップについては、特に示さない限り同一の番号を用いて説明を省略する。
【００８５】
まず、ステップＳ７０１〜Ｓ７０５の処理が行われる（一部不図示）。
【００８６】
次に、車頭位置補正手段６８０は、前回のＮ台平均の車頭判定閾値Ｃｔｈを求めた後において、車両認識手段６７０によって認識された車両がＮ台目（Ｎは任意の正数）であるか否かを判定する（ステップＳ８０１）。尚、ステップＳ８０１における判定材料は、本処理以前かつ前回のＮ台平均の車頭判定閾値Ｃｔｈを求めた後において、車頭位置補正手段６８０によって車頭補正位置が検出された車両がＮ台であるか否かとしてもよい。
【００８７】
ステップＳ８０１における判定結果が真である場合には、Ｎ台の車頭判定閾値Ｃｔｈの平均値Ｃｔｈ＿ｍと標準偏差Ｃｔｈ＿σを算出し（ステップＳ８０２）、Ｃｔｈ＝Ｃｔｈ＿ｍ−ｐ×Ｃｔｈ＿σ（ｐは正の補正係数）によって新たな車頭判定閾値Ｃｔｈを算出する（ステップＳ８０３）。ステップＳ８０１における判定結果が偽である場合には、ステップＳ８０２、Ｓ８０３の処理は省略され、ステップＳ７０６以降の処理が実施される。
【００８８】
次に、ステップＳ７０６の処理が実施される。続いて、ステップＳ７０８〜Ｓ７１３の処理が行われる。
【００８９】
このような上記（３）の方法を利用することで、直近において実際に車頭補正位置の検出ができた車頭判定閾値Ｃｔｈの分布に基づいて新たな車頭判定閾値Ｃｔｈを算出することになり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。尚、上記のｐの値は、ｐ＝２．５程度が望ましい。
【００９０】
次に、上記（４）の方法を用いた場合の車両検出装置６００の動作について説明する。
図９は本発明の第４の実施形態における画像処理式車両検出装置６００の第３の車両検出時の動作フロー図である。上記（４）の方法では、上記（３）の方法と同様に現画像入力手段６１０によって逐次入力された複数の現画像を対象として複数の車両検出を行う場合を想定している。尚、図７と同一の動作を行うステップについては、特に示さない限り同一の番号を用いて説明を省略する。
【００９１】
まず、ステップＳ７０１〜Ｓ７０５の処理が行われる（一部不図示）。
【００９２】
次に、車頭位置補正手段６８０は、前回のＮ台平均の車頭判定閾値Ｃｔｈを求めた後において、車両認識手段６７０によって認識された車両がＮ台目（Ｎは任意の正数）であるか否かを判定する（ステップＳ９０１）。尚、ステップＳ９０１における判定材料は、本処理以前かつ前回のＮ台平均の車頭判定閾値Ｃｔｈを求めた後において、車頭位置補正手段６８０によって車頭補正位置が検出された車両がＮ台であるか否かとしてもよい。
【００９３】
ステップＳ９０１における判定結果が真である場合には、Ｎ台の探索窓内最大値と探索窓内最小値との差の平均値ＭＭ＿ｍおよび標準偏差ＭＭ＿σを算出し（ステップＳ９０２）、Ｋ＝（ＭＭ＿ｍ−ｑ×ＭＭ＿σ）／ＭＭ＿ｍ（ｑは正の補正係数）によって新たな車頭判定閾値Ｃｔｈを算出する補正係数Ｋを算出する（ステップＳ９０３）。ステップＳ９０１における判定結果が偽である場合には、ステップＳ９０２、Ｓ９０３の処理は省略され、ステップＳ７０６以降の処理が実施される。
【００９４】
次に、ステップＳ７０６の処理が実施される。
続いて、新たに算出された補正係数Ｋを用いて、Ｃｔｈ＝Ｋ×（外接矩形内最大値−外接矩形内最小値）により車頭判定閾値Ｃｔｈを算出する（ステップＳ９０４）。
そして、ステップＳ７０８〜Ｓ７１３の処理が行われる。
【００９５】
このような上記（４）の方法を利用することで、直近において実際に車頭補正位置を検出できた探索窓内の探索窓内最大値と探索窓内最小値との差の分布に基づいて新たな車頭判定閾値Ｃｔｈを算出することになり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。さらに、補正係数Ｋを更新し、車両１台毎の輝度に基づいて車頭判定閾値Ｃｔｈを算出するので、個々の車両に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能である。尚、上記のｐの値は、ｐ＝２．５程度が望ましい。
【００９６】
このような本発明の第４の実施形態における画像処理式車両検出装置６００によれば、車頭位置補正手段６８０が、車両候補矩形内の水平ライン毎の平均輝度を算出し、平均輝度の最大値および最小値を算出し、車頭判定閾値Ｃｔｈ＝Ｋ×（平均輝度の最大値−平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、車両候補矩形の垂直方向の長さよりも垂直方向の長さが短い前記車両候補矩形内の探索窓を用いて撮影画像の水平ライン毎の平均輝度を前記探索窓内の画像最下段から上方へと検索し、平均輝度の最大値と最小値との差が車頭判定閾値以上となった場合、検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成とすることで、低コントラストな画像では車頭判定閾値Ｃｔｈを小さく、高コントラストな画像では車頭判定閾値Ｃｔｈを大きく自動的に算出することが可能であり、現在の環境に適した車頭判定閾値Ｃｔｈを自動的に算出することが可能となり、より正確な車頭位置を検出することが可能である。
【００９７】
（第５の実施形態）
次に、背景差分法を用いずに車頭位置の補正を行うためのさらに別の方法について説明する。本実施形態における画像処理式車両検出装置は、画像内の高輝度領域のみを検出してライトを検出し、これをグループ化してライト部分から道路面に至る領域を車両候補矩形として設定するので、路面反射の影響を受けない高精度な車頭検出処理が可能となる。
【００９８】
本発明の第５の実施形態における画像処理式車両検出装置１０００について、図面を用いて説明する。
図１０は本発明の第５の実施形態における画像処理式車両検出装置１０００のブロック図である。画像処理式車両検出装置１０００は、現画像入力手段１０１０、画像格納手段１０２０、２値化画像作成手段１０３０、外接矩形検出手段１０４０、ライト認識手段１０５０、車両認識手段１０６０、車頭位置補正手段１０７０、車両追跡手段１０８０を有する。
【００９９】
現画像入力手段１０１０は、ビデオカメラ等により現画像を逐次入力する。２値化画像作成手段１０３０は、現画像格納手段１０２１によって格納された現画像から予め定められた閾値などとの比較に基づいて２値化画像を作成する。外接矩形検出手段１０４０は、２値化画像格納手段１０２２によって格納された２値化画像から予め定められた閾値以上の高輝度画素に外接する矩形を検出する。
【０１００】
ライト認識手段１０５０は、外接矩形検出手段１０４０が検出した外接矩形（ライト外接矩形ともいう）について、その大きさ、縦横比率、外接矩形内の特徴部分などに基づいてライトを認識する。また、ライト認識手段１０５０は、図１のヘッドライト点灯判定手段１２３が実施するのと同様に車両のヘッドライトが点灯されているか否かの判定も行っている。
【０１０１】
車両認識手段１０６０は、ライト認識手段１０５０が認識したライトを有するライト外接矩形を２個以上結合し、これら２個以上の外接矩形を包含する新たな外接矩形（ライト対外接矩形ともいう）を作成し、新たな外接矩形内の像を車両として認識する。このライト対外接矩形を作成する手順については後述する。また、車両認識手段１０６０は、図５のような車両を想定した場合にはライト対外接矩形の最下ラインが車頭の位置であると認識している。
【０１０２】
車頭位置補正手段１０７０は、ライト対外接矩形を有するさらに新たな外接矩形（車頭位置補正領域ともいう）を作成し、車頭位置補正領域内から車頭位置を補正すべき箇所を検出する。この車頭位置補正領域の作成方法の具体例については後述する。車頭位置の補正方法として具体的には、車頭位置補正領域の水平ライン毎に平均輝度を算出し、この平均輝度をもとに車頭判定閾値Ｃｔｈを動的に算出し、車頭判定閾値Ｃｔｈが探索窓内における平均輝度の最大値と最小値との差分以上である場合には、平均輝度が最小値である水平ラインを車頭位置として検出し、車頭位置の補正を行う。
【０１０３】
車両追跡手段１０８０は、車頭位置補正手段１０７０が検出した車頭位置と現画像入力手段１０１０によって今回以前に逐次入力された現画像について車頭位置補正手段１０７０が検出した車頭位置との比較に基づいて、車両の追跡を行う。
【０１０４】
また、画像格納手段１０２０は、現画像入力手段１０１０により入力された現画像を格納する現画像格納手段１０２１、及び２値化画像作成手段１０３０により作成された２値化画像を格納する２値化画像格納手段１０２１を有する。
【０１０５】
ここで、車両認識手段１０６０がライト外接矩形を複数有するライト対外接矩形を作成するライト結合処理について、詳しく説明することにする。
図１１は本発明の第５の実施形態における車両認識手段１０６０のライト結合処理時の動作フロー図である。
【０１０６】
まず、車両認識手段１０６０は外接矩形検出手段１０５０が検出した複数のライト外接矩形について、それぞれのライト外接矩形下端の座標差が５画素未満であるか否かを判定する（Ｓ１１０１）。ステップＳ１１０１の処理が真である場合、車両認識手段１０６０は、それぞれのライト外接矩形についてライト外接矩形内の高輝度画素数の比率が２倍未満であるか否かを判定する（Ｓ１１０２）。ステップＳ１１０２の処理が真である場合、車両認識手段１０６０は、２つのライト外接矩形を包含するライト対外接矩形について、それぞれのライト対外接矩形について、ライト対外接矩形間における水平方向の距離を示すライト対外接矩形の横サイズが所定の車両最小幅以上かつ所定の車両最大幅未満であるか否かを判定する（ステップＳ１１０３）。
【０１０７】
ステップＳ１１０３における判定結果が真である場合、車両認識手段１０６０は上記のライト対外接矩形を車両候補として認識する（ステップＳ１１０４）。一方、ステップＳ１１０３における判定結果が偽である場合、車両認識手段１０６０は上記のライト対外接矩形を車両候補ではないと認識し、処理を終了する（ステップＳ１１０５）。
【０１０８】
次に、車両認識手段１０６０は車両候補が１つであるか否かを判定する（ステップＳ１１０６）。ステップＳ１１０６における判定結果が真である場合、車両認識手段１０６０はこの車両候補を車両として確定し（ステップＳ１１０７）、処理を終了する。一方、ステップＳ１１０６における判定結果が偽である場合、車両認識手段１０６０は車両候補であるライト対外接矩形のそれぞれにおけるライト外接矩形下端の座標差が最小のライト対外接矩形、または、車両候補であるライト対外接矩形の横サイズが普通車標準車幅（１．７ｍ）もしくは大型車標準車幅（２．２ｍ）のいずれかに最も近いライト対外接矩形を車両として確定し（ステップＳ１１０８）、処理を終了する。
【０１０９】
次に、車頭位置補正手段１０７０が車頭位置補正領域を作成する方法について説明する。
車頭位置補正領域を作成する具体的な方法は例えば次の３つがある。
【０１１０】
（１）車両認識手段１０６０が幅W画素（Ｗは任意の数）、高さH画素（Ｈは任意の数）の車両候補矩形を認識していた場合、これを用いて幅W画素、高さＨ＋Ｋ画素（Ｋは任意の数）の車頭位置補正領域を作成する。この方法により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【０１１１】
（２）車両認識手段１０６０が幅W画素、高さH画素の車両候補矩形を認識していた場合、これを用いて幅Ｗ画素、高さ（１＋α）画素（αは任意の数）の車頭位置補正領域を作成する。この方法により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。さらに、車頭位置補正領域を車両候補の大きさに基づいて算出できるので、車両候補矩形の大きさに応じた車頭位置補正領域を作成することが可能である。
【０１１２】
（３）車両認識手段１０６０が幅W画素、高さH画素の車両候補矩形を認識していた場合、これを用いて幅Ｗ画素、高さＨ＋β×Ｗ画素（βは任意の数）の車頭位置補正領域を作成する。この方法により、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。さらに、車頭位置補正領域を車両候補の大きさに基づいて算出できるので、車両候補矩形の大きさに応じた車頭位置補正領域を作成することが可能である。
【０１１３】
尚、上記のライト結合処理時に用いたライト外接矩形、ライト対外接矩形および上記の車頭位置補正領域の具体的な例を図１３に示す。図１３は本発明の第５の実施形態におけるライト外接矩形、ライト対外接矩形および車頭位置補正領域の具体的な例を示す図である。
【０１１４】
次に、画像処理式車両検出装置１０００が車両検出を行う際の動作について説明する。
図１２は本発明の第５の実施形態における画像処理式車両検出装置１０００の車両検出時の動作フロー図である。尚、本動作フローは本発明の第４の実施形態における画像処理式車両検出装置６００の動作を示した図７と重複する部分があるので、図７と同一の動作を行うステップについては、同一の番号を用いて説明を省略する。
【０１１５】
尚、ここでは水平ライン毎の平均輝度の最大値および最小値の差との比較を行う閾値として、本発明の第４の実施形態における車両判定閾値Ｃｔｈを用いることを想定して説明を行っているが、予め定めた閾値を用いてもよい。
【０１１６】
まず、現画像入力手段１０１０は現画像を逐次入力し、２値化画像作成手段１０３０は現画像に対して所定の閾値との比較を行うことで２値化画像を作成する（ステップＳ１２０１）。そして、外接矩形検出手段１０４０は２値化画像における高輝度画素に外接する外接矩形を作成する（ステップＳ１２０２）。ライト認識手段１０５０は、外接矩形内からライトを認識する（ステップＳ１２０３）。
【０１１７】
次に、車両認識手段１０６０は、ライト認識手段１０５０が認識したライトについて先に説明したライト結合処理を行うことで車両候補を認識し、車両を確定する（ステップＳ１２０４）。続いて、車両位置補正手段１０７０は、車両認識手段１０６０が確定した車両について、例えば先に説明した方法を用いて車頭位置補正領域を作成する（ステップＳ１２０５）。
【０１１８】
ステップＳ１２０５の処理の後、図７のステップＳ７０７〜ステップＳ７１３の処理が実施されることで車頭位置の補正が行われ、処理が終了される。ただし、本発明の第４の実施形態における車頭判定閾値を求める際に用いられる外接矩形は、本実施形態では車頭位置補正領域を指すものとする。
【０１１９】
このような本発明の第５の実施形態における画像処理式車両検出装置１０００によれば、ライト認識手段１０５０が、撮影画像内において所定値以上の輝度を有する複数の高輝度領域を複数のライト領域として検出し、車両認識手段１０６０が、複数のライト領域を包含するライト対領域を車両候補矩形として検出し、車頭位置補正手段１０７０が、ライト対領域に基づいて車頭位置補正領域を作成し、車頭位置補正領域内の水平ライン毎の平均輝度を算出し、平均輝度の最大値および最小値を算出し、車頭判定閾値Ｃｔｈ＝Ｋ×（前記平均輝度の最大値−前記平均輝度の最小値）（Ｋは補正係数）を算出する車頭判定閾値算出手段を有し、車頭位置補正領域の垂直方向の長さよりも垂直方向の長さが短い前記車頭位置補正領域内の探索窓を用いて撮影画像の水平ライン毎の平均輝度を探索窓内の画像最下段から上方へと検索し、平均輝度の最大値と最小値との差が車頭判定閾値以上となった場合、検出された車頭位置を最小値である水平ラインの垂直位置に補正する構成とすることで、車両を外接矩形として検出することが困難な低照度環境下においてもライトを検出して車両を認識し、車頭位置を補正することが可能である。
【産業上の利用可能性】
【０１２０】
本発明は、車両を前方から撮影した場合、ヘッドライト光の影響を除去して安定的に車頭位置検出が可能な画像処理式車両検出装置および画像処理式車両検出方法などに有用である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１〜第３の実施形態における画像処理式車両検出装置のブロック図
【図２】本発明の第１の実施形態における画像処理式車両検出装置の動作説明のためのフロー図
【図３】本発明の第２の実施形態における画像処理式車両検出装置の動作説明のためのフロー図
【図４】本発明の第３の実施形態における画像処理式車両検出装置の動作説明のためのフロー図
【図５】本発明の実施形態におけるヘッドライト点灯車両および路面の概略図
【図６】本発明の第４の実施形態における画像処理式車両検出装置のブロック図
【図７】本発明の第４の実施形態における画像処理式車両検出装置の第１の車両検出時の動作フロー図
【図８】本発明の第４の実施形態における画像処理式車両検出装置の第１の車両検出時の動作フロー図
【図９】本発明の第４の実施形態における画像処理式車両検出装置の第１の車両検出時の動作フロー図
【図１０】本発明の第５の実施形態における画像処理式車両検出装置のブロック図
【図１１】本発明の第５の実施形態における車両認識手段のライト結合処理時の動作フロー図
【図１２】本発明の第５の実施形態における画像処理式車両検出装置の車両検出時の動作フロー図
【図１３】本発明の第５の実施形態におけるライト外接矩形、ライト対外接矩形および車頭位置補正領域の具体的な例
【符号の説明】
【０１２２】
１００  画像処理式車両検出装置
１０１  画像入力手段
１０２  背景画像作成手段
１０３  特徴画像作成手段
１０４  特徴コード作成手段
１１０  画像格納手段
１１１  現画像格納手段
１１２  背景画像格納手段
１１３  特徴画像格納手段
１２０  車両認識手段
１２１  車頭検出手段
１２２  車頭検出補正手段
１２３  ヘッドライト点灯判定手段
１３１  特徴コード格納手段
５００  車両候補矩形
５０１  車両
５０２  ヘッドライト
５０３  路面
５０４  車体影
５０５  探索窓
６００  画像処理式車両検出装置
６１０  現画像入力手段
６２０  背景画像作成手段
６３０  差分画像作成手段
６４０  ２値化画像作成手段
６５０  画像格納手段
６５１  現画像格納手段
６５２  背景画像格納手段
６５３  差分画像格納手段
６５４  ２値化画像格納手段
６６０  外接矩形検出手段
６７０  車両認識手段
６８０  車頭位置補正手段
６９０  車両追跡手段
１０００  画像処理式車両検出装置
１０１０  現画像入力手段
１０２０  画像格納手段
１０２１  現画像格納手段
１０２２  ２値化画像格納手段
１０３０  ２値化画像作成手段
１０４０  外接矩形検出手段
１０５０  ライト認識手段
１０６０  車両認識手段
１０７０  車頭位置補正手段
１０８０  車両追跡手段
【図１】
2007272785.tif 000003
【図２】
2007272785.tif 000004
【図３】
2007272785.tif 000005
【図４】
2007272785.tif 000006
【図５】
2007272785.tif 000007
【図６】
2007272785.tif 000008
【図７】
2007272785.tif 000009
【図８】
2007272785.tif 000010
【図９】
2007272785.tif 000011
【図１０】
2007272785.tif 000012
【図１１】
2007272785.tif 000013
【図１２】
2007272785.tif 000014
【図１３】
2007272785.tif 000015