(57)【特許請求の範囲】
【請求項１】
車両の走行する道路を真上もしくは斜め上高所から撮像したカラー画像を入力するカラー画像入力手段と、入力されたカラー画像を処理して赤色領域及び白色領域を検出する色検出手段と、検出された赤色領域及び白色領域にラベル番号を付加してラベル毎に外接矩形を算出する外接矩形算出手段と、前記外接矩形の縦サイズまたは横サイズと前記外接矩形の下端の縦方向座標とを領域情報として入力して前記外接矩形の領域が車両の一部に類似する程度を示す評価値を前記領域情報を用いて算出する評価値算出手段とを具備する車両検出装置において、前記評価値算出手段は、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記縦サイズと前記縦方向座標とを変数とする一次の評価関数から前記縦サイズと前記縦方向座標の組の被評価点までの距離を用いて前記評価値を算出する縦サイズ評価手段と、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記横サイズと前記縦方向座標とを変数とする一次の評価関数から前記横サイズと前記縦方向座標の組の被評価点までの距離を用いて前記評価値を算出する横サイズ評価手段とのどちらか一方または両方を備えることを特徴とする車両検出装置。
【請求項２】
前記色検出手段が、入力されたカラー画像を有彩色領域と無彩色領域とに分離する有彩色判定手段と、該有彩色判定手段によって分離された有彩色領域に対してその領域が有する色相情報をもとに赤色領域を検出する赤色領域検出手段と、前記有彩色判定手段によって分離された無彩色領域に対してその領域が有する明度情報をもとに白色領域を検出する白色領域検出手段を具備し、前記有彩色判定手段における有彩色及び無彩色判定閾値、前記赤色領域検出手段における赤色判定のための色相閾値及び前記白色域検出手段における白色判定のための明度閾値が予め設定できることを特徴とする請求項１記載の車両検出装置。
【請求項３】
前記評価値算出手段が、二つの外接矩形からなる外接矩形対が車両の一部に類似する程度を、予め設定した判定閾値以上の評価値の外接矩形の中心部の縦方向座標と横方向座標と前記外接矩形下端の縦方向座標とからなる領域情報を用いて判定するための評価関数を保持する手段を備えることを特徴とする請求項１または２記載の車両検出装置。
【請求項４】
前記評価値算出手段が、二つの外接矩形中心部の縦方向座標の差の絶対値を求めて縦方向距離を算出する手段と、前記縦方向距離が予め設定した判定閾値以下となる二つの外接矩形からなる外接矩形対を検出して車両候補領域とする車両候補領域検出手段とを備えることを特徴とする請求項３記載の車両検出装置。
【請求項５】
前記評価値算出手段が、前記外接矩形対の両外接矩形中心部の横方向座標の差の絶対値を求めて外接矩形中心部間の横方向距離を算出する手段と、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記横方向距離と前記縦方向座標とを変数とする一次の評価関数から前記横方向距離と前記縦方向座標の組の被評価点までの距離を算出する手段と、前記外接矩形対が車両の一部に類似する程度を示す評価値を前記距離に基づいて算出する車両候補領域評価手段とを備えることを特徴とする請求項４記載の車両検出装置。
【請求項６】
前記評価値算出手段が、前記外接矩形の領域が車両の一部に類似する程度を示す評価値を算出するための一次の評価関数の係数を、前記カラー画像入力手段の既知の設置条件に基づいて算出する評価関数係数算出手段を具備することを特徴とする請求項５記載の車両検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラ等の画像入力装置から入力された画像データを処理することによって道路を走行する車両を検出し、台数や位置、速度を算出する車両検出装置に関し、特に画像処理式車両検出装置において赤色領域及び白色領域を検出するとともにそれぞれの領域の車両類似性をスコア化する評価関数を用いることにより夜間走行車両の前照灯及び車尾灯を正確に判定して車両として認識し、検出するようにしたものである。
【０００２】
【従来の技術】
従来実用化されている交通管制システムでは、送出した超音波の反射で車両を検出する超音波式車両感知器、或いは道路に埋設したループコイルの誘導起電力で車両を検出するループ式車両感知器等の車両感知器によって走行車両を検出していた。近年、これらの車両感知器に代わり、テレビカメラで車両の走行する道路を撮影し、この映像を処理して車両を検出する画像処理方式の車両感知器が実用化されてきている。
【０００３】
画像処理式車両検出装置では、背景画像を作成し現画像との差分処理によって車両を検出する背景差分処理、Ｎフレーム（Ｎは１以上の整数）のインタバル時間を隔てて撮影された二つの画像間における差分処理によって車両を検出するフレーム差分処理、或いは画像内から輝度勾配の大きな部分を検出し、この検出された情報をもとに車両を検出する空間微分処理が代表的であり、更にはこれら手法を複合して用いる手法も存在している。これら手法では、昼間は車両の車体を検出する一方、夜間は車両の前照灯及び車尾灯を検出し、周囲環境変化を自動的に検出することによって上記処理の切り替えを行なっている。
【０００４】
このような上記三手法によっても夜間の車両の前照灯及び車尾灯検出は可能と考えられるが、これらは何れもテレビカメラの輝度情報のみを用いるものである。
【０００５】
一方、色彩情報を用いた車両検出手法としては、先行車両のテールランプ（赤色）をカラーテレビカメラで撮影して画像処理装置で検出し、その情報を用いて先行車両の位置及び方向を特定する走行車両の認識装置がある（特開昭62−121599号公報等）。以下、この従来方式について説明する。
【０００６】
従来方式ではカラーテレビカメラの映像信号が画像処理装置に入力され、デコードされてＲ、Ｇ、Ｂ成分に分離されて特徴抽出処理が行なわれる。特徴抽出処理は制動ランプの赤色、方向指示ランプの黄色の特徴を抽出するもので、入力画像データを２値化して認識する対象、即ち制動ランプ及び方向指示ランプに関する情報のみを取り出すようにする。  ２値化条件は、制動ランプ点灯時の画像特徴抽出の条件判定が以下の式（１）によって、また、また方向指示ランプ点灯時の画像特徴抽出の条件判定が以下の式（２）によって行なわれる。
【０００７】
【数１】
0004119041.tif 000002
【数２】
0004119041.tif 000003
【０００８】
これら条件判定を行なうことにより、車両の制動ランプ及び方向指示ランプ検出が実現できるとしている。
【０００９】
【発明が解決しようとする課題】
しかしながら、前述の画像処理式車両検出装置には以下の課題が存在する。それは夜間の雨天時に車両前照灯及び車尾灯が路面において鏡面反射し、これが撮影されることによって車両として誤検出されると言う問題である。また、街路灯等車両前照灯や車尾灯以外の路上に存在する光源によっても路面における鏡面反射が発生し、これが撮影されて車両誤検出の原因となる場合もある。
【００１０】
この問題は、上述の背景差分処理、フレーム差分処理及び空間微分処理の何れの方式を用いても原理的に発生する。即ち鏡面反射は画像上において高輝度の領域として発生し、上記手法は何れも夜間時、この高輝度領域を車両の前照灯や車尾灯として検出することに起因する。
【００１１】
一方、上述のカラーテレビカメラ撮影画像から赤色領域及び黄色領域を特徴抽出し、制動ランプ及び方向指示ランプを検出する方法を用いると、路面反射の内赤色及び黄色以外の影響に関してはその低減効果が期待できる。しかしながら、路面反射光が自車の車尾灯であった場合は本手法を用いても路面反射を除去することはてきず、また街路灯の光源色がナトリウム灯のように赤味を帯びている場合は、街路灯に対しても本手法を用いて路面反射光を除去することは困難である。更には車両の前照灯の検出を目的とする場合には、これを赤色領域検出或いは黄色領域検出によっては実現できない。
【００１２】
本発明は上記従来の課題を解決するものであり、赤色領域及び白色領域を検出するとともにそれぞれの領域の車両類似性をスコア化する評価関数を用いることにより、上記複数の要因によって発生する路面反射光の影響を受けずに、白色領域からは車両前照灯を赤色領域からは車尾灯を高精度に検出することを目的とするものである。
【００１３】
また、上記評価関数を既知であるカラー画像入力手段の設置条件に基づいて算出することにより、同一ではない設置条件における評価関数を同一の考え方に基づいて作成することを可能とすることを目的とするものである。
【００１４】
【課題を解決するための手段】
この目的を達成するために本発明の車両検出装置は、カラー画像入力手段、色検出手段、外接矩形算出手段及び評価値算出手段によって構成する。カラー画像入力手段は、車両の走行する道路を真上もしくは斜め上高所から撮像し、カラー画像を入力する。色検出手段は、入力されたカラー画像を処理して赤色領域及び白色領域を検出する。外接矩形算出手段は、検出された赤色領域及び白色領域にラベル番号を付加し各ラベル毎に外接矩形を算出する。評価値算出手段は、外接矩形算出手段によって算出された矩形領域の領域情報を用いて当該矩形領域の車両類似性をスコア化し、このスコア化された矩形領域の評価値をもとに矩形領域を白色領域は車両前照灯と、及び赤色領域は車尾灯と判定して車両として認識し、検出する。
【００１５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、車両の走行する道路を真上もしくは斜め上高所から撮像したカラー画像を入力するカラー画像入力手段と、入力されたカラー画像を処理して赤色領域及び白色領域を検出する色検出手段と、検出された赤色領域及び白色領域にラベル番号を付加してラベル毎に外接矩形を算出する外接矩形算出手段と、前記外接矩形の縦サイズまたは横サイズと前記外接矩形の下端の縦方向座標とを領域情報として入力して前記外接矩形の領域が車両の一部に類似する程度を示す評価値を前記領域情報を用いて算出する評価値算出手段とを具備する車両検出装置において、前記評価値算出手段は、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記縦サイズと前記縦方向座標とを変数とする一次の評価関数から前記縦サイズと前記縦方向座標の組の被評価点までの距離を用いて前記評価値を算出する縦サイズ評価手段と、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記横サイズと前記縦方向座標とを変数とする一次の評価関数から前記横サイズと前記縦方向座標の組の被評価点までの距離を用いて前記評価値を算出する横サイズ評価手段とのどちらか一方または両方を備えるものであり、カラー画像から検出した赤色領域と白色領域の各々の外接矩形の縦サイズと横サイズと外接矩形下端の縦方向座標と評価関数から、車両前照灯や車尾灯との類似度を示す評価値を求めて、夜間走行車両の前照灯と車尾灯の領域を正確に認識して検出するという作用を有する。
【００１６】
本発明の請求項２に記載の発明は、前記色検出手段が、入力されたカラー画像を有彩色領域と無彩色領域とに分離する有彩色判定手段と、該有彩色判定手段によって分離された有彩色領域に対してその領域が有する色相情報をもとに赤色領域を検出する赤色領域検出手段と、前記有彩色判定手段によって分離された無彩色領域に対してその領域が有する明度情報をもとに白色領域を検出する白色領域検出手段を具備し、前記有彩色判定手段における有彩色及び無彩色判定閾値、前記赤色領域検出手段における赤色判定のための色相閾値及び前記白色域検出手段における白色判定のための明度閾値が予め設定できることを特徴とする請求項１記載の車両検出装置としたものであり、カラー画像入力手段によって入力されたカラー画像を有彩色領域と無彩色領域に分離し、有彩色領域から赤色領域を無彩色領域から白色領域を検出し、その各々の領域の外接矩形評価値をもとに本検出領域を夜間走行車両の前照灯及び車尾灯による領域と正確に認識し、検出することができるという作用を有する。
【００２１】
本発明の請求項３に記載の発明は、前記評価値算出手段が、二つの外接矩形からなる外接矩形対が車両の一部に類似する程度を、予め設定した判定閾値以上の評価値の外接矩形の中心部の縦方向座標と横方向座標と前記外接矩形下端の縦方向座標とからなる領域情報を用いて判定するための評価関数を保持する手段を備える車両検出装置であり、判定閾値以上の外接矩形によって作成された外接矩形対において、外接矩形中心部の縦方向座標、横方向座標及び外接矩形下端の縦方向座標をもとに当該外接矩形対を夜間走行車両の前照灯及び車尾灯による領域と正確に認識し、検出することができるという作用を有する。
【００２２】
本発明の請求項４に記載の発明は、前記評価値算出手段が、二つの外接矩形中心部の縦方向座標の差の絶対値を求めて縦方向距離を算出する手段と、前記縦方向距離が予め設定した判定閾値以下となる二つの外接矩形からなる外接矩形対を検出して車両候補領域とする車両候補領域検出手段とを備える車両検出装置であり、車両候補領域検出手段が前記外接矩形の評価値が予め設定した判定閾値以上の外接矩形によって作成された外接矩形対を、二つの外接矩形中心部の縦方向距離をもとに夜間走行車両の前照灯及び車尾灯による車両候補領域として検出し、車両として認識することができるという作用を有する。
【００２３】
本発明の請求項５に記載の発明は、前記評価値算出手段が、前記外接矩形対の両外接矩形中心部の横方向座標の差の絶対値を求めて外接矩形中心部間の横方向距離を算出する手段と、前記カラー画像入力手段の既知の設置条件に基づいて決定される評価関数であって前記横方向距離と前記縦方向座標とを変数とする一次の評価関数から前記横方向距離と前記縦方向座標の組の被評価点までの距離を算出する手段と、前記外接矩形対が車両の一部に類似する程度を示す評価値を前記距離に基づいて算出する車両候補領域評価手段とを備える車両検出装置であり、二つの外接矩形の中心部の横方向距離と外接矩形対の下端の縦方向座標と評価関数とを用いて、車両前照灯及び車尾灯との類似度を示す評価値を算出するという作用を有する。
【００２４】
本発明の請求項６に記載の発明は、前記評価値算出手段が、前記外接矩形の領域が車両の一部に類似する程度を示す評価値を算出するための一次の評価関数の係数を、前記カラー画像入力手段の既知の設置条件に基づいて算出する評価関数係数算出手段を具備する車両検出装置であり、カラー画像入力手段の設置条件に基づいて評価関数を算出して、異なる設置条件下の評価関数を同一の方法で作成するという作用を有する。
【００２５】
以下、本発明の実施の形態について、図１から図４を用いて説明する。
【００２６】
図１において本発明の実施形態に係る車両検出装置は、車両の走行する道路を真上もしくは斜め上高所から撮像し、カラー画像を入力するカラー画像入力手段10と、カラー画像入力手段10によって入力された画像を有彩色領域と無彩色領域とに分離する有彩色判定手段21、該有彩色判定手段21によって分離された有彩色領域に対してその領域が有する色相情報をもとに赤色領城を検出する赤色領域検出手段22および前記有彩色判定手段21によって分離された無彩色領域に対してその領域が有する明度情報をもとに白色領域を検出する白色領域検出手段23より成る色検出手段20と、検出された赤色領域及び白色領域にラベル番号を付加し各ラベル毎に外接矩形を算出する外接矩形算出手段30と、既知であるカラー画像入力手段の設置条件に基づき設定された、前記外接矩形の縦サイズ及び外接矩形下端の縦方向座標とを成分とする二次元空間内の一つ以上の一次関数からなる評価関数を有し、この評価関数と検出された前記外接矩形の縦サイズ及び外接矩形下端の縦方向座標との二次元空間上における距離を算出し、これを用いて矩形領域の車両類似性をスコア化する評価値を算出する縦サイズ評価手段41、既知であるカラー画像入力手段の設置条件に基づき設定された、前記外接矩形の横サイズ及び外接矩形下端の縦方向座標とを成分とする二次元空間内の一つ以上の一次関数からなる評価関数を有し、この評価関数と検出された前記外接矩形の横サイズ及び外接矩形下端の縦方向座標との二次元空間上における距離を算出し、これを用いて矩形領域の車両類似性をスコア化する評価値を算出する横サイズ評価手段42、縦サイズ評価手段41及び横サイズ評価手段42が算出した二つの外接矩形評価値より、当該外接矩形の車両類似性をスコア化する評価値を算出する縦横サイズ評価手段43、前記外接矩形の評価値が予め設定した判定閾値以上となった複数の外接矩形に対し、外接矩形中心部の縦方向座標の差の絶対値を算出することにより複数入力された外接矩形中心部間の縦方向距離を算出し、これが予め設定した判定閾値以下となる二つの外接矩形からなる外接矩形対を検出して車両候補領域とする車両候補領域検出手段44、前記車両候補領域である外接矩形対に対し外接矩形中心部の横方向座標の差の絶対値を算出することにより前記車両候補領域である外接矩形対の外接矩形中心部間の横方向距離を算出するとともに、既知であるカラー画像入力手段10の設置条件に基づき、前記外接矩形中心部の横方向距離及び前記外接矩形対下端の縦方向座標とを成分とする二次元空間内の一つ以上の一次関数からなる評価関数を有し、この評価関数と検出された前記外接矩形中心部の横方向距離及び外接矩形対下端の縦方向座標との二次元空間上における距離を算出し、これを用いて二つの外接矩形からなる外接矩形対に対する車両類似性をスコア化する評価値を算出する車両候補領域評価手段45、および前記縦サイズ評価手段41、横サイズ評価手段42及び車両候補領域評価手段45における前記一次関数からなる評価関数の係数を、既知であるカラー画像入力手段の設置条件に基づいて算出する評価関数係数算出手段46より成る評価値算出手段40とから構成されている。カラー画像入力手段10は道路上に複数取り付けられる構成であっても良い。
【００２７】
次に、本実施形態の動作について説明する。カラー画像入力手段10は、車両の走行する道路を真上もしくは斜め上高所から撮像するように設置される。本来は複数の車線が存在する道路に対し各車線毎にその上に設置されるのが望ましいが、保守性や設置コスト、或いは都市美観の観点から路側帯及び中央分離帯に支柱を建て、その上に設置して斜め上高所から撮像する方法とする。撮像方向としては、対象としている道路が上下車線存在する場合車両を前方及び後方から撮像することになり、本実施形態においても前方及び後方から撮像するものとする。
【００２８】
カラー画像入力手段10によって撮影され入力されたカラー画像データの形式は特に規定されずＲＧＢ階調データ或いはＹＰｒＰｂ輝度色差データで良いが、本実施形態ではＲＧＢ階調データとし、ＲＧＢ各々８ビット256階調のディジタルデータに変換されて色検出手段20内に格納される。
【００２９】
有彩色判定手段21は、格納されたＲＧＢ階調データを有彩色領域と無彩色領域に分離する。分離方法としては、本実施形態においては以下の式（３）に示す色彩強度Ｄを用い、色彩強度Ｄが予め設定していた閾値Ｄthに対してＤth≦Ｄなる条件を満たすデータを有彩色領域として、それ以外を無彩色領域として分離する方法を用いる。
【数３】
0004119041.tif 000004
【００３０】
しかしながら、ＲＧＢ階調データをＨＬＳ座標系あるいはＨＶＳ座標系といった公知の知覚的表色系に座標変換し、これら座標系における彩度Ｓにおいて予め設定していた閾値Ｓthに対してＳth≦Ｓなる条件を満たすデータを有彩色領域として、それ以外を無彩色領域として分離する方法を用いることも可能である。
【００３１】
また本処理は１画素毎に行なうことも可能であるが、本実施形態では、対象画素及びそれに隣接する８近傍画素において色彩強度の平均値を算出し、対象画素の色彩強度とする手法を用いる。本手法により有彩色判定処理で発生するノイズ成分を低減し、有彩色領域及び無彩色領域を安定的に検出することが可能となる。
【００３２】
こうしてカラー画像データは有彩色領域と無彩色領域に分離されると、赤色領域検出手段22は有彩色領域に対してその領域が有する色相情報をもとに赤色領域を検出する。色相検出も上記有彩色判定処理と同様にＲＧＢ階調データをＨＬＳ座標系或いはＨＶＳ座標系といった公知の知覚的表色系に座標変換することによって実現でき、本実施形態ではＨＶＳ座標系を用いる。ＲＧＢ階調データのＨＶＳ座標系への座標変換は、以下に示す式（４）によって行なう。
【数４】
0004119041.tif 000005
【００３３】
本処理は有彩色領域に対して１画素毎に行ない、算出された色相Ｈが、Ｈth１≦Ｈ≦Ｈth２なる条件を満たすデータを赤色領域として検出する。同様に白色領域検出手段23は無彩色領域に対してその領域が有する明度情報をもとに白色領域を検出する。明度検出も上記有彩色判定処理及び赤色領域検出処埋と同様にＲＧＢ階調データをＨＬＳ座標系あるいはＨＶＳ座標系といった公知の知覚的表色系に座標変換することによって実現でき、本実施形態では赤色領域検出処理と同様にＨＶＳ座標系を用いる。
【００３４】
ＲＧＢ階調データのＨＶＳ座標系への座標変換も赤色領域検出処理と同様、上記した式（４）によって無彩色領域領域に対して１画素毎に行ない、算出された明度Ｖが、Ｖth≦Ｖなる条件を満たすデータを白色領域として検出する。
【００３５】
こうして赤色領域検出手段22及び白色領域検出手段23によって赤色領域及び白色領域が検出されると、外接矩形算出手段30は赤色領域及び白色領域に対し膨張・収縮処理、穴埋め処理、ノイズ除去処理を行ない画素毎に抽出された赤色領域及び白色領域の安定化を図った後、ラベリング処理によって赤色領域及び白色領域にラベル番号を付加し、各ラベル毎に外接矩形を算出する。以上が赤色領域及び白色領域の外接矩形を検出する方法であり、当該外接矩形は画像上における検出位置を示す縦方向座標と横方向座標、及び検出サイズを示す縦サイズと横サイズの４領域情報を有する。
【００３６】
次に、評価値算出手段40における縦サイズ評価手段41は外接矩形算出手段30によって検出された外接矩形の縦サイズ及び外接矩形下端の縦方向座標を当該外接矩形の領域情報として、また横サイズ評価手段42は外接矩形算出手段30によって検出された外接矩形の横サイズ及び外接矩形下端の縦方向座標を当該外接矩形の領域情報として入力する。
【００３７】
以下において横サイズ評価手段42における外接矩形の評価値算出方法について説明するが、縦サイズ評価手段41についても基本的には同様の処理となる。横サイズ評価手段42は、入力された外接矩形の横サイズ及び外接矩形下端の縦方向座標をもとに、当該外接矩形が白色領域の場合は車両前照灯による領域と、また赤色領域の場合は車尾灯による領域と判定するための車両類似性をスコア化した評価値を算出する評価関数をそれぞれ有している。
【００３８】
本評価関数は、上記外接矩形の横サイズ及び外接矩形下端の縦方向座標とを成分とする二次元空間に定義される一次関数であり、それは一つ以上存在する。また本評価関数の係数は、既知であるカラー画像入力手段の設置条件に基づき決定されるものである。
【００３９】
本評価関数について図２を用いて説明する。図２において縦軸は外接矩形横サイズ、横軸は外接矩形下端の縦方向座標であり、外接矩形下端の縦方向座標に関しては本実施形態では画像の上から下に向かって座標軸が設定されているため、図２の左側が画像上部、右側が画像下部に相当する。図中三本の直線（１）、（２）及び（３）が評価関数であり、本実施形態では三つの評価関数を定義している。
【００４０】
図中にプロットされている点の一つ一つが検出された外接矩形の横サイズ及び下端の縦方向座標である。本評価関数は赤色領域の車尾灯に相当する外接矩形領域の評価値を算出するためのものであるが、白色領域の車両前照灯に相当する外接矩形領域の評価値を算出する場合も同様のものとなる。
【００４１】
図中の評価関数（２）及び（３）が、外接矩形領域として一個の車尾灯が検出された場合を想定した評価関数である。二つの評価関数を設定したのは車種の違いに基づく車尾灯の大きさ及び車両実装高さの違いを考慮したためであり、車両前照灯も同様に考えることができる。
【００４２】
同一車両の車尾灯が車両の走行によって画像上を下から上に移動した場合、その大きさは徐々に小さくなる。評価関数はその特性を表しており、画像上部となるほど即ち図２の右から左へと外接矩形下端の縦方向座標が変化するに連れて外接矩形横サイズは小さくなる。
【００４３】
評価関数（１）、評価関数（２）及び評価関数（３）は外接矩形横サイズがゼロとなる点で外接矩形下端の縦方向座標軸と交わり、ここが画像上における無限遠点である。図２ではこの交点が外接矩形下端の縦方向座標が負の領域に存在し、無限遠点がカメラ視野外となっている例である。
【００４４】
一方図中の評価関数（１）は、外接矩形領域として二個の車尾灯の対が画像上の赤色領域検出の際に分離されず、一つの外接矩形として検出された場合を想定した評価関数である。このようなケースは珍しくは無く、例えばカラー画像入力手段10としてカラーＣＣＤカメラを用いた場合、車両が遠方に移動するにつれて高輝度の赤色領域において色にじみが発生すると二個の車尾灯は分離されず、一つの外接矩形として検出される。
【００４５】
横サイズ評価手段42に入力された外接矩形の横サイズ及び外接矩形下端の縦方向座標は、図２に示す外接矩形横サイズ及び外接矩形下端の縦方向座標とを成分とする二次元空間にプロットされ、評価関数（１）、評価関数（２）及び評価関数（３）との距離が算出される。
【００４６】
距離算出方法は、本実施形態では入力された外接矩形の横サイズをＷ、外接矩形下端の縦方向座標をＹ、評価関数の係数をＡ及びＢとしたとき、横サイズ評価値Ｅｗを以下に示す式（５）もしくは式（６）によって算出し、複数の評価関数が存在する場合は、その中で最も距離の近い評価関数との距離を当該外接矩形の評価値として算出する。
【００４７】
【数５】
0004119041.tif 000006
【数６】
0004119041.tif 000007
【００４８】
したがってＥｗが小さいほど車両類似度が高く、高い評価値と言うことができる。また、本実施形態では入力された外接矩形横サイズ及び外接矩形下端の縦方向座標と評価関数との距離をもって評価値としたが、車種の違いに基づく車両前照灯や車尾灯の大きさ及び車両実装高さの違いを考慮して、複数の評価関数を設定して領域を設定し、その領域内の外接矩形横サイズ及び外接矩形下端の縦方向座標に関しては全て車両類似度が高いと判定する評価方法も考えられる。
【００４９】
例えば図２において、評価関数（２）と評価関数（３）の間に挟まれる領域に分布する外接矩形横サイズ及び外接矩形下端の縦方向座標を有する外接矩形を、全て車両領域として検出する方法も考えられる。その場合には、外接矩形の領域情報が評価関数（２）及び評価関数（３）の外側の領域に分布する場合のみ上記評価値Ｅｗを算出し、評価関数（２）と評価関数（３）の間に挟まれる領域においてはＥｗをゼロとすれば良い。
【００５０】
何れの方法においても、図２における（４）及び（５）に分布している車両以外で検出された外接矩形領域を、算出された評価値をもとにノイズ成分として除去することが可能である。
【００５１】
このように複数の評価関数を設定することは、カラー画像入力手段10が複数存在する場合にはその係数設定の複雑さが問題と考えられるが、これに関しては後述する評価関数係数算出手段46により、同一の考え方に基づいて作成することが可能である。
【００５２】
以上、横サイズ評価手段42における評価関数及び評価値算出方法について説明したが、縦サイズ評価手段41においても同様に評価関数を設定し、評価値を算出する。縦サイズ評価の場合、上述のような色にじみ等によリ二個の車尾灯が分離されず、一つの外接矩形として検出された場合においても、それが縦サイズには余り影響を及ぼさない。但し車両前照灯及び車尾灯の縦サイズのばらつきに対する考慮は横サイズ同様に必要であるため、一つ以上の評価関数を設定し評価値を算出する方法は横サイズ同様有効である。
【００５３】
こうして縦サイズ評価手段41によって算出された外接矩形に対する評価値Ｅｖ、及び横サイズ評価手段42によって算出された同一の外接矩形に対する評価値Ｅｗは縦横サイズ評価手段43へと送られる。縦横サイズ評価手段43はこれら評価値Ｅｖ及びＥｗをもとに、当該外接矩形の車両類似性をスコア化する評価値Ｅを評価値算出方法として以下に示す式（７）あるいは式（８）を用いて算出する。
【００５４】
【数７】
0004119041.tif 000008
【数８】
0004119041.tif 000009
【００５５】
評価値Ｅが算出されると、横サイズ評価手段42において図２の評価関数（２）及び評価関数（３）のように外接矩形領域として一個の車尾灯が検出された場合を想定した評価関数への距離が近く、これら評価関数より評価値Ｅｗが算出されて縦横サイズ評価手段43において評価値Ｅが算出された外接矩形に関しては、外接矩形の領域情報及び評価値Ｅは図１に示す通り車両候捕領域検出手段44へ送られる。
【００５６】
一方、横サイズ評価手段42において図２の評価関数（１）のように、外接矩形領域として二個の車尾灯の対が画像上の赤色領域検出の際に分離されず、一つの外接矩形として検出された場合を想定した評価関数への距離が近く、この評価関数より評価値Ｅｗが算出されて縦横サイズ評価手段43において評価値Ｅが算出された外接矩形に関しては、外接矩形の領域情報及び評価値Ｅは図１に示す通りその結果がそのまま車両検出結果として出力される。
【００５７】
車両候補領域検出手段44は評価値Ｅに対する判定閾値Ｅthを有しており、送られてきた外接矩形に対する評価値ＥがＥth以上（ここでは、判定閾値Ｅth以上に車両類似性が高い場合のことを「以上」と表現している。したがって前述の通り、上記した式（７）あるいは式（８）によって算出される評価値Ｅはゼロに近いほど高い車両類似性を有するところから、評価値Ｅの値がＥth以下となった場合を「以上」と表現する）となる外接矩形のみを抽出する。こうして評価値ＥがＥth以上の外接矩形をＮ個抽出すると、この中から二つずつの外接矩形の組み合わせを作成していく。全組み合わせ数Ｍは以下に示す式（９）に示すだけ存在する。
【数９】
0004119041.tif 000010
【００５８】
この組み合わせた外接矩形を外接矩形対と称することにする。車両候補領域検出手段44は作成した上記外接矩形対に対し、その各々の外接矩形中心部の縦方向座標の差の絶対値を算出することにより、外接矩形対における中心部間の縦方向距離Ｌｐを算出する。これが予め設定した判定閾値Ｌthに対してＬｐ≦Ｌthとなった場合、当該外接矩形対を車両候補領域として検出する。車両候補領域として検出された外接矩形対の領域情報は、車両候補領域評価手段45へ送られる。
【００５９】
車両候補領域評価手段45は入力した車両候補領域である上記外接矩形対に対し、その各々の外接矩形中心部の横方向座標の差の絶対値を算出することにより、外接矩形対における中心部間の横方向距離Ｗｐを算出する。そして、車両候補領域評価手殴45が有している評価関数を用いて、入力した車両候補領域の評価値を算出する。
【００６０】
本評価関数は、算出された外接矩形対における中心部間の横方向距離Ｗｐ及び外接矩形下端の縦方向座標をもとに、当該外接矩形対が白色領域の場合は車両前照灯による領域と、また赤色領域の場合は車尾灯による領域と判定するための車両類似性をスコア化した評価値を算出するものであり、その考え方は前記評価関数と同様のものである。
【００６１】
本評価関数は、上記外接矩形対における中心部間の横方向距離及び外接矩形下端の縦方向座標とを成分とする二次元空間に定義される一次関数である。また本評価関数の係数は、上記評価手段同様に既知であるカラー画像入力手段10の設置条件に基づき決定される。評価値は前記横サイズ評価手段42同様、上記した式（５）もしくは式（６）を用い、算出された外接矩形対における中心部間の横方向距離Ｗｐ及び外接矩形下端の縦方向座標と評価関数との距離によって算出する。外接矩形対における外接矩形下端の縦方向座標決定方法としては、より下に位置する外接矩形の下端の縦方向座標を用いても良いし、二つの外接矩形下端の縦方向座標の平均値を用いても良い。
【００６２】
こうして検出された外接矩形及び外接矩形対に対する評価値が算出されると、縦横サイズ評価手段43及び車両候補領域評価手段45は、この評価値をもとに検出された領域が車両であるか否かを最終的に判定し、車両と判定された場合には検出された領域情報を車両検出結果として出力する。
【００６３】
なお、評価値は二通り存在する。一つは外接矩形が一個の車両前照灯及び車尾灯を想定した評価関数への距離が近い場合の、これら外接矩形の対を車両候補領域とした外接矩形対に対する評価値であり、もう一つは外接矩形領域として二個の車両前照灯及び車尾灯の対が画像上の領域検出の際に分離されず、一つの外接矩形として検出された場合を想定した評価関数への距離が近い場合の、この外接矩形に対する評価値である。
【００６４】
したがって、車両検出結果も図１に示す通り二つのパスから出力される。二つの評価値に対する判定閾値は、縦横サイズ評価手段43及び車両候補領域評価手段45が各々有し、これによって検出された外接矩形及び外接矩形対が車両であるか否かを、最終的に判定する。
【００６５】
以上が評価関数を用いた検出外接矩形領域の車両類似性評価方法であるが、本評価関数は上述の通り一次関数であるため、一つの評価関数を決定するためには二つの係数を決定せねばならない。
【００６６】
これらは上述の通り、既知であるカラー画像入力手段10の設置条件に基づき決定されるため、Ｎ個のカラー画像入力手段が存在する場合はＮ通りの係数設定が必要である。しかしながら、本評価関数が定義される二次元空間の成分が画像座標である一方、パラメータとして入力したい情報は対象としている車両やその前照灯及び車尾灯の実空間上における大きさであるため、その取り扱いは簡単でない。
【００６７】
そこで、評価値算出手段40における評価関数係数算出手段46において、各カラー画像入力手段10毎の画像座標と実空間座標間の座標変換関数を決定するためのパラメータを入力するとともに、車両やその前照灯及び車尾灯の実空間上における大きさに関する情報をも入力し、これらの入力情報によって各カラー画像入力手段10毎の前記評価関数の係数を算出する。
【００６８】
ここで、各カラー画像入力手段10毎の画像座標と実空間座標間の座標変換関数を決定するためのパラメータはカラー画像入力手段10毎に入力する必要があるが、車両やその前照灯及び車尾灯の実空間上における大きさに関する情報については、共通のものとして活用できる。そこでこれらパラメータ入力による座標変換関数及び評価関数の係数算出方法について、説明する。
【００６９】
実空間座標で表された点を画面上に投影するには、実空間座標系から画像座標系への座標変換と、画像座標系から画像面への投影が必要となる。実空間座標系を（ｘ、ｙ、ｚ）、画像座標系を（Ｘ、Ｙ、Ｚ）としｗ＝ｆ／（ｆ＋ｚ）（ｆ：焦点距離）とすると、画像座標ｂ面ではＺ＝０であることより画像座標系（Xc、Yc）の変換式は以下に示す式（１０）となる。
【数１０】
0004119041.tif 000011
【００７０】
ここで、Ｃ11〜Ｃ34が実空間座標系から画像座標系への変換行列であり、カメラパラメータと言われるものである。こうして得られた式（１０）に６個以上の実測値を入力し最小自乗法を用いることにより、パラメータを決定することができる。以上は画像座標変換における公知の方法である（必要ならば、画像処理工学基礎編、共立出版谷口編を参照のこと）。
【００７１】
本手法によってカメラパラメータを決定することにより、実空間座標系（ｘ、ｙ、ｚ）と画像座標系（Ｘ、Ｙ）との座標変換関数である以下に示す式（１１）および式（１２）が決定される。式（１２）に示す座標変換関数をもとに上述の評価関数を決定する。
【００７２】
【数１１】
0004119041.tif 000012
【数１２】
0004119041.tif 000013
【００７３】
今、実空間座標（ｘ、ｙ、ｚ）がｘを車両進行方向、ｙを車両横方向、ｚを高さ方向に設定されているものとする。ここで、ｘとして画像内における車両検出する処理領域内の進行方向における二点ｘ1及びｘ2、ｙとして対象車線中心点ycを中心として幅ｗを隔てた二点yc±ｗ、ｚとして対象とする車両前照灯あるいは車尾灯の地上高zhを設定すると、それは図３に示すように二本の平行な直線となる。
【００７４】
対象車線が複数ある場合その中の任意の一車線を選択し、その中心座標ycを設定しても良いし、画面の横方向における中心をycとして設定しても良い。ここで二本の直線の幅ｗは評価関数を設定する対象物の実空間上における幅を意味し、車両前照灯横幅、車尾灯横幅或いは車幅に相当する。図３は車幅を想定したものである。
【００７５】
設定した二本の直線上の点▲１▼−▲２▼および▲３▼−▲４▼を上記した式（１２）によって画像座標に変換し直線をプロットしたものが図４であり、図３及び図４の点▲１▼〜▲４▼はそれぞれ対応する点である。図４から分かるように、上記した式（１２）による座標変換によって画像座標平面に投影された二つの平行直線は、非平行な直線に変換される。評価関数は前述の通り車両前照灯横幅、車尾灯横幅或いは車幅を示すので、図４に示された二本の直線におけるＸ座標方向の差の絶対値とＹ座標との関係が算出したい評価関数となる。
【００７６】
ここでｘ1及びｘ2は、監視対象としている領域の大きさをもとに設定すれば良く、ｗについては上記の通り、車両前照灯横幅、車尾灯横幅或いは車幅を想定すれば良い。またzhとしては対象とする車両前照灯或いは車尾灯の地上高を想定すれば良いが、これらは車種によって違いが発生する特性を有するため、前記の通り複数の代表値を選択し、複数の評価関数を設定する方法が有効である。以上は横サイズに対する評価関数算出の方法であるが、縦サイズについても車両前照灯縦幅或いは車尾灯縦幅を用いて同様に計算すれば良い。
【００７７】
以上のように本実施形態によれば、従来の画像処理式車両検出装置で課題とされた雨天時における路面反射先の影響を除去し、車両前照灯及び車用灯検出による車両の正確な検出が可能である。更には、この車両検出の際に用いる上記評価関数を既知であるカラー画像入力手段の設置条件に基づいて算出することにより、同一ではない設置条件における評価関数を同一の考え方に基づいて作成することが可能である。
【００７８】
【発明の効果】
以上のように本発明は、カラー画像入力手段によって入力された画像から赤色領域、白色領域及びそれらの外接矩形を検出し、それぞれの外接矩形の車両類似性をスコア化する評価関数を用いることにより、雨天時に発生する路面反射先の影響を受けることなく白色領域からは車両前照灯を、赤色領域からは車尾灯を高精度に検出することが可能であり、優れた車両検出装置を実現することができるという効果を有する。
【００７９】
また、上記評価関数を既知であるカラー画像入力手段の設置条件に基づいて算出することにより、同一ではない設置条件における評価関数を同一の考え方に基づいて作成することが可能であり、カラー画像入力手段が複数存在しても複雑な設定作業をすることなく上記評価関数を決定することができ、優れた車両検出装置を実現することができるという効果も有する。
【図面の簡単な説明】
【図１】本発明の実施形態における車両検出装置の基本構成図、
【図２】本発明の実施形態における外接矩形評価関数の説明図、
【図３】ｘを車両進行方向、ｙを車両横方向、ｚを高さ方向に設定したときに車両の前照灯横幅、車尾灯横幅および車幅が実空間座標でどのように表されるかの様子を示した図、
【図４】図３の実空間座標で示された二つの平行直線が式（１２）によって変換されたときに画像座標平面の投影が非平行な直線に変換される様子を示す図である。
【符号の説明】
10  カラー画像入力手段
20  色検出手段
21  有彩色判定手段
22  赤色領域検出手段
23  白色領域検出手段
30  外接矩形算出手段
40  評価値算出手段
41  縦サイズ評価手段
42  横サイズ評価手段
43  縦横サイズ評価手段
44  車両候補領域検出手段
45  車両候補領域評価手段
46  評価関数係数算出手段
【図１】
0004119041.tif 000014
【図２】
0004119041.tif 000015
【図３】
0004119041.tif 000016
【図４】
0004119041.tif 000017