(57)【特許請求の範囲】
【請求項１】
道路を撮影するテレビカメラの映像を処理し車種を判別する車種判別システムにおいて、
テレビカメラの映像を画像メモリに取り込む画像入力手段と、
入力した画像に車両を検知する検知領域を設定する手段と、
この検知領域の画像から、検知領域の画像濃度の時系列データと、検知領域の画像におけるエッジ濃度の時系列データとを求める検出手段と、
前記検知領域を通過する車両の車速を求める車速計測手段と、
前記画像濃度の時系列データと、エッジ濃度の時系列データと、前記車速とから車種を判別する車種判別手段とを有することを特徴とする車種判別システム。
【請求項２】
請求項１において、
前記検出手段は、前記検知領域の画像から、検知領域に車両が存在している画像の濃度の時系列データを求める手段と、当該画像におけるエッジ濃度の時系列データを求める手段を備え、
前記車種判別手段は、前記検知領域における画像濃度の時系列データから車両が検知領域を通過する時間を求め、
該通過時間と前記車速計測手段より求めた速度から、検知領域を通過する車両の車長を求めることを特徴とする車種判別システム。
【請求項３】
請求項２において、
前記車速計測手段は、
前記エッジ濃度から車両の末尾を特定する手段と、
検知した末尾を追跡して求めた末尾の位置の変化量から車両の通過速度を求める手段とを有することを特徴とする車種判別システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラの映像を処理し道路上を通過する車両の車種を判別する車種判別システムに関する。
【０００２】
【従来の技術】
道路上の車両の車種を判別する車種判別システムとして、光学式感知器を用いたものがある。
【０００３】
その光学式感知器を利用した車種判別システムとして、特開平11−296784号には、光を道路に照射し、その照射光と反射光との位相差から通過する車両の高さを求め、この高さ変化のパターンから小型，大型，貨物，バスなどの車種を判別することが記載されている。
【０００４】
また、道路上の車両の車種を判別する装置として、画像式感知器を用いたものがある。特開平11−353581号には、入力画像から路面の濃度を除去し、車両のパターンを抽出し、抽出した車両のパターンについてエッジ検出することでその車両の先頭位置と幅を求め、さらに、それらから車両のシルエットを抽出し、その車両の先頭の幅と車両のシルエットで大型乗用，大型貨物，小型乗用，小型貨物を判別することが記載されている。
【０００５】
また、特開平11−232588号には、あらかじめ車種毎の前面輝度パターンを記憶しておき、入力画像の輝度パターンとの比較で車種を判別するものが記載されている。
【０００６】
【発明が解決しようとする課題】
従来の光学式感知器を用いた車種判別システムで、その判別結果を確認するためには、ビデオカメラ等の他の確認手段が必要となる。
【０００７】
また、ビデオカメラを設置した場合も、光学式感知器の検出エリアと合わせる必要があること、感知器の時刻とビデオの時間補正を正確に行う必要があるなどの問題がある。
【０００８】
その点、画像式感知器を用いる場合、車種判別と判別結果の確認に用いることができるので、このような問題が解決可能である。すなわち、撮影した画像を処理して車種判別し、その判別結果をカメラ映像に重ね、この映像を録画することで検証が容易になる。
【０００９】
ところが、その画像式感知器を利用した装置である特開平11−353581号は、車両の輝度パターンを抽出するために、入力画面の全領域の路面濃度を除去することで求めているために、抽出する車両パターンの輝度や路面の輝度に大きなムラがある場合、正確に車両パターンを抽出することが困難で、車種判別の精度が低下してしまう。また、車両の幅の車種による長さの違いは小さく、車両の幅から車種を判別することは困難である。これらの問題点は、大型，普通，小型等の大きさによる種別の車種判別をする場合や貨物であるか乗用であるかの種別の車種判別をする場合に、大きな問題となる。
【００１０】
特開平11−232588号「速度違反取締装置」記載の方法も同様に、画像全体から車両の前面輝度パターンを取り出しているため、車種判別の精度が低下する。この問題点は、大型，普通，小型等の大きさによる種別の車種判別をする場合や貨物であるか乗用であるかの種別の車種判別をする場合に、大きな問題となる。
【００１１】
以上のように、本願発明の目的は、画像監視装置における車種判別の精度を向上させることにある。
【００１２】
【課題を解決するための手段】
上記のように、画像式感知器で車両の車種を判別するために、本発明の車種判別システムでは、画像上に領域を設定し、その領域を車両が通過している間のその領域の画像濃度（画像の輝度の濃度）の時系列データ、その領域のエッジ濃度（画像の輝度を微分処理することで求めたエッジの輝度の濃度）の時系列データを記憶し、車両の走行速度とこれらの時系列データから車種を判別する方式を採用する。
【００１３】
すなわち、検知領域を通過する車両の通過時間（検知領域を車両が隠蔽している時間）と車両の通過速度から車長を計測してその車両の大きさの種別を求め、さらに検知領域の濃度の時系列データ（パターン）及びエッジ濃度の時系列データ（パターン）から貨物，乗用等の種別を特定することで車種を判別するものである。通常、バスは天井が同一色で均一であるため画像濃度の時系列データの前半は平坦であり、かつエッジ濃度の時系列データは後半にエッジが強くなるなどの特徴から車種を判別することが可能となる。なお、本明細書での「濃度」は
「輝度の濃度」のことを意味する。
【００１４】
また、本発明の態様としては、以下の手段もある。
【００１５】
（手段１）
道路を撮影するテレビカメラの映像を処理し車種を判別する車種判別システムにおいて、テレビカメラの映像を画像メモリに取り込む画像入力手段と、入力した画像上で車両を検知する検知領域を各車線の車両進入側に設け、この検知領域の車両有無情報，入力画像濃度変化パターン情報，入力画像を微分した映像のエッジ濃度変化パターン情報を記憶する検知領域情報管理手段と、検知領域を車両が通過したタイミングで車両の末尾位置を抽出し、その位置を追跡処理して通過速度を求める速度検出手段と、前記検知領域情報管理手段の情報と速度検出手段で求まった通過速度情報により通過車両の車種を判別する車種判別手段を有することを特徴とする車種判別システム。
【００１６】
（手段２）
手段１の車種判別システムにおいて、検知領域情報管理手段の車両有無情報は、検知領域内の車両存在，車両非存在を判別し、車両存在時は検知領域における入力画像平均濃度と入力画像を微分した映像の平均濃度を時系列に車両存在回数分記憶することを特徴とする車種判別システム。
【００１７】
（手段３）
手段２の車種判別システムにおいて、検知領域情報管理手段の車両有無情報は、検知領域内の車両存在，車両非存在を判別するとともに、検知領域の時間差分処理で変動領域を検出し、検知領域が時間的に変動している場合だけ、検知領域における入力画像平均濃度と入力画像を微分した映像の平均濃度を時系列に車両存在回数分記憶することを特徴とする車種判別システム。
【００１８】
（手段４）
手段２の車種判別システムにおいて、検知領域内の車両存在，車両非存在を判別するために、あらかじめ記憶している背景画像と入力画像の差分処理を前記検知領域で実行し、該差分画像を所定しきい値で２値化した時の面積が所定値以上の時に車両存在、以下の時に車両非存在と判別することを特徴とする車種判別システム。
【００１９】
（手段５）
手段２の車種判別システムにおいて、検知領域内の車両存在，車両非存在を判別するために、あらかじめ記憶している背景画像と入力画像の差分処理を前記検知領域で実行し、該差分画像の平均濃度が所定値以上の時に車両存在、以下の時に車両非存在と判別することを特徴とする車種判別システム。
【００２０】
（手段６）
手段２の車種判別システムにおいて、検知領域内の車両存在，車両非存在を判別するために、あらかじめ記憶している背景画像と入力画像とで類似度を前記検知領域内で算出し、類似度が所定値以下の時に車両存在、以上の時に車両非存在と判別することを特徴とする車種判別システム。
【００２１】
（手段７）
手段２の車種判別システムにおいて、検知領域内の車両存在，車両非存在を判別するために、入力画像を微分処理し、該微分画像の平均濃度が所定値以上の時に車両存在、以下の時に車両非存在と判別することを特徴とする車種判別システム。
【００２２】
（手段８）
手段１の車種判別システムにおいて、車種判別手段は、検知領域情報管理手段の車両有無情報から得られる検知領域を通過している時間と速度検出手段で求まった速度から通過車両の車長を算出し、さらに検知領域情報管理手段の入力画像濃度変化パターン，エッジ濃度変化パターンから車両の形状を区別する形状判別手段を有することを特徴とする車種判別システム。
【００２３】
（手段９）
手段８の車種判別システムにおいて、車種判別手段の形状判別手段は、検知領域情報管理手段の入力画像濃度変化パターン，エッジ濃度変化パターンをニューラルネットワークの入力層に入力し、出力層に貨物，バスなどの形状に相当する出力を有する３層ニューラルネットワークを用いて形状判別することを特徴とする車種判別システム。
【００２４】
（手段１０）
手段８の車種判別システムにおいて、車種判別手段の形状判別手段は、あらかじめ車両の形状別に濃度変化パターン，エッジ濃度変化パターンを数種類記憶し、検知領域情報管理手段の入力画像濃度変化パターン，エッジ濃度変化パターンとの類似度をそれぞれ算出し、その総和が最も高いパターンを求めることで形状判別することを特徴とする車種判別システム。
【００２５】
（手段１１）
道路を撮影するテレビカメラの映像を処理し車種を判別する車種判別システムにおいて、テレビカメラの映像を画像メモリに取り込む画像入力手段と、入力した画像に車両を検知する検知領域を設定する手段と、この検知領域の画像から、検知領域を通過する車両の車長と、検知領域の画像濃度の時系列データと、検知領域の画像におけるエッジ濃度の時系列データとを求める手段と、前記濃度の時系列データと、エッジ濃度の時系列データと、車長とから車種を判別画像する手段と、を有することを特徴とする車種判別システム。
【００２６】
（手段１２）
手段１１の車種判別システムにおいて、前記検知領域の画像から、検知領域を通過する車両の車長と、検知領域の画像濃度の時系列データと、検知領域の画像におけるエッジ濃度の時系列データとを求める手段は、
前記検知領域の画像から、検知領域を通過する車両の速度と、検知領域の画像濃度の時系列データと、検知領域の画像におけるエッジ濃度の時系列データとを求める手段と、画像輝度の時系列データから検知領域を車両が通過する時間を求める手段と、前記エッジ濃度の時系列データから検知領域を通過する車両の速度を求める手段と、その求めた時間と速度から、検知領域を通過する車両の車長を求める手段と、を有することを特徴とする車種判別システム。
【００２７】
（手段１３）
手段１２の車種判別システムにおいて、前記エッジ濃度の時系列データから検知領域を通過する車両の速度を求める手段は、前記エッジ濃度から車両の末尾を特定する手段と、その末尾の位置の変化と、その位置の変化に要した時間を求める手段と、その位置の変化量とその位置の変化に要した時間とから、車両の速度を求める手段と、を有することを特徴とする車種判別システム。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２９】
図１は本発明の車種判別システムの処理手段を説明する図である。
【００３０】
カメラなどの映像撮像手段で撮像した画像を入力する画像入力手段１と、その画像に対し車両の情報を計測する検知領域設定手段２と、検知領域内に車両が存在しているか否かを計測する車両存在確認手段３と、検知領域内に車両が存在している時の入力した画像の濃度情報を求める濃度変化検出・記憶手段４と、同じく、検知領域内に車両が存在している時の入力した画像のエッジ濃度情報を求めるエッジ変化検出・記憶手段５と、検知領域を通過した車両を追跡する車両追跡手段６と、追跡した結果から車両の通過速度を求める速度算出手段７と、濃度変化検出・記憶手段４およびエッジ変化検出・記憶手段に格納されているデータと、車速度算出手段７で求まる速度情報を用いて車種を判別する車種判別手段８からなる。
【００３１】
図２はハードウエア構成を説明する図である。本発明で使用する画像処理装置２０は、テレビカメラ２１の映像をディジタルデータに変換するＡ／Ｄ変換器
２２と変換された画像データを記憶する画像メモリ２３と、画像メモリ２３のデータを映像として表示するためのディジタルデータをアナログデータに変換するＤ／Ａ変換器２５を介してモニタテレビ２６に表示する構成である。また、処理の動作はＣＰＵ２７やＲＡＭ２８などからなるコンピュータ２９(パソコンなど)で制御される。
【００３２】
画像メモリ２３は複数枚備わっており、背景画像や入力画像の記憶メモリ、各種画像処理結果を記憶するワークメモリなどに利用する。
【００３３】
なお、画像処理プロセッサ２４は微分処理などを実行する空間積和演算や、２画像の差分処理などを実行する画像間演算，画像濃度の頻度分布などを求めるヒストグラム処理機能，テンプレート画像と対象画像の類似度を算出する正規化相関処理などの機能が搭載されている。
【００３４】
図１の各手段の動作について以下説明する。
【００３５】
図３は入力画像の一例を示す。テレビカメラから取り込んだ２車線の道路を撮影した画像１０の中で、検知領域設定手段２で検知領域Ｄ１，Ｄ２を設定し、この領域のデータを求める。以下、簡単のために図３の左車線１本だけを処理する場合について説明する。
【００３６】
まず、検知領域設定手段２によって、画像入力手段１から得られる入力画像のうち、図３のように車両が進入する側に検知領域Ｄ１を設定する。この検知領域の大きさは、車線方向の長さを普通車の車長の１／１０程度（例えば５０cm程度）が映るように設定し、車線に垂直の方向をほぼ車線の幅に設定する。車線方向の長さを広げすぎると、検知領域に複数の車両が同時に存在する場合などが発生し、車両の分離処理などが必要になるため、通常の車両間隔とされる長さ以下とする。
【００３７】
また、狭すぎると、画像濃度，エッジ濃度のばらつきが大きくなるため経験的に５０cm程度が検知領域に納まるように設定している。
【００３８】
また、カメラの設置方法として、図３のような視野に設定すれば、画面の下部では車両が重なることがないため（ほぼ真下を撮影）、検知領域の情報は車両１台分の情報になる。
【００３９】
この設定方法は、オフライン的に画面上の座標を設定してその座標を記憶する。
【００４０】
また、本実施例では、検知領域を直接設定しているが、中央の白線を画像処理で認識し、その白線よりも左側に設定するようにすれば、自動設定も可能である。
【００４１】
なお、図３の各車線の検知領域Ｄ１，Ｄ２の間隔などは撮影する画角，道路幅，車両の通過特性（車線の左側を通過するのが多いなど場所によって変化する）によってその都度調整する。
【００４２】
車両存在確認手段３は、検知領域設定手段２によって設定された領域Ｄ１に車両が存在しているかを毎回（処理周期は約３３ミリ秒程度）計測するものである。
【００４３】
処理方法としては、図４に示すようにあらかじめ道路だけの画像を記憶しておき４１、この画像４１と入力画像４２の差分処理を検知領域内で実行し、得られた差分画像を所定しきい値で２値化４３したときの面積を求め、この面積が所定値以下なら車両は存在していない、所定値以上なら存在していると判断する（背景差分処理法）。
【００４４】
また、図５のように入力画像の検知領域内を微分処理し微分画像５１の平均濃度が所定値以下なら車両は存在していない、所定値以上なら存在していると判断する方法もある。
【００４５】
また、入力画像の濃度変化に対応できるように、特開平10−307988号「交通流監視装置」に記載のように、あらかじめ記憶している道路の背景画像パターンと入力画像とで類似度（正規化相関処理）を算出し類似度が所定値以下なら車両存在と判別することも可能である。
【００４６】
正規化相関処理は登録パターンと探索画像パターンの濃度を合わせて類似度を求めるため、入力画像の明るさが変動しても類似度にはあまり影響しない特徴を持つ。このため、屋外の場合はこの処理が安定している。いずれにしても、車両の存在有無の情報を記憶することができればどのような方式でも効果は得られる。
【００４７】
画面全体の画像から車両の領域を正確に求めることは困難であるが、検知領域を所定の大きさに限定することで、車両の存在有無情報が安定的に判別可能となる。
【００４８】
このような存在，非存在の情報を時系列に図６のように記憶しておく（存在を１，非存在を０とする）。この時、存在のトータル時間が必要となるため、存在開始時刻，存在終了時刻を用いて存在時間TimeSを求めておく。
【００４９】
濃度変化検出・記憶手段４は上記車両の存在，非存在の判別結果を用いて、車両が存在している場合に、入力画像の検知領域内の平均濃度を求め、これを図７のように時系列に記憶するものである。記憶する個数は、車両存在，非存在のデータ数と同じとなる。
【００５０】
同じく、エッジ変化検出・記憶手段５は上記車両の存在，非存在の判別結果を用いて、車両が存在している場合に、入力画像のエッジの強度を求めるもので、入力画像について検知領域内を微分処理し、その微分画像の平均濃度を時系列に記憶するものである。記憶する個数は、車両存在，非存在のデータと同じ数となる。なお、微分処理には水平縞のエッジを強調する処理（車のエッジは水平線が多い）や、垂直線を強調する処理がある。これらの時系列データは後述する通過速度が求まった時点で形状判別に利用する。
【００５１】
このように、検知領域を所定の大きさに設定し、この検知領域の画像濃度及びエッジの平均濃度を求め、車種判別の処理に用いることで、従来よりも精度を高めることができる。
【００５２】
次に車両追跡手段６について説明する。車両追跡処理は、図８のように車両が検知領域Ｄ１を通過したと判断した時に（車両存在確認手段３で存在から非存在になった瞬間。これを時刻ｔとする）、検知領域Ｄ１の上部に処理領域８２を設け、この領域において車両の末尾位置を検出する。画像処理で速度を求める場合、精度良く計測するためには、車両が路面に接している場所である。例えば、車両の屋根（ルーフ）などを追跡処理した場合は、見かけ上速度が大きくなるので、ここでは、車両の末尾座標を検出するために車両が検知領域を通過した瞬間に位置座標を求めるようにしている。末尾座標の検出処理は、検出領域内８２を微分処理し、該微分画像８３を水平方向に投影し８４、最大の投影分布の位置Ｙｏを求め、そのＹｏの位置の近傍画像を図９のようにテンプレート画像Tmp に登録する。ここで、図中の８０は入力画像、８１は通過中の車両を示す。なお、図８のように最大の点でなく検出領域８２の下側から投影分布が所定しきい値以上になる場所を検出しても良い。
【００５３】
次に追跡処理であるが、これは時刻（ｔ１）の入力画像と登録したテンプレート画像でマッチング処理を実行するものである。図１０のようにテンプレート画像と最も類似している場所を探すために、サーチエリア１００を設定し、このサーチエリア１００内で、テンプレートマッチング処理（正規化相関処理）を実行し、類似度が高い位置が検出できた場合は、その座標ｙｐ（ｔ）の近傍の画像を再度テンプレート画像に登録し、順次この処理を繰り返す（図１０ではＹｏの座標がｙｐ（ｔ１），ｙｐ（ｔ２）へ移動している）。車両が画面から抜けたタイミングあるいはｙｐ（ｔ）が所定位置より上になった場合に追跡を終了しこの座標をＹｅとする（類似度が高い位置が検出できない場合も終了）。このような車両追跡処理により得られる初期のテンプレート登録座標Ｙｏ,終了座標Ｙｅ,追跡開始時刻time０と追跡終了時刻time１を記憶しておく。
【００５４】
車両の通過速度を求める速度算出手段７は、上記車両追跡処理の登録座標Ｙｏと追跡座標Ｙｅと、時刻time０,time１から速度を算出する。ここで、画像の座標は画素単位であるが、速度を求めるためには画素と実距離との変換が必要である。ここでは、その変換を式１で行う。
【００５５】
あらかじめカメラの向きθ、カメラレンズの焦点距離Ｆ、カメラ高さＨを求めておき、画像上の座標（ｘ,ｙ）は実座標（Ｘ，Ｚ）に変換することが出来る。この計算式は「移動物体検出に基づく通過車両の車種判別」電気学会道路交通研究会資料（ＲＴＡ−９５−７,９５．３）に記載されている方式を用いると、式１で変換できる。ここで、カメラと道路の関係を図１１に示す。
【００５６】
【式１】
0003541774.tif 000002
【００５７】
このようにしてＹｏをＺｏ，ＹｅをＺｅに変換し、速度Ｖを式２で求める。
【００５８】
【式２】
0003541774.tif 000003
【００５９】
ここで、車両の追跡処理は、特開平10−307988号「交通流監視装置」に記載のような手法について説明したが、車両のパターンを抽出し、その末尾座標の位置変動から速度を求める方式など色々と考えられるが、検知領域を通過した車両の速度を計測できる手法であれば、その方式は限定しない。また、画素と実距離の変換方法は他にも色々な方法があり、上記の変換式に限定するものではない。
【００６０】
次に車種判別手段８について説明する。車種判別手段８は図１２のように動作する。まず車長を求め、車長がＬＢより長い時は大型となり、大型と判別した場合は、画像濃度変化，エッジ変化検出・記憶手段４，５に記憶されているデータを用いて形状判別（ここではバス，貨物判別）を行い、車長がＬＢより短い時は小型となり、同様にして形状判別（貨物，乗用車の区別）を行う。ここで、上記例は小型，大型を分類するものであるが、車長によっては小型，中型，大型の３車種に分類し、これらについてそれぞれ貨物、乗用などと分類することも可能である。この車長の計測は車両の通過速度Ｖと車両存在確認手段３で求まった存在時間TimeSを用いて車長＝速度Ｖ＊存在時間TimeSにより算出することができる。
【００６１】
入力画像全体から車長を求めることは、車両が重なった場合の車両の分離が困難なため、正確には行えなかったが、このように、検知領域を設定し、その検知領域における車両の通過速度と存在時間を求めると車長を正確に求めることができる。
【００６２】
なお、図３のような視野に設定しているので、画面の下部では車両が重なることがなく（ほぼ真下を撮影）、検知領域の情報は車両１台分の情報であり、画像から車長を正確に求めることが可能となっている。
【００６３】
ところで、カメラの向きから検知領域を通過している車両の時間と車長の関係は図１３のようになるため、補正することが精度の向上につながる。すなわち、（車長＋検知幅）＝速度Ｖ＊存在時間TimeSであるため、よって、車長＝速度Ｖ＊存在時間TimeS−検知幅で算出する。なお、検知幅とは車線方向の検知領域の長さである。
【００６４】
また、画像濃度変化，エッジ濃度変化による形状チェックは、図１４（ａ）のように車両存在回数分記憶されているデータを、例えば１０個に正規化し図１４（ｂ）のように変換する。この処理は、車長及び速度によってデータの個数が大きく変化するため判別処理が複雑になるのを回避するために正規化するものである。正規化法は単純にｎ個（車長，通過時間によって変動）のデータを１０個に間引きする処理でも良いし、更に正確なものとして補間付きの圧縮処理でも良い。
【００６５】
正規化した画像濃度データをGray［０］〜Gray［９］とするとバスの場合は、図１５のように後部に窓が有るので濃度値がGray［７］〜Gray［９］当たりで下がる。また、天井の濃度はほぼ一様なのでGray［０］からGray［６］当たりの濃度は均一となる。このため、画像濃度の時系列データの前半が均一か否かの判別を行う。
【００６６】
車長で大型と判別した場合は、以下の判別条件でバスと判別する。
（１）Gray［７］からGray［９］が最小濃度である（図１５  Ｓ８６−１）。
（２）Gray［０］からGray［６］の平均濃度Ａｖｅとの差の絶対値の累積が所定値以下である（Ｓ８６−２）。
【００６７】
更に、エッジ変化検出・記憶手段５によって求まる情報も同様にして１０個にデータを正規化しEdge［０］からEdge［９］に記憶する。バスの場合は、車両の先頭により最初に大きなエッジ濃度が発生し、最後の位置に窓による大きなエッジ（濃度）が発生する。これに対し、トラックなどでは、途中に運転席と荷台の間に大きなエッジ濃度があるためこの情報が発生する。
【００６８】
したがって、バスの場合は以下の条件で判別する。
（１）Edge［０］からEdge［４］の平均よりEdge［５］からEdge［９］の平均濃度が高いか、中央のエッジ濃度は一様（Ｓ８６−３）。
【００６９】
同様に、車長がＬＢより短い場合は小型車とするが、濃度変化，エッジ濃度変化チェック処理により、貨物か乗用かを判断する。セダンなどでは、大きなエッジ濃度が窓の部分で発生するが、小型貨物ではエッジ濃度が途中小さい。この違いから小型乗用車，小型貨物の判別が可能である。
【００７０】
このように、車両検知領域を通過する車両の車長，画像濃度の時系列データ，エッジ濃度の時系列データを用いることで、さまざまな形状の分類を正確に行うことが可能となる。２次元の画像パターンを記憶して分類する方式は、記憶容量の問題のほかに、車両の形状を正確に切り出すことが非常に困難であるが、本発明では、検知領域を通過する車両の画像濃度，エッジ濃度を時系列に求めるだけで形状判別が可能である。
【００７１】
車種判別手段は以上のように種々のしきい値を設定し判別することが可能であるが、より安定的に判断する処理としてニューラルネットワークの利用がある。ニューラルネットワークを利用する場合のネットワークの構造を図１６に示す。ネットワークは３層構造のニューラルネットワークであり、ネットワークの入力層に、画像濃度を１０個（例えば）に正規化したGray［０］からGray［９］を入力する。さらにエッジ濃度を１０個に正規化したEdge［０］からEdge［９］を入力する。さらに、車長を入力する。出力層は、形状毎の出力を用意する。ここで、ニューラルネットワークの扱うデータ範囲は０から１の実数であるため、Gray［ｉ］は画像濃度の最大値で除して、Edge［ｉ］はエッジ濃度の最大値で除して０から１の実数に変換することが必要である。また、車長については例えば１５ｍを最大として車長を１５ｍで除した数値（１以上は１に設定）する。
【００７２】
このような入力データを入力し、学習時は教師データとして車種毎の値を与えることで学習する。例えば、車種を５車種（小型乗用，小型貨物，大型貨物，バス，その他）に判別する場合、小型乗用のデータを入力した場合は、出力の教師データとして小型乗用を１その他を０に設定し与える。
【００７３】
認識時は車種毎の出力を求め、最大出力の車種を認識結果として用いる。また、ニューラルネットワークを小型，大型の２種類用意する方法もある。図１７は小型の例であるが、入力は図１６の車長を除いた濃度，エッジ情報を入力し、出力は小型乗用，小型貨物を用意する。このように大型，小型のニューラルネットワーク分けることで、小型車両の車長であるにもかかわらず少なくとも大型に判断する誤りは防ぐことが可能となる。また、図１６，図１７ではエッジ濃度は垂直エッジ強調の微分画像の平均濃度を時系列に求めた情報を入力しているが、水平エッジ濃度を加えた情報を入力することが必要な場合も同様な処理で対応可能である（Edge［０］からEdge［９］が垂直エッジ強調情報、Edge［１０］から
Edge［１９］が水平エッジ強調情報とすると入力層は濃度情報と合わせ３０個設ければ良い）。
【００７４】
このように、ニューラルネットワークを利用すると、画像濃度，エッジ濃度の形状判別にしきい値などを設定する必要が無く、きわめて簡単に車種の判別が可能となる。また、エッジ濃度を水平，垂直両方用いる場合、データ数が増えプログラム的に車種判別の処理を作り込むのは容易でないが、ニューラルネットワークを用いることで、判別に用いる時系列パターンの数が増えても車種判別が高精度にできるメリットがある。
【００７５】
また、あらかじめ形状毎の画像濃度の時系列データをパターン，エッジ濃度の時系列データを形状数（例えば、バス，大型貨物）記憶しておき、画像から得られる変化情報との類似度を画像濃度，エッジ濃度毎に求め、これらの類似度の総和が最大のパターンを認識結果とすることもできる。記憶容量は時系列データを分類形状数だけ用意するだけであり、ごく少ないデータで良い。
【００７６】
いずれにしても、車両が検知領域を通過している間の画像濃度の時系列データ，エッジ濃度の時系列データ、及び車長を求めることで、これまでの大型，小型の判別だけでなく、車両の形状判別も可能となる。
【００７７】
以上の処理の流れを詳細に説明する。図１８に全体フローを示す。まず、画像処理装置の初期化や各種テーブルの初期化を実行するＳ０。検知領域設定手段で車両検知領域を設定するＳ１。車両の存在を求めるベースになる背景画像を作成するＳ２。以下が処理のループになる。
【００７８】
画像を入力Ｓ３し、車両存在確認Ｓ４で検知領域上に車両が存在しているかを確認する。また、検知領域内の濃度の変化、エッジの変化情報を求める。車両が検知領域を抜けた場合はＳ５で車両の末尾領域をテンプレート画像に登録する
Ｓ５。登録したテンプレート画像と似ている場所を入力画像から探し追跡処理するＳ６。追跡が終了したら、車両の速度を算出するＳ７。全ての情報が求まった場合は、車種の判別Ｓ８を実行する。以下、各処理の詳細フローを示す。
【００７９】
図１９に車両存在確認処理Ｓ４のフローを示す。まず、背景画像と入力画像の差分処理Ｓ４−１を実行し、この画像を２値化Ｓ４−２し、２値の面積を求めるＳ４−３。この面積が所定値以上の場合は、車両が存在していると判断しCountを増加するＳ４−５。また、検知領域内の入力画像の平均濃度および微分画像の平均濃度を求め、テーブルに格納する（Ｓ４−６からＳ４−９）。微分処理で、水平，垂直の両方の情報を用いる場合は配列を２倍用意する。
【００８０】
面積が小さい場合は車両が存在しないと判断するが、Count(存在回数)が所定値以下ならノイズで存在，非存在が変動したと判断しCountをクリアする。Countが所定値以上の場合は車両が通過したと判断し、車両末尾座標の検出Ｓ４−１１を実行し（図８，図９の処理）車両末尾が求まった場合はｘｃ(Ｘ方向中心座標)、ｙｃ（Ｙ方向中心座標）にその座標を格納する。また、Ｓ４−７，９で格納した濃度，エッジ濃度の時系列データを退避するＳ４−１２，１３。これは、次の車両が進入した時にデータが消去されないようにするためである。車種判別のためには図３のような視野に設定した場合、車両が画面に２台（１車線）までしか入らないので、このような処理で良い。また、通過時間を格納Ｓ４−１４する。なお、車両が通過したと判断した場合の回数を求めることで、通過台数を算出することができる。
【００８１】
図２０はテンプレート登録のフローである。車両が通過した時に車両の末尾座標を求めるが、この座標ｘｃ，ｙｃが求まっている場合に、テンプレート画像の登録処理を実行する。テンプレートは複数個登録できるようにしているため（多車線対応）、図２０のように、未使用の番号を探し（Track［ｉ］…hold が０の場合未使用）、未使用の場合はそのテーブルに所定情報を格納する。格納データは、追跡座標のＸ中心，Ｙ中心（ｘｃ，ｙｃ）、その初期値（ｏｘｃ，ｏｙｃ），追跡回数(count），テーブルの状態(hold＝２）、時刻(starttime，endtime）である。さらに、ｘｃ，ｙｃを中心として入力画像から所定のＸ幅，Ｙ幅の大きさの画像をテンプレートに登録する。
【００８２】
ここで、登録データは図２１のような管理テーブルである。
【００８３】
次に、図２２に追跡処理フローを示す。テーブル番号を０からスタートし、管理テーブル（Track［ｉ］）のhold が２の場合は、現時刻でテンプレートが登録されたばかりなので、holdを１にして次の入力画像まで待つＳ６−３。holdが１の場合は登録してから新しい画像が入力されているのでこのデータについて追跡処理する。まず、Track［ｉ］．ｘｃ，ｙｃ の値を基準に探索領域（サーチエリア）を設定するＳ６−５。これは図１０の１００のように設定する。サーチエリアが決まれば、その領域内で最も登録しているテンプレート画像に類似している位置を探すＳ６−６。位置が見つかった場合は、管理テーブルのｘｃ，ｙｃ（ｏｘｃ，ｏｙｃは更新しない）、時刻（endtime）を更新しＳ６−９、登録画像のテンプレート画像をｘｃ，ｙｃの位置の近傍画像に更新するＳ６−１０。一方、登録パターンが見つからない場合は、holdを３に設定し追跡が終了したことにするＳ６−８。このような処理をテーブル数ループする。通常、２車線の場合、テーブル数は４個程度有れば十分である。
【００８４】
なお、テンプレート画像の記憶番号は管理テーブルの番号ｉと同じである。
【００８５】
次に図２３に速度算出フローを示す。前述したように車両追跡終了時はholdを３に設定しているので、holdが３になったテーブルに記憶されている、座標，時刻から速度を算出するＳ７−３。速度を計算したら管理テーブルのデータを初期化するＳ７−４。
【００８６】
車種判別Ｓ８のフローを図２４に示す。車両追跡処理により速度が求まった場合に、速度，存在時間TimeS から車長を求めＳ８−２、これを基に車種判別するＳ８−３。速度が求めっていない場合は、車両が通過していないので何も実行しない。なお、車種判別の具体例は、図１２，図１５で説明した通りである。検知領域を車両が通過してから車両の速度が求まるまでには、速度が速い場合は、数回の追跡処理、例えば３３ミリ秒×１０回＝３３０ミリ秒後に速度が求まるので、検知領域通過後瞬時に車種判別が可能であるが、遅い車の場合は画面を通過するまで速度計算しないため、数十秒後に速度が求まる場合などがある。このため、車両追跡回数が所定値以上（例えば、２０回）になったら速度を求め、車種判別するようにしても良い。この場合は、図２２の管理テーブルの更新Ｓ６−９の後に、追跡回数Track［ｉ］．countが所定値以上ならholdを３に設定し、速度を求めるようにすればよい。
【００８７】
以上の説明は車線数が１本の場合について述べたが、車線数が２本，３本の場合は、各処理を車線数分ループ処理し、各テーブルを車線数分の配列で記憶すれば、容易に多車線対応が可能である。
【００８８】
ところで、上記車種判別手法は渋滞した場合に問題が発生する。すなわち、渋滞すると、検知領域に車両が停止し、車両存在時間が大きく延びる。この車両は最終的には画面上から消えるため、ある速度で移動するが、車長を計算する処理は、存在時間と速度から求めているため、車長が非常に大きくなってしまう。
【００８９】
そこで、存在時間の計測処理を図２５のように改善する。車両が移動している場合だけ、存在時間としてカウントするようにするため（存在確認処理としては存在と判断するが記憶カウンタとしてはカウントしない）、検知領域について現在時刻（ｔ）の入力画像ｆ（ｔ）と所定時刻前（ｔ−ｄｔ）の入力画像ｆ（ｔ−ｄｔ）の画像間の差分処理を実行しＳ４−１６、差分画像を所定のしきい値で２値化した時の面積を算出する。この面積が所定値以下なら移動していないと判断しＳ４−１７、存在カウンタを更新しない。
【００９０】
この処理により、渋滞していても存在時間がほぼ正しく求まるため車長の計測が可能となる。なお、移動速度Ｖが加減速する場合は車長に誤差が発生するが、速度算出の範囲を検知領域の近くに設定することで誤差を低減可能である。
【００９１】
また、記憶している背景画像は更新が必要であるが、画像処理で一般的な移動物体が無い場合の画像の平均化（新しい背景画像＝古い背景画像と入力画像の平均）などで対応可能である（検知領域だけの狭い範囲なので処理は安定する）。
【００９２】
なお、速度算出のための車両追跡処理にパターンマッチング処理を用いた例を示しているが、そのほかの速度算出の方式も流用可能である。また、存在確認処理は背景画像と入力画像の類似度で判別する方式が安定するが、背景差分の平均濃度を監視したりする方式などが考えられる。
【００９３】
また、夜間においてはテールランプだけしか見えない状態では、本発明の効果は発生しないため（車長が求まらない）、夜間時においては、ＬＥＤ照明などによる照明を少なくとも検知領域内に照射することが必要である。それ以外の場所での処理はテールランプを検出し追跡処理し速度を求めることが出来るので問題ない。将来的にはカメラの感度が向上し、夜間でも照明が不用になる可能性があるが、現在では照明が必要である。
【００９４】
以上の例は車両が同一方向に移動する場合、特に車両を後方から撮影し、台数，速度，車種を判別するものである。
【００９５】
しかし、道路には片側１車線の道路が対面通行している場所も多い。この場合に検知領域を図２６のように左車線は画面の下側Ｄ１，右車線は画面の上側Ｄ２に設置し、車両をそれぞれ追跡する（１０１，１０２は追跡のパターンを示す）。ここで、左車線の車両検知，通過，追跡などの時間経過は図２７に示すように、検知領域を通過した時点から車両の追跡処理が始まり、追跡終了後、速度算出，車種判別が行われる。これに対し、右車線の場合は、図２８のように車両が検知領域に進入した瞬間から車両追跡が始まり、追跡終了後、速度算出，車種判別が行われる。これは、検知領域通過直後に車両のパターンを追跡すると、車両の屋根などを追跡することになり、この車高が影響し速度計測精度が低下するので、できるだけ路面との高さが少ない場所を追跡する必要がるためである。このため、検知領域に進入した時に車両前面のパターンを抽出し追跡する。このように、速度追跡処理方法を変更することで対面通行に対応可能である。
【００９６】
ところで、カメラの視野を図２９のように真下を撮影し、検知領域は画面の中央に設定するＤ１，Ｄ２。このようにすれば、上り，下り車線とも同じ処理で台数，速度，車種の判別が可能である。すなわち、検知領域を通過してから車両の速度を上り下りとも同じように求めることが可能である。また、一般的なテレビカメラは水平，垂直の比率が４：３であるので、カメラを横向きに設置して撮影すれば、図３０のように車線方向に長い撮影視野をとれるので、より好ましい。
【００９７】
上り，下り対面通行の場合には、カメラを真下に向けることが有効である。これは、設置上非常に簡単であり効果と、認識処理を同じに出来るという効果がある。
【００９８】
また、カメラなどで道路を撮影し、その映像に車両検知領域を設け、この領域を通過する車両の存在，非存在情報，濃度の時系列情報，エッジ濃度の時系列データ、および通過速度を求め、これら情報で車長を基準に大型，小型を判別し、さらに濃度，エッジ濃度の時系列データから貨物，バスなどの形状判別を行うことが可能である。
【００９９】
また、１枚の画像から車両を切り出し車種を判別することは非常に困難であるが、検知領域を通過する車両の時間的変化を用いるので、車両の特徴を正確に抽出できるため容易に車種判別が可能である。
【０１００】
また、画像処理であるため、認識結果の検証も容易であり、また、車長をベースに判別するため正確な車種判別が可能である。なお、車長の設定値によっては大型，中型，小型の分類も可能である。
【０１０１】
【発明の効果】
本発明によれば、車種判別装置における車種判別の精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の処理手段の構成を示す図である。
【図２】本発明に使用する画像処理ハードウエアの一例を示す図である。
【図３】画像感知器の撮影例を示す図である。
【図４】車両存在有無を判別する処理の一例を示す図である。
【図５】車両存在有無を判別する処理で微分処理を用いた例を示す図である。
【図６】車両存在有無の状態を記憶した場合を説明する図である。
【図７】車両存在時に求める入力濃度の時系列データを説明する図である。
【図８】車両が通過した時に車両の末尾座標を求める処理の一例を示す図である。
【図９】車両末尾座標の近傍をテンプレート画像に登録する処理を示した図である。
【図１０】車両を追跡する処理を説明する図である。
【図１１】カメラの空間位置を説明する図である。
【図１２】車種判別のフローを示す図である。
【図１３】カメラアングルと車両存在時間の関係を説明する図である。
【図１４】濃度変化情報個数の正規化を説明する図である。
【図１５】車種判別に用いる濃度変化，エッジ変化の判別処理フローを示す図である。
【図１６】濃度変化，エッジ変化をニューラルネットワークで処理し車種を判別する場合の構成を示す図である。
【図１７】小型車専用のニューラルネットワークによる車種判別の構成を示す図である。
【図１８】車種判別処理の全体処理を示す図である。
【図１９】車両存在確認処理の処理フローを示す図である。
【図２０】車両追跡時のテンプレート登録処理フローを示す図である。
【図２１】車両追跡時の管理テーブルの内容を示す図である。
【図２２】車両追跡処理フローを示す図である。
【図２３】通過速度算出フローを示す図である。
【図２４】車種判別処理フローを示す図である。
【図２５】渋滞時に対応した車両存在確認処理のフローを示す図である。
【図２６】対面通行の場合に、本発明を適用した図である。
【図２７】左車線の車両検知，通過，追跡などの時間経過を示す図である。
【図２８】右車線の車両検知，通過，追跡などの時間経過を示す図である。
【図２９】カメラの視野を真下に設定した態様をあらわした図である。
【図３０】カメラを横向きに設定した場合のカメラの視野を示す図である。
【符号の説明】
３…車両存在確認手段、４…濃度変化検出・記憶手段、５…エッジ変化検出・記憶手段、６…車両追跡手段、７…速度算出手段、８…車種判別手段、２０…画像処理装置。
【図１】
0003541774.tif 000004
【図２】
0003541774.tif 000005
【図３】
0003541774.tif 000006
【図４】
0003541774.tif 000007
【図５】
0003541774.tif 000008
【図６】
0003541774.tif 000009
【図７】
0003541774.tif 000010
【図８】
0003541774.tif 000011
【図９】
0003541774.tif 000012
【図１０】
0003541774.tif 000013
【図１１】
0003541774.tif 000014
【図１２】
0003541774.tif 000015
【図１３】
0003541774.tif 000016
【図１４】
0003541774.tif 000017
【図１５】
0003541774.tif 000018
【図１６】
0003541774.tif 000019
【図１７】
0003541774.tif 000020
【図１８】
0003541774.tif 000021
【図１９】
0003541774.tif 000022
【図２０】
0003541774.tif 000023
【図２１】
0003541774.tif 000024
【図２２】
0003541774.tif 000025
【図２３】
0003541774.tif 000026
【図２４】
0003541774.tif 000027
【図２５】
0003541774.tif 000028
【図２６】
0003541774.tif 000029
【図２７】
0003541774.tif 000030
【図２８】
0003541774.tif 000031
【図２９】
0003541774.tif 000032
【図３０】
0003541774.tif 000033