(57)【特許請求の範囲】
【請求項１】
車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、
入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、
前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、
車輌に対応する直方体モデルを記憶するモデル記憶手段と、
前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記走行路に車輌があるか否かを判別する判別手段とを備え、
前記判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する車輌判別装置。
【請求項２】
前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分処理により特徴抽出を行う請求項１に記載された車輌判別装置。
【請求項３】
前記特徴抽出手段は、前記画像変換手段により透視変換された画像からエッジ成分を抽出し、抽出された各エッジ成分のうち、所定の距離範囲内にあるエッジ成分を統合した結果を透視変換画像上の特徴とする請求項１に記載された車輌判別装置。
【請求項４】
前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、１段階前の入力画像の透視変換画像との差分処理により画像上の変動部分を求めた後、これら変動部分のうち所定の距離範囲内にある変動部分を統合した結果を透視変換画像上の特徴とする請求項１に記載された車輌判別装置。
【請求項５】
車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、
入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、
前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、
車輌に対応する直方体モデルを記憶するモデル記憶手段と、
前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記特徴が車輌であるか否かを仮判別する仮判別手段と、
過去複数回の入力画像から生成された透視変換画像間において、前記走行路の車線に沿って移動する特徴を同一対象物として対応づけるとともに、この対象物についての仮判別結果の推移を追跡する追跡処理手段と、
前記追跡処理手段による追跡処理結果に基づき、一貫して「車輌である」と判別されている対象物を、最終的に車輌として判別する最終判別手段とを備え、
前記仮判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する車輌判別装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、道路上などに位置する車輌を判別するための車輌判別装置に関する。
【０００２】
【従来の技術】
近年、道路の上方にカメラを設置して道路上の所定位置を撮像し、得られた画像から車輌を示す特徴を抽出し、その抽出結果の時間的な推移から道路上における車輌の流れを計測する交通流計測装置が開発されている。
【０００３】
前記した車輌の特徴を抽出する代表的な方法としては、入力画像の背景差分をとる方法があげられる。この方法は、あらかじめ背景画像として道路上に対象物が存在しない画像を記憶しておき、カメラからの画像とこの背景画像との差分を車輌の画像部分として抽出するものである（以下この方法を「背景差分法」という）。
【０００４】
上記の背景差分法のほかには、１フレーム前の入力画像を記憶しておき、現フレームの入力画像からこの直前の入力画像を差し引いて道路上の車輌の位置の変化を抽出する方法（以下「フレーム差分法」という）や、入力画像に空間微分を施して車輌の輪郭を示すエッジ成分を抽出する方法（以下「空間差分法」という）などがある。
【０００５】
【発明が解決しようとする課題】
背景差分法は、あらかじめ記憶された背景画像と異なる部分が抽出されることになるので、実際の車輌の画像部分のみならず、車輌の影の画像を誤抽出してしまうという問題が生じる。
この問題を解決するために、差分値が負値をとる特徴は車輌として認識しないように設定することが提案されているが、この方法を用いると、色彩の濃い車輌を検出することができなくなる。
【０００６】
フレーム差分法や空間差分法を用いた場合も、上記と同様、車輌の影が誤抽出されるという問題が生じるため、道路上の車輌の台数や車種を正確に判別することなど、到底不可能である。
【０００７】
この発明は上記問題に着目してなされたもので、観測位置を撮像して得られた２次元画像を、道路面などの車輌の支持面を含む仮想水平面上に透視変換し、この透視変換された画像上の特徴を用いて車輌を正確に判別することを技術課題とする。
【０００８】
【課題を解決するための手段】
車輌の走行路の路面を含む仮想水平面を一平面とする空間座標系を設定し、前記走行路を上方から撮像して得られた画像を、前記空間座標系に対するカメラ座標系の回転角度、カメラの空間座標位置および焦点距離によるパラメータに基づき、前記仮想水平面上に透視変換すると、高さのある対象物の画像部分は、この対象物の実際の位置に対応する点から離れた場所に投影される。この投影点の位置ずれ量は、対象物が高い位置にあるほど、また空間座標点が視点から離れるほど、大きくなるので、車輌など高さデータを有する対象物を透視変換すると、実際の対象物より歪んだ形状の特徴が得られる。一方、影など路面上にある２次元対象物は、その対象物の実際の位置に投影されるため、透視変換後も、実際の対象物を真上から観察した場合と同様の形状，大きさの特徴が得られる。
【０００９】
各請求項にかかる発明は、上記の原理を用いてなされたもので、請求項１にかかる車輌判別装置は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、車輌に対応する直方体モデルを記憶するモデル記憶手段と、前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記走行路に車輌があるか否かを判別する判別手段とを備える。前記判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する。
【００１０】
請求項２の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分処理により特徴抽出を行うように構成される。
【００１１】
請求項３の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像からエッジ成分を抽出し、抽出された各エッジ成分のうち、所定の距離範囲内にあるエッジ成分を統合した結果を透視変換画像上の特徴とするように構成される。
【００１２】
請求項４の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、１段階前の入力画像の透視変換画像との差分処理により画像上の変動部分を求めた後、これら変動部分のうち所定の距離範囲内にある変動部分を統合した結果を透視変換画像上の特徴とするように構成される。
【００１９】
請求項５の発明にかかる車輌判別装置は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、車輌に対応する直方体モデルを記憶するモデル記憶手段と、前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記特徴が車輌であるか否かを仮判別する仮判別手段と、過去複数回の入力画像から生成された透視変換画像間において、前記走行路の車線に沿って移動する特徴を同一対象物として対応づけるとともに、この対象物についての仮判別結果の推移を追跡する追跡処理手段と、前記追跡処理手段による追跡処理結果に基づき、一貫して「車輌である」と判別されている対象物を、最終的に車輌として判別する最終判別手段とを備える。前記仮判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する。
【００２０】
【作用】
請求項１の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段により前記走行路を撮像して得られた２次元画像を、前記走行路の路面を含む仮想水平面上に透視変換した後、この透視変換画像から抽出した特徴を、仮想水平面上に車輌に対応する直方体モデルを透視変換して得られる特徴モデルデータと比較することによって、観測位置における車輌を判別するようにしたので、観測位置における車輌の高さを反映した特徴を用いて、車輌と影などの２次元対象物とを明確に区別して認識することが可能となる。
【００２１】
請求項２の発明では、入力画像を透視変換して得られる画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分をとることにより、背景になかった画像部分が特徴として抽出される。
【００２２】
請求項３の発明では、入力画像を透視変換して得られる画像上で、所定の距離範囲内にあるエッジ成分を統合した結果が、特徴として抽出される。また請求項４の発明では、透視変換画像上における１段階前の透視変換画像に対する変動部分のうち、所定の距離範囲内にある変動部分を統合した結果が特徴として抽出される。
【００２７】
請求項５の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段からの画像を入力し、各段階における入力画像について、それぞれ請求項１と同様の方法を用いて、透視変換画像上の特徴が車輌であるか否かが仮判別される。この仮判別結果は同一対象物毎に追跡され、最終的に一貫して「車輌である」と判別されている対象物が車輌として判別される。これにより車輌が撮像位置に近づくにつれ、車輌と影との透視変換結果に差異が認められなくなるという問題が解消される。
【００２８】
【発明の実施の形態】
図１に、この発明にかかる車輌判別装置が組み込まれた交通流計測装置の設置例を示すと共に、この車輌判別処理の原理を図２〜図９および数式（１）〜（４４）を用いて説明する。さらに図１０，１１，１５，１８，１９，２１，２２，２５により、上記各請求項にかかる車輌判別装置の好適な実施例を説明する。
【００２９】
【実施例】
図１は、交通流計測装置の一設置例を示す。
この交通流計測装置は、道路３０の近傍に支柱３１を配備し、この支柱３１の上部位置にカメラ３２を、下部位置に制御ボックス３３を、それぞれ取り付けて構成されるもので、制御ボックス３３の内部には、この発明にかかる車輌判別装置や計測装置が組み込まれている。
【００３０】
この実施例の車輌判別装置は、カメラ３２より入力された２次元画像をフレーム単位で道路３０上の仮想水平面上に透視変換し、この透視変換画像について後記する特徴抽出処理や車輌の判別処理を実行し、さらにこの判別結果を、道路上の車輌の位置データに編集して計測装置へと出力する。計測装置は、各フレーム毎に入力されるデータの時間的な推移により、道路上の車輌の流れを示すデータを作成し、図示しないセンター装置などに伝送する。
【００３１】
前記透視変換処理は、あらかじめ所定の位置（例えば前記支柱の設置位置）を原点とする空間座標系（以下単に「空間座標系」という）を定めておき、この空間座標系に対するカメラ座標系の回転角度などにより決定されるパラメータを用いて、入力画像上の各画素を前記仮想水平面上の座標に変換するものである。
前記パラメータは、計測処理に先立ち、空間座標が既知の点を用いたキャリブレーションによりカメラ座標系の回転角度を算出した後、さらにこの算出結果を後記する（２８）〜（３５）式にあてはめることにより算出される。
【００３２】
つぎに図２を用いて、前記車輌判別装置による透視変換処理および前記パラメータの算出処理の原理を、順を追って説明する。
図２中、Ｘｗ  ，Ｙｗ  ，Ｚｗ  の各軸で示される座標系は前記した空間座標系を、Ｘｃ  ，Ｙｃ  ，Ｚｃ  の各軸で示される座標系は前記カメラ座標系を、それぞれ示す。またＯはカメラの撮像位置を、Ａは空間中の任意の１点を、それぞれ示す。
【００３３】
いま前記中心点Ｏがカメラ座標系の原点Ｏｃ  （０，０，０）に対応しており、空間座標系のＸｗ  ，Ｙｗ  ，Ｚｗ  各軸に対しカメラ座標系のＸｃ  ，Ｙｃ  ，Ｚｃ  軸がそれぞれ角度α，β，γだけ回転していると想定すると、点Ｏの空間座標を（ｘ０  ，ｙ０  ，ｚ０  ），点Ａの空間座標を（ｘＡ  ，ｙＡ  ，ｚＡ  ）としたときの点Ａのカメラ座標（ｘ１  ，ｙ１  ，ｚ１  ）は、これら回転角度α，β，γにより決定されるパラメータｓ１  ，ｓ２  ，ｓ３  ，ｔ１  ，ｔ２  ，ｔ３  ，ｕ１  ，ｕ２  ，ｕ３  に基づき、つぎの（１）〜（３）で表される。
なお上記各パラメータは、それぞれ（４）〜（１２）式で表される。また前記ｘ１  ，ｙ１  は、点Ａの入力画像上の対応点Ａ´のｘ，ｙ座標に、ｚ１  はカメラの焦点距離Ｆに、それぞれ相当する。
【００３４】
【数１】
0003605955.tif 000002
【００３５】
【数２】
0003605955.tif 000003
【００３６】
【数３】
0003605955.tif 000004
【００３７】
【数４】
0003605955.tif 000005
【００３８】
【数５】
0003605955.tif 000006
【００３９】
【数６】
0003605955.tif 000007
【００４０】
【数７】
0003605955.tif 000008
【００４１】
【数８】
0003605955.tif 000009
【００４２】
【数９】
0003605955.tif 000010
【００４３】
【数１０】
0003605955.tif 000011
【００４４】
【数１１】
0003605955.tif 000012
【００４５】
【数１２】
0003605955.tif 000013
【００４６】
一方、直線ＯＡ，および道路３０を含む仮想水平面は、それぞれつぎの（１３）（１４）式により表される。
【００４７】
【数１３】
0003605955.tif 000014
【００４８】
【数１４】
0003605955.tif 000015
【００４９】
いま前記点Ａ´を含む画像を前記仮想水平面上に透視変換するものとすると、点Ａ´は前記直線ＯＡと仮想水平面との交点Ｂ（ｘＢ  ，ｙＢ  ，０）の位置に投影される。したがって前記（１３）（１４）式より、ｘＢ  ，ｙＢ  は、つぎの（１５）（１６）式で表される
【００５０】
【数１５】
0003605955.tif 000016
【００５１】
【数１６】
0003605955.tif 000017
【００５２】
さらにｘ´＝ｘＡ  −ｘ０  ／ｚＡ  −ｚ０  ，  ｙ´＝ｙＡ  −ｙ０  ／ｚＡ  −ｚ０  ，ｚ´＝１／ｚＡ  −ｚ０  とおくと、前記（１）〜（３）式および（１５）（１６）式は、それぞれ（１７）〜（２１）式に変形される。
【００５３】
【数１７】
0003605955.tif 000018
【００５４】
【数１８】
0003605955.tif 000019
【００５５】
【数１９】
0003605955.tif 000020
【００５６】
【数２０】
0003605955.tif 000021
【００５７】
【数２１】
0003605955.tif 000022
【００５８】
上記（１７）〜（１９）式よりｚ´を消去することにより、ｘ´，ｙ´は、それぞれつぎの（２２）（２３）式により表される。さらにこの（２２）（２３）式を用いて前記（２０）（２１）式を変形することにより、（２４）（２５）式が得られる。
【００５９】
【数２２】
0003605955.tif 000023
【００６０】
【数２３】
0003605955.tif 000024
【００６１】
【数２４】
0003605955.tif 000025
【００６２】
【数２５】
0003605955.tif 000026
【００６３】
よって、前記ｘＢ  ，ｙＢ  は、（２８）〜（３５）式により定義されるパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いた（２６）（２７）式により算出される。
【００６４】
【数２６】
0003605955.tif 000027
【００６５】
【数２７】
0003605955.tif 000028
【００６６】
【数２８】
0003605955.tif 000029
【００６７】
【数２９】
0003605955.tif 000030
【００６８】
【数３０】
0003605955.tif 000031
【００６９】
【数３１】
0003605955.tif 000032
【００７０】
【数３２】
0003605955.tif 000033
【００７１】
【数３３】
0003605955.tif 000034
【００７２】
【数３４】
0003605955.tif 000035
【００７３】
【数３５】
0003605955.tif 000036
【００７４】
したがって、前記カメラ３２の中心点Ｏの空間座標（ｘ０  ，ｙ０  ，ｚ０  ），キャリブレーションにより算出されたカメラ座標系の回転角度α，β，γ，およびカメラ３２の焦点距離Ｆを、前記（２８）〜（３５）式に代入して各パラメータａ〜ｈを求めておき、カメラ３２からの入力画像の各画素毎に、そのｘ，ｙ座標を前記（２６）（２７）式にあてはめることにより、各画素の投影点の座標を算出することができる。
【００７５】
前記したように、空間中の点Ａに対応する入力画像上の点Ａ´を仮想水平面上に透視変換すると、この点Ａにおける画像データは、カメラ中心点Ｏと点Ａとを結ぶ直線と仮想水平面との交点に投影される。したがってこの直線ＯＡの傾きが緩慢であるほど、仮想水平面上の投影点は、点Ａを真上方向から透視した際の投影点（すなわち点Ａのｘ，ｙ座標により特定される点）から離れた場所に位置することになる。言い換えれば、点Ａが高い位置にあるほど、もしくは点Ａがカメラから離れた位置にあるほど、その投影点は、本来の点Ａのあるべき位置から離れた場所に位置するので、高さ成分を有する対象物を透視変換したとき、実際の対象物を真上位置より見た場合とは異なる大きさ，形状を有する特徴が得られることになる。
【００７６】
一方、空間座標におけるｚ座標が０となる点の画像データは、実際と同じ位置に投影されるため、影など２次元対象物は、透視変換後も、実際の対象物を真上位置より見た場合と同様の大きさ，形状の特徴を有する。
【００７７】
図３は、カメラ３２からの入力画像の一例であって、道路の車線を示す画像部分３４のほかに、車輌やその影の画像３５，３６などが含まれている。
図４は、前記図３の入力画像を前記水平面上に透視変換した結果を示すもので、透視変換画像中、前記画像３５の変換画像３５´の形状には、その高さ成分を反映した歪みが現れている。これに対し、画像３６の変換画像３６´の形状は、実際の影を真上位置から観察した結果と同様になる。
【００７８】
図５は、観測位置における背景画像を仮想水平面上に透視変換して得られた画像（以下この画像を「背景変換画像」という）を示すもので、車線の画像部分３４の変換画像３４´が現れている。また図６は、前記図４の透視変換画像とこの背景変換画像との差分をとった後、２値化処理した結果を示すもので、前記変換画像３５´，３６´の形状を示す特徴３７Ａ，３７Ｂが抽出されている。
【００７９】
この車輌判別装置では、各特徴３７Ａ，３７Ｂにそれぞれ外接長方形３８Ａ，３８Ｂを設定し、各長方形３８Ａ，３８Ｂ毎に、各辺の長さＡｗｘ，Ａｗｙ，Ｂｗｘ，Ｂｗｙを、それぞれ車輌の代表的な特徴を示すデータ（以下これを「特徴モデルデータ」という）と比較し、その比較結果からその特徴が車輌を意味するものであるか否かを判別するようにしている。
【００８０】
つぎに上記特徴モデルデータの算出原理について説明する。
カメラの中心点Ｏの空間座標を（０，０，ｋ），空間中の任意の１点Ｐの空間座標を（ｘｗ  ，ｙｗ  ，ｚｗ  ），この点Ｐを透視変換して得られる投影点Ｐ´の座標を（ｘｒ  ，ｙｒ  ，０）とすると、図７から明らかなように、点Ｐ´のｘ，ｙ座標ｘｒ  ，ｙｒ  は、つぎの（３６）（３７）式により算出される。
【００８１】
【数３６】
0003605955.tif 000037
【００８２】
【数３７】
0003605955.tif 000038
【００８３】
ここで説明を簡単にするために、車輌のモデルとして、図８に示すような、幅Ｖｘ  ，奥行きＶｙ  ，高さＶｚ  の直方体を想定し、この直方体モデルの各頂点のうち、前面の左端頂点Ｒが座標（ｘＲ０，ｙＲ０，０）の位置にあるものとすると、直方体モデル上でこの点Ｒに最も遠い頂点Ｓの座標（ｘＳＷ，ｙＳＷ，ｚＳＷ）は、つぎの（３８）〜（４０）式により求められる。
【００８４】
【数３８】
0003605955.tif 000039
【００８５】
【数３９】
0003605955.tif 000040
【００８６】
【数４０】
0003605955.tif 000041
【００８７】
したがって、前記（３８）〜（４０）式を（３６）（３７）式に当てはめることにより、頂点Ｓを仮想水平面上に透視変換した場合の投影点Ｓ´のｘ，ｙ座標ｘＳＲ，ｙＳＲを算出するための式として、（４１）（４２）式が得られる。
【００８８】
【数４１】
0003605955.tif 000042
【００８９】
【数４２】
0003605955.tif 000043
【００９０】
一方、前記道路面上に位置する点Ｒの投影点Ｒ´は、透視変換前と同じ位置に変換されるので、図９に示すように、前記直方体モデルの透視変換画像４０に外接する長方形４１を設定すると、この外接長方形４１の各辺Ｗｘ ，Ｗｙ はつぎの（４３）（４４）式により算出される。
【００９１】
【数４３】
0003605955.tif 000044
【００９２】
【数４４】
0003605955.tif 000045
【００９３】
よって前記図６に示した各特徴３７Ａ，３７Ｂ毎に、その外接長方形３８Ａ，３８Ｂの左端点３９Ａ，３９Ｂが前記直方体モデルの頂点Ｒに対応するものと想定し、この左端点３９Ａ，３９Ｂのｘ，ｙ座標を上記（４１）〜（４４）式の（ｘＲ０，ｙＲ０）にあてはめることにより、前記Ｗｘ ，Ｗｙ を算出し、これを前記特徴モデルデータとして設定する。
【００９４】
したがって、透視変換画像上の各特徴部分毎に、上記の方法を用いて特徴モデルデータＷｘ  ，Ｗｙ  を算出するとともに、その特徴部分に外接長方形を設定し、この外接長方形の各辺の長さ（図６に示したＡｗｘ，Ａｗｙ，Ｂｗｘ，Ｂｗｙ）と特徴モデルデータＷｘ  ，Ｗｙ  の算出値とを比較する。この比較により有意な差が認められなければ、その特徴は車輌に相当するものであると判定される。
【００９５】
なお外接長方形の各辺を比較する代わりに、前記直方体モデルを透視変換画像上の特徴抽出位置に仮想的に透視変換し、この透視変換結果と実際の特徴とのマッチング処理を行うようにすれば、さらに精度の高い判別結果を得ることが可能となる。
【００９６】
図１０は、上記原理が導入された車輌判別装置の一構成例であって、画像入力部１，透視変換処理部２，パラメータ記憶部３，特徴抽出部４，モデル記憶部６，判定部５，出力部７などから構成される。
【００９７】
前記画像入力部１は、前記カメラ３２からのアナログ量の画像データをディジタル変換するＡ／Ｄ変換回路や変換処理後の画像データを格納する画像メモリなどから構成される。パラメータ記憶部３には、前記（２８）〜（３５）式により算出されたパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈが記憶されている。透視変換処理部２は、これらパラメータと入力画像中の各画素のｘ，ｙ座標とを前記（２６），（２７）式に代入することにより、各画素の透視変換点の座標を算出し、この算出結果に基づき、入力画像の透視変換処理を実行する。
【００９８】
なお、前記パラメータ記憶部３の代わりに、入力画像の各画素についての透視変換先の座標が記憶されたルックアップテーブルを設け、画像入力時に、各画素を、このルックアップテーブル中の対応する設定値に基づく位置に変換するようにすれば、変換処理の高速化を実現できる。
【００９９】
前記特徴抽出部４は、背景差分処理部８，２値化処理部９，背景画像記憶部１０などにより構成される。
背景画像記憶部１０には、前記図５に示したような背景変換画像が記憶されており、背景差分処理部８は、透視変換処理部２により生成された透視変換画像の各画素データとこの背景変換画像の対応する画素データとの差分を求める。２値化処理部９は、この差分処理により生成された差分画像を所定のしきい値により２値化処理するもので、これにより前記図６に示したように、車輌や影の画像を透視変換した結果を示す特徴の抽出が行われる。
【０１００】
前記モデル記憶部６には、前記図８に示した車輌の直方体モデルが記憶されている。判定部５は、前記２値化処理部９により抽出された各特徴について、前記した外接長方形を設定するとともに、各外接長方形毎に、その左端点（図６中の３９Ａ，３９Ｂ）と直方体モデルの前記頂点Ｒとを対応づけて、前記（４１）〜（４４）式を実行し、それぞれの特徴に応じた特徴モデルデータＷｘ ，Ｗｙ を算出する。さらに判定部５は、各外接長方形毎に、その各辺の長さを算出されたＷｘ ，Ｗｙ と比較し、その比較結果から特徴が車輌を示すものであるか否かを判定する。
【０１０１】
外接長方形の各辺と特徴モデルデータＷｘ  ，Ｗｙ  との間に有意な差が認められないとき、判定部５は、この特徴を車輌に相当するものと判定する。
出力部７は、この判定結果に基づき、特徴抽出位置から道路上の車輌の位置などを認識し、その認識結果を後段の交通流計測装置へと出力する。
【０１０２】
図１１は、判別処理装置の他の構成例を示す。
この実施例も、基本的に前記図１０と同様の構成をとるが、特徴抽出部４として、エッジ抽出部１１とエッジ統合部１２とを含んでいる。
【０１０３】
エッジ抽出部１１は、前記透視変換画像に微分処理などを行って、水平方向（ｘ軸方向）のエッジ成分を抽出するためのもので、エッジ統合部１２は、抽出された各エッジ成分のうち、車の進行方向（この実施例ではｙ軸方向）において所定の距離範囲内にあるエッジ成分を統合し、その統合結果を特徴として出力する。
【０１０４】
図１２は、前記図４の透視変換画像に対するエッジ画像を、図１３はこのエッジ画像中のエッジ成分を統合した画像を、それぞれ示す。
図示例から明らかなように、透視変換画像上の影に対応する部分では、抽出されるエッジ成分が少なくなるため、統合処理対象とならず、ノイズとして除去される。一方、車輌に対応する画像部分については、統合処理により複数個の特徴（図中、４２ａ，４２ｂ，４２ｃと示す）が抽出される。
【０１０５】
判定部５は、抽出された各特徴４２ａ，４２ｂ，４２ｃが含まれる矩形領域４３を設定するとともに、前記図１０と同様の方法により、この矩形領域４３の左端点４４を前記直方体モデルの点Ｒと対応づけて特徴モデルデータＷx ，Ｗy を算出し、この算出結果を前記矩形領域４３の各辺の長さＣｗｘ，Ｃｗｙと比較する。
【０１０６】
上記の比較処理により、各辺の長さＣｗｘ，Ｃｗｙと前記特徴モデルデータＷｘ  ，Ｗｙ  との間に有意な差が認められなかった場合、判定部５は、図１４に示すように、前記各特徴４２ａ，４２ｂ，４２ｃを包括するような画像領域４５を設定し、この画像領域４５を車輌に対応するものとして判定する。
【０１０７】
なお透視変換画像から抽出する特徴は、エッジ成分に限らず、例えばフレーム差分処理により、車輌の移動部分に対応する特徴を抽出するようにしても良い。図１５は、特徴抽出をフレーム差分処理により行う場合の判定処理装置の構成例を示すもので、特徴抽出部４は、フレーム差分処理部１３，２値化処理部１４，抽出結果統合部１５などから構成される。
【０１０８】
フレーム差分処理部１３は、１段階前の入力画像についての透視変換画像を記憶するメモリを具備しており、透視変換処理部２から入力された最新の透視変換画像の各画素について、前記メモリ内の透視変換画像の対応画素との差分演算を実行する。２値化処理部１４は、各画素毎の差分値を所定のしきい値で２値化処理するもので、その結果、図１６に示すような複数個の特徴４６が抽出され、抽出結果統合部１５へと出力される。
【０１０９】
抽出結果統合部１５は、抽出された各特徴４６について、ｙ軸方向において所定の距離範囲内にある特徴を統合するもので、統合対象とならなかったされた特徴は、ノイズとして除去される。
図１７は、図１６の抽出結果を統合した結果を示すもので、判定部５は、この統合結果について、前記図１０の実施例と同様、矩形領域４７を設定するとともに特徴モデルデータＷｘ  ，Ｗｙ  を算出し、その算出結果と矩形領域４７の各辺Ｄｘ  ，Ｄｙ  と比較する。この結果、両者の間に有意差が認められなかったとき、判定部５は、前記と同様、各特徴部分を包括する画像領域を、車輌に対応するものとして判定する。
【０１１０】
なお特徴抽出は、１つの方法に限らず、複数種の方法により抽出された特徴部分を統合するようにしても良い。
図１８は、２種類の特徴抽出方法を導入した場合の判定処理装置の構成例であって、特徴抽出部４は、エッジ抽出部１１，フレーム差分処理部１３，２値化処理部１４，処理結果統合部１６により構成される。
【０１１１】
エッジ抽出部１１，フレーム差分処理部１３，２値化処理部１４は、前記図１１，１５と同様の構成のもので、処理結果統合部１６は、各処理により抽出された特徴部分を合成した後、前記各実施例と同様、ｙ軸方向において所定距離範囲内にある特徴を統合し、その統合結果を判定部５に出力する。
【０１１２】
ところで前記した各抽出結果は、昼間など十分な明度のある環境下で撮像が行われた場合に得られるもので、夕暮れ時など背景色と車輌の色とのコントラストが明確でない条件下においては、フロントガラスなど明度の低い部分の画像が抽出されないことがある。この結果、抽出される特徴部分は、複数の特徴部分に分断されたものとなり正確に車輌を判別することは不可能となる。
【０１１３】
図１９は、上記問題を解決するための判定処理装置の構成例であって、特徴抽出部４には、前記図１０の構成に加えて、抽出された特徴から車頭部分の候補となる特徴を抽出するための車頭候補抽出部１７が配備されている。
【０１１４】
いま背景差分処理部８および２値化処理部９により、図２０に示すような複数個の特徴４８ａ，４８ｂが抽出されたとき、車頭候補抽出部１７は、これら各特徴部分の中から、前方部（図２０中、破線で囲んだ部分）が平坦形状であって、かつその幅長さが車輌幅に近似する特徴を、車頭部分の候補として抽出する。この結果は判定部５へと出力され、各車頭候補の位置関係から車輌の判定が行われる。
【０１１５】
すなわち２個以上の車頭候補が車輌の進行方向であるｙ軸方向に並んでいる場合、判定部５は、これら車頭候補の距離（図２０中、Ｈで示す）を算出するとともに、前記直方体モデルが前方の車頭候補に位置する場合の特徴モデルデータＷy を算出し、この算出結果と前記距離Ｈとを比較する。これにより距離がモデルデータＷy よりも小さい場合には、後方の車頭候補が候補から除去され、残された車頭候補の抽出位置に車輌が存在するものと判定される。
【０１１６】
なお車頭候補間の距離ＨがモデルデータＷｙ  を上回る場合、または抽出された車頭候補に後続の候補が存在しない場合には、これら車頭候補はノイズとして除去される。また抽出された特徴が単独でモデルデータＷｘ  ，Ｗｙ  の条件を満たす場合には、この特徴は車輌全体を表すものと判定される。
【０１１７】
図２１は上記と同様の処理をエッジ抽出により行う場合の構成例を、図２２は同様の処理をフレーム差分法により行う場合の構成例を、それぞれ示す。いずれの実施例も、透視変換画像から特徴部分を抽出するための構成以外は、図１９と同様であり、ここでは詳細な説明を省略する。
【０１１８】
なお上記した車輌判別処理の原理は、車輌の画像部分を透視変換した結果に生ずる歪みを利用しているが、この場合、車輌が撮像位置に近づいて車輌に対するカメラの俯角が大きくなると、透視変換画像における車輌部分の歪みが小さくなり、車輌と影との区別が困難になるという問題が生じる。
【０１１９】
図２３（１）は車輌が撮像位置に近づいた時点で得られる入力画像を、図２３（２）はこの入力画像の透視変換画像を、それぞれ示す。
図２３（２）の前記透視変換画像に対し、前記した背景差分法による特徴抽出を行うと、図２４に示す如く、車輌、影それぞれに対応する特徴５０ａ，５０ｂに有意な差が現れなくなり、前記した特徴モデルデータと比較する方法により両者を区別して判別することは、困難となる。
【０１２０】
図２５は、上記問題を解決するための判定処理装置の構成例であって、図１０と同様の構成に、判定結果記憶部１８，追跡処理部１９，最終判定部２０などが付加されている。
【０１２１】
透視変換処理部２から判定部５までの構成により、各段階での画像入力に対し、前記と同様の透視変換処理，特徴抽出処理，判定処理が実行される。判定結果記憶部１８は過去数フレーム毎に、抽出された特徴部分の位置やその判定結果などのデータを記憶、蓄積する。追跡処理部１９は、これら蓄積されたデータから同一対象にかかる特徴部分を対応付けし、各対象物についての判定結果の推移を追跡する。
【０１２２】
図２６は、前記追跡処理部１９による追跡方法を示す。
図中ａ０  ，ｂ０  は、ある時点における特徴部分の抽出位置であって、追跡処理部１９は、各特徴部分について、それぞれその特徴抽出位置に対応する車線に沿う方向（すなわちｙ軸方向）における追跡処理を行って、つぎの段階におけるその特徴部分の抽出位置ａ１  ，ｂ１  を検出する。
最終判定部２０は、追跡処理部１９による追跡処理結果に基づき、抽出された特徴部分が車輌に対応するものであるか否かについての最終的な判定を実施する。
なおこの最終判定は、各対象物毎にその追跡処理が終了した時点、すなわちその対象物に相当する特徴部分が抽出されなくなった時点で、実施される。
【０１２３】
図２７は、前記追跡処理部１９による追跡結果と最終判定部２０の判定結果とを対応づけて示す。なおここでは説明を簡単にするために、２個の対象物Ａ，Ｂについての特徴が複数段階にわたって抽出されているものと想定し、追跡処理結果として、各特徴部分の抽出位置と判定結果との推移を示してある。
【０１２４】
最終判定部２０は、追跡処理部１９による最終追跡結果を受けて、その特徴部分における過去の判定結果をまとめて最終判定を実行する。これにより対象物Ｂに示すように、最終段階で「車輌」であると判定された場合でも、それ以前の複数段階における判定結果が「影」である場合には、この特徴部分は影を反映したものであると判定される。
【０１２５】
上記の処理によれば、車輌が観測位置を通過した時点で最終的な判定が行われることになり、最終判定により特徴部分が車輌を反映していると決定されたとき、後段の計測装置にその判定結果が出力される。これにより計測装置は、観測地点における車両の通過台数を正確に計測することができ、高精度の交通流計測を実施することが可能となる。
【０１２６】
【発明の効果】
請求項１の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から入力した２次元画像を前記走行路の路面を含む仮想水平面上に透視変換した後、この透視変換画像から抽出した特徴を前記仮想平面上に車輌に対応する直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき観測位置における車輌を判別するようにしたので、観測位置における車輌の高さを反映した特徴を用いて車輌を正確に判別することができる。
【０１２７】
請求項２の発明では、入力画像を透視変換して得られる画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分処理により、背景になかった画像部分を特徴として抽出するので、車輌などの移動する対象物を表す特徴を抽出することができる。
【０１２８】
請求項３の発明では、入力画像を透視変換して得られる画像上で、所定の距離範囲内にあるエッジ成分を統合した結果を特徴として抽出し、また請求項４の発明では、透視変換画像上における１段階前の透視変換画像に対する変動部分のうち、所定の距離範囲内にある変動部分を統合した結果を特徴として抽出するので、一台の車輌にかかる特徴を認識して正確な判別処理を行うことが出来る。
【０１３３】
請求項５の発明は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から画像を入力し、各段階における入力画像から透視変換された画像について、それぞれその画像上の特徴が車輌であるか否かを仮判別し、同一の対象物として対応づけた特徴のうち、一貫して「車輌である」と判別されている対象物を、最終的に車輌として判別するようにしたので、車輌が撮像位置に近づくにつれ、車輌と影との透視変換結果に差異が認められなくなるという問題が解消され、精度の高い車輌判別を行うことができる。
【図面の簡単な説明】
【図１】この発明にかかる車輌判別装置が組み込まれた交通流計測装置の設置例を示す説明図である。
【図２】透視変換処理の原理を示す説明図である。
【図３】カメラからの入力画像を示す説明図である。
【図４】図３の入力画像を透視変換した結果を示す説明図である。
【図５】背景変換画像を示す説明図である。
【図６】図４の透視変換画像と図５の背景変換画像との差分処理により抽出された特徴を示す説明図である。
【図７】任意の点Ｐの空間座標からこの点Ｐの透視変換先の座標を算出する原理を示す説明図である。
【図８】車輌のモデルの一例を示す説明図である。
【図９】図８のモデルを透視変換した結果を示す説明図である。
【図１０】車輌判別装置の構成例を示すブロック図である。
【図１１】車輌判別装置の他の構成例を示すブロック図である。
【図１２】入力画像上のエッジ成分を抽出した結果を示す説明図である。
【図１３】図１２のエッジ成分を統合処理した結果を示す説明図である。
【図１４】車輌に対応するものとして認識された画像領域を示す説明図である。
【図１５】車輌判別装置の他の構成例を示すブロック図である。
【図１６】フレーム差分処理により抽出された特徴を示す説明図である。
【図１７】図１６の各特徴を統合処理した結果を示す説明図である。
【図１８】車輌判別装置の他の構成例を示すブロック図である。
【図１９】車輌判別装置の他の構成例を示すブロック図である。
【図２０】車頭候補として抽出された特徴を示すブロック図である。
【図２１】車輌判別装置の他の構成例を示すブロック図である。
【図２２】車輌判別装置の他の構成例を示すブロック図である。
【図２３】車輌が撮像位置に接近した状態で得られた入力画像、およびその透視変換画像を示す説明図である。
【図２４】図２３（２）の透視変換画像から抽出された特徴を示す説明図である。
【図２５】車輌判別装置の他の構成例を示すブロック図である。
【図２６】図２５の追跡処理部による追跡方法を示す説明図である。
【図２７】追跡処理結果と最終判定結果とを対応づけて示す説明図である。
【符号の説明】
２    透視変換処理部
４    特徴抽出部
５    判定部
８    背景差分処理部
１１  エッジ抽出部
１２  エッジ統合部
１３  フレーム差分処理部
１５  抽出結果統合部
１６  処理結果統合部
１７  車頭候補抽出部
１８  判定結果記憶部
１９  追跡処理部
２０  最終判定部
【図１】
0003605955.tif 000046
【図２】
0003605955.tif 000047
【図３】
0003605955.tif 000048
【図４】
0003605955.tif 000049
【図５】
0003605955.tif 000050
【図６】
0003605955.tif 000051
【図７】
0003605955.tif 000052
【図８】
0003605955.tif 000053
【図９】
0003605955.tif 000054
【図１０】
0003605955.tif 000055
【図１１】
0003605955.tif 000056
【図１２】
0003605955.tif 000057
【図１３】
0003605955.tif 000058
【図１４】
0003605955.tif 000059
【図１５】
0003605955.tif 000060
【図１６】
0003605955.tif 000061
【図１７】
0003605955.tif 000062
【図１８】
0003605955.tif 000063
【図１９】
0003605955.tif 000064
【図２０】
0003605955.tif 000065
【図２１】
0003605955.tif 000066
【図２２】
0003605955.tif 000067
【図２３】
0003605955.tif 000068
【図２４】
0003605955.tif 000069
【図２５】
0003605955.tif 000070
【図２６】
0003605955.tif 000071
【図２７】
0003605955.tif 000072