(57)【要約】【課題】  車両の位置を安定して正しくかつ効率良く検出する。【解決手段】  画像入力手段１は画像を入力し、エッジ成分抽出手段２は入力画像からエッジ成分を抽出し、動き量抽出手段３は過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出し、動き量頻度分布作成手段４は抽出された動き量の頻度分布を作成する。高頻度動き量抽出手段５は作成された動き量の頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出し、エッジ成分選択手段６は動き量が抽出されたエッジ成分の中から抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を選択し、車両位置決定手段７は選択されたエッジ成分の位置座標から車両の位置を決定する。【選択図】        図１
2005209097.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
入力画像からエッジ成分を抽出するエッジ成分抽出手段と、
過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出する動き量抽出手段と、
抽出された動き量の頻度分布を作成する動き量頻度分布作成手段と、
作成された動き量の頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出する高頻度動き量抽出手段と、
上記動き量抽出手段により動き量が抽出されたエッジ成分の中から上記高頻度動き量抽出手段により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を選択するエッジ成分選択手段と、
選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定する車両位置決定手段を備えた車両検出装置。
【請求項２】
エッジ成分抽出手段は、入力画像からエッジ強度を算出し、上記エッジ強度を２値化してエッジ２値画像を作成し、上記エッジ２値画像を分割した部分領域毎に作成した投影２値データから連結領域を１つのエッジ成分として抽出することを特徴とする請求項１記載の車両検出装置。
【請求項３】
エッジ成分抽出手段は所定の閾値に基づき投影２値データの結合と消去を繰り返してエッジ成分を抽出することを特徴とする請求項２記載の車両検出装置。
【請求項４】
動き量抽出手段はあらかじめ設定された車両の進行方向の情報に基づいてエッジ成分の対応付けを行うことを特徴とする請求項１記載の車両検出装置。
【請求項５】
動き量頻度分布作成手段はエッジ成分の位置や動き量に応じて重みを変えて、動き量抽出手段により抽出された動き量の頻度分布を作成することを特徴とする請求項１記載の車両検出装置。
【請求項６】
エッジ成分抽出手段により抽出されたエッジ成分の位置座標からエッジ成分を分類するエッジ成分分類手段を備え、
動き量抽出手段はエッジ成分分類手段の分類結果に基づいて動き量抽出の対象とするエッジ成分を選択し、
エッジ成分選択手段は上記動き量抽出手段により動き量が抽出されたエッジ成分の中から高頻度動き量抽出手段により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を上記エッジ成分分類手段による分類結果に基づいて選択することを特徴とする請求項１記載の車両検出装置。
【請求項７】
エッジ成分抽出手段により抽出されたエッジ成分を使用して入力画像中のナンバープレートを検出するナンバープレート検出手段と、
検出されたナンバープレート内の文字を認識するナンバープレート認識手段とを備えたことを特徴とする請求項１記載の車両検出装置。
【請求項８】
ナンバープレート検出手段は車両位置決定手段により決定された車両の位置を使用してナンバープレートを検出することを特徴とする請求項７記載の車両検出装置。
【請求項９】
高頻度動き量抽出手段により抽出された高頻度動き量の履歴情報を参照して車両の通過状況を推定し、推定した車両の通過状況と車両位置決定手段により判定された車両の有無により車両検出結果を決定する車両通過状況推定手段を備えたことを特徴とする請求項１記載の車両検出装置。
【請求項１０】
エッジ成分抽出手段により抽出されたエッジ成分を使用して、車両通過状況推定手段による車両検出結果に基づき入力画像中のナンバープレートを検出するナンバープレート検出手段と、
検出されたナンバープレート内の文字を認識するナンバープレート認識手段とを備えたことを特徴とする請求項９記載の車両検出装置。
【請求項１１】
ナンバープレート検出手段がナンバープレートを検出できない場合に、検出できないことを外部に発報したり、又は検出された車両の画像を保存することを特徴とする請求項１０記載の車両検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像中の走行車両を検出する車両検出装置に関するものである。
【背景技術】
【０００２】
画像から車両を検出する従来の車両検出装置として、例えば特許文献１に示されるものがある。この車両検出装置では、まず、カメラで撮影された画像から横エッジと縦エッジを抽出する。横エッジとは車両の進行方向に直交する方向で輝度の急変する特徴急変境界で、縦エッジとは車両の進行方向で輝度の急変する特徴急変境界である。次に、得られた横エッジ・縦エッジの中から等速で車両の進行方向へ移動するものを、等速移動横エッジ、等速移動縦エッジとして抽出する。その後、画像全体で一様に移動する画像要素を背景として除去し、残った等速横エッジと等速縦エッジを車両候補として登録する。等速移動横エッジは車両の幅方向の領域が特定される情報であり、一方、等速移動縦エッジは車両の進行方向の領域を特定するものであるので、車両候補として登録された両エッジを組み合わせて、得られた部分領域を車両領域とすることにより車両を検出している。
【０００３】
【特許文献１】特開２００３−５１０８８号公報（段落０００９〜段落００１１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の車両検出装置は以上のように構成され、等速移動横エッジ、等速移動縦エッジを抽出して車両を検出するため、速度が微妙に異なるエッジ成分が多数発生した場合に、多くの組み合わせができ、処理に時間がかかるという課題があった。
また、照明条件により、例えば極度に明るかったり暗かったりした場合は、エッジ成分が分裂したり結合したりと不安定な出現状態になり、エッジ成分から速度情報を安定して抽出すること自体が難しいという課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、速度が微妙に異なるエッジ成分が多数発生した場合や、エッジ成分の出現状態が不安定な場合でも、車両の位置を安定して正しくかつ効率良く検出できる車両検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る車両検出装置は、画像を入力する画像入力手段と、入力画像からエッジ成分を抽出するエッジ成分抽出手段と、過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出する動き量抽出手段と、抽出された動き量の頻度分布を作成する動き量頻度分布作成手段と、作成された動き量の頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出する高頻度動き量抽出手段と、上記動き量抽出手段により動き量が抽出されたエッジ成分の中から上記高頻度動き量抽出手段により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を選択するエッジ成分選択手段と、選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定する車両位置決定手段を備えたものである。
【発明の効果】
【０００７】
この発明は、速度が微妙に異なるエッジ成分が多数発生した場合や、エッジ成分が分裂したり結合したりして不安定な出現状態であっても、車体の一部である可能性が極めて高いエッジ成分を抽出することができ、車両の位置を安定して正しくかつ効率良く検出できるという効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の一形態について説明する。
実施の形態１．
図１はこの発明の実施の形態１による車両検出装置の構成を示すブロック図である。図１において、画像入力手段１は画像を入力し、エッジ成分抽出手段２は入力画像からエッジ成分を抽出する。動き量抽出手段３は過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出し、動き量頻度分布作成手段４は抽出された動き量の頻度分布を作成し、高頻度動き量抽出手段５は作成された動き量の頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出する。エッジ成分選択手段６は動き量抽出手段３により動き量が抽出されたエッジ成分の中から高頻度動き量抽出手段５により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を選択し、車両位置決定手段７は選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定する。
【０００９】
次に動作について説明する。
図２はこの発明の実施の形態１による車両検出装置の処理の流れを示すフローチャートである。ステップＳＴ１１において、画像入力手段１は画像を入力する。
図３は入力画像の例を示す図であり、入力画像１０１内に車両の先頭部分（車頭）、その左下には車の影、さらに下には路面が見えている。入力画像１０１中の座標は、図３に示すように、画像の左上を原点として、右方向（水平方向）にＸ軸をとり、下方向（垂直方向）にＹ軸をとるものとする。ここでは、入力画像１０１として、一つの画素値が０〜２５５の２５６レベルで表わされる白黒の濃淡画像が入力されるものとする。
【００１０】
図２のステップＳＴ１２において、エッジ成分抽出手段２は入力画像１０１からエッジ成分を抽出する。
図４はエッジ成分抽出の詳細処理の流れを示すフローチャートである。図４のステップＳＴ２１において、エッジ成分抽出手段２は各画素についてエッジ強度を算出する。このエッジ強度とは、入力画像１０１における濃淡変動の急峻さを示す値であり、例えば、総研出版発行「コンピュータ画像処理入門」ｐｐ．１１９〜１２５に記載の各種方法で算出することができる。具体的な例としては、入力画像１０１を微分してその絶対値をエッジ強度とする方法や、勾配の大きさをエッジ強度とする方法をとることが可能である。この実施の形態１では、入力画像１０１を水平方向に微分した絶対値をエッジ強度とし、下記の式（１）で求めるものとする。
Ｅ＝ＡＢＳ（Ｉ（ｘ−１，ｙ）−Ｉ（ｘ，ｙ））                            （１）
ここで、Ｅはエッジ強度、ＡＢＳは絶対値をとる関数で、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における入力画像１０１の画素値を示す。
【００１１】
ステップＳＴ２２において、エッジ成分抽出手段２はエッジ強度を２値化してエッジ２値画像を作成する。２値化は、例えば上記「コンピュータ画像処理入門」ｐｐ．６６〜６９に記載の各種方法で行うことができるが、この実施の形態１では、あらかじめ固定の閾値を定めておき、エッジ強度が閾値以上であれば‘１'、閾値未満なら‘０'とする２値化を行うものとする。
図５はエッジ２値画像の例を示す図であり、図３に示す入力画像１０１から図５に示すエッジ２値画像１０２が得られる。このエッジ２値画像１０２では、画素値‘１'を黒で示し、画素値‘０'を白で示している。
【００１２】
図４のステップＳＴ２３において、エッジ成分抽出手段２は、エッジ２値画像１０２を部分領域に分割し、部分領域毎に水平方向に投影をとって投影値を求める。
図６はエッジ成分抽出時のエッジ２値画像の領域分割例を示す図である。この例では、部分領域はエッジ２値画像１０２を垂直方向にｎ等分した形態としている。そして、エッジ成分抽出手段２は、１〜ｎの番号を付けた部分領域それぞれについて、同一水平ライン上の画素値の総和をとり投影値とする。
【００１３】
図４のステップＳＴ２４において、エッジ成分抽出手段２は投影値の２値化を行い‘０'又は‘１'の要素からなる投影２値データを作成する。２値化の方法は、上記のエッジ強度の２値化と同様である。ステップＳＴ２５において、エッジ成分抽出手段２は投影２値データから‘１'の連続する部分（連結領域）をそれぞれ一つのエッジ成分として登録する。
図７はエッジ２値画像の一つの部分領域からエッジ成分を抽出する例を示す図であり、図７（ａ）に示す部分領域から図７（ｂ）に示す水平方向の投影値が得られ、この投影値を２値化した結果、図７（ｃ）に示す四つのエッジ成分が抽出される。
【００１４】
図２のステップＳＴ１３において、動き量抽出手段３は過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出する。例えば、動き量抽出手段３は、１回前の入力画像のエッジ成分と最新の入力画像１０１のエッジ成分とを比較し、所定の条件が成立した場合に、当該エッジ成分は同一のものであると見なして、その座標差を動き量として抽出する。この同一のものと見なす条件は、例えば、下記の三つの条件を全て満足する場合とする。
（条件１）同一番号の部分領域に属していること。
（条件２）長さが同程度の値であること。
（条件３）上側や下側に隣接する他のエッジ成分までの距離が同程度の値であること。
【００１５】
図８はエッジ成分の動き量を抽出する際の対応付けの例を示す図である。ここで、１１１〜１１５はエッジ成分を示し、１１６は動き量を示している。また、１１１〜１１３は１回前の入力画像から抽出したエッジ成分で、１１４〜１１５は最新の入力画像１０１から新たに抽出したエッジ成分であり、属する部分領域の番号は同じであるとする。対応付けを行ったところ、エッジ成分１１２とエッジ成分１１５が上記の三つの条件を全て満足するため、これらを同一物体のエッジ成分と見なし、これらの下端の座標差１１６を動き量として抽出する。
【００１６】
なお、上記の条件１は、車両がほぼ垂直方向に移動することを前提としているが、これは、斜め移動の可能性がある場合等、あらかじめ設定された車両の進行方向の情報に基づいて変えても良い。例えば、過去に抽出したエッジ成分の部分領域番号をｉ、最新の入力画像１０１におけるエッジ成分の部分領域番号をｊとして、左右一つ分までの部分領域のずれが発生するのであれば、ｊはｉ−１〜ｉ＋１の範囲のどこかと対応付くことになり、次の式（２）を条件１の替わりに用いると、部分領域一つ分の斜行に対応できる。
ｉ−１≦ｊかつｊ≦ｉ＋１                                                （２）
【００１７】
また、車両が必ず画像の左上から右下へ移動するような場合には、次の式（３）を条件１の替わりに用いる。
ｉ＋α≦ｊかつｊ≦ｉ＋β  （αとβは定数で、０≦α＜β）                （３）
さらに、Ｙ座標の比較結果も条件１に加えることができる。例えば、車両が画像の上から下へ移動するのなら、過去に抽出したエッジ成分の下端Ｙ座標をｍ、最新の入力画像１０１におけるエッジ成分の下端Ｙ座標をｎとすると、次の式（４）を条件１に加える。
ｍ＋γ≦ｎ  （γは調整用の定数で、０≦γ）                              （４）
このように条件１を適切に定めると、効率の良い対応付けが可能となる。また、条件２や条件３についても、対応付けが適切にできるように、その内容を変更しても良い。
【００１８】
図２のステップＳＴ１４において、動き量頻度分布作成手段４は動き量抽出手段３により抽出された動き量の頻度分布を作成する。
図９は動き量の頻度分布の例と高頻度動き量の抽出方法の例を説明するための図である。図９（ａ）は動き量頻度分布作成手段４により作成された動き量の頻度分布の例を示す図であり、縦軸の動き量に対応したエッジ成分の数を横軸に頻度として示している。図９（ａ）において、動き量の少ない位置にある塊は路面等にある移動していないエッジ成分に対応し、一方、動き量の多い位置にうすく広がっている塊は、エッジ２値画像１０２のかすれ等によりエッジ成分が分断され、実際には発生していない動きがあるかのように抽出してしまったところである。入力画像１０１中で車両が占める面積は大きいため、図９（ａ）に示す動き量の頻度分布の中で、最も大きい塊が実際の車両の動きに対応していると見なせる。
【００１９】
図２のステップＳＴ１５において、高頻度動き量抽出手段５は、所定幅の動き量範囲における頻度の和を求め、この値が最大となる範囲を高頻度動き量とする。
図９（ｂ）は高頻度動き量の抽出方法の例を説明するための図であり、図９（ｂ）において、１２１は動き量の許容差を示し、１２２と１２３は頻度和が最大となる範囲を間に挟む動き量を示している。すなわち、図９（ｂ）において、あらかじめ定めた動き量の許容差１２１で頻度分布の部分的な和を求めていった結果、動き量１２２〜動き量１２３の範囲の和が最大となった場合、この動き量１２２，１２３を高頻度動き量の最小値・最大値とする。ただし、上記頻度分布の部分的な和の最大値が所定の閾値未満の場合は、入力画像１０１内に「車両なし」と見なして以降の処理は行わない。
【００２０】
図２のステップＳＴ１６において、エッジ成分選択手段６は、ステップＳＴ１３で動き量が抽出されたエッジ成分の中から、その動き量が高頻度動き量の範囲に含まれるエッジ成分を選択する。ここで選択されたエッジ成分は、車両の動きと概ね等しい動き量を持つので、車体の一部である可能性が極めて高いものとなる。
【００２１】
ステップＳＴ１７において、車両位置決定手段７はエッジ成分選択手段６により選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定する。この実施の形態１では、車頭の位置を検出することとし、垂直座標の狭い範囲にエッジ成分が密集している位置を検出し、これを車両位置とする。この場合、例えばステップＳＴ１４〜ＳＴ１５と同じように、垂直座標の頻度分布を作成し、最も大きい塊の位置を検出する方法をとることができる。
【００２２】
図１０は選択されたエッジ成分の垂直座標の頻度分布から車両位置を決定する方法を説明するための図であり、１３１は垂直座標の許容差を示し、１３２と１３３は頻度和が最大となる範囲を間に挟む垂直座標を示している。図１０において、車両位置決定手段７は、あらかじめ定めた垂直座標の許容差１３１で頻度分布の部分的な和を求めて行き、例えば垂直座標１３２〜垂直座標１３３の範囲の和が最大となった場合、このうち最も画像下端に近い垂直座標１３３を車両位置とする。ただし、車両位置決定手段７は、上記頻度分布の部分的な和の最大値が所定の閾値以上の場合には「車両あり」と判定するが、所定の閾値未満の場合には、入力画像１０１内に「車両なし」と判定する。
【００２３】
以上のように、この実施の形態１によれば、エッジ成分抽出手段２が入力画像からエッジ成分を抽出し、動き量抽出手段３が過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出し、動き量頻度分布作成手段４が抽出された動き量の頻度分布を作成し、高頻度動き量抽出手段５が作成された頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出し、動き量抽出手段３により動き量が抽出されたエッジ成分の中から高頻度動き量抽出手段５により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分を選択し、車両位置決定手段７が選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定することにより、速度が微妙に異なるエッジ成分が多数発生した場合や、エッジ成分が分裂したり結合したりして不安定な出現状態であっても、車体の一部である可能性が極めて高いエッジ成分を抽出することができ、車両の位置を安定して正しくかつ効率良く検出できるという効果が得られる。
【００２４】
なお、この実施の形態１では画像を水平方向に微分した絶対値をエッジ強度としているが、例えば、垂直方向に微分した絶対値をエッジ強度としたり、水平方向の値と垂直方向の値の両者からエッジ強度を求めても良く、他のエッジ検出法に基づく算出式を適用しても良い。また、高頻度動き量の範囲を所定幅（固定幅）としたが、これは動き量の頻度分布に応じて幅を変えるようにしても良い。例えば、狭い範囲に頻度が集中していれば狭い幅とし、広く散らばっていれば広い幅になるようにしても良い。
【００２５】
また、この実施の形態１では、エッジ強度や投影値の２値化において、固定の閾値で２値化する方法を使用しているが、これは他の２値化手法を使用しても良い。さらに、閾値以上の大きい値を‘１'にする方法ではなく、二つの閾値に挟まれた中間的な範囲を‘１'とする方法でも良い。
【００２６】
さらに、この実施の形態１ではエッジ成分を部分領域における投影値から抽出しているが、微分２値画像から‘１'の連結領域を抽出し、それぞれをエッジ成分とするような別の方法を用いても良い。
【００２７】
実施の形態２．
図１１はこの発明の実施の形態２による車両検出装置の構成を示すブロック図である。図１１において、エッジ成分抽出手段２は入力画像から投影２値データを求めてエッジ成分を抽出する際に、投影２値データの結合や消去を行う。また、エッジ成分分類手段８はエッジ成分抽出手段２により結合や消去が行われたエッジ成分の位置座標からエッジ成分を分類し、動き量頻度分布作成手段４は分類されたエッジ成分に応じて重みを変えて、抽出された動き量の頻度分布を作成し、エッジ成分選択手段６は動き量抽出手段３により動き量が抽出されたエッジ成分の中から高頻度動き量抽出手段５により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分をエッジ成分分類手段８による分類結果に基づいて選択する。さらに、車両通過状況推定手段９は高頻度動き量抽出手段５により抽出された高頻度動き量の履歴情報を参照して車両の通過状況を推定し、推定した車両の通過状況と車両位置決定手段７により判定された車両の有無により最終的な車両検出結果を決定する。その他の構成要素は実施の形態１の図１と同一のものである。
【００２８】
次に動作について説明する。
図１２はこの発明の実施の形態２による車両検出装置の処理の流れを示すフローチャートである。ステップＳＴ３１において、画像入力手段１が画像を入力し、ステップＳＴ３２において、エッジ成分抽出手段２が入力画像１０１からエッジ成分を抽出する。
エッジ成分抽出の詳細処理の流れを示すフローチャートは、実施の形態１の図４に示すものと同じであり、処理内容も図４のステップＳＴ２１〜ＳＴ２４までの処理内容と同じであるが、この実施の形態２ではステップＳＴ２５の処理内容が異なる。ステップＳＴ２５において、エッジ成分抽出手段２は投影２値データの結合・消去を行い、その結果をエッジ成分として登録する。この投影２値データの結合・消去の処理は、明るさ変動等に起因するエッジ成分のかすれによる分断やノイズ等の影響を抑えることが目的である。
【００２９】
図１３はエッジ成分抽出の際に行う投影２値データの結合・消去処理を説明するための図であり、車体部分の投影２値データ１４１を第１の結合判定用閾値１４３や第２の結合判定用閾値１４５により結合し、ノイズ部分の投影２値データ１４２を消去判定用閾値１４４により消去する様子を示している。ここでは、第１の結合判定用閾値１４３＜第２の結合判定用閾値１４５とする。
【００３０】
エッジ成分抽出手段２は、図１３（ａ）の投影２値データに対し、第１の結合判定用閾値１４３を適用し、上下に隣接する連結領域間の距離（上側の連結領域の下端位置から下側の連結領域の上端位置までの長さ）が当該閾値以下である場合、その連結領域同士を結合して一つの連結領域とする。この結果が図１３（ｂ）であり、車体部分の投影２値データ１４１における細かな分断が結合されている。
【００３１】
次に、エッジ成分抽出手段２は、この図１３（ｂ）に対し、消去判定用閾値１４４を適用し、長さが当該閾値以下である連結領域を消去する。この結果が図１３（ｃ）であり、ノイズ部分の投影２値データ１４２の連結領域が消去されている。最後に、エッジ成分抽出手段２は、この図１３（ｃ）に対して、第２の結合判定用閾値１４５を適用し、上下に隣接する連結領域間の距離が当該閾値以下である場合、その連結領域同士を結合して一つの連結領域とする。この結果が図１３（ｄ）であり、車体部分の投影２値データ１４１の分断が解消されている一方、ノイズ部分の投影２値データ１４２には連結領域は全く無くなっており、残った一つの連結領域がエッジ成分として登録される。
【００３２】
ここで、図１３（ａ）の投影２値データに対して、そのまま消去判定用閾値１４４による消去を行うと車体部分の投影２値データ１４１の中央部が欠落し、あるいは、そのまま第２の結合判定用閾値１４５による結合を行うとノイズ部分の投影２値データ１４２が一つの大きな連結領域として残ってしまうが、上記説明の通り、閾値を切り替えつつ（上記の例では闘値を徐々に大きくしつつ）結合と消去を繰り返すことで、かすれによる分断を解消し、かつノイズを除去することが可能となる。
【００３３】
ステップＳＴ３３において、エッジ成分分類手段８はエッジ成分抽出手段２により抽出されたエッジ成分の位置座標からエッジ成分の分類を行う。この実施の形態２ではエッジ成分を下記のＡ，Ｂ，Ｃ，Ｄに分類することとする。
Ａ；車両前面である可能性の高いもの。
Ｂ；下端位置の動きが車両の動きを反映している可能性の高いもの。
Ｃ；上端位置の動きが車両の動きを反映している可能性の高いもの。
Ｄ；上記以外。
【００３４】
この分類では、エッジ成分の位置座標、すなわち、エッジ成分の長さ・位置や、隣接するエッジ成分までの距離に基づく条件を適用して、例えば下記のように分類する。
（分類１）エッジ成分の長さが所定範囲内で、上側又は下側の所定範囲内に他のエッジ成分が無いならＡと分類する。
（分類２）エッジ成分の長さが所定値以上で、下側の所定範囲内に他のエッジ成分が無いならＢと分類する。
（分類３）エッジ成分の長さが所定値以上で、上側の所定範囲内に他のエッジ成分が無いならＣと分類する。
（分類４）分類１〜分類３の各条件を満足しなければＤと分類する。
【００３５】
図１４は入力画像から得たエッジ成分の例を示す図であり、車体側面に対応したエッジ成分１５１，１５２、車体前面に対応したエッジ成分１５３，１５４、路面に対応したエッジ成分１５５〜１５８を示している。図１４の例では、Ａに該当するのはエッジ成分１５３，１５４で、Ｂに該当するのはエッジ成分１５１，１５２で、Ｃに該当するのはエッジ成分１５５であり、他のエッジ成分がＤとなる。
【００３６】
図１２のステップＳＴ３４において、動き量抽出手段３は、過去に抽出したエッジ成分と新たに抽出したエッジ成分とを対応付けてエッジ成分毎の動き量を抽出する。この実施の形態２では、上記Ａ，Ｂ，Ｃのいずれかに分類されたエッジ成分だけを対象として対応付けを行い、実施の形態１で用いた条件１、条件２、条件３を満足し、かつ同じ分類が為されているエッジ成分同士を同一と見なして、その座標差を動き量とする。ここで、座標差をとる基準位置は、Ａ及びＢに分類されたものは下端位置とし、Ｃに分類されたものは上端位置とする。例えば、Ｃに分類された図１４のエッジ成分１５５は路面のエッジ成分ではあるが、その上端位置の変化は車両の移動を示しているので、その変化量を用いるわけである。
【００３７】
ステップＳＴ３５において、動き量頻度分布作成手段４は動き量の頻度分布を作成するが、この実施の形態２では、ステップＳＴ３３の分類結果に応じ、車両の検出精度を上げるために頻度として加算する値（重み）をエッジ成分毎に変えるものとする。例えば、車両である可能性が高いＡは一つのエッジ成分につき２を加算し、Ｂ，Ｃは１を加算する。ステップＳＴ３６において、実施の形態１と同様の手順で、高頻度動き量抽出手段５が当該頻度分布から高頻度動き量を抽出する。ステップＳＴ３７において、エッジ成分選択手段６は車両位置推定用のエッジ成分を選択するが、この実施の形態２では、その動き量が高頻度動き量の範囲に含まれ、かつＡに分類されたものを選択する。
【００３８】
ステップＳＴ３８において、車両位置決定手段７は、実施の形態１と同様の手順で、車両の有無を判定して車両位置を決定し、ステップＳＴ３９において、車両通過状況推定手段９は高頻度動き量抽出手段５により抽出された高頻度動き量の履歴情報を参照して車両の通過状況を推定する。車両通過状況の推定方法としては、例えば、高頻度動き量の履歴情報（過去一定サイクル数における値）を参照して、同程度の高頻度動き量が続いている場合は「車両通過中」と見なし、続いていなければ「車両通過なし」とする方法をとる。
【００３９】
ステップＳＴ４０において、車両通過状況推定手段９は、上記ステップＳＴ３８で判定された車両の有無とステップＳＴ３９で推定された車両通過状況から最終的な車両検出結果を決定する。例えば、車両通過状況推定手段９は、下記の条件ａか条件ｂのどちらかが成立した場合は車両検出結果を「車頭出現」として車両位置を合せて出力し、どちらの条件も成立しない場合は、「車両通過中」の状況が続いていれば「車両あり」と決定し、続いていなければ「車両なし」と決定する。
（条件ａ）高頻度動き量の履歴情報による「車両通過中」が続いている状況において、初めて車両位置決定手段７が「車両あり」と判定した場合。
（条件ｂ）高頻度動き量の履歴情報による「車両通過なし」の状況において、車両位置決定手段７が「車両あり」と判定した場合。
【００４０】
このようにすると、１台の車両の通過中に「車両あり」は複数回発生し得るが、「車頭出現」は１回だけ発生する。車両位置決定手段７の決定結果だけでは、トラックの荷台等を別車両として検出してしまい、通過台数を二重カウントしてしまう場合もあるが、この実施の形態２では、車両通過状況の推定結果も加味して最終的な判定を下すため、車長の長い車両が通過しても誤って複数回検出することを防止できる。
【００４１】
以上のように、この実施の形態２によれば、エッジ成分抽出手段２が入力画像からエッジ成分を抽出し、エッジ成分分類手段８がエッジ成分の位置座標からエッジ成分を分類し、動き量抽出手段３が過去に抽出されたエッジ成分と新たに抽出されたエッジ成分とを対応付けてエッジ成分毎の動き量を抽出し、動き量頻度分布作成手段４が分類されたエッジ成分に応じて重みを変えて抽出された動き量の頻度分布を作成し、高頻度動き量抽出手段５が作成された頻度分布から入力画像中で高頻度に発生している動き量を高頻度動き量として抽出し、エッジ成分選択手段６が動き量抽出手段３により動き量が抽出されたエッジ成分の中から高頻度動き量抽出手段５により抽出された高頻度動き量の範囲に含まれる動き量を持つエッジ成分をエッジ成分分類手段８による分類結果に基づいて選択し、車両位置決定手段７が選択されたエッジ成分の位置座標とこの位置座標におけるエッジ成分の頻度分布から車両の有無を判定し車両の位置を決定することにより、速度が微妙に異なるエッジ成分が多数発生した場合や、エッジ成分が分裂したり結合したりして不安定な出現状態であっても、車体の一部である可能性が極めて高いエッジ成分を抽出することができ、車両の位置を安定して正しくかつ効率良く検出できるという効果が得られる。
【００４２】
また、この実施の形態２によれば、エッジ成分抽出手段２が投影２値データの結合・消去を行い、その結果をエッジ成分として抽出することにより、明るさ変動等に起因するエッジ成分のかすれによる分断やノイズ等の影響を抑えることができるという効果が得られる。
【００４３】
さらに、この実施の形態２によれば、エッジ成分の分類結果に基づいて基準位置（上端・下端）を切り替えてエッジ成分の動き量を抽出することにより、車両の動き量を安定して抽出できるという効果が得られる。
【００４４】
さらに、この実施の形態２によれば、車両通過状況推定手段９が車両の通過状況を考慮して車両検出結果を決定することにより、車長の長い車両も含め、通過する車両の種類によらずに安定して車両検出が行えるという効果が得られる。
【００４５】
なお、この実施の形態２では、投影２値データの結合・消去の手順を、結合→消去→結合の３ステップとしているが、これはもっと多く繰り返すようにしても良い。また、エッジ成分をＡ，Ｂ，Ｃ，Ｄの四つに分類したが、これは、もっと細かい条件で５種類以上に分類しても良く、あるいは、Ａ，Ｂ，Ｄか、Ａ，Ｃ，Ｄの３種類としても良い。
【００４６】
さらに、頻度分布作成の際の重みをエッジ成分の分類結果から決定しているが、他の条件を用いて重みを変えても良い。例えば、画像の中央にあるものは重みを大きくし、端にあるものは小さくするようにしても良く、さらには、動き量の大小に応じて重みを変えても良い。
【００４７】
さらに、車両通過状況の推定方法として、高頻度動き量の履歴情報を参照する方法を用いているが、これは他の方法でも良い。例えば、車頭出現と判定した直後の所定時間内を車両通過中と見なす方法や、車頭出現と判定した時点の高頻度動き量から車両の通過予想時間を求め、この予想時間内を車両通過中と見なす方法もある。さらに、車両検出結果として、「車頭出現」、「車両あり」及び「車両なし」３種類の出力を定めているが、これはもっと細かくし種類を増やしても良く、また判定条件も変えても良い。
【００４８】
実施の形態３．
図１５はこの発明の実施の形態３による車両検出装置の構成を示すブロック図である。図において、ナンバープレート検出手段１０はエッジ成分抽出手段２により抽出されたエッジ成分を使用してナンバープレートを検出し、ナンバープレート認識手段１１はナンバープレート内の文字を認識する。その他の構成要素は実施の形態１の図１と同一のものである。
【００４９】
次に動作について説明する。
図１６はこの発明の実施の形態３による車両検出装置の処理の流れを示すフローチャートである。ステップＳＴ５１〜ＳＴ５７では、実施の形態１の図２におけるステップＳＴ１１〜ＳＴ１７と同様の手順で車両検出を行う。
【００５０】
ステップＳＴ５８において、ナンバープレート検出手段１０は、ステップＳＴ５２でエッジ成分抽出手段２により抽出されたエッジ成分を使用してナンバープレートの検出を行う。このナンバープレートの検出方法としては、例えば、信学技報ＰＲＭＵ９６−４６「ナンバープレート認識装置の開発」（以下、単に文献と呼ぶ）に記載の方法を用いる。この場合、上記文献の２．１節「プレート切り出し部」に記載のように、水平方向に微分した画像の投影値、すなわち実施の形態１で言うところのエッジ成分を使用して、ナンバープレートの上部と下部を示すペアを検出し、ステップＳＴ５１で入力した入力画像１０１を使用して、上記文献の２．２節「プレート２値化部」の処理を行う。このように、エッジ成分をナンバープレート領域の切り出しにも使用することにより、エッジ成分を車両検出とナンバープレート検出の両方で利用できるため、全体として非常に効率の良い構成となる。また、このステップＳＴ５８において、ナンバープレート領域が複数検出された場合には、ナンバープレート検出手段１０は、ステップＳＴ５７で車両位置決定手段７により決定された車両位置に近い方を選択する。
【００５１】
ステップＳＴ５９において、ナンバープレート認識手段１１は検出されたナンバープレート内の文字を認識する。この認識法としては、例えば、上記文献の２．３節「文字認識」に記載の方法を用いる。
【００５２】
以上のように、この実施の形態３によれば、実施の形態１と同様の効果が得られると共に、ナンバープレート検出手段１０が車両を検出するためのエッジ成分を使用してナンバープレートの検出を行い、ナンバープレート認識手段１１が検出されたナンバープレート内の文字を認識することにより、車両検出とナンバープレート検出を効率良く実施することができるという効果が得られる。
【００５３】
また、この実施の形態３によれば、ナンバープレート検出手段１０が車両位置決定手段７により決定された車両位置の情報をナンバープレート検出にも利用することにより、ナンバープレートの検出精度を高めることができるという効果が得られる。
【００５４】
なお、この実施の形態３では、ナンバープレート検出法として文献記載の方法を用いているが、これはエッジの情報を使用するものであれば、別の方法を用いても良い。また、ナンバープレート認識法も、文献記載のものとは別の方法を用いても良い。さらに、ナンバープレート領域が複数検出された場合に車両位置により選択するようにしているが、例えば、最初からナンバープレート検出の対象領域を車両位置周辺に限定する等、車両位置の情報をナンバープレート検出に利用する別の形態をとっても良い。
【００５５】
実施の形態４．
図１７はこの発明の実施の形態４による車両検出装置の構成を示すブロック図である。図において、ナンバープレート検出手段１０は、車両通過状況推定手段９により「車頭出現」と決定された場合に、エッジ成分抽出手段２により抽出されたエッジ成分を使用してナンバープレートを検出し、ナンバープレート認識手段１１はナンバープレート内の文字を認識する。その他の構成要素は実施の形態２の図１１と同一のものである。
【００５６】
次に動作について説明する。
図１８はこの発明の実施の形態４による車両検出装置の処理の流れを示すフローチャートである。ステップＳＴ６１〜ＳＴ７０では、実施の形態２の図１２におけるステップＳＴ３１〜ＳＴ４０と同様の手順で車両検出を行う。
【００５７】
ステップＳＴ７１において、ナンバープレート検出手段１０はステップＳＴ７０における車両通過状況推定手段９による車両検出結果をチェックして「車頭出現」の場合に、ステップＳＴ７２において、ナンバープレート検出手段１０は実施の形態３と同様にナンバープレートの検出を行う。トラックのように車体が長く、かつ荷台部分に文字が表示されているような車両では、荷台部分の一部を誤ってナンバープレートとして検出してしまう場合もあるが、「車頭出現」の場合だけナンバープレートの検出を行うことで、車体に表示されている文字のような、ナンバープレート以外の領域を誤って検出してしまうことを防止できる。
【００５８】
ステップＳＴ７３において、図示されていない制御手段によりナンバープレートの検出結果がチェックされ、ナンバープレートが検出されていれば、ステップＳＴ７４において、実施の形態３と同様に、ナンバープレート認識手段１１が検出されたナンバープレート内の文字を認識するが、ナンバープレートが検出されていない場合は、検出された車両にはナンバープレートが付いていないか、あるいは隠れた位置にあると見なし、図示されていない警報装置を通じてナンバープレートが検出できないことを発報したり、又は図示されていない画像保存手段が検出された当該車両の画像を保存する。
【００５９】
以上のように、この実施の形態４によれば、実施の形態２と同様の効果が得られると共に、ナンバープレート検出手段１０が「車頭出現」の場合に車両を検出するためのエッジ成分を使用してナンバープレートの検出を行い、ナンバープレート認識手段１１が検出されたナンバープレート内の文字を認識することにより、車両検出とナンバープレート検出を効率良く実施することができ、ナンバープレート以外の領域を誤って検出してしまうことを防止できるという効果が得られる。
【００６０】
また、この実施の形態４によれば、ナンバープレートが検出できない場合に、警報装置を通じて発報し、車両の画像を保存することにより、ナンバープレートが検出できない注意すべき車両の通知や画像保存を行うことができるという効果が得られる。
【００６１】
なお、この実施の形態４では、図１８のステップＳＴ７５で、ナンバープレートが検出できない注意すべき車両について発報と画像保存を行っているが、これは、非定常状態で行われるような別の処理を行っても良い。例えば、車両は検出できてもナンバープレートを検出できないという現象は、カメラの絞り値等の撮像パラメータが望ましい範囲からずれていても起こり得るので、車両が検出できてナンバープレートが検出できない回数をカウントし、所定数以上連続して発生したら撮像パラメータの自動調整処理を行うことが考えられる。
【図面の簡単な説明】
【００６２】
【図１】この発明の実施の形態１による車両検出装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による車両検出装置の処理の流れを示すフローチャートである。
【図３】この発明の実施の形態１による車両検出装置の入力画像の例を示す図である。
【図４】この発明の実施の形態１による車両検出装置のエッジ成分抽出の詳細処理の流れを示すフローチャートである。
【図５】この発明の実施の形態１による車両検出装置におけるエッジ２値画像の例を示す図である。
【図６】この発明の実施の形態１による車両検出装置におけるエッジ成分抽出時のエッジ２値画像の領域分割例を示す図である。
【図７】この発明の実施の形態１による車両検出装置におけるエッジ２値画像の一つの部分領域からエッジ成分を抽出する例を示す図である。
【図８】この発明の実施の形態１による車両検出装置におけるエッジ成分の動き量を抽出する際の対応付けの例を示す図である。
【図９】この発明の実施の形態１による車両検出装置における動き量の頻度分布の例と高頻度動き量の抽出方法の例を説明するための図である。
【図１０】この発明の実施の形態１による車両検出装置における選択されたエッジ成分の垂直座標の頻度分布から車両位置を決定する方法を説明するための図である。
【図１１】この発明の実施の形態２による車両検出装置の構成を示すブロック図である。
【図１２】この発明の実施の形態２による車両検出装置の処理の流れを示すフローチャートである。
【図１３】この発明の実施の形態２による車両検出装置におけるエッジ成分抽出の際に行う投影２値データの結合・消去処理を説明するための図である。
【図１４】この発明の実施の形態２による車両検出装置における入力画像から得たエッジ成分の例を示す図である。
【図１５】この発明の実施の形態３による車両検出装置の構成を示すブロック図である。
【図１６】この発明の実施の形態３による車両検出装置の処理の流れを示すフローチャートである。
【図１７】この発明の実施の形態４による車両検出装置の構成を示すブロック図である。
【図１８】この発明の実施の形態４による車両検出装置の処理の流れを示すフローチャートである。
【符号の説明】
【００６３】
１  画像入力手段、２  エッジ成分抽出手段、３  動き量抽出手段、４  動き量頻度分布作成手段、５  高頻度動き量抽出手段、６  エッジ成分選択手段、７  車両位置決定手段、８  エッジ成分分類手段、９  車両通過状況推定手段、１０  ナンバープレート検出手段、１１  ナンバープレート認識手段、１０１  入力画像、１０２  エッジ２値画像、１１１，１１２，１１３，１１４，１１５  エッジ成分、１１６  動き量、１２１  動き量の許容差、１２２，１２３  頻度和が最大となる範囲を間に挟む動き量、１３１  垂直座標の許容差、１３２，１３３  頻度和が最大となる範囲を間に挟む垂直座標、１４１  車体部分の投影２値データ、１４２  ノイズ部分の投影２値データ、１４３  第１の結合判定用闘値、１４４  消去判定用闘値、１４５  第２の結合判定用闘値、１５１，１５２  車体側面に対応したエッジ成分、１５３，１５４  車体前面に対応したエッジ成分、１５５，１５６，１５７，１５８  路面に対応したエッジ成分。
【図１】
2005209097.tif 000003
【図２】
2005209097.tif 000004
【図３】
2005209097.tif 000005
【図４】
2005209097.tif 000006
【図５】
2005209097.tif 000007
【図６】
2005209097.tif 000008
【図７】
2005209097.tif 000009
【図８】
2005209097.tif 000010
【図９】
2005209097.tif 000011
【図１０】
2005209097.tif 000012
【図１１】
2005209097.tif 000013
【図１２】
2005209097.tif 000014
【図１３】
2005209097.tif 000015
【図１４】
2005209097.tif 000016
【図１５】
2005209097.tif 000017
【図１６】
2005209097.tif 000018
【図１７】
2005209097.tif 000019
【図１８】
2005209097.tif 000020