(57)【特許請求の範囲】
【請求項１】
あらかじめ車両の構成要素の属性が格納された構成要素辞書と、当該構成要素辞書を参照して上記構成要素の属性に基づいて車両が撮像されている入力画像から撮像車両の構成要素を検出する構成要素検出手段と、あらかじめ上記車両の構成要素の位置関係が格納された構成要素配置辞書と、当該構成要素配置辞書を参照して上記構成要素の位置関係に基づいて上記構成要素検出手段が検出した上記撮像車両の構成要素の候補領域から当該構成要素の種類を決定する構成要素決定手段と、あらかじめ車種毎の上記構成要素を判別するための上記車両の車種毎の構成要素の関連情報が格納された車両辞書と、上記構成要素決定手段が決定した上記構成要素と上記車両辞書とを照合して上記車種毎の構成要素の関連情報に基づいて上記撮像車両の種別を判別する車種判別手段とを備え、
上記構成要素決定手段は、上記構成要素配置辞書を参照して上記構成要素の種類を決定する際に、あらかじめ基準構成要素として定めた上記構成要素の位置に基づいて車両中心線を求め当該車両中心線を用いることを特徴とする車種判別装置。
【請求項２】
上記入力画像からナンバープレートを認識するナンバープレート認識手段を備え、当該ナンバープレート認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項１記載の車種判別装置。
【請求項３】
上記ナンバープレート認識手段は、ナンバープレートの属性を認識することを特徴とする請求項２記載の車種判別装置。
【請求項４】
上記ナンバープレート認識手段は、ナンバープレートの車種コードを認識することを特徴とする請求項２記載の車種判別装置。
【請求項５】
上記入力画像から車体上に付された標章であるマークの形状を認識するマーク認識手段を備え、当該マーク認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項１記載の車種判別装置。
【請求項６】
上記入力画像からナンバープレートを認識するナンバープレート認識手段と、上記入力画像から車体上に付された標章であるマークの形状を認識するマーク認識手段とを備え、上記ナンバープレート認識手段及び上記マーク認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項１記載の車種判別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、車両の撮像された画像から車両の種別を判別する車種判別装置に関するものである。
【０００２】
【従来の技術】
図１６は、例えば特開昭６１−１７６８０８に記載の従来の車種判別装置の概略構成を示すブロック図である。図において、１は画像信号をデジタル化して入力画像を作成する画像入力手段、１０１は入力画像からナンバープレートの位置を検出すると共に、ナンバープレート画像の文字を認識するナンバープレート認識手段、１０２は車幅を検出する車幅検知センサ、１０３はナンバープレート位置の検出結果及び車幅の検出結果に基づいて入力画像から車種を判別する車種判別手段、１０４はナンバープレートの文字の認識結果と車種判別手段１０３の車種判別結果から登録車両の照合検索を行う検索部である。より詳しくは、画像入力手段１は車両を撮像する撮像部とその撮像した画像を記憶するフレームメモリから構成され、ナンバープレート認識手段１０１はナンバープレート割出し部と文字割出部と文字認識部から構成され、車種判別手段１０３は特徴抽出部と照合部と辞書メモリから構成されている。
【０００３】
次に動作を説明する。まず画像入力手段１がカメラ等から入力した信号をデジタル化して入力画像を作成し、フレームメモリに記憶する。次にナンバープレート認識手段１０１がフレームメモリに格納された入力画像からナンバープレートを検出してナンバープレート中の文字を認識する。さらに、車幅検知センサ１０２が走行する車両の車幅を検知する。車幅検知センサ１０２は、道路上の門構えに配設されたフォトダイオードアレイや道路上に敷設した圧力センサ等により構成される。
【０００４】
そして、車種判別手段１０３が入力画像におけるナンバープレート以外の領域（処理領域）の特徴を抽出し、辞書メモリの内容と照合して車種を判別する。特徴抽出部では、車幅検知センサ１０２で得られた車幅情報と、ナンバープレート認識手段１０１で検出したナンバープレートの位置情報とをもとに処理領域を決定し、その処理領域を左右／上下に走査して黒白の変化点数、連続する黒点数及び白点数の分布をとり、特徴値を求める。照合部では、この特徴値を辞書メモリに格納されている車種毎の特徴辞書と比較照合し、最も合致する車種を判別結果とする。
【０００５】
最後に検索部１０４がナンバープレート認識手段１０１で得られたナンバープレート文字の認識結果と、車種判別手段１０３で得られた車種判別結果とを使用し、予め補足するために登録されている車両と照合検索する。
【０００６】
【発明が解決しようとする課題】
しかしながら従来の車種判別装置では、車幅情報とナンバープレートの位置情報に従って車種判別に用いる処理領域を決定するため、ナンバープレートが正しく検出できない場合は車種を判別できないという問題があった。さらに、専用の車幅検知センサが必要なため、システムが高価なものになるという問題があった。また、斜めに進入してきた車両を撮像した場合には、画像に歪み（回転）が発生し、処理領域の位置が望ましい位置からずれてしまうため、正しく車種判別できないという問題があった。さらに画像の歪みを回避するために画像の歪み具合に応じて処理領域の位置補正を行う場合にも車幅情報とナンバープレートの位置情報だけでは補正できないという問題があった。
【０００７】
この発明は上記のような問題点を解決するためになされたもので、例えばナンバープレートのような車両の特定の構成要素が正しく検出できない場合でも精度良く車種判別できると共に、安価な装置で車種判別できる車種判別装置を実現することを目的とする。また、例えば、斜めに進入してきた車両を撮像し、画像に歪みがある場合でも精度良く車種を判別できる車種判別装置を実現することを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る車種判別装置は、あらかじめ車両の構成要素の属性が格納された構成要素辞書と、その構成要素辞書を参照して構成要素の属性に基づいて車両が撮像されている入力画像から撮像車両の構成要素を検出する構成要素検出手段と、あらかじめ車両の構成要素の位置関係が格納された構成要素配置辞書と、その構成要素配置辞書を参照して構成要素の位置関係に基づいて構成要素検出手段が検出した撮像車両の構成要素の候補領域からその構成要素の種類を決定する構成要素決定手段と、あらかじめ車種毎の構成要素を判別するための車両の車種毎の構成要素の関連情報が格納された車両辞書と、構成要素決定手段が決定した構成要素と車両辞書とを照合して車種毎の構成要素の関連情報に基づいて撮像車両の種別を判別する車種判別手段とを備えるものである。
【０００９】
また、次の発明に係る車種判別装置は、構成要素決定手段が構成要素配置辞書を参照して構成要素の種類を決定する際に、あらかじめ基準構成要素として定めた構成要素の位置に基づいて車両中心線を求めその車両中心線を用いるものである。
【００１０】
また、次の発明に係る車種判別装置は、入力画像からナンバープレートを認識するナンバープレート認識手段を備え、そのナンバープレート認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【００１１】
さらにまた、次の発明に係る車種判別装置は、ナンバープレート認識手段がナンバープレートの属性を認識するものである。
【００１２】
さらにまた、次の発明に係る車種判別装置は、ナンバープレート認識手段がナンバープレートの車種コードを認識するものである。
【００１３】
また、次の発明に係る車種判別装置は、入力画像から車体上のマークや文字を認識するマーク認識手段を備え、そのマーク認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【００１４】
また、次の発明に係る車種判別装置は、入力画像からナンバープレートを認識するナンバープレート認識手段と、入力画像から車体上のマークや文字を認識するマーク認識手段とを備え、ナンバープレート認識手段及びマーク認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【００１５】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図を用いて説明する。図１は本実施の形態１の概略構成を示すブロック図である。図１において、１は車両を撮像すると共に撮像画像信号をデジタル化して入力画像を作成し車両の画像を入力する画像入力手段、２はあらかじめ車両の構成要素の属性が格納された構成要素辞書、３は構成要素辞書２を参照して構成要素の属性に基づいて画像入力手段１に記憶された入力画像から撮像車両の構成要素を検出する構成要素検出手段、４はあらかじめ車両の構成要素の位置関係が格納された構成要素配置辞書、５は構成要素配置辞書４を参照して構成要素の位置関係に基づいて構成要素検出手段３の検出結果である構成要素の候補領域から撮像車両の構成要素の種類を決定する構成要素決定手段、６はあらかじめ車種毎の構成要素を判別するための車種毎の構成要素の関連情報が格納された車両辞書、７は構成要素決定手段５の決定結果と車両辞書６とを照合して車種毎の構成要素の関連情報に基づいて撮像車両の種別を判別する車種判別手段である。
【００１６】
次に動作を図１〜図３を用いて説明する。図２は本実施の形態の動作の流れを示すフローチャートである。図３は画像入力手段に記憶された入力画像であり、車両前面を撮像したものである。図４は入力画像からエッジ検出を行って作成したエッジ画像である。
【００１７】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、画像入力手段１が画像入力をする（ステップＳ１）。従来例と同様に、例えば、カメラが車両の到来に応じて車両を撮像し、その入力信号をデジタル化して入力画像を作成してフレームメモリに記憶する。
【００１８】
次に構成要素検出手段３は、構成要素辞書２を参照して車両の構成要素を検出する（ステップＳ２）。構成要素とは、車両画像を構成する個々の領域であり、本実施の形態では、フロントガラス、ヘッドライト、ウインカー、ナンバープレートの４種類を対象とする。
【００１９】
構成要素検出においては、まず入力画像から構成要素の可能性のある候補領域を求める。例えば、「ピラミッド階層化高速ハフ変換を用いたナンバープレート領域抽出」（電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ７０−Ｄ、Ｎｏ．７、ｐｐ．１３８３〜１３８９）の「３．前処理」に記載のように、入力画像をソーベル変換（Ｓｏｂｅｌ変換）後２値化を行ってエッジ画像を作成し、エッジで囲まれた領域を構成要素の可能性のある候補領域とする。図４は図１の入力画像から作成したエッジ画像であり、構成要素の候補領域を示す図である。本実施の形態では、図４の８〜２０が構成要素の候補領域として検出されたものとする。
【００２０】
次に構成要素検出手段３は、構成要素辞書２を参照して構成要素の属性に基づいて各候補領域がどの構成要素となるか判定し、４種類のいずれかの構成要素と判定された候補領域にその構成要素を示すフラグを付加して構成要素の検出結果として出力する。構成要素辞書２には、構成要素毎に、各構成要素の属性、例えば、色、幅／高さの最大値と最小値が格納されている。構成要素検出手段３は、構成要素の可能性のある各候補領域の属性を構成要素辞書２内の属性と比較照合する。合致するものがあれば、その候補領域に対応する構成要素を示すフラグを付加して出力する。
【００２１】
なお、本実施の形態では、一つの候補領域に複数の構成要素のフラグが付加されても良いものとする。また、ドアミラーのように車両によって色が異なる構成要素については、色属性による判定を行わなくても良い。例えば、構成要素辞書２内の色属性を「照合除外属性」としておき、その構成要素については色属性による判定を行わないようにする。その他の構成要素についても、その特徴に応じて特定の属性について照合除外としても良い。本実施の形態では、図４の候補領域のうち、９がフロントガラス、１０と１１がドアミラー、１２と１３がヘッドライト、１７と１８がウインカー、１２と１９がナンバープレートと判定されたものとする。
【００２２】
次に構成要素決定手段５は、構成要素配置辞書４を参照して構成要素の位置関係に基づいて構成要素検出手段３で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する（ステップＳ３）。構成要素配置辞書４には車両の構成要素の位置関係を示す情報が格納されている。例えば、各構成要素毎に、他の構成要素との相対位置として、フロントガラスはヘッドライトよりも上にある、ナンバープレートはヘッドライトより下にあるという情報や、各構成要素間の画像上の距離の最大値／最小値が格納されている。構成要素決定手段５は、各構成要素の組み合わせについて構成要素配置辞書４の内容と比較照合して、車両構成要素の種類を決定する。
【００２３】
本ステップが終了した時点で、各構成要素のフラグ（構成要素の種類を示すフラグ）は一つに決定される。例えば、本実施の形態では、図４の画像において構成要素検出手段３は１２と１９をナンバープレートとしたが、構成要素配置辞書４内の「ナンバープレートはヘッドライトより下にある」という情報により、本ステップでは１９がナンバープレートであると決定される。
【００２４】
最後に車種判別手段７は、構成要素決定手段５で決定した撮像車両の構成要素と車両辞書６とを照合して入力画像中の車両の種別を判別する（ステップＳ４）。車両辞書６には、車種毎の構成要素の関連情報、例えば、形状（丸い、四角など）や画像上の大きさ（幅、高さなど）、構成要素間の画像上の距離が格納されている。これを構成要素決定手段５で決定した構成要素と比較照合して最も合致した車種を判別結果とし、車種判別の動作を終了する。
【００２５】
このように、画像入力手段１で車両の到来に応じて車両を撮像し、その入力信号をデジタル化して入力画像を作成してフレームメモリに記憶する。次に構成要素検出手段３で記憶された入力画像から色、幅／高さの最大値と最小値などの属性に基づいて、車両の構成要素の候補領域を検出する。さらに、構成要素決定手段５で構成要素間の相対位置や構成要素間の画像上の距離などの位置関係に基づいて、車両の構成要素の種類を決定する。最後に、決定した構成要素と車両辞書に格納された車種毎の構成要素の関連情報や画像上の大きさなどとを比較照合して、撮像車種を判別する。その後、例えば、判別した車両を車種名と共に表示画面上に表示することで、判別結果を確認できるようにする。
【００２６】
以上のように、本実施の形態に係る車種判別装置によれば、車両の複数の構成要素の候補領域を検出し、それらの位置関係の情報に基づいて種類を決定した構成要素を用いて車種を判別することにより、車両の各構成要素を正しく検出でき、安価な装置で精度良く車種判別することができる。また、全く検出できない構成要素があったとしても、他の構成要素の情報から精度良く車種判別することができる。例えば、ナンバープレートのような特定の構成要素が検出できなくても他のヘッドライトやフロントガラスなどの情報から車種判別することができる。
【００２７】
なお、実施の形態１では、入力画像を車両前面の画像としたが、車両が撮像されているものであれば良く、これに限定されるものではない。例えば、後面画像、側面画像、上面などでも、同様の効果を得られる。その場合構成要素に、リアウインドウ、テイルランプなどの車両のその他の構成要素を含めても良い。また、入力画像として複数の画像を用いても良い。例えば、入力画像として車両前面画像と側面画像を用いて車種判別しても良い。この場合、車種判別の処理時間は増加する可能性があるが、車種判別の精度は向上する。
【００２８】
また、構成要素検出手段における構成要素候補領域の検出法として、エッジ画像を作成し、エッジで囲まれた領域を構成要素の候補領域として検出する場合について説明したが、これに限定されるものではない。入力画像から構成要素を検出できるものであれば別手法でも良く、同様の効果を得られる。また、複数の手法を用いたり、構成要素毎に異なる手法を用いても良い。
【００２９】
また、車両の構成要素を、フロントガラス、ヘッドライト、ウインカー、ナンバープレートとする場合について説明したが、これ以外の、例えばフロントグリル、バンパー、大型貨物車両の運転席上部にある速度表示灯などを構成要素としても良く、同様の効果を得られる。また、より多くの構成要素を車種判別に用いることによって、さらに車種判別の精度を向上することができる。
【００３０】
また、構成要素辞書に格納された構成要素の属性を、色、幅／高さの最大値と最小値とする場合について説明したが、これは他の属性または基準となる画像そのものを含めても良く、同様の効果を得られる。例えば、構成要素辞書にウインカーの基準となる画像を格納しておき、構成要素検出手段でそのウインカーの画像と入力画像から検出した各構成要素の候補領域とを比較照合し、構成要素を決定する。
【００３１】
また、構成要素配置辞書の格納内容を、相対的な上下関係と各構成要素間の画像上の距離の最大値／最小値とする場合について説明したが、構成要素の位置関係を示すものであれば、別の項目、例えば左右の位置関係なども含めても良く、同様の効果を得られる。また、より多くの構成要素の位置関係が格納された構成要素配置辞書を用いることによって、さらに車種判別の精度を向上することができる。
【００３２】
また、車両辞書の格納内容を、構成要素の形状や画像上の大きさ、構成要素間の画像上の距離とする場合について説明したが、これは他の項目または基準となる画像そのものを含めても良く、また検出する構成要素の情報だけでなく構成要素を基準にして設定した別領域の情報も含め、車種判別手段は直接入力画像を参照して比較照合するようにしても良い。
【００３３】
また、車種判別する対象は、トラックや普通車といった粗いレベルでも、車両の通称名称や型式を含む細かなレベルでも良い。判別するレベルに応じて各辞書の内容を変更する、または各辞書の比較照合範囲を変更することにより、効率よく判別レベルに応じて車種判別することができる。
【００３４】
実施の形態２．
以下、この発明の実施の形態２を図を用いて説明する。前述の実施の形態１と同様に、本実施の形態の概略構成を示すブロック図は図１である。
【００３５】
本実施の形態の動作を図１及び図５〜図７を用いて説明する。図５は本実施の形態の動作の流れを示すフローチャートである。図６は画像入力手段により入力された入力画像であり、水平線に対して角度α斜めに進入して来た車両の前面を撮像したものである。図７は入力画像からエッジ検出を行って作成したエッジ画像である。
【００３６】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態１のステップＳ１〜Ｓ２と同様に、画像入力し（ステップＴ１）、構成要素を検出して（ステップＴ２）、車両の画像から構成要素を検出する。
【００３７】
その後、構成要素決定手段５は、検出対象の構成要素のうち、あらかじめ基準構成要素と定めておいた構成要素の位置を基準として車両中心線を求める（ステップＴ３）。本実施の形態では、ヘッドライトを基準構成要素とする。図６の入力画像から作成したエッジ画像が図７であり、２１と２２がステップＴ２において構成要素検出手段３の検出したヘッドライトである。構成要素決定手段５は、ヘッドライト２１、２２の位置を基準として、入力画像における車両中心線を求める。図７の２３が構成要素決定手段５で求めた車両中心線である。
【００３８】
次に構成要素決定手段５は、車両中心線２３の位置と角度に従って、構成要素検出手段３で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する（ステップＴ４）。本ステップの動作は実施の形態１のステップＳ３とほぼ同じであるが、本実施の形態では、構成要素配置辞書４の格納項目の一つにペア線対称フラグがあるものとする。ペア線対称フラグとは、当該構成要素が一つの車両に対して２個存在し、それが車両中心線に関して線対称の位置関係にあることを示すものである。例えば、ヘッドライト、ウインカー、ドアミラーが該当する。構成要素決定手段５は、ペア線対称フラグの付いている構成要素に対して、車両中心線に関して線対称の位置関係にあることも決定条件とする。また、入力画像における構成要素間の距離や方向は、車両中心線の方向が垂直になるように回転補正を行って求める。
【００３９】
その後、実施の形態１と同様に、車種判別手段７が構成要素決定手段５の出力と車両辞書６とを照合して撮像車両の種別を判別し（ステップＴ５）、車種判別の動作を終了する。
【００４０】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、車両の中心線を求めて、その車両中心線の位置と角度に従って車両の構成要素の種類を決定することにより、例えば、斜めに進入して来た車両を撮像し、画像に歪みがある場合でも精度良く車種判別できる。
【００４１】
すなわち、例えば、車両中心線に関する位置関係を構成要素の決定条件に加えることにより、ウインカーなどのように車両中心に関して対称な構成要素の検出精度を向上することができると共に、車両中心線に基づいて回転補正を行って入力画像における構成要素間の距離を求めることにより、さらに車両の構成要素の検出精度を向上することができ、画像に歪みがある場合でも精度良く車種判別することができる。
【００４２】
なお、実施の形態２では、車両中心線を用いて判定する構成要素を、ウインカーのように一つの車両に２個存在し、それが車両中心線に対して線対称の位置関係にあるものとしたが、これに限定されるものではなく、車両中心線に対して線対称の位置関係にあるものであれば良い。例えば、フロントグリルのように、一つの車両に１個しかなく自らが車両中心線に対して線対称のものを含めても良い。
【００４３】
また、実施の形態１のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【００４４】
実施の形態３．
以下、この発明の実施の形態３を図を用いて説明する。図８は本実施の形態の概略構成を示すブロック図である。図８において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。２４は画像入力手段１に記憶された入力画像からナンバープレートを認識するナンバープレート認識手段である。
【００４５】
次に動作を図８〜図１０を用いて説明する。図９は本実施の形態の動作の流れを示すフローチャートである。図１０はナンバープレートの種類を示す略線図である。
【００４６】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態１のステップＳ１と同様に、画像を入力する（ステップＵ１）。
【００４７】
次にナンバープレート認識手段２４は、画像入力手段１に記憶された入力画像からナンバープレートを検出してナンバープレートの属性と文字を認識する（ステップＵ２）。ナンバープレートの検出と認識については、例えば「ナンバープレート認識装置の開発」（信学技報ＰＲＭＵ９６−４６、ｐｐ．６５〜７２）に記載の手法を用いる。ナンバープレートには、図１０に示すように、大型車両用の大型プレートと、中型車両用の中型プレートがある。またナンバープレートの右上の数字は車種を示す車種コードである。ナンバープレート認識手段２４は、ナンバープレートを検出し、ナンバープレートの属性（例えば、中型／大型プレートのどちらか）と車種コードの認識結果を出力する。
【００４８】
次に構成要素検出手段３は、ナンバープレート認識手段２４の認識結果に基づいて、構成要素辞書２を参照して撮像車両の構成要素を検出する（ステップＵ３）。本実施の形態では、構成要素辞書２の内容はナンバープレート属性及び車種コードに対応づけて格納されているものとする。例えば、中型で車種１桁目が３か５か７の構成要素、大型で車種１桁目が１か２の構成要素、というような構成で格納されているとする。構成要素検出手段３は、ナンバープレート認識手段２４で認識したナンバープレートの属性と車種コードに合致する範囲に限定して構成要素辞書２を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態１のステップＳ２と同じである。
【００４９】
次に構成要素決定手段５は、ナンバープレート認識手段２４の認識結果に基づいて、構成要素配置辞書４を参照して構成要素検出手段３で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する（ステップＵ４）。本実施の形態では、構成要素配置辞書４も、構成要素辞書２と同様に、内容はナンバープレート属性及び車種コードに対応づけて格納されているものとする。構成要素決定手段５は、ナンバープレート認識手段２４で認識したナンバープレートの属性と車種コードに合致する範囲に限定して構成要素配置辞書４を参照して車両構成要素の種類を決定する。それ以外は、実施の形態１のステップＳ３と同じである。
【００５０】
その後、実施の形態１と同様の手順で、車種判別手段７が構成要素決定手段５で決定した撮像車両の構成要素と車両辞書６とを照合して撮像車両の種別を判別し（ステップＵ５）、車種判別の動作を終了する。
【００５１】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、ナンバープレートの属性や車種コードの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００５２】
なお、実施の形態３では、ナンバープレートの属性と車種コードの認識結果に基づいて各辞書の参照範囲を限定する場合について説明したが、辞書の参照範囲を限定するものであればよく、これに限定されるものではない。例えば、ナンバープレートの属性のみで辞書の参照範囲を限定しても良い。この場合、車種コードを認識する必要がないので、より簡単な装置で、かつ、より高速に車種判別を実現できる。また、例えば、ナンバープレートの属性、車種コード及び色に基づいて辞書の参照範囲を限定しても良い。この場合、参照範囲をより狭く限定することができるため、さらに誤判別を低減することができる。
【００５３】
また、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【００５４】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【００５５】
実施の形態４．
以下、この発明の実施の形態４を図を用いて説明する。図１１は本実施の形態の概略構成を示すブロック図である。図１１において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。２５は画像入力手段１に記憶された入力画像から車体上のマークや文字を認識するマーク認識手段である。
【００５６】
次に動作を図１１〜図１３を用いて説明する。図１２は本実施の形態の動作の流れを示すフローチャートである。図１３は車体上のマークや文字を示す略線図である。
【００５７】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態１のステップＳ１と同様に、画像を入力する（ステップＶ１）。
【００５８】
次にマーク認識手段２５は、画像入力手段１に記憶された入力画像から車体上のマークや文字を認識する（ステップＶ２）。図１３においては、２６が車体上のマーク、２７が車体上の文字であるが、以降両者を含めてマークと呼ぶ。また、マークは一つであっても複数であっても良い。マークの認識については、例えば「情景画像からの文字パターン抽出と認識」（電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ７１−Ｄ、Ｎｏ．６、ｐｐ．１０３７〜１０４７）に記載の文字抽出／認識法を用いる。マーク認識手段２５は、入力画像から車体上のマークを検出し、マークの認識結果を出力する。
【００５９】
次に構成要素検出手段３は、マーク認識手段２５の認識結果に基づいて、構成要素辞書２を参照して撮像車両の構成要素を検出する（ステップＶ３）。本実施の形態では、構成要素辞書２の内容はマークと対応づけて格納されているものとする。構成要素検出手段３は、マーク認識手段２５で認識したマークに合致する範囲に限定して構成要素辞書２を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態１のステップＳ２と同じである。
【００６０】
次に構成要素決定手段５は、マーク認識手段２５の認識結果に基づいて、構成要素配置辞書４を参照して構成要素検出手段３で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する（ステップＶ４）。本実施の形態では、構成要素配置辞書４も、構成要素辞書２と同様に、内容はマークに対応づけて格納されているものとする。構成要素決定手段５は、マーク認識手段２５で認識したマークに合致する範囲に限定して構成要素配置辞書４を参照して撮像車両の構成要素の種類を決定する。それ以外は、実施の形態１のステップＳ３と同じである。
【００６１】
その後、実施の形態１と同様の手順で、車種判別手段７が構成要素決定手段５で決定した車両構成要素と車両辞書６とを照合して撮像車両の種別を判別し（ステップＶ５）、車種判別の動作を終了する。
【００６２】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、車体上のマークの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００６３】
なお、実施の形態４では、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【００６４】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【００６５】
実施の形態５．
以下、この発明の実施の形態５を図を用いて説明する。図１４は本実施の形態の概略構成を示すブロック図である。図１４において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。
【００６６】
次に、動作を図１４、図１５を用いて説明する。図１５は本実施の形態の動作の流れを示すフローチャートである。
【００６７】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態１のステップＳ１と同様に、画像を入力する（ステップＷ１）。
【００６８】
次にナンバープレート認識手段２４が、実施の形態３と同様の手順でナンバープレートを検出して認識し（ステップＷ２）し、認識結果としてナンバープレートの属性と車種コードを出力する。また、マーク認識手段２５が、実施の形態４と同様の手順で車体上のマークを検出して認識し（ステップＷ３）、車体上のマークを出力する。
【００６９】
次に構成要素検出手段３は、ナンバープレート認識手段２４及びマーク認識手段２５の認識結果に基づいて、構成要素辞書２を参照して撮像車両の構成要素を検出する（ステップＷ４）。本実施の形態では、構成要素辞書２の内容はナンバープレート属性、車種コード及びマークと対応づけて格納されているものとする。構成要素検出手段３は、ナンバープレート認識手段２４で認識した属性、車種コード及びマーク認識手段２５で認識したマークに合致する範囲に限定して構成要素辞書２を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態１のステップＳ２と同じである。
【００７０】
次に構成要素決定手段５は、ナンバープレート認識手段２４及びマーク認識手段２５の認識結果に基づいて、構成要素配置辞書４を参照して構成要素検出手段３で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する（ステップＷ５）。本実施の形態では、構成要素配置辞書４も、構成要素辞書２と同様に、内容はナンバープレート属性、車種コード及びマークに対応づけて格納されているものとする。構成要素決定手段５は、ナンバープレート認識手段２４で認識した属性、車種コード及びマーク認識手段２５で認識したマークに合致する範囲に限定して構成要素配置辞書４を参照して撮像車両の構成要素の種類を決定する。それ以外は、実施の形態１のステップＳ３と同じである。
【００７１】
その後、実施の形態１と同様の手順で、車種判別手段７が構成要素決定手段５で決定した撮像車両の構成要素と車両辞書６とを照合して入力画像中の車両の種別を判別し（ステップＷ６）、車種判別の動作を終了する。
【００７２】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、ナンバープレートの属性の認識結果、車種コードの認識結果及び車体上のマークの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別をさらに低減させることができる。また、車種判別の処理をさらに高速化することができる。
【００７３】
なお、実施の形態５では、ナンバープレート認識手段がナンバープレートの属性と車種コードを認識する場合について説明したが、これに限定されるものではない。例えば、ナンバープレートの属性のみを認識しても良い。この場合、車種コードを認識する必要がないので、より簡単な装置で、かつ、より高速に車種判別を実現できる。また、例えば、ナンバープレートの属性、車種コード及び色を認識しても良い。この場合、参照範囲をより狭く限定することができるため、さらに誤判別を低減することができる。
【００７４】
また、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【００７５】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【００７６】
【発明の効果】
以上のように、この発明の車種判別装置によれば、車両の複数の構成要素の候補領域を検出し、それらの位置関係の情報に基づいて種類を決定した構成要素を用いて車種を判別することにより、車両の各構成要素を正しく検出でき、安価な装置で精度良く車種判別することができる。また、全く検出できない構成要素があったとしても、他の構成要素の情報から精度良く車種判別することができる。
【００７７】
また、次の発明の車種判別装置によれば、前述の効果に加え、撮像車両の構成要素の種類を決定する際に、車両中心線を求め、その車両中心線を用いることにより、例えば、斜めに進入して来た車両を撮像し、画像に歪みがある場合でも精度良く車種判別できる。
【００７８】
また、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートを認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００７９】
さらにまた、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートの属性を認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００８０】
さらにまた、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートの車種コードを認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００８１】
また、次の発明の車種判別装置によれば、前述の効果に加え、車体上のマークや文字を認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【００８２】
また、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートを認識した認識結果と、車体上のマークや文字を認識した認識結果とに基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【図面の簡単な説明】
【図１】  実施の形態１及び２の車種判別装置の概略構成を示すブロック図である。
【図２】  実施の形態１における動作の流れを示すフローチャートである。
【図３】  実施の形態１における入力画像を示す略線図である。
【図４】  実施の形態１におけるエッジ画像と構成要素の候補領域を示す略線図である。
【図５】  実施の形態２における動作の流れを示すフローチャートである。
【図６】  実施の形態２における入力画像を示す略線図である。
【図７】  実施の形態２におけるエッジ画像と基準構成要素と車両中心線を示す略線図である。
【図８】  実施の形態３の車種判別装置の概略構成を示すブロック図である。
【図９】  実施の形態３における動作の流れを示すフローチャートである。
【図１０】  実施の形態３におけるナンバープレートの種別を説明するための略線図である。
【図１１】  実施の形態４の車種判別装置の概略構成を示すブロック図である。
【図１２】  実施の形態４における動作の流れを示すフローチャートである。
【図１３】  実施の形態４におけるマークを説明するための略線図である。
【図１４】  実施の形態５の車種判別装置の概略構成を示すブロック図である。
【図１５】  実施の形態５における動作の流れを示すフローチャートである。
【図１６】  従来の車種判別装置の概略構成を示すブロック図である。
【符号の説明】
１  画像入力手段                      ２  構成要素辞書
３  構成要素検出手段                  ４  構成要素配置辞書
５  構成要素決定手段                  ６  車両辞書
７  車種判別手段                      ２４  ナンバープレート認識手段
２５  マーク認識手段                  １０１  ナンバープレート認識手段
１０２  車幅検知手段                  １０３  車種判別手段
１０４  検索部
【図１】
0003959537.tif 000002
【図２】
0003959537.tif 000003
【図３】
0003959537.tif 000004
【図４】
0003959537.tif 000005
【図５】
0003959537.tif 000006
【図６】
0003959537.tif 000007
【図７】
0003959537.tif 000008
【図８】
0003959537.tif 000009
【図９】
0003959537.tif 000010
【図１０】
0003959537.tif 000011
【図１１】
0003959537.tif 000012
【図１２】
0003959537.tif 000013
【図１３】
0003959537.tif 000014
【図１４】
0003959537.tif 000015
【図１５】
0003959537.tif 000016
【図１６】
0003959537.tif 000017