(57)【要約】  車両の車体の少なくとも一部の特徴に基づいて車種を識別することができなかった場合でもその車両の車種を識別または推定することを可能とする為に、本開示の車種識別装置（２）は、複数の車種毎に、各車種の車体の少なくとも一部の特徴量を記憶した第１のデータベースと、前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴量を記憶した第２のデータベースとを格納した記憶部（１４）と、撮像画像から抽出された前記車体の少なくとも一部の特徴量に基づき第１のデータベースを参照して前記車両の車種を識別する第１の車種識別処理と、撮像画像から抽出された前記部品の特徴量に基づき第２のデータベースを参照して前記車両の車種を識別する第２の車種識別処理を行うプロセッサ（１５）とを備えた構成とする。
2017056399.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別装置であって、
複数の車種毎に、各車種の車体の少なくとも一部の特徴に関する情報を記憶した第１のデータベースと、
前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を記憶した第２のデータベースと、
前記撮像画像から前記車両の車体の少なくとも一部の特徴に関する情報を抽出し、抽出された前記車体の少なくとも一部の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別する第１の車種識別処理と、前記撮像画像から前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別する第２の車種識別処理を行うプロセッサとを備え、
前記プロセッサは、少なくとも、前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記第２の車種識別処理を行うことを特徴とする車種識別装置。
【請求項２】
前記部品の特徴に関する情報が、前記部品の特徴量であることを特徴とする請求項１に記載の車種識別装置。
【請求項３】
前記第２の車種識別処理は、前記撮像画像から抽出された前記部品の特徴量と、前記第２のデータベースに記憶されている前記部品の特徴量との類似度を算出し、算出された類似度に基づいて前記第２のデータベースを参照して前記車両の車種を識別することを特徴とする請求項２に記載の車種識別装置。
【請求項４】
前記第２の車種識別処理は、
前記第２のデータベースに記憶されている部品における前記類似度が最も高かった部品に対応する車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項５】
前記第２の車種識別処理は、
前記第２のデータベースに記憶されている部品における前記類似度が予め定められた閾値を超えた部品に対応する車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項６】
前記第２の車種識別処理は、
前記部品毎に車種を識別し、前記部品毎に、前記第２のデータベースに記憶されている部品における前記類似度が最も高かった部品に対応する車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項７】
前記第２のデータベースは、前記部品を有する車種の製造メーカをさらに記憶しており、
前記第２の車種識別処理は、
前記部品毎に、該部品を有する車種の製造メーカを識別し、前記部品毎に識別された車種の製造メーカが予め定められた数以上存在した場合に、その製造メーカ名を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の車種識別装置と、
車両を撮像するための撮像装置と
を備えた車種識別システム。
【請求項９】
撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別方法であって、
複数の車種毎に、各車種の車体の少なくとも一部の特徴に関する情報を記憶した第１のデータベースと、および前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を記憶した第２のデータベースを用意するステップと、
前記撮像画像から前記車両の車体の少なくとも一部の特徴に関する情報を抽出し、抽出された前記車体の少なくとも一部の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別するステップと、
少なくとも、前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記撮像画像から前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別するステップと
を有することを特徴とする車種識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別装置およびこれを備えた車種識別システムならびに車種識別方法に関する。
【背景技術】
【０００２】
従来、個々の車両の特定は、ナンバープレートの番号により行われている。しかし、ナンバープレートの番号以外にも、その車両の車種が分かれば、個々の車両をより詳細に特定することが可能となる。なお、ここで言う車種とは、製造メーカが、車両の種類毎に、その車両に付けた名称（通称名）のことである。例えば、駐車場や施設等の入出ゲートにおいてセキュリティ等を目的として個々の車両を特定する場合は、その車両のナンバープレートの番号だけでなく、その車両の車種も分かった方が、その車両をより詳細に特定することができるので有益である。【０００３】
そこで、撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別するための様々な技術が提案されている（例えば、特許文献１）。特許文献１の従来技術では、車両の種類毎に、その車両の車種と、その車両のフロント部分の特徴量とを対応付けてデータベースに登録しておき、撮像画像から抽出したフロント部分の特徴量を、データベースに登録されているフロント部分の特徴量と照合することにより車種を識別している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０２４６６号公報
【発明の概要】
【０００５】
しかしながら、上記特許文献１の従来技術では、車両のフロント部分、すなわち車両の車体の少なくとも一部の特徴（例えば、形状等の外観）に基づく車種識別用データがデータベースに登録されていない車両については、車種を識別することができないという問題があった。特に、新型車が発売された場合、その車両の車体の少なくとも一部（例えば、フロント部分やリア部分）の特徴に基づく車種識別用データがデータベースに登録されるまでは、その車両については車種を識別することができなかった。
【０００６】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、車両の車体の少なくとも一部の特徴に基づいて車種を識別することができなかった場合でもその車両の車種を識別または推定することが可能な車種識別装置およびこれを備えた車種識別システムならびに車種識別方法を提供することを主目的とする。
【０００７】
本開示の車種識別装置は、撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別装置であって、複数の車種毎に、各車種の車体の少なくとも一部の特徴に関する情報を記憶した第１のデータベースと、前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を記憶した第２のデータベースと、前記撮像画像から前記車両の車体の少なくとも一部の特徴に関する情報を抽出し、抽出された前記車体の少なくとも一部の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別する第１の車種識別処理と、前記撮像画像から前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別する第２の車種識別処理を行うプロセッサとを備え、前記プロセッサは、少なくとも、前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記第２の車種識別処理を行うことを特徴とする。
【０００８】
本開示によれば、車両の車体の少なくとも一部の特徴に基づいて車種を識別することができなかった場合でもその車両の車種を識別または推定することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本開示の車種識別システムを実現するためのハードウェア構成を示すブロック図である。
【図２Ａ】図２Ａは、カメラ（撮像画像）により略正面から撮像された車両の撮像画像を示す図である。
【図２Ｂ】図２Ｂは、図２Ａの撮像画像から抽出した、車両のフロント部分の画像を示す図である。
【図３Ａ】図３Ａは、第１のデータベースの一例を示す図である。
【図３Ｂ】図３Ｂは、第２のデータベースの一例を示す図である。
【図４】図４は、プロセッサによる車種識別処理の流れを示すフロー図である。
【図５Ａ】図５Ａは、スコアが最も高かった部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｂ】図５Ｂは、スコアが予め定められた閾値を超えた部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｃ】図５Ｃは、部品の種類毎に車種を識別し、部品の種類毎に、スコアが最も高かった部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｄ】図５Ｄは、スコアが上位３位の部品に対応付けられた製造メーカが同一であった場合に、その製造メーカを識別結果とする例を示す図である。
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の開示は、撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別装置であって、複数の車種毎に、各車種の車体の少なくとも一部の特徴に関する情報を記憶した第１のデータベースと、前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を記憶した第２のデータベースと、前記撮像画像から前記車両の車体の少なくとも一部の特徴に関する情報を抽出し、抽出された前記車体の少なくとも一部の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別する第１の車種識別処理と、前記撮像画像から前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別する第２の車種識別処理を行うプロセッサとを備え、前記プロセッサは、少なくとも、前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記第２の車種識別処理を行うことを特徴とする。
【００１１】
この第１の開示に係る車種識別装置によれば、車両の車体の少なくとも一部の特徴に基づく車種識別処理（第１の車種識別処理）により車体の車種を識別することができなかった場合でも、車両の車体の少なくとも一部内に含まれる部品の特徴に基づく車種識別処理（第２の車種識別処理）により車両の車種を識別することができる。これにより、例えば新型車等の、車体の少なくとも一部の特徴に基づく車種識別用データがデータベースに登録されていない車両についても、その車両の車種を識別することが可能となる。また、第１の車種識別処理により車体の車種を識別することができた場合でも、第２の車種識別処理を行うようにしてもよい。このようにすると、車種識別の精度を高めることが可能となる。
【００１２】
また、第２の開示では、上記第１の開示において、前記部品の特徴に関する情報が、前記部品の特徴量であることを特徴とする。
【００１３】
この第２の開示に係る車種識別装置によれば、プロセッサは、車体の少なくとも一部または前記部品の特徴量を用いて、第１または第２の車種識別処理を簡単かつ高精度で行うことができる。
【００１４】
また、第３の開示では、上記第２の開示において、前記撮像画像から抽出された前記部品の特徴量と、前記第２のデータベースに記憶されている前記部品の特徴量との類似度を算出し、算出された類似度に基づいて前記第２のデータベースを参照して前記車両の車種を識別することを特徴とする。
【００１５】
この第３の開示に係る車種識別装置によれば、プロセッサは、上記類似度を用いて、第２の車種識別処理を簡単かつ高精度で行うことができる。
【００１６】
また、第４の開示では、上記第３の開示において、前記第２の車種識別処理は、前記第２のデータベースに記憶されている部品における前記類似度が最も高かった部品に対応する車種を識別結果とすることを特徴とする。
【００１７】
この第４の開示に係る車種識別装置によれば、車両の車体の少なくとも一部内に含まれる部品の特徴量に基づいて、車両の車種を識別することができる。
【００１８】
また、第５の開示では、上記第３の開示において、前記第２の車種識別処理は、前記第２のデータベースに記憶されている部品における前記類似度が予め定められた閾値を超えた部品に対応する車種を識別結果とすることを特徴とする。
【００１９】
この第５の開示に係る車種識別装置によれば、車両の車体の少なくとも一部に含まれる部品の特徴量に基づいて、車両に該当する可能性の高い車種を識別することができる。これにより、上記の識別結果に基づいて、車両の車種を推定することが可能となる。
【００２０】
また、第６の開示では、上記第３の開示において、前記第２の車種識別処理は、前記部品毎に車種を識別し、前記部品毎に、前記第２のデータベースに記憶されている部品における前記類似度が最も高かった部品に対応する車種を識別結果とすることを特徴とする。
【００２１】
この第６の開示に係る車種識別装置によれば、車両の車体の少なくとも一部内に含まれる部品の特徴量に基づいて、前記部品毎に車種を識別することができる。これにより、部品毎の識別結果に基づいて、車両の車種を推定することが可能となる。
【００２２】
また、第７の開示では、上記第３の開示において、前記第２のデータベースは、前記部品を有する車種の製造メーカをさらに記憶しており、前記第２の車種識別処理は、前記部品毎に、該部品を有する車種の製造メーカを識別し、前記部品毎に識別された車種の製造メーカが予め定められた数以上存在した場合に、その製造メーカ名を識別結果とすることを特徴とする。
【００２３】
この第７の開示に係る車種識別装置によれば、車両の車体の少なくとも一部内に含まれる部品の特徴量に基づいて、その部品を有する車種の製造メーカを識別することができる。これにより、車両の車種を識別することができなかった場合でも、その部品を有する車種の製造メーカを識別することが可能となる。
【００２４】
また、第８の開示は、上記第１の開示ないし第７の開示のいずれかに車種識別装置と、車両を撮像するための撮像装置とを備えた車種識別システムである。
【００２５】
また、第９の開示は、撮像装置により撮像された車両の撮像画像に基づいて前記車両の車種を識別する車種識別方法であって、複数の車種毎に、各車種の車体の少なくとも一部の特徴に関する情報を記憶した第１のデータベースと、および前記車種毎に、各車種の前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を記憶した第２のデータベースを用意するステップと、前記撮像画像から前記車両の車体の少なくとも一部の特徴に関する情報を抽出し、抽出された前記車体の少なくとも一部の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別するステップと、少なくとも、前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記撮像画像から前記車体の少なくとも一部内に含まれる部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別するステップとを有することを特徴とする。
【００２６】
以下、本開示の実施形態について、図面を参照しながら説明する。
【００２７】
本開示に係る車種識別システムは、撮像装置により撮像された車両の撮像画像に基づき、車種識別用データが予め記憶されたデータベースを参照して前記車両の車種を識別するためのシステムであり、例えば、駐車場や施設等の入出ゲートでのセキュリティ等に利用可能である。以下では、本開示に係る車種識別システムを、駐車場の入出ゲートに適用した場合について説明する。
【００２８】
本実施形態では、車体の少なくとも一部として車体のフロント部分（車体の前側部分）を用いる。しかし、車体の少なくとも一部は、これに限定されるものではなく、車体のリア部分（後側部分）、サイド部分（横側部分）、トップ部分（上側部分）、または他の部分であってもよい。
【００２９】
図１は、本開示の車種識別システムを実現するためのハードウェア構成を示すブロック図である。図１に示すように、本開示に係る車種識別システム１を実現するためのハードウェア構成は、カメラ（撮像装置）１１、表示部１２、入力部１３、記憶部１４、プロセッサ１５、およびそれらを接続するバス１６を含む。記憶部１４およびプロセッサ１５は、本開示の車種識別装置２の構成要素である。
【００３０】
カメラ１１は、例えばＣＣＤカメラ等の一般的な撮像装置であり、駐車場や施設の入出ゲートの近傍に配置され、駐車場の入出ゲートに接近する車両２１を略正面（略前方）から撮像する。図２Ａは、カメラ１１により略正面から撮像された車両２１の撮像画像の一例を示す図である。カメラ１１で撮像された撮像画像はプロセッサ１５に入力される。なお、カメラ１１は、車両２１を略正面から撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
【００３１】
表示部１２は、例えばモニタ（ディスプレイ）等の一般的な表示装置であり、プロセッサ１５での処理結果の表示等に使用される。識別結果は、詳細については後述するが、図５に示すように、識別対象の車両２１の車種または製造メーカである。なお、プロセッサ１５での処理結果は、表示部１２ではなく、セキュリティシステムや管理システム等の外部のシステムに出力するようにしてもよい。
【００３２】
入力部１３は、例えば、キーボードやマウス等の入力デバイス、または各種のデータ入力装置であり、ユーザが車種識別装置２に各種の命令を入力したり、データベースの情報を変更または更新したりするのに使用される。
【００３３】
記憶部１４は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、車種識別装置２の各機能を実現するための各種プログラムおよび各種データ、ならびに、車種識別処理に用いられるデータベースを格納している。
【００３４】
車種識別用データを記憶したデータベースには、複数の車種毎に、車両２１のフロント部分２２（図２Ｂ参照）の特徴に関する情報を記憶した第１のデータベースＤＢ１と、前記車種毎に、車両２１のフロント部分２２内に含まれる部品２３と、その部品の特徴に関する情報を記憶した第２のデータベースＤＢ２との２つがある。ここで言う特徴とは、例えば形状等の、外観的特徴である。本実施形態では、フロント部分２２および部品２３の特徴に関する情報として、特徴量を用いる。車両２１のフロント部分２２および部品２３の特徴に関する情報は特徴量として数値化されており、数値として第１のデータベースＤＢ１および第２のデータベースＤＢ２に記憶されている。
【００３５】
図３Ａは、第１のデータベースＤＢ１の一例を示す図である。図３Ａに示すように、第１のデータベースＤＢ１は、車両のフロント部分の特徴量（以降、「フロント特徴量」と称する）に、車種および製造メーカを対応付けて記憶している。なお、前述したように、本実施形態では、車種とは、製造メーカが、車両の種類毎に、その車両に付けた名称（通称名）のことである。なお、車種は、その車両に付けられた名称に限らず、型番等の車両を識別するための情報であってもよい。また、車種は、「製造年＋その車両に付けられた名称」のような、その車両に付けられた名称に、その車両を分類して特定するための情報を付加したものであってもよい。
【００３６】
図３Ａの例では、フロント特徴量「Ｆ１」に、車種「Ａ」および製造メーカ「Ｘ社」が、フロント特徴量「Ｆ２」に、車種「Ｂ」および製造メーカ「Ｙ社」が、フロント特徴量「Ｆ３」に、車種「Ｃ」および製造メーカ「Ｚ社」が、それぞれ対応付けて記憶されている。なお、フロント特徴量Ｆは、実際には、例えば、多次元の浮動小数点ベクトルで表現される数値である。
【００３７】
図３Ｂは、第２のデータベースＤＢ２の一例を示す図である。図３Ｂに示すように、第２のデータベースＤＢ２は、部品の特徴量（以降、「部品特徴量」と称する）に、部品、車種および製造メーカを対応付けて記憶している。なお、部品とは、ヘッドライト、フロントグリル、バンパー等の車両パーツのことである。
【００３８】
図３Ｂの例では、部品特徴量「Ｐ１」に、部品「フロントグリル」、車種「Ａ」および製造メーカ「Ｘ社」が、部品特徴量「Ｐ２」に、部品「バンパー」、車種「Ｄ」および製造メーカ「Ｚ社」が、部品特徴量「Ｐ３」に、部品「ウインカーランプ」、車種「Ｅ」および製造メーカ「Ｙ社」が、部品特徴量「Ｐ４」に、部品「ヘッドライト」、車種「Ａ」および製造メーカ「Ｙ社」が、部品特徴量「Ｐ５」に、部品「バンパー」、車種「Ｂ」および製造メーカ「Ｙ社」が、部品特徴量「Ｐ６」に、部品「ヘッドライト」、車種「Ｅ」および製造メーカ「Ｚ社」が、それぞれ対応付けて記憶されている。なお、部品特徴量Ｐは、実際には、例えば、多次元の浮動小数点ベクトルで表現される数値である。
【００３９】
プロセッサ１５は、例えばＣＰＵであり、記憶部１４から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出すとともに、記憶部１４に格納されている上記の第１のデータベースＤＢ１および第２のデータベースＤＢ２を参照して、車種識別装置２の各処理を実行する。具体的には、プロセッサ１５は、カメラ１１から入力された撮像画像（図２Ａ）参照）に基づいて、その撮像画像内に存在する車両２１の車種を識別する。また、プロセッサ１５は、車種識別システム１全体の制御を統括的に実行する。
【００４０】
図４は、プロセッサ１５による車種識別処理の流れを示すフロー図である。図４を参照して、プロセッサ１５による車種識別処理の流れを説明する。
【００４１】
まず、カメラ１１から入力された撮像画像内に車両２１が存在するか否かを判定する（ステップＳＴ１０１）。車両２１の存在の有無は、例えば、車両２１のナンバープレート２４の存在の有無により判定することができる。ナンバープレート２４が存在する場合は、撮像画像内に車両２１が存在すると判定し、ナンバープレート２４が存在しない場合は、撮像画像内に車両２１が存在しないと判定する。ナンバープレート２４の存在の有無の判定は、例えば、従来公知のテンプレートマッチングを用いて行うことができる。なお、車両２１の存在の有無の判定は、ナンバープレート２４の存在の有無ではなく、車両の特徴（例えば、形状等の外観）について予め機械学習することにより構築した車両検出器を用いて行ってもよい。
【００４２】
撮像画像内に車両２１が存在すると判定された場合（ステップＳＴ１０１：Ｙｅｓ）は、ステップＳＴ１０２に進み、撮像画像内に車両２１が存在しないと判定された場合（ステップＳＴ１０１：Ｎｏ）は、ステップＳＴ１０１に戻る。
【００４３】
ステップＳＴ１０２では、撮像画像から、車両２１のフロント部分２２の画像（以降、「フロント画像」と称する）を抽出する。図２Ｂは、撮像画像（図２Ａ参照）から抽出したフロント画像の一例を示す図である。図２Ｂに示すように、フロント部分２２内には、ヘッドライト、フロントグリル、バンパー、ウインカーランプ、フロントスポイラー等の部品２３が含まれている（図２Ｂではヘッドライトにのみ符号を付している）。
【００４４】
フロント画像の抽出は、従来公知の方法を用いて行うことができる。例えば、フロント画像の抽出は、撮像画像内における車両２１のナンバープレート２４の位置に基づいて、撮像画像から所定範囲の領域を切り出すことによって行うとよい。この場合、ナンバープレート２４の周囲の所定範囲の領域を車両２１のフロント部分２２の領域とみなす。また、フロント画像の抽出は、ナンバープレート２４の位置ではなく、フロント部分の特徴（例えば、形状等の外観）について予め機械学習することにより構築したフロント検出器を用いて行ってもよい。
【００４５】
続いて、フロント画像から車両２１のフロント部分２２の特徴量（以降、「フロント特徴量」と称する）を取得する（ステップＳＴ１０３）。フロント特徴量の取得は、例えば、デンスシフト（Dense SIFT：Dense Scale Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）等の従来公知の局所特徴量の技術を用いて行うことができる。
【００４６】
次に、フロント特徴量に基づいて、車両２１の車種が第１のデータベースＤＢ１に登録されているか否かを判定する（ステップＳＴ１０４）。具体的には、フロント画像から取得したフロント特徴量に基づいて、車両２１が第１のデータベースＤＢ１に登録されている車種であることの尤度を求め、求められた尤度が予め定められた閾値を超えたか否かを判定する。求められた尤度が予め定められた閾値を超えた場合は、車両２１の車種は第１のデータベースＤＢ１に登録されていると判定し、求められた尤度が予め定められた閾値以下であった場合は、車両２１は第１のデータベースＤＢ１に登録されていないと判定する。
【００４７】
車両２１の車種が第１のデータベースＤＢ１に登録されていると判定された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５に進み、車両２１の車種が第１のデータベースＤＢ１に登録されていないと判定された場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０７に進む。
【００４８】
ステップＳＴ１０５では、フロント画像から取得したフロント特徴量に基づく車両２１の車種の識別処理（第１の車種識別処理）を行う。具体的には、フロント画像から取得したフロント特徴量と、第１のデータベースＤＢ１に記憶されているフロント特徴量との類似度を算出する。類似度はスコアとして算出し、算出されたスコアが最も高かった車種を、車両２１の車種と識別する。
【００４９】
ステップＳＴ１０５での第１の車種識別処理の終了後、識別結果である車両２１の車種を記憶部１４に格納し（ステップＳＴ１０６）、その後、処理を終了する。記憶部１４に格納された識別結果は、所望に応じて、表示部１２に表示されるか、または、外部のセキュリティシステムや管理システム等の外部のシステムに出力される。
【００５０】
ステップＳＴ１０７では、フロント画像から、フロント部分２２内に含まれる部品２３の画像（以降、「部品画像」と称する）を抽出する。部品画像は、部品毎に抽出する。部品画像の抽出は、撮像画像からフロント画像を抽出する場合と同様に、従来公知の方法を用いて行うことができる。例えば、部品毎に、部品の特徴（例えば、形状等の外観）について予め機械学習することにより構築した部品検出器を用いて行うとよい。
【００５１】
続くステップＳＴ１０８では、部品画像から、部品２３の特徴量（以降、「部品特徴量」と称する）を取得する。部品特徴量の取得は、フロント特徴量を取得する場合と同様に、デンスシフトやＨＯＧ等の従来公知の局所特徴量の技術を用いて行うことができる。
【００５２】
次に、ステップＳＴ１０９では、部品毎に、類似度を判定する。具体的には、部品画像から取得した部品特徴量と、第２のデータベースＤＢ２に記憶されている部品特徴量との類似度をスコアとして算出する。
【００５３】
そして、ステップＳＴ１１０では、ステップＳＴ１０９で算出された類似度（スコア）に基づいて、車両２１の車種の識別処理（第２の車種識別処理）を行う。この識別処理は、下記の（１）〜（４）の識別方法のいずれかにより行うことができる。
【００５４】
（１）第２のデータベースＤＢ２に記憶されている全部品中で、スコアが最も高かった部品と、その部品に対応する車種を識別結果とする。例えば、第２のデータベースＤＢ２に記憶されている全部品中で、フロントグリルのスコアが最も高く、そのフロントグリルに部品に対応する車種がＡであった場合は、車両２１の車種はＡと識別する。この識別結果を表示部１２に表示する際は、図５Ａに示すように、「部品：フロントグリル、車種：Ａ」と表示する。このようにして、フロント部分２２内に含まれる部品２３の特徴量に基づいて、車両２１の車種を識別することができる。また、ＳＴ１０４でＮｏであった場合は、車両２１は新車種（すなわち、販売されてから間もない、第１のデータベースＤＢ１に登録されていない車種）である可能性が高い。本開示の開示によれば、このような場合であっても、車両２１が既存の車種と部分的に類似していることを、車種識別装置２のユーザに伝えることができる。車両２１が既存の車種と部分的に類似しているということは、車両２１が当該既存の車種の後継車種等であることを推定させる材料となる。よって、車両２１が新車種である場合でも、車両２１が既存の車種と部分的に類似していることユーザに伝えることにより、ユーザが、車両２１に該当する車種をある程度絞り込んで推定することが可能となる。
【００５５】
（２）第２のデータベースＤＢ２に記憶されている全部品中で、スコアが予め定められた閾値を超えた部品と、その部品に対応する車種を識別結果とする。例えば、第２のデータベースＤＢ２に記憶されている全部品中で、スコアが予め定められた閾値を超えた部品が５つ含まれる場合は、それら５つの部品と、各部品に対応する車種を全て挙げる。この識別結果を表示部１２に表示する際は、例えば、図５Ｂに示すように、「部品：ウインカーランプ、車種：Ｅ」、「部品：バンパー、車種：Ｂ」「部品：ヘッドライト、車種：Ａ」、「部品：フロントグリル、車種：Ａ」、「部品：ヘッドライト、車種：Ｅ」と表示する。このようにして、フロント部分２２内に含まれる部品２３の特徴量に基づいて、車両２１に該当する可能性の高い車種を識別することができる。図５Ｂの例では、車両２１に該当する可能性の高い車種として、Ｅ、Ｂ、Ａの３つの車種が識別されているので、車両２１の車種は、Ｅ、Ｂ、Ａのいずれかである可能性が高いと推定することができる。
【００５６】
（３）部品毎に車種を識別し、部品毎に、第２のデータベースＤＢ２に記憶されている全部品中で、スコアが最も高かった部品の部品と、その部品に対応する車種を識別結果とする。例えば、全ヘッドライト中でのスコアが最も高かったヘッドライトに対応する車種がＡであり、全フロントグリル中でのスコアが最も高かったフロントグリルに対応する車種がＡであり、全バンパー中でのスコアが最も高かったバンパーに対応する車種がＤであった場合は、ヘッドライトについての車種はＡであり、フロントグリルについての車種はＡであり、バンパーについての車種はＤであると識別する。この識別結果を表示部１２に表示する際は、図５Ｃに示すように、「部品：ヘッドライト、車種：Ａ」、「部品：フロントグリル、車種：Ａ」、「部品：バンパー、車種：Ｄ」と表示する。このようにして、フロント部分２２内に含まれる部品２３の特徴量に基づいて、部品２３毎に、車種を識別することができる。図５Ｃの例では、ヘッドライトおよびフロントグリルの車種がＡであり、バンパーの車種がＤであると識別されているので、車両２１の車種は、ＡまたはＤである可能性が高いと推定することができる。
【００５７】
（４）第２のデータベースＤＢ２を参照して、部品毎に、その部品を有する車種の製造メーカを識別し、その識別結果に基づき車両２１が特定の製造メーカ製であると推認される場合は、その製造メーカ名を識別結果とする。具体的には、部品毎に推定された車種の製造メーカが、予め定められた数以上存在した場合に、その製造メーカ名を識別結果とする。さらに、スコアが、最上位から予め定められた順位までの複数の部品に対応する製造メーカが互いに同一であった場合に、その製造メーカを識別結果としてもよい。例えば、予め定められた順位が３位までであり、スコアが最上位から３位までの３つの部品に対応する製造メーカが複数の部品に対応する製造メーカが互いに同一であった場合に、その製造メーカを識別結果とする。この場合、図５Ｄに示すように、「部品：ヘッドライト、車種：Ａ、製造メーカ：Ｙ社」、「部品：ウインカーランプ、車種：Ｅ、製造メーカ：Ｙ社」、「部品：バンパー、車種：Ｂ、製造メーカ：Ｙ社」と表示する。このようにして、フロント部分２２内に含まれる部品２３の特徴量に基づいて、その部品２３を有する車種の製造メーカを識別することができる。図５Ｄの例では、上位３位の部品に対応する製造メーカが全てＹ社であるので、車両２１の製造メーカがＹ社であると識別することができる。
【００５８】
ステップＳＴ１１０での第２の車種識別処理の終了後は、ステップＳＴ１０６に進む。ステップＳＴ１０６では、上記の（１）〜（４）の識別方法での識別結果を記憶部１４に格納し、その後、処理を終了する。記憶部１４に格納された識別結果は、所望に応じて、表示部１２に表示されるか、または、外部のセキュリティシステムや管理システム等の外部のシステムに出力される。なお、図５Ａ〜Ｃの例では、部品と車種しか表示していないが、製造メーカをさらに表示してもよい。
【００５９】
以上のように、本実施形態によれば、車両２１のフロント部分２２の特徴量に基づく識別処理（第１の車種識別処理）により車両２１の車種を識別することができなかった場合でも、フロント部分２２内に含まれる部品２３の特徴量に基づく識別処理（第２の車種識別処理）により車両２１の車種を識別または推定することができる。したがって、例えば新型車等の、車両のフロント部分の特徴量に基づく車種識別用データがデータベースに登録されていない車両についても、その車両の車種を識別または推定することが可能となる。
【００６０】
なお、本実施形態では、第１の車種識別処理により車両２１の車種を識別することができなかった場合に、第２の車種識別処理を行うように構成したが、第１の車種識別処理により車種を識別することができた場合にも、第２の車種識別処理を行うようにしてもよい。このようにすると、車種識別の精度を高めることが可能となる。
【００６１】
また本実施形態では、フロント部分および部品の特徴に関する情報として、特徴量を用いたが、特徴量の代わりに、テンプレートマッチングに用いるテンプレート画像を用いてもよい。この場合は、第１のデータベースＤＢ１および第２のデータベースＤＢ２に、前記テンプレート画像を予め記憶させておく必要がある。
【００６２】
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る車種識別装置およびこれを備えた車種識別システムならびに車種識別方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６３】
本開示に係る車種識別装置およびこれを備えた車種識別システムならびに車種識別方法は、車体の少なくとも一部の特徴に基づいて車種を識別することができなかった場合でもその車両の車種を識別または推定することを可能とする車種識別装置およびこれを備えた車種識別システムならびに車種識別方法等として有用である。
【符号の説明】
【００６４】
１  車種識別システム
２  車種識別装置
１１  カメラ（撮像装置）
１２  表示部
１３  入力部
１４  記憶部
１５  プロセッサ
１６  バス
２１  車両
２２  フロント部分
２３  部品
ＤＢ１  第１のデータベース
ＤＢ２  第２のデータベース
【図１】
2017056399.tif 000003
【図２Ａ】
2017056399.tif 000004
【図２Ｂ】
2017056399.tif 000005
【図３Ａ】
2017056399.tif 000006
【図３Ｂ】
2017056399.tif 000007
【図４】
2017056399.tif 000008
【図５Ａ】
2017056399.tif 000009
【図５Ｂ】
2017056399.tif 000010
【図５Ｃ】
2017056399.tif 000011
【図５Ｄ】
2017056399.tif 000012
【手続補正書】
【提出日】平成30年3月6日(2018.3.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【図１】図１は、本開示の車種識別システムを実現するためのハードウェア構成を示すブロック図である。
【図２Ａ】図２Ａは、カメラ（撮像装置）により略正面から撮像された車両の撮像画像を示す図である。
【図２Ｂ】図２Ｂは、図２Ａの撮像画像から抽出した、車両のフロント部分の画像を示す図である。
【図３Ａ】図３Ａは、第１のデータベースの一例を示す図である。
【図３Ｂ】図３Ｂは、第２のデータベースの一例を示す図である。
【図４】図４は、プロセッサによる車種識別処理の流れを示すフロー図である。
【図５Ａ】図５Ａは、スコアが最も高かった部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｂ】図５Ｂは、スコアが予め定められた閾値を超えた部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｃ】図５Ｃは、部品の種類毎に車種を識別し、部品の種類毎に、スコアが最も高かった部品に対応付けられた車種を識別結果とする例を示す図である。
【図５Ｄ】図５Ｄは、スコアが上位３位の部品に対応付けられた製造メーカが同一であった場合に、その製造メーカを識別結果とする例を示す図である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、第３の開示では、上記第２の開示において、前記第２の車種識別処理は、前記撮像画像から抽出された前記部品の特徴量と、前記第２のデータベースに記憶されている前記部品の特徴量との類似度を算出し、算出された類似度に基づいて前記第２のデータベースを参照して前記車両の車種を識別することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
部品毎に車種を識別し、部品毎に、第２のデータベースＤＢ２に記憶されている全部品中で、スコアが最も高かった部品と、その部品に対応する車種を識別結果とする。例えば、全ヘッドライト中でのスコアが最も高かったヘッドライトに対応する車種がＡであり、全フロントグリル中でのスコアが最も高かったフロントグリルに対応する車種がＡであり、全バンパー中でのスコアが最も高かったバンパーに対応する車種がＤであった場合は、ヘッドライトについての車種はＡであり、フロントグリルについての車種はＡであり、バンパーについての車種はＤであると識別する。この識別結果を表示部１２に表示する際は、図５Ｃに示すように、「部品：ヘッドライト、車種：Ａ」、「部品：フロントグリル、車種：Ａ」、「部品：バンパー、車種：Ｄ」と表示する。このようにして、フロント部分２２内に含まれる部品２３の特徴量に基づいて、部品２３毎に、車種を識別することができる。図５Ｃの例では、ヘッドライトおよびフロントグリルの車種がＡであり、バンパーの車種がＤであると識別されているので、車両２１の車種は、ＡまたはＤである可能性が高いと推定することができる。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の車種毎に、各車種の車体の少なくとも一部であって１つ以上の部品を含む部分全体の特徴に関する情報を記憶した第１のデータベースと、
前記車種毎に、前記１つ以上の部品それぞれの特徴に関する情報を記憶した第２のデータベースと、
前記撮像画像から車両の車体の部分全体の特徴に関する情報を抽出し、抽出された前記部分全体の特徴に関する情報に基づき前記第１のデータベースを参照して前記車両の車種を識別する第１の車種識別処理と、
前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記第１の車種識別処理で用いた前記部分全体に含まれる１つ以上の部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別する第２の車種識別処理を行うプロセッサと、
を備える車種識別装置。
【請求項２】
前記部品の特徴に関する情報が、前記部品の特徴量であることを特徴とする請求項１に記載の車種識別装置。
【請求項３】
前記第２の車種識別処理は、前記撮像画像から抽出された前記部品の特徴量と、前記第２のデータベースに記憶されている前記部品の特徴量との類似度を算出し、算出された類似度に基づいて前記第２のデータベースを参照して前記車両の車種を識別することを特徴とする請求項２に記載の車種識別装置。
【請求項４】
前記第２の車種識別処理は、
前記１つ以上の部品のうち、前記類似度が最も高かった部品に対応する車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項５】
前記第２のデータベースにおいて、部品毎に複数の特徴量と複数の車種とが対応付けられており、
前記第２の車種識別処理は、
前記部品の特徴量の類似度が予め定められた閾値を超えた車種が前記複数の車種のうち２つ以上ある場合、前記複数の車種のうち２つ以上の車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項６】
前記第２のデータベースにおいて、部品毎に複数の特徴量と複数の車種とが対応付けられており、
前記第２の車種識別処理は、
前記部品に対応する複数の車種のうち、前記類似度が最も高かった特徴量に対応する車種を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項７】
前記第２のデータベースは、前記部品を有する車種の製造メーカをさらに記憶しており、
前記第２の車種識別処理は、
前記部品毎に、該部品を有する車種の製造メーカを識別し、前記部品毎に識別された車種の製造メーカが予め定められた数以上存在した場合に、その製造メーカ名を識別結果とすることを特徴とする請求項３に記載の車種識別装置。
【請求項８】
前記プロセッサは、前記第１の車種識別処理により前記車種を識別することができた場合、前記第２の車種識別処理を行わないことを特徴とする請求項１に記載の車種識別装置。
【請求項９】
前記第２の車種識別処理は、
前記部分全体に複数の部品が含まれている場合、前記複数の部品それぞれについて前記車種の識別を行い、前記複数の部品それぞれと前記識別された車種との関連を示す識別結果を設定することを特徴とする請求項１に記載の車種識別装置。
【請求項１０】
請求項１に記載の車種識別装置と、
車両を撮像するための撮像装置と
を備えた車種識別システム。
【請求項１１】
複数の車種毎に、各車種の車体の少なくとも一部であって１つ以上の部品を含む部分全体の特徴に関する情報を記憶した第１のデータベースと、前記車種毎に、前記１つ以上の部品それぞれの特徴に関する情報を記憶した第２のデータベースを用意するステップと、
前記撮像画像から前記部分全体の特徴に関する情報を抽出し、抽出された前記部分全体の特徴に関する情報に基づき前記第１のデータベースを参照して車両の車種を識別する第１の車種識別処理を行うステップと、
前記第１の車種識別処理により前記車両の車種を識別することができなかった場合に、前記第１の車種識別処理で用いた前記部分全体に含まれる１つ以上の部品の特徴に関する情報を抽出し、抽出された前記部品の特徴に関する情報に基づき前記第２のデータベースを参照して前記車両の車種を識別するステップと
を有することを特徴とする車種識別方法。
【国際調査報告】
2017056399.tif 000013
2017056399.tif 000014
2017056399.tif 000015
2017056399.tif 000016