(57)【特許請求の範囲】
【請求項１】
解析対象画像の中から参照画像に基づく物体を認識する画像解析装置であって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする画像解析装置。
【請求項２】
前記参照用類似特徴点検出手段は、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項１に記載の画像解析装置。
【請求項３】
解析対象画像の中から参照画像に基づく物体を認識するためのものであって、参照画像用の第１の装置と、解析対象画像用の第２の装置とを有する画像解析システムであって、
第１の装置は、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、前記参照用分布密度検出手段によって検出された分布密度と、前記参照用代表特徴点選択手段によって検出された代表特徴点とが、第２の装置へ送信され、
第２の装置は、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。
【請求項４】
請求項１又は２に記載の画像解析装置における全ての機能を含む画像検索サーバであって、
クライアントから前記解析対象画像を受信し、当該解析対象画像を前記解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
前記物体認識手段によって検出された、認識された物体の識別情報と、前記解析対象画像における当該物体の位置情報とを、前記クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする画像検索サーバ。
【請求項５】
クライアントから検索キーとなる参照画像を受信し、当該参照画像を前記特徴点抽出手段へ出力する参照画像受信手段を更に有することを特徴とする請求項４に記載の画像検索サーバ。
【請求項６】
解析対象画像の中から参照画像に基づく物体を認識するように、装置に搭載されたコンピュータを機能させる画像解析プログラムであって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
前記参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
前記類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
前記解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする画像解析プログラム。
【請求項７】
前記参照用類似特徴点検出手段は、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記特徴点マッチング手段は、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記物体認識手段は、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させることを特徴とする請求項６に記載の画像解析プログラム。
【請求項８】
装置に搭載されたコンピュータを用いて、解析対象画像の中から参照画像に基づく物体を認識する画像解析方法であって、
前記参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
前記参照画像に対して、
前記参照画像から多数の特徴点を抽出する第１のステップと、
前記参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第２のステップと、
前記類似特徴点の群毎における分布密度を検出する第３のステップと、
前記参照画像について、前記類似特徴点の群毎に１つの代表特徴点を選択する第４のステップとを有し、
前記解析対象画像に対して、
前記解析対象画像から多数の特徴点を抽出する第１のステップと、
前記解析対象画像の中から、前記代表特徴点に類似する特徴点をマッチングによって検出する第２のステップと、
前記解析対象画像の中から検出された、前記代表特徴点に類似する特徴点の群毎における分布密度を検出する第３のステップと、
前記代表特徴点毎に、前記参照画像における分布密度と、前記解析対象画像における分布密度との差が、所定閾値範囲内である場合に、前記参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第４のステップと
を有することを特徴とする画像解析方法。
【請求項９】
前記参照画像に対する第２のステップについて、更に、前記参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
前記解析対象画像に対する第２のステップについて、前記解析対象画像の中から、前記単一特徴点に類似する特徴点をマッチングによって検出し、
前記解析対象画像に対する第４のステップについて、前記解析対象画像の中で、前記代表特徴点によって前記参照画像の物体が存在すると認識された画像領域に、前記単一特徴点が存在していない場合、前記参照画像に基づく物体は存在しないと認識することを特徴とする請求項８に記載の画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析対象画像の中から参照画像に基づく物体を認識する画像解析技術に関する。
【背景技術】
【０００２】
従来、カメラ等のデバイスによって取得された解析対象画像（静止画像又は動画像）を画像解析し、その解析対象画像中に映る物体を認識する技術がある。この技術によれば、物体毎の参照画像を予め蓄積した参照画像蓄積部を有し、解析対象画像に参照画像をマッチングさせることよって、その解析対象画像に映る物体を認識する。
【０００３】
また、解析対象画像に映る物体の一部が隠れている場合であっても、参照画像をマッチングさせることができる技術がある（例えば非特許文献１を参照）。この技術によれば、物体全体ではなく、その一部を含む局所領域を、特徴解析の単位として扱う。そのために、解析対象画像及び参照画像の両方について、認識に有用な複数の局所領域を検出する。そして、解析対象画像の中で、参照画像の複数の局所特徴量と最も類似する領域を検出し、物体を認識する。勿論、解析対象画像中における物体の位置も認識する。尚、解析対象画像中の物体の映り方（撮影角度、撮影距離、周辺に存在する物体等の影響による）や、その認識物体自身が持つテクスチャの特性に依存する。
【０００４】
更に、学習用データセットを用いた学習制御によって、複数の異なる種類の物体を、精度良く認識する技術もある（例えば特許文献１を参照）。この技術によれば、異なる種類の物体画像の集合を入力し、所定の幾何学的構造を有する局所特徴量を検出する。これら複数の局所特徴量をクラスタリングし、複数の代表局所特徴量を選択する。その代表局所特徴を教師データとして含む学習用データセットを用いて、物体画像から物体を認識する。この技術によれば、物体画像から抽出された局所特徴量の中で、複数の異なる種類の物体を判別するのに有用な特徴量を選別している。
【０００５】
更に、複数の異なる種類の物体を精度良く認識するために、個々の局所特徴量の対応点を分離し、解析対象画像の中で参照画像をマッチングさせる技術もある（例えば特許文献２参照）。この技術によれば、第１に、類似度の高い特徴点のみを残し（認識対象画像）、第２に、残った特徴点にロバスト推定を適用して単一の認識対象が存在すると推定される領域を検出し（参照画像）、第３に、仮に得られた推定領域周辺に対して再度のマッチングと、対応点周辺の画像特徴の類似度とを求める。これによって、推定領域を高精度化した結果を得る。この手順で得られた特定物体の領域内に含まれる特徴点を除いた状態で、更に同じ手順の処理を実行し、特定物体が検出されなくなるまで繰り返す。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１５９８８号公報
【特許文献２】特開２００７−１４０６１３号公報
【非特許文献】
【０００７】
【非特許文献１】David G. Lowe、「Distinctive image featuresfrom scale-invariant keypoints」、International Journal of Computer Vision, 60, 2(2004)、pp.91-110、[online]、［平成２２年１１月２３日検索］、インターネット＜URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.157.3843&rep=rep1&type=pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した従来技術によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在するものについては、十分に考慮されていない。例えば、その物体として、ハブやルータ等のネットワーク機器がある。これらの物体は、複数のＬＡＮケーブル接続用のポートなどで、同一類似の特徴点を複数含む。
【０００９】
図１は、解析対象画像における物体の認識に失敗した第１の画像例である。
【００１０】
図１によれば、ハブ装置を認識するための画像例が表されている。ここで、１台のハブ装置及びその周辺に映る解析対象画像が表されており、上部分に、ハブ装置の参照画像が表されている。ハブ装置は、一般的に、ＬＡＮケーブルのポートを複数個備えている。ハブ装置の参照画像には、同一のポート画像（同一類似の特徴点）が、複数存在する。同様に、そのハブ装置が映る解析対象画像についても、同一のポート画像が、複数存在する。
【００１１】
ここで、ポートの特徴点は、同一類似の局所特徴量を有する。図１によれば、参照画像の特徴点と、解析対象画像の特徴点とのマッチングを、線で結んで表している。理想的には、ポートの特徴点は、マッチングの線が並列的に並んで結ばれるべきである。しかしながら、図１によれば、類似したポートの特徴点が複数存在するために、入り混じってマッチングされてしまっている。これは、解析対象画像中から参照画像に基づく特定物体の位置や形状を正確に認識できないことを意味する。
【００１２】
図２は、解析対象画像における物体の認識に失敗した第２の画像例である。
【００１３】
図２によれば、図１と比較して、解析対象画像中に２台のハブ装置が映っている。両方のハブ装置には、同一形状のポートが並んでいる。そのために、図２によれば、参照画像の特徴点は、両方のハブ装置の特徴点にまたがって、更に入り混じってマッチングされてしまっている。
【００１４】
解析対象画像中に同一の物体Ａ及びＢが映る場合、１つの物体の参照画像における特徴点ａ及び特徴点ｂについて、特徴点ａが、解析対象画像の物体Ａの一部の特徴点にマッチングされ、特徴点ｂが、解析対象画像の物体Ｂの一部の特徴点にマッチングされている。この場合、解析対象画像中から参照画像の物体を認識する精度は、著しく低下する。特に、特定物体の位置と形状が著しく変形して検出されるか、又は、検出自体ができないという問題が発生する。
【００１５】
非特許文献１に記載された技術によれば、物体認識について、物体の回転、スケール変化、部分的な隠れに対して頑強な画像解析技術である。しかし、参照画像内での局所特徴量の類似度を考慮するものではない。また、特許文献１に記載された技術によれば、複数の異なる種類の物体の認識精度を向上させるために局所特徴量を選択する技術である。しかし、複数の物体間での局所特徴量の関係性は考慮されている一方で同一物体内に存在する複数の局所特徴量の類似度は考慮されていない。従って、これら技術は、同一の局所特徴量を有する複数の特徴点における物体認識を考慮した技術ではない。
【００１６】
更に、特許文献２に記載された技術によれば、参照画像の１つの物体が、解析対象画像に複数映る場合における物体認識を考慮しているが、参照画像に、同一類似の局所特徴量の特徴点が複数映る場合を考慮したものではない。これは、個々の物体の同一物体内に複数の類似した特徴量が存在することにより、個々の物体認識ができなくなることを意味する。従って、解析対象画像内の個々の物体同士のマッチングであれば、物体認識が成功することを前提として、解析対象画像内の複数の物体を認識する特許文献２の技術によれば、結果的に物体認識を誤ることとなる。
【００１７】
そこで、本発明は、参照画像中に、同一類似の局所特徴量を持つ特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる画像解析装置、サーバ、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識する画像解析装置であって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有することを特徴とする。
【００１９】
本発明の画像解析装置における他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識することを特徴とする。
【００２０】
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するためのものであって、参照画像用の第１の装置と、解析対象画像用の第２の装置とを有する画像解析システムであって、
第１の装置は、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と
を有し、参照用分布密度検出手段によって検出された分布密度と、参照用代表特徴点選択手段によって検出された代表特徴点とが、第２の装置へ送信され、
第２の装置は、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
を有する
ことを特徴とする画像解析システム。
【００２１】
本発明によれば、前述した画像解析装置における全ての機能を含む画像検索サーバであって、
クライアントから解析対象画像を受信し、当該解析対象画像を解析対象用特徴点抽出手段へ出力する解析対象画像受信手段と、
物体認識手段によって検出された、認識された物体の識別情報と、解析対象画像における当該物体の位置情報とを、クライアントへ返信する認識結果返信手段と
を更に有することを特徴とする。
【００２２】
本発明の画像検索サーバにおける他の実施形態によれば、
クライアントから検索キーとなる参照画像を受信し、当該参照画像を特徴点抽出手段へ出力する参照画像受信手段を更に有するものであってもよい。
【００２３】
本発明によれば、解析対象画像の中から参照画像に基づく物体を認識するように、装置に搭載されたコンピュータを機能させる画像解析プログラムであって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積手段と、
参照画像から多数の特徴点を抽出する参照用特徴点抽出手段と、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する参照用類似特徴点検出手段と、
類似特徴点の群毎における分布密度を検出する参照用分布密度検出手段と、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する参照用代表特徴点選択手段と、
解析対象画像から多数の特徴点を抽出する解析対象用特徴点抽出手段と、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する特徴点マッチング手段と、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する解析対象用分布密度検出手段と、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける物体認識手段と
してコンピュータを機能させることを特徴とする。
【００２４】
本発明の画像解析プログラムにおける他の実施形態によれば、
参照用類似特徴点検出手段は、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
特徴点マッチング手段は、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
物体認識手段は、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するようにコンピュータを機能させるものであってもよい。
【００２５】
本発明によれば、装置に搭載されたコンピュータを用いて、解析対象画像の中から参照画像に基づく物体を認識する画像解析方法であって、
参照画像と、当該参照画像に基づく１つの物体の識別情報とを対応付けて蓄積する参照画像蓄積部を有し、
参照画像に対して、
参照画像から多数の特徴点を抽出する第１のステップと、
参照画像の中から、類似した特徴量を持つ類似特徴点の群を、クラスタリングによって検出する第２のステップと、
類似特徴点の群毎における分布密度を検出する第３のステップと、
参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する第４のステップとを有し、
解析対象画像に対して、
解析対象画像から多数の特徴点を抽出する第１のステップと、
解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する第２のステップと、
解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する第３のステップと、
代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける第４のステップと
を有することを特徴とする。
【００２６】
本発明の画像解析方法における他の実施形態によれば、
参照画像に対する第２のステップについて、更に、参照画像の中に、他に類似した特徴量が無い特徴点を、単一特徴点として検出し、
解析対象画像に対する第２のステップについて、解析対象画像の中から、単一特徴点に類似する特徴点をマッチングによって検出し、
解析対象画像に対する第４のステップについて、解析対象画像の中で、代表特徴点によって参照画像の物体が存在すると認識された画像領域に、単一特徴点が存在していない場合、参照画像に基づく物体は存在しないと認識するものであってもよい。
【発明の効果】
【００２７】
本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。
【図面の簡単な説明】
【００２８】
【図１】解析対象画像における物体の認識に失敗した第１の画像例である。
【図２】解析対象画像における物体の認識に失敗した第２の画像例である。
【図３】本発明における画像解析装置の機能構成図である。
【図４】特徴点抽出部における特徴点の検出を表す説明図である。
【図５】参照用類似特徴点検出部における特徴点のクラスタリングを表す説明図である。
【図６】解析対象画像に対する代表特徴点○のマッチングを表す説明図である。
【図７】解析対象画像に対する代表特徴点○及び□のマッチングを表す説明図である。
【図８】解析対象画像に対する単一特徴点△及び×のマッチングを表す説明図である。
【図９】本発明の画像解析サーバを有するシステム構成図である。
【図１０】参照画像を抽出する機能を有する画像解析装置の機能構成図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３０】
図３は、本発明における画像解析装置の機能構成図である。
【００３１】
画像解析装置１は、解析対象画像の中から参照画像に基づく物体を認識する。解析対象画像は、予め蓄積されたものであってもよいし、インタフェース１００を介して外部から入力されるものであってもよい。インタフェース１００は、ネットワークに接続する通信インタフェースであってもよいし、ユーザからの入力インタフェースであってもよい。
【００３２】
図３によれば、画像解析装置１は、解析対象画像について、解析対象画像受信部１０１と、解析対象用特徴点抽出部１１１と、特徴点マッチング部１１２と、解析対象用分布密度検出部１１３と、物体認識部１１４と、アプリケーション処理部１１５とを有する。また、検出すべき物体が映る参照画像について、参照画像蓄積部１２０と、参照用特徴点抽出部１２１と、参照用類似特徴点検出部１２２と、参照用代表特徴点選択部１２３と、参照用分布密度検出部１２４とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。
【００３３】
最初に、参照画像に対する処理について説明する。
【００３４】
［参照画像蓄積部１２０］
参照画像蓄積部１２０は、参照画像と、当該参照画像に基づく物体の識別情報とを対応付けて蓄積する。「参照画像」とは、解析対象画像の中から認識すべき物体の画像である。参照画像は、ユーザから受信することによって蓄積されるものであってもよいし、予め所定の参照画像が蓄積されたものであってもよい。
【００３５】
［参照用特徴点抽出部１２１］
参照用特徴点抽出部１２１は、参照画像から多数の特徴点を抽出する。「特徴点」とは、画像中の局所的な領域の視覚的な特徴を表す点であって、例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)を用いて検出することができる。特徴点は、例えば複数次元のベクトルの特徴量で表される。
ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴量を記述する技術である。
ＳＩＦＴによれば、特徴点を検出するために、以下の２つのステップを要する。
（Ｓ１）スケールスペースの極値探索によってキーポイント及びスケールを決定する。
（Ｓ２）決定されたキーポイントの中で、主曲率及びコントラストによって安定したキーポイントに絞り込む。
また、Interest演算子を作用させてコーナやライン交差などの局所特徴点を抽出する技術もある（例えば非特許文献１参照）。
抽出された多数の特徴点は、参照用類似特徴点検出部１２２へ出力される。
【００３６】
図４は、特徴点抽出部における特徴点の検出を表す説明図である。
【００３７】
図４（ａ）によれば、ハブ装置が映る参照画像が表されている。ここで、参照画像には、ハブ装置における複数のポートの領域画像（局所画像）が映っており、これら領域画像は、互いに類似している。
【００３８】
図４（ｂ）によれば、ハブ装置が映る参照画像から、例えば以下のような多数の特徴点が抽出されている。
特徴点Ａ：特徴点○：ポート
特徴点Ｂ：特徴点□：ジャック
特徴点Ｃ：特徴点◇：コネクタ
特徴点Ｄ：特徴点△：電源スイッチ
特徴点Ｅ：特徴点×：ラベル
ここで、特徴点○、□及び◇は各々、同一類似の特徴点が多数検出されており、「類似特徴点の群」を構成している。一方で、特徴点△及び×は、他に類似する特徴点が存在せず、「単一特徴点」と認められる。
【００３９】
［参照用類似特徴点検出部１２２］
参照用類似特徴点検出部１２２は、参照画像の中から、類似した特徴量を持つ「類似特徴点の群」（クラスタ）を、クラスタリングによって検出する。
【００４０】
図５は、参照用類似特徴点検出部における特徴点のクラスタリングを表す説明図である。
【００４１】
特徴量の類似度に基づいて、複数の群（例えばｋ個のクラスタ）にクラスタリングされる。そのために、クラスタ毎に、特徴点が存在する個数が異なる。ｋ個のクラスタにクラスタリングする技術としては、例えばk-means方式がある。
【００４２】
図５によれば、複数の類似特徴点を含む群と、単一の特徴点のみの群とに区分されている。ここで、参照画像の中に、他に類似した特徴量が無い特徴点は、「単一特徴点」として検出される。
【００４３】
［参照用代表特徴点選択部１２３］
参照用代表特徴点選択部１２３は、参照画像について、類似特徴点の群毎に１つの代表特徴点を選択する。代表特徴点は、類似特徴点の群の中の、いずれの特徴点であってもよい。代表特徴点は、特徴点マッチング部１１２へ出力される。
【００４４】
［参照用分布密度検出部１２４］
参照用分布密度検出部１２４は、参照画像の中から検出された、類似特徴点の群毎における分布密度を検出する。「分布密度」とは、空間的な所定範囲内における特徴点の数（密度）をいう。類似特徴点の群毎の分布密度は、物体認識部１１４へ出力される。
【００４５】
前述した参照画像における処理は、事前に、参照画像から、代表特徴点及び分布密度が検出されていてもよい。勿論、参照画像に対する処理を第１の装置で実行し、解析対象画像に対する処理を第２の装置でするようにしてもよい。第２の装置内で、参照画像における代表特徴点及び分布密度を、参照画像蓄積部に予め蓄積しておくことによって、リアルタイムに実行すべき処理は、以下で説明する解析対象画像における処理のみとなる。
【００４６】
［解析対象画像受信部１０１］
解析対象画像受信部１０１は、インタフェース１００を介して、解析対象画像を受信し、その解析対象画像を特徴点抽出部１１２へ出力する。
【００４７】
［解析対象用特徴点抽出部１１１］
解析対象用特徴点抽出部１１１は、参照用特徴点抽出部１２１と同様に、解析対象画像の中から、多数の特徴点を抽出する。抽出された多数の特徴点は、特徴点マッチング部１１２へ出力される。
【００４８】
［特徴点マッチング部１１２］
特徴点マッチング部１１２は、解析対象画像の中から、代表特徴点に類似する特徴点をマッチングによって検出する（後述する図６〜８参照）。また、解析対象画像の中から、単一特徴点に類似する特徴点もマッチングによって検出する。マッチングによって検出された特徴点の分布によって、解析対象画像内における、参照画像に基づく物体のおよその位置を推定することができる。代表特徴点毎に検出された画像上の座標情報は、解析対象用分布密度検出部１１３へ出力される。また、単一特徴点毎に検出された画像上の座標情報は、物体認識部１１４へ出力される。
【００４９】
［解析対象用分布密度検出部１１３］
解析対象用分布密度検出部１１３は、参照用分布密度検出部１２４と同様に、解析対象画像の中から検出された、代表特徴点に類似する特徴点の群毎における分布密度を検出する。代表特徴点に類似する特徴点の群毎の分布密度は、物体認識部１１４へ出力される。
【００５０】
［物体認識部１１４］
物体認識部１１４は、代表特徴点毎に、参照画像における分布密度と、解析対象画像における分布密度との差が、所定閾値範囲内である場合に、参照画像に基づく物体が、解析対象画像のその位置に存在する（映っている）と推定できる。このとき、参照画像に基づく物体の識別情報と、解析対象画像に映る物体とを対応付ける。
【００５１】
物体が映る参照画像には、通常、複数の類似特徴点の群が存在し、それによって複数の代表特徴点が検出される。この物体が存在する領域は、限定された大きさであって、その限定された範囲に複数の類似した特徴量を持つ特徴点が存在する。解析対象画像に同一の物体が複数映っている場合であっても、互いに所定の距離以上離れた位置にある特徴点同士は、同様に存在する。
【００５２】
物体認識部１１４は、解析対象画像に、参照画像に映る物体の位置範囲を検出した後、更に、その位置範囲について、単一特徴点の存在を検出する。参照画像に存在する単一特徴点が、解析対象画像に映る物体の位置範囲に存在しない場合、参照画像に基づく物体は存在しないと認識する。また、例えば同一物体中に多数の代表特徴点が存在する場合など、代表特徴点のみで物体認識が十分な精度で行えると想定される場合は、代表特徴点のマッチング結果のみで物体を検出してもよい。
【００５３】
そして、物体認識部１１４は、解析対象画像に映ると認識した物体の識別番号を、アプリケーション処理部１１５へ出力する。また、物体認識部１１４は、物体の識別番号と共に、解析対象画像についてその物体が映る部分の座標情報も、アプリケ-ション処理部１１５へ出力することも好ましい。
【００５４】
アプリケーション処理部１１５は、解析対象画像に対する様々なサービスを、ユーザに提供することができる。
【００５５】
更に以下では、［特徴点マッチング部１１２］の処理について具体的に説明する。
【００５６】
図６は、解析対象画像に対する代表特徴点○のマッチングを表す説明図である。
【００５７】
図６（ａ）によれば、点線で囲まれた類似特徴点○の群に、１つの代表特徴点○が選択されている（前述の代表特徴点選択部１２３参照）。
【００５８】
図６（ｂ）によれば、解析対象画像の中から、その代表特徴点○と同一類似の特徴点が、マッチングによって検出されている。解析対象画像の中で、参照画像の物体が映る部分には、代表特徴点と同一類似の特徴点が多数存在する。即ち、特徴点○の分布密度は、高い。このような部分は、参照画像の物体が存在する可能性が高いといえる。一方で、解析対象画像における特徴点○の中で、離れた位置に単独で存在する特徴点○もある。このように、解析対象画像における特徴点○の分布密度が、参照画像における特徴点○の分布密度よりも低い場合、ノイズの可能性が高いといえる。
【００５９】
図７は、解析対象画像に対する代表特徴点○及び□のマッチングを表す説明図である。
【００６０】
図７（ａ）によれば、更に点線で囲まれた類似特徴点□の群に、１つの代表特徴点□が選択されている。
【００６１】
図７（ｂ）によれば、解析対象画像の中から、更にその代表特徴点□と同一類似の特徴点が、マッチングによって検出されている。図６（ｂ）と比較して、複数の代表特徴点についてマッチングをすることによって、物体の存在位置における認識精度を向上させることができる。
【００６２】
このように、解析対象画像について、代表特徴点と同一類似の特徴点が密集した画像領域の分布密度と、参照画像について、代表特徴点と同一類似の類似特徴点が密集した画像領域の分布密度とが、同一又は微差である場合、解析対象画像に、参照画像の物体が映っていると認識できる。また、解析対象画像でオクルージョンが多く生じることを想定し、分布密度の比較で、一定の閾値を設けて判別してもよい。例えば、解析対象画像中のある類似特徴点の分布密度が、参照画像中での同類似特徴点の分布密度に係数（事前に決められた０〜１までの実数）を乗算した値以上であることを判別条件とすることである。
【００６３】
図８は、解析対象画像に対する単一特徴点△及び×のマッチングを表す説明図である。
【００６４】
図８（ａ）によれば、他に類似する特徴点が存在しない、単一特徴点△及び×が表されている。
【００６５】
図８（ｂ）によれば、解析対象画像の中から、単一特徴点△及び×と同一類似の特徴点が、マッチングによって検出されている。図６（ｂ）及び図７（ｂ）によって認識された物体の画像範囲に対して、更に単一特徴点の存在についてマッチングをすることによって、物体の存在位置における認識精度を更に向上させることができる。
【００６６】
ここで、図６（ｂ）及び図７（ｂ）によって認識された物体の画像範囲以外の部分について、マッチングをする必要はない。即ち、解析対象画像の全体について、単一特徴点をマッチングする必要はない。あくまで、類似特徴点によって認識された物体に対して、単一特徴点によってマッチングすることによってその認識精度を高めることができる。
【００６７】
更に以下では、特徴点マッチング部１１２における他の実施形態について説明する。
【００６８】
［特徴点マッチング部における第１の実施形態］
例えば、解析対象画像に、物体が３つ映っているとする（図８と同様）。このとき、参照画像に、以下の特徴点が存在しているとする。
多数の類似特徴点に基づく代表特徴点  ：Ａ、Ｂ、Ｃ
類似する特徴点が存在しない単一特徴点：Ｄ、Ｅ
この場合、解析対象画像には、代表特徴点Ａとマッチする特徴点が密集した画像領域が、３つ（例えばＡ−１、Ａ−２、Ａ−３とする）見つかるはずである。また、代表特徴点Ｂ及びＣ並びに単一特徴点Ｄ及びＥについても、同様に３つずつ（Ｂ−１、Ｂ−２、Ｂ−３、Ｃ−１、・・・）見つかるはずである。
【００６９】
ここで、解析対象画像について、代表特徴点Ａとマッチした特徴点の群によって、その参照画像の物体が存在すると推定するものであってもよいし、更に、代表特徴点Ｂ及びＣとマッチした特徴点の群を更に検出することによって、その物体の存在を更に精度高く認識するものであってもよい。
【００７０】
更に、解析対象画像について、単一特徴点Ｄ、Ｅとマッチした特徴点が、代表特徴点によって認識した物体の画像領域周辺に存在することによって、その物体の存在を更に精度高く認識するものであってもよい。
【００７１】
このように、代表特徴点及び単一特徴点の全てについてマッチングするか、代表特徴点のみマッチングするか否かは、所望される認識精度や認識対象となる物体の特徴点の分布特性（例えば、認識対象の物体が多数の異なる類似特徴点群を含んでいる状態、等）に応じた設計事項として決定することができる。
【００７２】
［特徴点マッチング部における第２の実施形態］
複数の参照画像があり、それら画像が同一類似の代表特徴点を持つ場合であっても、いずれの参照画像の物体であるかを区別することができる。
参照画像１：代表特徴点Ａ  、Ｂ、Ｃ
参照画像２：代表特徴点Ａ' 、Ｄ、Ｅ
参照画像３：代表特徴点Ａ''、Ｆ、Ｇ
※Ａ≒Ａ'≒Ａ''の特徴量同士は互いに類似している。
【００７３】
ここで、解析対象画像内に、代表特徴点Ａ、Ａ'、Ａ''のいずれにもマッチする特徴点が密集した領域が存在する場合がある。この場合、３つの参照画像（３つの物体）の何れが存在するかを判定することはできない。このような場合、次に多い代表特徴点Ｂにマッチする特徴点が密集している画像領域を検出することによって、ＡＮＤ条件として区別することができる。
【００７４】
例えば解析対象画像内に、代表特徴点Ａ、Ａ'、Ａ''のいずれにもマッチする特徴点が密集した画像領域が存在した場合、その所定範囲に更に単一特徴点Ｂが存在するならば、その画像領域は、参照画像１に基づく物体が映っていることを認識することができる。
【００７５】
また、参照画像について、類似する代表特徴点Ａ≒Ａ'≒Ａ''の存在が事前に分かっている場合、これら代表特徴点のマッチングをまとめることも好ましい。例えば代表特徴点Ａのマッチングについて、その特徴量の類似範囲を多少拡げることによって、代表特徴点Ａの類似範囲に代表特徴点Ａ'、Ａ''を含めることができる。これによって、代表特徴点Ａのみのマッチングで、代表特徴点Ａ、Ａ'、Ａ''のそれぞれのマッチングを行ったのと同じ効果を得られる。
【００７６】
［特徴点マッチング部における第３の実施形態］
マッチング処理について、前述したように全ての代表特徴点及び単一特徴点についてマッチングする技術によれば、不都合な場合を生じる。これは、解析対象画像に、オクルージョン（認識対象物体の部分的な隠れ）が生じた場合である。この場合、解析対象画像に、参照画像に基づく物体が映っているものの、一部のオクルージョンによって、その物体を認識でききなくなる。
【００７７】
例えば、前述した第２の実施形態について、例えば解析対象画像内に、参照画像１に基づく物体（代表特徴点Ａ，Ｂ，Ｃとマッチする特徴点群ＡＸ、ＢＸ、ＣＸを全て含む物体）が映っているにも関わらず、代表特徴点Ｂとマッチする特徴点群ＢＸがオクルージョンによって映っていない場合を想定する。
解析対象画像：物体１＝Ａ１，Ｂ１，Ｃ１
物体２＝Ａ２，(Ｂ２)，Ｃ２
（Ｂ２がオクルージョンによって隠れている）
物体３＝Ａ３，Ｂ３，Ｃ３
この場合、代表特徴点Ａ及びＣとマッチする３つの特徴点群のうち、解析対象画像内では、参照画像１とマッチする領域（特徴点群ＡＸ、ＢＸ、ＣＸを全て持つ領域）は２つしか見つからないことになる。
【００７８】
そこで、例えばこの認識条件について、特徴点群ＡＸ，ＢＸ，ＣＸの中で、いずれか２つが存在する場合、その物体が存在すると認識するものであってもよい。例えば、特徴点群ＡＸとＢＸ、特徴点群ＡＸとＣＸ、又は、特徴点群ＢＸとＣＸ、の組合せのいずれかが存在する場合である。但し、マッチングに利用する特徴点群の数が減るために、物体認識の精度が下がる可能性がある。
【００７９】
［特徴点マッチング部における第４の実施形態］
他の認識条件として、代表特徴点Ａ、Ｂ、Ｃのいずれか１つとマッチする密集領域（特徴点群を含む領域）が存在し、かつ、参照画像１が持つ単一特徴点をその近傍に含む場合に、その物体が存在すると認識するものであってもよい。単一特徴点を用いることによって、以下のように、類似した代表特徴点を持つ物体同士の認識にも有効である。
参照画像４：代表特徴点Ａ、Ｂ
参照画像５：代表特徴点Ａ'、Ｂ'
参照画像６：代表特徴点Ａ''、Ｂ''、Ｃ
※Ａ≒Ａ'≒Ａ''、Ｂ≒Ｂ'≒Ｂ''、これらの特徴量同士は互いに類似している。
【００８０】
例えば、解析対象画像内では、代表特徴点Ａ（Ａ'、Ａ''ともマッチ）、Ｂ（Ｂ'、Ｂ''ともマッチ）、Ｃと、マッチする３つの密集領域が存在する場合、その領域は、参照画像６の物体が存在する可能性が高いといえる。
また、解析対象画像内では、代表特徴点Ａ（Ａ'、Ａ''ともマッチ）、Ｂ（Ｂ'、Ｂ''ともマッチ）と、マッチする２つの密集領域が存在する場合、その領域は、参照画像４，５，６の物体のいずれかが存在する領域であるといえる（但し、参照画像６についても、オクルージョンの影響でこの条件にマッチする場合もある）。この場合、単一特徴点のマッチングによって、１つの参照画像の物体に絞り込むことができる。
【００８１】
図９は、本発明の画像解析サーバを有するシステム構成図である。
【００８２】
図９によれば、画像解析サーバ１が、インターネットに接続されており、端末２及び参照画像データベース３と通信することができる。参照画像データベース３は、参照画像を蓄積したデータベースであって、画像解析サーバ１は、参照画像データベース３から参照画像を取得する。このとき、データベースは画像と合わせて特徴点の情報を保持していても良く、その場合には特徴点の情報をサーバに取得させる。参照画像には、その物体を特定する物体識別情報も付加されている。
【００８３】
一方で、端末２は、アクセスネットワークを介してインターネットに接続し、画像解析サーバ１へ、ユーザの操作に応じた解析対象画像を送信する。これに対し、画像解析サーバ１は、その認識結果となる認識物体情報を、端末２へ返信する。
【００８４】
図１０は、参照画像を抽出する機能を有する画像解析サーバの機能構成図である。
【００８５】
図１０によれば、図３の画像解析装置１を、ネットワークに接続された画像解析サーバの実施形態として表されている。
【００８６】
図１１の画像解析装置１によれば、図３の画像解析装置１の全ての機能構成部を有すると共に、認識結果返信部１０２と、参照画像受信部１０３とを更に有する。これら機能構成部も、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００８７】
認識結果返信部１０２は、物体認識部１１４によって認識された物体の識別番号を、ユーザ操作に基づく端末２へ返信することができる。端末２は、送信した解析対象画像内に映る物体を知ることができる。これによって、端末２内で起動しているアプリケーション処理部が様々なサービスを、ユーザに提供することができる。
【００８８】
また、認識結果返信部１０２は、物体認識部１１４によって認識された物体の座標を、端末２へ返信することも好ましい。端末２は、解析対象画像内のどの座標位置に、その物体が映っているかどうかを認識することができる。
【００８９】
参照画像受信部１０３は、通信インタフェース１００を介して、参照画像を受信し、その参照画像を参照画像蓄積部１２１へ出力する。これによって、ユーザ操作に基づく端末２から受信した参照画像を、画像解析サーバ１内で蓄積することができる。
【００９０】
以上、詳細に説明したように、本発明の画像解析装置、サーバ、プログラム及び方法によれば、参照画像中に、同一類似の局所特徴量の特徴点が複数存在する場合であっても、解析対象画像の中から参照画像に基づく物体を認識することができる。
【００９１】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９２】
１  画像解析装置、画像解析サーバ
１００  インタフェース
１０１  解析対象画像受信部
１０２  認識結果返信部
１０３  参照画像受信部
１１１  解析対象用特徴点抽出部
１１２  特徴点マッチング部
１１３  解析対象用分布密度検出部
１１４  物体認識部
１１５  アプリケーション処理部
１２０  参照画像蓄積部
１２１  参照用特徴点抽出部
１２２  参照用類似特徴点検出部
１２３  参照用代表特徴点選択部
１２４  参照用分布密度検出部
２  端末
３  参照画像データベース
【図１】
0005519556.tif 000002
【図２】
0005519556.tif 000003
【図３】
0005519556.tif 000004
【図４】
0005519556.tif 000005
【図５】
0005519556.tif 000006
【図６】
0005519556.tif 000007
【図７】
0005519556.tif 000008
【図８】
0005519556.tif 000009
【図９】
0005519556.tif 000010
【図１０】
0005519556.tif 000011