(57)【特許請求の範囲】
【請求項１】
複数の参照画像の各々の特徴量から、第一Ｖｉｓｕａｌ  Ｗｏｒｄｓ（ＶＷ）を作成し、前記複数の参照画像の各々の特徴量を、前記第一ＶＷに量子化し、前記第一ＶＷ毎に前記第一ＶＷを有する参照画像を表す第一転置インデクスを作成する第一転置インデクス作成部と、
前記複数の参照画像の各々の特徴量のうち、他の参照画像と異なる部分特徴量から、第二ＶＷを作成し、前記複数の参照画像の各々の部分特徴量を、前記第二ＶＷに量子化し、前記第二ＶＷ毎に前記第二ＶＷを有する参照画像を表す第二転置インデクスを作成する第二転置インデクス作成部と、
入力画像の特徴量を前記第一ＶＷに量子化し、前記第一転置インデクスに基づいて、前記入力画像と前記参照画像との第一類似度を算出する第一類似度算出部と、
前記入力画像の特徴量を前記第二ＶＷに量子化し、前記第二転置インデクスに基づいて、前記入力画像と前記参照画像との第二類似度を算出する第二類似度算出部と、
前記第一類似度算出部の算出結果及び前記第二類似度の算出結果に基づいて得られた前記入力画像に類似する参照画像に関する情報を出力する出力部と、
を備えた画像認識装置。
【請求項２】
前記第二類似度算出部は、前記入力画像と前記複数の参照画像から前記第一類似度に基づいて選択された前記参照画像との前記第二類似度を算出する、
請求項１に記載の画像認識装置。
【請求項３】
第一転置インデクス作成部が、複数の参照画像の各々の特徴量から、第一Ｖｉｓｕａｌ  Ｗｏｒｄｓ（ＶＷ）を作成し、前記複数の参照画像の各々の特徴量を、前記第一ＶＷに量子化し、前記第一ＶＷ毎に前記第一ＶＷを有する参照画像を表す第一転置インデクスを作成するステップと、
第二転置インデクス作成部が、前記複数の参照画像の各々の特徴量のうち、他の参照画像と異なる部分特徴量から、第二ＶＷを作成し、前記複数の参照画像の各々の部分特徴量を、前記第二ＶＷに量子化し、前記第二ＶＷ毎に前記第二ＶＷを有する参照画像を表す第二転置インデクスを作成するステップと、
第一類似度算出部が、入力画像の特徴量を前記第一ＶＷに量子化し、前記第一転置インデクスに基づいて、前記入力画像と前記参照画像との第一類似度を算出するステップと、
第二類似度算出部が、前記入力画像の特徴量を前記第二ＶＷに量子化し、前記第二転置インデクスに基づいて、前記入力画像と前記参照画像との第二類似度を算出するステップと、
出力部が、前記第一類似度算出部の算出結果及び前記第二類似度の算出結果に基づいて得られた前記入力画像に類似する参照画像に関する情報を出力するステップと、
を備えた画像認識方法。
【請求項４】
コンピュータを、請求項１または請求項２に記載の画像認識装置の各部として機能させるための画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法、及び画像認識プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、ＷＷＷ（World Wide Web）上には大量の画像が蓄積されている。例えば、あるソーシャルメディアサイトでは、毎月２５億の画像がアップロードされている。
【０００３】
ユーザはこのような豊富な画像を見て楽しむことができる一方で、画像中の未知の物体に興味を持っても、その情報を取得することが困難であるという問題が存在する。例えば、画像中のある商品に興味を持っても、ユーザがその商品名、外見等の知識を持っていない場合には、その商品に関する情報を取得することは困難である。これを解決するためには、画像が何を写しているのかといった情報を画像から特定する画像認識技術が必要となる。
【０００４】
従来、種々の画像認識技術が発明・開示されている。例えば非特許文献１では、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量のマッチングに基づく方法が開示されている。これは、名称が既知の物体を含む画像（以下、参照画像という）によりあらかじめ参照画像データベースを構築し、これを用いて新たに入力された画像（以下、入力画像という）に含まれる物体の名称を推定する。まず入力画像、参照画像それぞれの画像中から、特徴的であるような微小な領域として特徴点を検出し、特徴点毎にＳＩＦＴ特徴量を算出する。次に、入力画像と参照画像の間で、得られたそれぞれのＳＩＦＴ特徴量間の距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出する。このマッチング数が多いほど、入力画像に対応した参照画像である（類似度が大きい）ことになる。こうして得られた類似度が大きい参照画像に含まれる物体の名称を認識結果として出力する。
【０００５】
このような特徴量のマッチングに基づく方法は、入力画像と参照画像のＳＩＦＴ特徴量との全ての組み合わせについてＳＩＦＴ特徴量間の距離を計算するために、非効率的である。特に、大規模な参照画像データベース（例えば認識したい対象となる物体が多い場合など）を対象にした場合、現実的な時間で認識を行うことができないという問題がある。そこで、非特許文献２には、特徴量をVisual Words（ＶＷ）と呼ばれる符号に量子化し、同一のＶＷに量子化された局所特徴量の数で類似度を算出する技術が開示されている。通常、同一のＶＷに量子化される特徴量は少数であり、然るに同一のＶＷを持つような参照画像は、元の参照画像の内ごく限られている。この知見から、非特許文献２では、ＶＷをキーとして、これを保持するような参照画像を逆引きできるように設計された転置インデクスと呼ばれるデータ構造を利用する。これにより、類似度の大きい参照画像の高速な特定が可能となる。
【０００６】
しかしながら、非特許文献２には問題がある。図６に示す商品１と商品２のような、外見が非常に類似する商品に関する参照画像がある場合には、参照画像全体が非常に類似するため、正しく参照画像を発見することができない。これは、全体が類似する参照画像を含む場合には、異なる物体であっても多数の局所特徴量間の距離が近くなるため、両者が持つＶＷの大多数が一致し、見分けが付きにくくなるためである。全体が類似するが、相互に別の物体であるようなものを見分けるためには、これら物体の差異となる部分から特徴量を算出する必要がある。
【０００７】
この観点から、画像中の特徴的な領域を発見することで、高精度に画像を認識する技術に関する取り組みがなされてきた。非特許文献３に開示されている技術では、参照画像群から、その特徴量に基づき、全体が類似する参照画像の一部領域を発見する。これら一部領域において現れる特徴量を比較し、距離の遠い特徴量を、差異となる特徴量として選択する。選択した特徴量のみを用いることで、例え全体が類似した商品であっても、精度の良い認識が実現されている。
【０００８】
また、特許文献１では、参照画像から検出した特徴点を、その位置情報に基づきクラスタリングし、求められた主要なクラスタを画像の主要な領域とする。さらに入力画像中の部分領域を利用者に指定させ、指定された領域中の特徴点と、主要な領域の特徴点との類似度を計算することで、精度のよい入力画像の特定を図っている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１１−１１８７９０号公報
【非特許文献】
【００１０】
【非特許文献１】D.G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004.
【非特許文献２】J. Sivic et al.: Video Google: A Text Retrieval Approach toObject Matching in Videos, in Proc. ICCV, 2003.
【非特許文献３】渡邉之人, 入江豪, 新井啓之, 谷口行信: 類似する物体画像群からの特定物体検索に関する一検討, 映像情報メディア学会技術報告, 38(43), 69-73, 2014.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記非特許文献３に記載の技術は、全体が類似する物体の差異となる部分の特徴量のみを用いることで、類似した異なる物体を高精度に見分けることが可能である。しかしながら、認識は特徴量同士のマッチングに基づく方法により行われるため、大規模なデータベースに対して効率的な認識を行うことはできなかった。
【００１２】
また、特許文献１に記載の技術は、参照画像から主要な領域を抽出し、利用者に注目する領域を指定させることにより、画像の全体ではなく画像の局所的な類似性を重視した分析が可能である。しかしながら、人手を要すること、および、特徴点をその位置情報に従ってクラスタリングするため、物体間の差異となる領域が物体のさまざまなところに散在しているような物体の場合、そのような領域を捉えることが困難となるという問題があった。
【００１３】
また、ＶＷと転置インデクスとによって認識の効率化を図っている非特許文献２に記載の技術と、物体間の差異となる領域を発見することによって物体を高精度に認識する非特許文献３に記載の技術とを単純に組み合わせるのみでは、高速かつ高精度な認識を行うことができない。物体間の差異となるような一部領域の特徴量のみを用いてＶＷを作成すると、物体全体の特徴量を考慮したＶＷが得られない。従って、全体を見ても見分けがつくような物体を見分ける場合に精度が低下するという問題があるからである。
【００１４】
以上述べてきたように、上記従来技術では、相互に全体が類似していながらも異なる物体の画像を含みうるような参照画像データベースを用いて、効率的でありながらも高精度に画像認識を実現するような技術は開示されていない。
【００１５】
本発明は、上記問題を鑑みて成されたものであり、全体が類似しかつ、異なる部分を有する画像同士が参照画像に含まれていても、入力画像に類似する参照画像を高速かつ高精度に求めることができる画像認識装置、画像認識方法、及び画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の画像認識装置は、複数の参照画像の各々の特徴量から、第一Ｖｉｓｕａｌ  Ｗｏｒｄｓ（ＶＷ）を作成し、前記複数の参照画像の各々の特徴量を、前記第一ＶＷに量子化し、前記第一ＶＷ毎に前記第一ＶＷを有する参照画像を表す第一転置インデクスを作成する第一転置インデクス作成部と、前記複数の参照画像の各々の特徴量のうち、他の参照画像と異なる部分特徴量から、第二ＶＷを作成し、前記複数の参照画像の各々の部分特徴量を、前記第二ＶＷに量子化し、前記第二ＶＷ毎に前記第二ＶＷを有する参照画像を表す第二転置インデクスを作成する第二転置インデクス作成部と、入力画像の特徴量を前記第一ＶＷに量子化し、前記第一転置インデクスに基づいて、前記入力画像と前記参照画像との第一類似度を算出する第一類似度算出部と、前記入力画像の特徴量を前記第二ＶＷに量子化し、前記第二転置インデクスに基づいて、前記入力画像と前記参照画像との第二類似度を算出する第二類似度算出部と、前記第一類似度算出部の算出結果及び前記第二類似度の算出結果に基づいて得られた前記入力画像に類似する参照画像に関する情報を出力する出力部と、を備える。
【００１７】
また、本発明の画像認識装置の前記第二類似度算出部は、前記入力画像と前記複数の参照画像から前記第一類似度に基づいて選択された前記参照画像との前記第二類似度を算出してもよい。
【００１８】
本発明の画像認識方法は、第一転置インデクス作成部が、複数の参照画像の各々の特徴量から、第一Ｖｉｓｕａｌ  Ｗｏｒｄｓ（ＶＷ）を作成し、前記複数の参照画像の各々の特徴量を、前記第一ＶＷに量子化し、前記第一ＶＷ毎に前記第一ＶＷを有する参照画像を表す第一転置インデクスを作成するステップと、第二転置インデクス作成部が、前記複数の参照画像の各々の特徴量のうち、他の参照画像と異なる部分特徴量から、第二ＶＷを作成し、前記複数の参照画像の各々の部分特徴量を、前記第二ＶＷに量子化し、前記第二ＶＷ毎に前記第二ＶＷを有する参照画像を表す第二転置インデクスを作成するステップと、第一類似度算出部が、入力画像の特徴量を前記第一ＶＷに量子化し、前記第一転置インデクスに基づいて、前記入力画像と前記参照画像との第一類似度を算出するステップと、第二類似度算出部が、前記入力画像の特徴量を前記第二ＶＷに量子化し、前記第二転置インデクスに基づいて、前記入力画像と前記参照画像との第二類似度を算出するステップと、出力部が、前記第一類似度算出部の算出結果及び前記第二類似度の算出結果に基づいて得られた前記入力画像に類似する参照画像に関する情報を出力するステップと、を備える。
【００１９】
本発明の画像認識プログラムは、コンピュータを、本発明の画像認識装置の各部として機能させるためのものである。
【発明の効果】
【００２０】
本発明の画像認識装置、画像認識方法、及び画像認識プログラムによれば、全体が類似しかつ、異なる部分を有する画像同士が参照画像に含まれていても、入力画像に類似する参照画像を高速かつ高精度に求めることができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態に係る画像認識装置の機能的構成の一例を示すブロック図である。
【図２】本実施形態における転置インデクス及び転置インデクスの作成の具体例を説明するための説明図である。
【図３】本実施形態における入力画像の特徴量の第一ＶＷへの量子化と参照画像への投票の具体例を説明するための説明図である。
【図４】本実施形態の画像認識装置で実行される参照情報作成処理ルーチンの一例を表すフローチャートである。
【図５】本実施形態の画像認識装置で実行される入力画像判定処理ルーチンの一例を表すフローチャートである。
【図６】従来技術を説明するための説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。
【００２３】
以下、図面を参照して本発明の一実施形態による画像認識装置を説明する。図１には、本実施形態の画像認識装置の機能的構成の一例を表すブロック図を示す。
【００２４】
図１に示すように画像認識装置１００は、機能的には、入力部１０と、演算部２０と、出力部９０と、を備えている。
【００２５】
入力部１０は、画像の内容を表す情報が予め付与されたＮ枚の参照画像（Ｉ１、Ｉ２、・・・ＩＮ）（参照画像の画像データ）を外部の装置または画像認識装置１００内部等（図示省略）から受け付け、参照画像記憶部２２に記憶させる。また、入力部１０は、処理対象となる入力画像（入力画像の画像データ）を外部の装置等（図示省略）から受け付ける。ここで、Ｎは自然数とする。
【００２６】
演算部２０は、参照画像記憶部２２と、参照情報作成部３０と、第一参照情報記憶部４０と、第二参照情報記憶部４２と、入力画像特徴量算出部５０と、第一類似度算出部５２と、第二類似度算出部５４と、を備えている。
【００２７】
参照画像記憶部２２には、入力部１０において受け付けたＮ枚の参照画像が記憶されている。
【００２８】
参照情報作成部３０は、参照画像記憶部２２に記憶されている参照画像を取得し、第一参照情報及び第二参照情報の２種類の参照情報を作成して出力する。参照情報作成部３０は、特徴量算出部３２と、第一転置インデクス作成部３４と、部分特徴量選択部３６と、第二転置インデクス作成部３８と、を含んでいる。ここで、第一参照情報とは、参照画像の特徴量に基づいて第一転置インデクス作成部３４が作成したＶＷ（Visual Words）及び転置インデクスである。以下では、第一転置インデクス作成部３４で作成したＶＷ及び転置インデクスを各々第一ＶＷ及び第一転置インデクスという。また、第二参照情報とは、参照画像の全ての特徴量から選択された部分特徴量に基づいて第二転置インデクス作成部３８が作成したＶＷ及び転置インデクスである。以下では、第二転置インデクス作成部３８で作成したＶＷ及び転置インデクスを各々第二ＶＷ及び第二転置インデクスという。ここで、部分特徴量とは、参照画像毎に算出した特徴量のＳ個を選択したものである。Ｓは、当該参照画像から算出した特徴量の数以下の自然数である。
【００２９】
特徴量算出部３２は、参照画像記憶部２２に記憶されているＮ枚の参照画像の各々について、特徴点を検出し、検出された特徴点の各々から参照画像毎に当該参照画像の特徴量を算出して出力する。特徴点の検出方法、及び特徴点からの特徴量の算出方法としては、例えばＳＩＦＴ（上記非特許文献１)、及びＳＵＲＦ（Speeded Up Robust Features）（非特許文献４：H. Bay, T. Tuytelaars and L.V. Gool: SURF: Speeded Up Robust Features. Lecture Notes in Computer Science, 2006）などの方法を用いればよい。
【００３０】
第一転置インデクス作成部３４は、特徴量算出部３２で算出した参照画像の全ての特徴量を取得し、第一ＶＷの作成、第一ＶＷへ量子化、及び第一転置インデクスの作成を行い、第一ＶＷ及び第一転置インデクスを第一参照情報として出力する。第一ＶＷの作成には、公知の方法を用いればよい。例えば、取得した全ての特徴量を入力としたｋ−ｍｅａｎｓクラスタリング等のクラスタリングを行うことで第一ＶＷを作成することができる。また、全特徴量の内の一部の特徴量をランダムに選択し、クラスタリングを行うことでも第一ＶＷを作成することができる。あるいは、全特徴量からランダムに選択した一部の特徴量をそのまま代表ベクトル（第一ＶＷ）としてもよい。
【００３１】
次に、第一転置インデクス作成部３４は、特徴量算出部３２で算出した参照画像の全ての特徴量を、作成した第一ＶＷへ量子化する。一般に、各々の特徴量について最も距離の近い代表ベクトルの第一ＶＷを割り当てる。当該代表ベクトルの探索は、近傍探索や近似近傍探索など、公知の方法を用いることができる。また距離とは、例えば、ユークリッド距離を用いれば良い。
【００３２】
最後に、第一転置インデクス作成部３４は、第一ＶＷ毎に当該第一ＶＷを有する参照画像を表す第一転置インデクスを作成する。本実施形態において転置インデクスとは、各々のＶＷについて、割り当てられた特徴量がどの参照画像から算出されたものかを保存するデータ構造である。
【００３３】
ここで、本実施形態における転置インデクス及び転置インデクスの作成について説明する。
【００３４】
図２に、転置インデクス及び転置インデクスの作成の具体例を説明するための説明図を示す。なお、図２では、図示の便宜上、特徴を有する部分の画像（以下、特徴画像という）と特徴量とを同義として図示している。また、代表ベクトルは当該代表ベクトルに対応する画像として図示している。
【００３５】
図２に示した具体例では、図２（１）に示した参照画像Ｉ１は、特徴量Ｆ１１、Ｆ１２、及びＦ１３を有している。参照画像Ｉ２は、特徴量Ｆ２１、Ｆ２２、及びＦ２３を有している。また、参照画像Ｉ３は、特徴量Ｆ３１、Ｆ３２、及びＦ３３を有している。
【００３６】
第一転置インデクス作成部３４は、全ての参照画像の特徴量から第一ＶＷ（代表ベクトル）を作成して量子化する。図２（２）に量子化結果として示したように、参照画像Ｉ１の特徴量Ｆ１１及び参照画像Ｉ２の特徴量Ｆ２１は、ＶＷ１に量子化される。参照画像Ｉ２の特徴量Ｆ２２及び参照画像Ｉ３の特徴量Ｆ３２は、ＶＷ２に量子化される。参照画像Ｉ１の特徴量Ｆ１３及び参照画像Ｉ３の特徴量Ｆ３１は、ＶＷ３に量子化される。参照画像Ｉ１の特徴量Ｆ１２は、ＶＷ４に量子化される。参照画像Ｉ２の特徴量Ｆ２３は、ＶＷ５に量子化される。参照画像Ｉ３の特徴量Ｆ３３は、ＶＷ６に量子化される。なお、ＶＷ１〜ＶＷ６が、第一ＶＷである。
【００３７】
さらに、第一転置インデクス作成部３４は、量子化結果に基づいて第一転置インデクスを作成する。図２（３）に第一転置インデクスとして示したように、ＶＷ１には、参照画像Ｉ１及びＩ２が割り当てられる。ＶＷ２には、参照画像Ｉ２及びＩ３が割り当てられる。ＶＷ３には、参照画像Ｉ１及びＩ３が割り当てられる。ＶＷ４には、参照画像Ｉ１が割り当てられる。ＶＷ５には、参照画像Ｉ２が割り当てられる。ＶＷ６には、参照画像Ｉ３が割り当てられる。
【００３８】
このようにして作成された第一ＶＷ及び第一転置インデクスは、参照画像に含まれる物体全体の情報（特徴）を取り込んだものであり、画像全体に基づいて物体（物体の画像）間を見分ける目的に適したものである。さらに、第一転置インデクスを用いることにより高速な認識を実現できる。
【００３９】
部分特徴量選択部３６は、特徴量算出部３２で算出した参照画像の全ての特徴量から、他の参照画像と異なる部分特徴量を選択して、選択した部分特徴量を出力する。本実施の形態においては、公知の方法を用いて、部分特徴量を選択する。部分特徴量の選択方法として上記非特許文献３の方法を用いた場合、各々の参照画像を入力画像（以下、入力参照画像という）として、当該入力参照画像と類似する、入力参照画像を含まない参照画像群（以下、類似画像群という）を検出し、当該類似画像群とマッチする特徴量を除去することにより、差異となる部分特徴量を選択する。すなわち、入力参照画像固有の特徴量を部分特徴量として選択する。類似画像群は、例えば、入力参照画像の特徴量と他の参照画像の特徴量との間の距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）が大きい上位Ｋ枚とすればよい。ＫはＮ−１以下の自然数である。あるいは、第一類似度算出部５２と同様の方法（詳細後述）により入力参照画像と他の参照画像との類似度を計算し、類似度が大きい上位Ｋ枚を類似画像群として用いてもよい。この場合、前記マッチング数に基づく計算よりも高速に類似画像群を求めることができる。さらに、入力画像に対する類似度と同一の類似度に基づいて類似画像群を求めるため、より高精度な認識が可能となる場合が多い。
【００４０】
第二転置インデクス作成部３８は、部分特徴量選択部３６から入力された部分特徴量に基づいて、第二ＶＷの作成、第二ＶＷへ量子化、及び第二転置インデクスの作成を行い、第二ＶＷ及び第二転置インデクスを第二参照情報として出力する。第二ＶＷ及び第二転置インデクスの作成方法は、特徴量算出部３２と同様の方法を用いればよい。
【００４１】
このように作成された第二ＶＷ及び第二転置インデクスは、参照画像に画像が含まれる物体の内、全体がよく似たもの同士の差異となる情報（参照画像に固有の特徴）を取り込んだものであり、このような物体（物体の画像）同士を見分ける目的に適したものである。さらに、第二転置インデクスを用いることにより高速な認識を実現できる。
【００４２】
第一参照情報記憶部４０には、第一転置インデクス作成部３４が参照画像の全特徴量から作成した第一ＶＷ及び第一転置インデクスが記憶されている。
【００４３】
第二参照情報記憶部４２には、第二転置インデクス作成部３８が参照画像の部分特徴量から作成した第二ＶＷ及び第二転置インデクスが記憶されている。
【００４４】
入力画像特徴量算出部５０は、入力部１０において受け付けた処理対象となる入力画像について、特徴量算出部３２において算出した特徴量と同様の特徴量を算出して出力する。
【００４５】
第一類似度算出部５２は、入力画像特徴量算出部５０が算出した入力画像の特徴量と、第一参照情報記憶部４０に記憶されている第一ＶＷ及び第一転置インデクスとを用いて、入力画像と参照画像との類似度（以下、第一類似度という）を算出する。具体的には、まず、第一類似度算出部５２は、入力画像特徴量算出部５０において取得した入力画像の特徴量を、第一転置インデクス作成部３４と同様の方法で第一ＶＷに量子化する。次に、第一類似度算出部５２は、量子化結果に基づいて、第一転置インデクス上で紐付く参照画像に投票を行う。
【００４６】
図３には、入力画像の特徴量の第一ＶＷへの量子化と参照画像への投票の具体例を説明するための説明図を示す。図３においても図２と同様に、特徴画像と特徴量とを同義として図示し、代表ベクトルは当該代表ベクトルに対応する画像として図示している。
【００４７】
図３に示した具体例では、図３（１）に示したように入力画像Ｈは、特徴量ＦＨ１、ＦＨ２、ＦＨ３、及びＦＨ４を有している。
【００４８】
第一類似度算出部５２は、入力画像Ｈの、特徴量ＦＨ１、ＦＨ２、ＦＨ３、及びＦＨ４を第一ＶＷに量子化する。図３（２）に量子化結果として示したように、入力画像Ｈの特徴量ＦＨ１はＶＷ１に量子化され、特徴量ＦＨ４はＶＷ３に量子化され、特徴量ＦＨ３はＶＷ４に量子化され、特徴量ＦＨ２は、ＶＷ５に量子化されることにより第一ＶＷが割り当てられる。
【００４９】
さらに、第一類似度算出部５２は、入力画像Ｈの特徴量の量子化結果及び第一転置インデクスに基づいて、ＶＷ１、ＶＷ３、ＶＷ４、ＶＷ５を有する参照画像（Ｉ１〜Ｉ３）に対する投票を行うことにより、図３（３）に示した投票結果が得られる。
【００５０】
入力画像と参照画像との第一類似度として、この得票数を用いることができる。また、第一類似度は、参照画像各々の得票数を、参照画像各々の特徴量の数、または、参照画像各々の特徴量の数の平方根で割った数値とすることもできる。あるいは、第一類似度として、入力画像のＶＷ集合と、参照画像のＶＷ集合との間のＪａｃｃａｒｄ係数等の、公知の類似度を用いてもよい。
【００５１】
また、入力画像及び参照画像各々における第一ＶＷの出現頻度をヒストグラムとすることもできる。この場合、１枚の画像は１つのヒストグラムによって表現される。ヒストグラム間の類似度を、例えば、コサイン類似度等の公知のベクトル間類似度算出方法を用いて算出すればよく、第一類似度とすることができる  。
【００５２】
さらに、第一類似度算出部５２は、算出した第一類似度に基づき、参照画像を降順にソートし、その上位（類似度が高い）Ｘ枚を決定する。ＸはＮ以下の自然数であり、Ｎ未満であることが好ましい。Ｘは例えば、Ｎの１０％、２０％などの値とすることができる。また、第一類似度がＴ以上の参照画像のみを対象に第一類似度に基づいてソートを行ってもよい。Ｔは第一類似度の最小値以上、かつ最大値以下の実数であり、例えば、第一類似度の平均値などとすることができる。
【００５３】
第二類似度算出部５４は、入力画像特徴量算出部５０が算出した入力画像の特徴量と、第二参照情報記憶部４２に記憶されている第二ＶＷ及び第二転置インデクスとを用いて、入力画像と第一類似度算出部５２で決定されたＸ枚の参照画像との第二類似度を算出する。第二類似度の算出には、第一類似度算出部５２と同様に、入力画像の特徴量の第二ＶＷへの量子化と参照画像への投票を行う方法を用いる。第二類似度算出部５４は、第一類似度算出部５２で決定されたＸ枚の参照画像を、算出した第二類似度に基づいて再ソートする。
【００５４】
第二類似度に基づいてＸ枚の参照画像の再ソートを行った後に、上位（類似度が高い）Ｙ枚の参照画像のみを対象に、さらなるソートを行ってもよい。ＹはＸ以下の自然数であり、Ｘ未満であることが好ましい。具体的には、まず、第二類似度算出部５４は、入力画像特徴量算出部５０が算出した特徴量と、特徴量算出部３２または部分特徴量選択部３６が算出した特徴量との間の距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出する。このマッチング数を類似度としてさらなるソートを行えばよい。類似度は、各々のマッチング数を、参照画像の各々の特徴量の数で割った値とすることもできる。さらに、幾何検証（非特許文献５: J. Shimamura, T. Yoshida, and Y. Taniguchi: Geometric Verification Method to Handle 3D Viewpoint Changes, In MIRU, 2014.）をマッチング結果に適用した上で類似度として用いてもよい。
【００５５】
第二類似度算出部５４は、第二類似度によるソート結果（さらなるソートを行った場合はそのソート結果）を出力する。具体的には、第二類似度算出部５４は、上位（類似度が高い）Ｍ枚の参照画像の各々に付与されている情報、及び上位Ｍ枚の参照画像の少なくとも一方を参照画像に関する情報として出力部９０に出力する。なお、ＭはＮ以下の自然数である。
【００５６】
出力部９０は、第二類似度算出部５４から出力された参照画像に付与されている情報及び参照画像の少なくとも一方を出力する。
【００５７】
次に、本実施形態の画像認識装置１００における処理動作を説明する。本実施形態の画像認識装置１００では、参照情報作成処理ルーチンと入力画像判定処理ルーチンと２種類のルーチンが実行される。
【００５８】
参照情報作成処理ルーチンは、参照画像から第一参照情報及び第二参照情報を作成して各々第一参照情報記憶部４０及び第二参照情報記憶部４２に記憶させる処理である。入力画像判定処理ルーチンは、入力部１０が受け付けた入力画像に類似する参照画像を判定する処理である。
【００５９】
まず、参照情報作成処理ルーチンについて説明する。図４には、参照情報作成処理ルーチンの一例を表すフローチャートを示す。図４に示した参照情報作成処理ルーチンは、参照画像記憶部２２に参照画像が記憶された後、所定のタイミングで実行される。
【００６０】
ステップＳ１００で特徴量算出部３２は、参照画像記憶部２２から参照画像を取得する。具体的には、参照画像記憶部２２に記憶されているＮ枚の参照画像を取得する。
【００６１】
次のステップＳ１０２で特徴量算出部３２は、上記ステップＳ１００において取得したＮ枚の参照画像の各々について、上述したように特徴量を算出する。
【００６２】
次のステップＳ１０４で特徴量算出部３２は、上記ステップＳ１０２で算出した特徴量を取得し、第一ＶＷ（図２のＶＷ１〜ＶＷ６参照）を作成する。
【００６３】
次のステップＳ１０６で第一転置インデクス作成部３４は、上記ステップＳ１０２で算出した各参照画像の特徴量を、上記ステップＳ１０４で作成した第一ＶＷに量子化する（図２（２）参照）。
【００６４】
次のステップＳ１０８で第一転置インデクス作成部３４は、第一ＶＷの各々について、当該第一ＶＷが割り当てられた特徴量がどの参照画像から算出されたものかを検出し、第一転置インデクスを作成する（図２（３）参照）。
【００６５】
次のステップＳ１１０で第一転置インデクス作成部３４は、第一ＶＷ及び第一転置インデクスを第一参照情報記憶部４０に出力し、記憶させる。
【００６６】
次のステップＳ１１２で部分特徴量選択部３６は、上記ステップＳ１０２で算出した特徴量から、部分特徴量を選択する。
【００６７】
次のステップＳ１１４で第二転置インデクス作成部３８は、上記ステップＳ１１２で選択した部分特徴量を取得し、第二ＶＷを作成する。
【００６８】
次のステップＳ１１６で第二転置インデクス作成部３８は、上記ステップＳ１１２で選択した各々の部分特徴量を、上記ステップＳ１１４で作成した第二ＶＷに量子化する。
【００６９】
次のステップＳ１１８で第二転置インデクス作成部３８は、第二ＶＷの各々について、当該第二ＶＷが割り当てられた部分特徴量がどの参照画像から算出されたものかを検出し、第二転置インデクスを作成する。
【００７０】
次のステップＳ１２０で第二転置インデクス作成部３８は、第二ＶＷ及び第二転置インデクスを第二参照情報記憶部４２に出力して記憶させた後、本参照情報作成処理ルーチンを終了する。
【００７１】
このようにして参照情報作成処理ルーチンの実行により、第一参照情報記憶部４０に第一参照情報が記憶され、第二参照情報記憶部４２に第二参照情報が記憶された後、画像認識装置１００の入力部１０が入力画像を受け付けると、入力画像判定処理ルーチンが実行される。次に、入力画像判定処理ルーチンについて説明する。図５には、入力画像判定処理ルーチンの一例を表すフローチャートを示す。
【００７２】
ステップＳ２００で第一類似度算出部５２は、第一参照情報記憶部４０に記憶されている第一参照情報（第一ＶＷ及び第一転置インデクス）を読み込む。また、第二類似度算出部５４は、第二参照情報記憶部４２に記憶されている第二参照情報（第二ＶＷ及び第二転置インデクス）を読み込む。
【００７３】
次のステップＳ２０２で入力画像特徴量算出部５０は、入力部１０において受け付けた入力画像について、上記参照情報作成処理ルーチンのステップＳ１０２（図４参照）と同様にして特徴量を算出する。
【００７４】
次のステップＳ２０４で第一類似度算出部５２は、上記ステップＳ２０２において算出した入力画像の特徴量を、上記参照情報作成処理ルーチンのステップＳ１０６（図４参照）と同様にして、上記ステップＳ２００において読み込んだ第一ＶＷに量子化する。
【００７５】
次のステップＳ２０６で第一類似度算出部５２は、上記ステップＳ２００において読み込んだ第一転置インデクスと、上記ステップＳ２０４において割り当てられた第一ＶＷとに基づいて、入力画像と、参照画像の各々との第一類似度を算出する。
【００７６】
次のステップＳ２０８で第一類似度算出部５２は、上記ステップＳ２０６において算出した第一類似度に基づいて、全参照画像を対象に参照画像のソートを行い、上位Ｘ枚を決定する。すなわち、第一類似度算出部５２は、入力画像に対して第一類似度が高いＸ枚の参照画像を決定する。
【００７７】
次のステップＳ２１０で第二類似度算出部５４は、上記ステップＳ２０２において算出した入力画像の特徴量を、上記参照情報作成処理ルーチンのステップＳ１１６と同様にして、上記ステップＳ２００において読み込んだ第二ＶＷに量子化する。
【００７８】
次のステップＳ２１２で第二類似度算出部５４は、上記ステップＳ２００において読み込んだ第二転置インデクスと、上記ステップＳ２１０において割り当てられた第二ＶＷとに基づいて、入力画像と、上記ステップＳ２０８で決定されたＸ枚の参照画像の各々との第二類似度を算出する。
【００７９】
次のステップＳ２１４で第二類似度算出部５４は、上記ステップＳ２１２において算出した第二類似度に基づいて、上記ステップＳ２０８で決定されたＸ枚の参照画像（ソート済み参照画像）の再ソートを行う。
【００８０】
次のステップＳ２１６で第二類似度算出部５４は、上記ステップＳ２１４において取得した参照画像の再ソート結果に基づいて、上位Ｍ枚の参照画像の各々に付与されている物体の名称及び上位Ｍ枚の参照画像の少なくとも一方を出力部９０に出力した後、本入力画像判定処理ルーチンを終了する。出力部９０からは、上位Ｍ枚の参照画像の各々に付与されている物体の名称及び上位Ｍ枚の参照画像の少なくとも一方が出力され、画像認識装置１００のユーザに提示される。
【００８１】
以上説明したように本実施形態の画像認識装置１００は、第一転置インデクス作成部３４が、複数の参照画像の各々の特徴量から、第一ＶＷを作成し、複数の参照画像の各々の特徴量を、第一ＶＷに量子化し、第一ＶＷ毎に第一ＶＷを有する参照画像を表す第一転置インデクスを作成する。第二転置インデクス作成部３８が、複数の参照画像の各々の特徴量のうち、他の参照画像と異なる部分特徴量から、第二ＶＷを作成し、複数の参照画像の各々の部分特徴量を、第二ＶＷに量子化し、第二ＶＷ毎に第二ＶＷを有する参照画像を表す第二転置インデクスを作成する。第一類似度算出部５２が、入力画像の特徴量を第一ＶＷに量子化し、第一転置インデクスに基づいて、入力画像と参照画像との第一類似度を算出する。第二類似度算出部５４が、入力画像の特徴量を第二ＶＷに量子化し、第二転置インデクスに基づいて、入力画像と参照画像との第二類似度を算出する。そして出力部９０が、第一類似度算出部５２の算出結果及び第二類似度算出部５４の算出結果に基づいて得られた入力画像に類似する参照画像に関する情報を出力する。
【００８２】
このように本実施形態の画像認識装置１００によれば、参照画像の領域全体の特徴量から作成される第一ＶＷ及び第一転置インデクスと、参照画像間の差異となる領域部分の（参照画像に固有の領域の）部分特徴量から作成される第二ＶＷ及び第二転置インデクスという２種類のＶＷ及び転置インデクスを用いて、画像全体に基づく画像認識、及び画像の細部（固有の特徴を有する部分）に基づく画像認識という２段階の画像認識を行う。これにより、本実施形態の画像認識装置１００によれば、全体が類似しかつ、異なる部分を有する画像同士が参照画像に含まれていても、入力画像に類似する参照画像を高速かつ高精度に求めることができる、という効果が得られる。
【００８３】
なお、本実施形態の画像認識装置１００では、第一類似度算出部５２で第一類似度に基づいて検出された入力画像と第一類似度が高いＸ枚の参照画像に対して第二類似度算出部５４が第二類似度に基づいてソートを行う場合について説明した。しかしながら、第一類似度及び第二類似度の双方に基づいて入力画像と類似度が高い参照画像を判定できれば本実施形態に限定されない。例えば、第二類似度算出部５４で第二類似度に基づいて検出された入力画像と第二類似度が高いＸ枚の参照画像に対して第一類似度算出部５２が第一類似度に基づいてソートを行って、ソート結果に基づいた参照画像の情報（参照画像）を出力してもよい。また、例えば、入力画像と第一類似度が第一所定値以上（類似度が高い）で、かつ第二類似度が第二所定値以上（類似度が高い）の参照画像の情報（参照画像）を結果として出力してもよい。
【００８４】
なお、本実施形態の画像認識装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する参照情報作成処理ルーチン及び入力画像判定処理ルーチンを実行するための画像認識プログラムや各種データを記憶したＲＯＭ（Read Only Memory）と、を備えた、一般的なＰＣ（Personal Computer）や、スマートフォン・タブレット等のモバイル端末等によって実現可能である。
【００８５】
その場合、画像認識装置１００の各部の機能を実行するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、コンピュータシステムが実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、及びＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）等の可搬媒体や、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、画像認識装置１００が備える各部の機能の一部を実現するためのものであってもよい。さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００８６】
なお、図面を参照して本発明の実施形態を説明したが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。従って、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。
【符号の説明】
【００８７】
２０  演算部
３０  参照情報作成部
３２  特徴量算出部
３４  第一転置インデクス作成部
３６  部分特徴量選択部
３８  第二転置インデクス作成部
５０  入力画像特徴量算出部
５２  第一類似度算出部
５４  第二類似度算出部
９０  出力部
１００  画像認識装置
【図１】
0006368688.tif 000002
【図２】
0006368688.tif 000003
【図３】
0006368688.tif 000004
【図４】
0006368688.tif 000005
【図５】
0006368688.tif 000006
【図６】
0006368688.tif 000007