(57)【要約】【課題】物体の写り方によらない、高精度な画像の検索を可能とする特徴量を導出することができる、特徴量導出装置、導出方法、及びプログラムを提供する。【解決手段】特徴量導出装置１は、画像の特徴量を導出する特徴量導出装置であって、画像（画像５及び画像６）から複数の第一部分領域を導出する第一部分領域導出部１１と、複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出する第二部分領域導出部１２と、第一部分領域及び第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出する特徴量ベクトル抽出部１３と、第一部分領域から抽出した特徴量ベクトルと、第一部分領域に対応する第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、画像の特徴量７として出力する統合部１４と、を備える。【選択図】図１
2019095996.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴量を導出する特徴量導出装置であって、
前記画像から複数の第一部分領域を導出する第一部分領域導出部と、
前記複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出する第二部分領域導出部と、
前記第一部分領域及び前記第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出する特徴量ベクトル抽出部と、
前記第一部分領域から抽出した特徴量ベクトルと、前記第一部分領域に対応する前記第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、前記画像の特徴量として出力する統合部と、
を備えた特徴量導出装置。
【請求項２】
前記統合部は、前記統合ベクトルに対して予め定められた変換器を適用して得られた統合ベクトルを、前記特徴量とする、
請求項１に記載の特徴量導出装置。
【請求項３】
前記変換器は、予め定めた変換行列による無相関化写像であり、前記統合部は、前記変換器により、無相関化処理を行う、
請求項２に記載の特徴量導出装置。
【請求項４】
画像の特徴量を導出する特徴量の導出方法であって、
第一部分領域導出部が、前記画像から複数の第一部分領域を導出するステップと、
第二部分領域導出部が、前記複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出するステップと、
特徴量ベクトル抽出部が、前記第一部分領域及び前記第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出するステップと、
統合部が、前記第一部分領域から抽出した特徴量ベクトルと、前記第一部分領域に対応する前記第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、前記画像の特徴量として出力するステップと、
を備えた特徴量の導出方法。
【請求項５】
前記統合部が、前記統合ベクトルに対して予め定められた変換器を適用して得られた統合ベクトルを、前記特徴量とするステップをさらに含む、
請求項４に記載の導出方法。
【請求項６】
前記変換器は、予め定めた変換行列による無相関化写像であり、前記統合部は、前記変換器により、無相関化処理を行う、
請求項５に記載の導出方法。
【請求項７】
コンピュータを、請求項１〜請求項３の何れか１項に記載の特徴量導出装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、特徴量導出装置、導出方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、ＷＷＷ（World Wide Web）上には大量の画像が蓄積されている。例えば、あるソーシャルメディアサイトでは、毎月２５億の画像がアップロードされているとの報告がある。
【０００３】
ユーザはこのような豊富な画像を見て楽しむことができる一方で、画像中の未知の物体に興味を持っても、その情報を取得することが困難であるという問題が存在する。例えば、画像中のある商品に興味を持っても、ユーザがその商品名や、外見等の知識を持っていない場合には、その商品に関する情報を取得することは困難である。これを解決するためには、画像がいったい何を写しているのかといった情報を画像から特定する画像認識技術が必要となる。
【０００４】
このような画像認識技術について、従来より、種々の技術が発明され、開示されている。従来の典型的な画像認識技術の手法を、非特許文献１に記載の技術に従って説明する。まず、画像から特徴的であるような部分領域を多数検出し、各部分領域の特徴を実数値や整数値からなる、一般に局所特徴量と呼ばれる特徴量ベクトルとして表現する。次に、互いに異なる二つの画像の各々に含まれる部分領域について特徴量ベクトル同士のユークリッド距離を計算し、対応する部分領域の個数を算出する。この個数が多いほど類似度が大きくなるため、二つの画像には、同一の物体が写っているとみなせる。こうして得られた類似度が大きい画像に含まれる物体の名称を認識結果として出力する。物体が写った画像（以下、参照画像と呼ぶ）により参照画像データベースを予め構築し、新たに入力された、特定したい物体が写った画像（以下、クエリ画像と呼ぶ）と同一の物体が写っている参照画像を検索することにより、クエリ画像中に存在する物体を特定する。
【０００５】
しかしながら、上記の手法には重大な問題がある。表面に模様が少ない物体（テクスチャレス物体）を特定したい場合、当該物体を撮影した画像からは弁別的な部分領域が十分に検出されず、結果として、当該物体と異なる物体が特定されてしまうことがある。非特許文献１に記載のScale Invariant Feature Transform（ＳＩＦＴ）等、多くの部分領域検出方法は、その検出数を制御する機構（パラメータ等）を備えているが、単純なパラメータの変更等により部分領域の数を増加させても検索に有益な領域を部分領域として捉えられない場合が多く、弁別的な特徴量ベクトルを得られない場合がある。
【０００６】
このような問題を鑑み、テクスチャレス物体を特定の対象とし、テクスチャレス物体が写った参照画像を検索する技術に関する取り組みがなされてきた。
【０００７】
例えば、特許文献１に開示されている技術では、テンプレート画像に類似する領域を有する参照画像を検索する。この技術では、テンプレート画像によって検索対象となる参照画像を走査し、類似度を評価するため、クエリ画像から部分領域が十分に検出されないテクスチャレス物体であっても有効である。
【０００８】
また例えば、非特許文献２に開示されている技術では、画像中の物体領域と背景領域を分離し、物体領域および境界から特徴量ベクトルを抽出する。この技術では、物体の形状を捉えた特徴量ベクトルを利用することで、表面に情報が少ないテクスチャレス物体を特定する場合であっても高精度な検索が可能である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−１０９６５８号公報
【非特許文献】
【００１０】
【非特許文献１】Distinctive Image Features from Scale-Invariant Keypoints、David G. Lowe,Computer Science Department,University of British Columbia,Vancouver, B.C., Canada,lowe@cs.ubc.ca.January 5, 2004
【非特許文献２】R. Arandjelovi´c and A. Zisserman. Smooth object retrieval using a bag of boundaries. In ICCV, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１１】
大局的にみれば、従来の発明は、物体の写り方に対して頑健ではないという問題がある。同一物体を写した場合であっても、物体の位置、向き、大きさ、背景等、及び画像等によって様々な写り方で撮影されることが一般的である。然るに、画像を記述する特徴量ベクトルは、上記写り方に依らない普遍性を持つことが望ましい。
【００１２】
例えば、特許文献１に記載の技術では、２次元平面パターンであるテンプレート画像により、検索対象となる参照画像を走査し類似度を評価する。しかし、物体と当該物体を撮影する撮影デバイスの相対的な位置関係がずれると物体の写り方が変化するため、この技術では、類似度を正しく評価することが困難になる。
【００１３】
また例えば、非特許文献２に記載の技術では、画像中の物体領域と背景領域とを分離することで、物体の形状情報を獲得する。そのため、検索精度が両領域の分離精度に大きく左右されるという問題がある。この技術では、背景が雑多な画像等、正しく領域を分離できない場合、同一物体を検索することが困難になる。
【００１４】
また、非特許文献１に記載の技術によって、豊富に模様が存在する物体から部分領域を検出した場合、十分に弁別できるだけの領域を捉えて特徴量を生成できるが、テクスチャレス物体から検出した部分領域の多くは弁別的とはならない。部分領域の大きさを大きくするほど検索に有益な箇所を含みやすくなるが、一方で写り方の変化に対する頑健性が損なわれてしまう。さらに、非特許文献１、２に記載の技術を単純に組み合わせて、例えば、画像中の物体領域と背景領域とを分離した上で物体領域の部分領域を検出しても、十分に弁別的な領域が捉えられるとは限らない。
【００１５】
以上のように、現在に至るまで、自由撮影したような画像に写るテクスチャレス物体を高精度に検索する技術は開示されていなかった。
【００１６】
本開示は、上記問題点を解決するために成されたものであり、物体の写り方によらない、高精度な画像の検索を可能とする特徴量を導出することができる、特徴量導出装置、導出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本開示の第１の態様の特徴量導出装置は、画像の特徴量を導出する特徴量導出装置であって、前記画像から複数の第一部分領域を導出する第一部分領域導出部と、前記複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出する第二部分領域導出部と、前記第一部分領域及び前記第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出する特徴量ベクトル抽出部と、前記第一部分領域から抽出した特徴量ベクトルと、前記第一部分領域に対応する前記第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、前記画像の特徴量として出力する統合部と、を備える。
【００１８】
上記目的を達成するために、本開示の第２の態様の特徴量導出装置は、第１の態様の特徴量導出装置において、前記統合部は、前記統合ベクトルに対して予め定められた変換器を適用して得られた統合ベクトルを、前記特徴量とする。
【００１９】
本開示の第３の態様の特徴量導出装置は、第２の態様の特徴量導出装置において、前記変換器は、予め定めた変換行列による無相関化写像であり、前記統合部は、前記変換器により、無相関化処理を行う。
【００２０】
上記目的を達成するために、本開示の第４の態様の導出方法は、画像の特徴量を導出する特徴量の導出方法であって、第一部分領域導出部が、前記画像から複数の第一部分領域を導出するステップと、第二部分領域導出部が、前記複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出するステップと、特徴量ベクトル抽出部が、前記第一部分領域及び前記第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出するステップと、統合部が、前記第一部分領域から抽出した特徴量ベクトルと、前記第一部分領域に対応する前記第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、前記画像の特徴量として出力するステップと、を備える。
【００２１】
本開示の第５の態様の導出方法は、第４の態様の導出方法において、前記統合部が、前記統合ベクトルに対して予め定められた変換器を適用して得られた統合ベクトルを、前記特徴量とするステップをさらに含む。
【００２２】
本開示の第６の態様の導出方法は、第５の態様の導出方法において、前記変換器は、予め定めた変換行列による無相関化写像であり、前記統合部は、前記変換器により、無相関化処理を行う。
【００２３】
上記目的を達成するために、本開示の第７の態様のプログラムは、コンピュータを、第１の態様〜第３の態様の何れか１態様に記載の特徴量導出装置の各部として機能させるためのものである。
【発明の効果】
【００２４】
本開示によれば、物体の写り方によらない、高精度な画像の検索を可能とする特徴量を導出することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施形態の特徴量導出装置の構成の一例を示す構成図である。
【図２】実施形態の特徴量導出装置で実行される特徴量の導出処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００２７】
図１は、本発明の一実施形態における特徴量導出装置１の構成の一例を示すブロック図である。図１に示すように、本実施形態の特徴量導出装置１は、第一部分領域導出部１１と、第二部分領域導出部１２と、特徴量ベクトル抽出部１３と、統合部１４と、を備える。また、本実施形態の特徴量導出装置１は、変換器２１を予め格納した記憶部２を備える。
【００２８】
本実施形態の特徴量導出装置１は、特定の対象となる物体（以下、特定対象物と呼ぶ）が写ったクエリ画像等の画像５、及び検索の対象となる参照画像等の画像６から特徴量を導出する機能を有する。なお、以下では、画像５及び画像６を区別せずに総称する場合は、単に画像と呼ぶ場合がある。
【００２９】
本実施形態の特徴量導出装置１は、データベース３と通信手段（図示省略）を介して相互に情報を通信する。
【００３０】
データベース３は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。本実施形態では、一例としてデータベース３には、画像６の画像データが予め格納されているものとする。画像６は、単一の画像ならびにその集合を想定する。本実施形態では、画像６には、各画像それぞれを一意に識別可能な、通し番号によるＩＤ（Identification）やユニークな画像ファイル名等の識別子が与えられているものとしている。また、データベース３は、画像６の各々について、特徴量導出装置１により導出された特徴量７と、当該画像６の識別子と、当該画像の画像データとを関連づけて記憶しているものとする。あるいは、データベース３は、同様に、ＲＤＢＭＳ（Relational Database Management System）等で実装・構成されていても構わない。データベース３が記憶する情報は、その他、メタデータとして、例えば画像６の内容を表現する情報（画像のタイトル、概要文、またはキーワード等）、画像のフォーマットに関する情報（画像のデータ量、サムネイル等のサイズ）等を含んでいても構わないが、これらの情報の記憶は本開示の実施においては必須ではない。
【００３１】
データベース３は、特徴量導出装置１の内部及び外部の何れに設けられていても構わず、通信手段は任意の公知ものを用いることができる。なお、本実施形態では、データベース３は、特徴量導出装置１の外部に設けられているものとし、インターネット、及びＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）等のネットワークを通信手段として特徴量導出装置１と通信可能に接続されているものとする。
【００３２】
また、特徴量導出装置１が備える各部及びデータベース３は、ＣＰＵ（Central Processing Unit）等の演算処理装置や、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等の記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは特徴量導出装置１が備える上記記憶装置に予め記憶されていてもよいし、磁気ディスク、光ディスク、及び半導体メモリ等の記録媒体に格納して提供することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。
【００３３】
なお、本実施形態において必須の構成要素ではないが、本実施形態の特徴量導出装置１により生成された特徴量を用いて画像６の検索を実行する場合には、図１に示すように、特徴量導出装置１の外部に検索装置４が備えられる。検索装置４は、特徴量導出装置１、ならびに、データベース３と相互に通信可能な形で接続されているものとする。
【００３４】
次に、本実施形態における特徴量導出装置１の各部の機能について説明する。
【００３５】
本実施形態の第一部分領域導出部１１には、データベース３に格納された画像６、及び外部から入力された画像５が入力される。第一部分領域導出部１１は、入力された画像６及び画像５の各々を解析し、一つ以上の部分領域を導出し、導出した部分領域を表す情報を出力する。以下、第一部分領域導出部１１が導出した部分領域を、第一部分領域と呼ぶ。
【００３６】
第一部分領域導出部１１が第一部分領域を導出する導出方法としては任意の公知の方法を用いてよいが、特徴点を検出する方法を用いることが好ましい。例えば、非特許文献１に記載のＳＩＦＴは、Difference of Gaussian（ＤｏＧ）と呼ばれる特徴点検出法を用いて画像の部分領域を導出する。これ以外にも、例えば、非特許文献３に記載の技術のようにニューラルネットワークを用いる方法等の様々な特徴点検出法が一般に知られており、任意の方法を用いて構わない。また、必ずしも特徴点検出法に基づいて特徴点を検出する必要はなく、画像中の領域を特定する方法であれば任意の手法を用いて構わない。例えば、画像の高さ・幅に対して一定の割合で第一領域を導出してもよいし、非特許文献４に記載のEdge boxes等のObject proposal法を用いて物体が存在しそうな画像中の領域を第一領域として導出してもよい。
【００３７】
［非特許文献３］K. M. Yi, E. Trulls, V. Lepetit, and P. Fua. LIFT: Learned invariant feature transform. In ECCV, 2016
【００３８】
［非特許文献４］C. L. Zitnick and P. Doll´ar. Edge boxes: Locating object proposals from edges. In ECCV, 2014
【００３９】
以降、本実施形態の一例では、第一部分領域導出部１１が、ＤｏＧによる特徴点検出を用いてＮ個の第一部分領域を導出するものとして説明する。この場合、一つの第一部分領域は、位置（画像上のｘ，ｙ座標）、角度、及び第一部分領域の大きさの４つの量によって表すことができる。なお、第一部分領域の大きさについてはどのように定められていても構わないが、例えば、第一部分領域を円形と見做した場合の半径や、矩形であると見做した場合の長辺等に基づいて規定すればよい。説明のため、以下では、第一部分領域の大きさを半径により表すものとする。
【００４０】
また、必ずしも全ての部分領域が単一の方法で導出される必要はなく、複数の部分領域導出法で導出した部分領域を出力しても構わない。
【００４１】
一方、本実施形態の第二部分領域導出部１２には、第一部分領域導出部１１で導出された複数の第一部分領域（第一部分領域の集合）を表す情報が入力される。第二部分領域導出部１２は、入力された第一部分領域の各々に対して、大きさが異なる部分領域を導出し、導出した部分領域を表す情報を出力する。以下、第二部分領域導出部１２が導出した部分領域を、第二部分領域と呼ぶ。また、第一部分領域及び第二部分領域を総称する場合は、単に部分領域と呼ぶ。
【００４２】
第二部分領域は、例えば、第一部分領域と同一の位置、及び角度でありながら、Ｘ倍の大きさである部分領域とすることができる。Ｘは正の実数とし、例えば、２等とすればよい。また必ずしもＸは一種類である必要はなく、第一部分領域の各々について、大きさが異なる複数の第二部分領域を複数導出してもよい。なお、大きさの種類を増やすほど、様々なコンテキストを捉え、テクスチャレス物体を精細に表現する特徴量を抽出できるが、処理時間の観点での効率が低下する。好ましくは、Ｘは０．５、及び２の２種類等とするのがよい。この場合、第二部分領域導出部１２により、２×Ｎ個の第二部分領域が導出される。
【００４３】
本実施形態の特徴量ベクトル抽出部１３には、第一部分領域導出部１１で導出した第一部分領域を表す情報が入力され、第二部分領域導出部１２で導出した第二部分領域を表す情報が入力される。特徴量ベクトル抽出部１３は、第一部分領域、及び第二部分領域の各々に対して、各部分領域を表現する特徴量ベクトルを抽出し出力する。
【００４４】
部分領域から特徴量ベクトルを抽出する抽出処理には、特徴量を固定の次元を持つベクトルとして表現できる方法であれば任意の公知の抽出法を用いてよい。例えば、非特許文献１に記載のＳＩＦＴは、部分領域の輝度値の勾配を表現した記述子によって特徴量が記述される。これ以外にも、例えば、非特許文献５に記載されているニューラルネットワークを用いる方法等の様々な特徴量ベクトル抽出法が知られており、任意の抽出法を用いて構わない。
【００４５】
［非特許文献５］V. Balntas, E. Riba, D. Ponsa, and K. Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In BMVC, 2016.
【００４６】
また他にも、特徴量として、例えば、部分領域毎に色特徴または形状特徴等を抽出しても構わない。
【００４７】
色特徴としては、ＲＧＢ（Red, Green, Blue）やＨＳＶ（Hue, Saturation, Value）等の色空間における各軸の値を数え上げることで、ヒストグラムとして抽出することができる。
【００４８】
形状特徴としては、例えば、非特許文献６に記載のHistogram of Oriented Gradients （ＨＯＧ）として知られる特徴量ベクトルを抽出すればよい。
【００４９】
［非特許文献６］N. Dalal, B. Triggs. Histograms of Oriented Gradients for Human Detection. In CVPR, pp. 886-893, 2005.
【００５０】
また、特徴量ベクトルの抽出にあたり、各部分領域の大きさを正規化してもよい。正規化は、例えば、第一部分領域、及び第二部分領域が全て同じ大きさになるように実施してもよい。また例えば、第一部分領域、及び第二部分領域の上記Ｘの値毎の、それぞれ毎に異なる大きさに正規化してもよい。
【００５１】
また必ずしも、全ての部分領域に対する特徴量ベクトルの抽出法は同一である必要はなく、例えば、第一部分領域、及び第二部分領域のＸの値毎の、それぞれ毎に異なる特徴量ベクトルの抽出法を用いることもできる。また、非特許文献５に記載のニューラルネットワークによる抽出法を用いる場合、第一部分領域、及び第二部分領域のＸの値毎の、それぞれ毎に異なるネットワークを用いても良い。
【００５２】
本実施形態の統合部１４には、特徴量ベクトル抽出部１３により導出された各部分領域の特徴量ベクトルを表す情報が入力される。統合部１４は、第一部分領域から抽出された特徴量ベクトルと、第二部分領域から抽出された特徴量ベクトルとを統合する。また、本実施形態の統合部１４は、統合されたベクトル（以下、統合ベクトルと呼ぶ）に、記憶部２に記憶された変換器２１を適用し、変換器２１により変換して得られた変換ベクトルを、画像の特徴量７として出力する。
【００５３】
特徴量ベクトル同士を統合する統合処理は、第一部分領域の各々から抽出した特徴量ベクトルと、対応する第二部分領域から抽出した特徴量ベクトルを並べて１本の統合ベクトルとして表現するとよい。この場合、統合部１４では、各部分領域から抽出した特徴量ベクトルがＢ次元であり、上記Ｘが０．５、及び２の２種類だとすると、Ｂ×３次元の統合ベクトルがＮ個得られる。統合の方法はこれに限らず、例えば、第一部分領域の各々から抽出した特徴量ベクトルと、対応する第二部分領域から抽出した特徴量ベクトルの次元数が同じ場合、これらを足し合わせる、または平均する等の方法によって統合ベクトルとしても構わない。
【００５４】
本実施形態の統合部１４は、得られた統合ベクトルに対して、記憶部２に記憶されている、変換器２１を適用した変換ベクトルを特徴量７として出力する。変換は、統合ベクトルを変換できる任意の公知の方法を用いることができるが、本実施形態の一例においては、無相関化処理を行うものとし、変換器２１は、無相関化写像であるとする。前記のように統合した統合ベクトルは、次元間の相関が不必要に増加してしまい、場合によってはこの相関の影響により統合ベクトル間の類似度が正しく計算されず、検索精度が低下する懸念がある。そこで、統合ベクトルに対して無相関化処理を施すことでこの相関の影響を消去することにより、検索装置４において精度よく検索が実現できる。この場合、具体的には、統合ベクトルｘに対して、以下（１）式により変換ベクトルｙを獲得できる。
【数１】
2019095996.tif 000003
【００５５】
ただし、上記（１）式においてＡはｘの次元数と同じサイズの無相関化写像であり、Ａ’はＡの転置を表す。無相関化写像は、任意の公知の行列構成法で構成できるが、本実施形態の一例においては主成分分析を用いて得られた変換行列を無相関化写像として用いる。主成分分析は次元削減法としての側面も持っていることから、統合ベクトルの次元を落としてより軽量な変換ベクトルを獲得することもできる点で利点がある。
【００５６】
なお、統合部１４は、得られた統合ベクトル自体を特徴量７として出力してもよい。統合部１４が、変換器２１により統合ベクトルの変換を行わず、そのまま特徴ベクトルを特徴量７として出力する場合は、特徴量導出装置１は、記憶部２を備えていなくてもよいことはいうまでもない。
【００５７】
このようにして本実施形態の特徴量導出装置１で導出された特徴量７は、特徴量導出装置１の外部に出力される。一例として本実施形態では、画像６から抽出された特徴量７は、画像６を表す情報（上記識別子等）と対応付けてデータベース３に出力する。データベース３では、特徴量導出装置１から入力された特徴量７は、対応する画像６に対応付けられて記憶される。また一例として本実施形態では、画像５から抽出された特徴量７は、検索装置４等に出力される。なお、画像５についても、抽出された特徴量７と、画像５を表す情報（上記識別子等）とを対応付けてデータベース３に出力し、データベース３に記憶させる構成としてもよい。
【００５８】
検索装置４には、特徴量導出装置１から画像５の特徴量７が入力される。検索装置４は、特徴量７を入力として受け取ると、データベース３に格納されている画像６に対して検索を行い、検索結果８を出力する。
【００５９】
検索処理は、特徴量ベクトル群を用いて実施する任意の公知の方法を用いればよい。例えば、非特許文献１に記載されるように、画像間の特徴量ベクトル同士のユークリッド距離を計算し、対応する個数に基づいて画像５と、データベース３に格納されている複数の画像６の各々との類似度を導出しても良い。あるいは、非特許文献７に記載されるように、特徴量ベクトル群を画像毎に統合し、それら統合したベクトル間の類似度を求めても良い。類似度は、例えば内積や、コサイン類似度等、任意の公知の尺度によって導出すればよい。検索装置４は、類似度の最も高い画像６から順に、特定対象物と同一物体が写った画像とし、当該画像を表す情報を検索結果８として出力する。なお、検索結果８は、画像６そのもの（画像６の画像データ）であってもよいし、画像６に写った特定対象物を表す情報（特定対象物の名称等）が得られている場合は、当該特定対象物を表す情報であってもよい。
【００６０】
［非特許文献７］H. Jegou, M. Douze, C. Schmid, P. Perez.Aggregating Local Descriptors into a Compact Image Representation. In CVPR. Pages. 3304-3311, 2010.
【００６１】
次に、本実施形態の特徴量導出装置１で実行される特徴量の導出処理について説明する。図２は、特徴量導出装置１で実行される特徴量の導出処理の流れの一例を示すフローチャートである。
【００６２】
図２に示すように、まず、ステップＳ１００では、第一部分領域導出部１１が、画像５または画像６から、一つ以上の第一部分領域を導出する。導出した第一部分領域を表す情報は、第二部分領域導出部１２、及び特徴量ベクトル抽出部１３に出力される。
【００６３】
次に、ステップＳ１０２では、第二部分領域導出部１２が、上記ステップＳ１００において第一部分領域導出部１１は導出した第一部分領域の各々に対して、第一部分領域と大きさの異なる第二部分領域を導出する。なお、本実施形態では、上述したように、１つの第一部分領域に対して、２種類以上の大きさの第二部分領域を導出する。導出した第二部分領域を表す情報は、特徴量ベクトル抽出部１３に出力される。
【００６４】
次に、ステップＳ１０４では、特徴量ベクトル抽出部１３が、上記ステップＳ１００、及びステップＳ１０２の各々で導出した部分領域の各々に対して、特徴量ベクトルを抽出し、統合部１４に出力する。
【００６５】
次に、ステップＳ１０６では、統合部１４が、第一部分領域から抽出した特徴量ベクトルと、第二部分領域から抽出した特徴量ベクトルとを統合し統合ベクトルとする。さらに統合部１４が、統合ベクトルに変換器２１を適用して変換したのちに、最終的に得られた特徴量７を特徴量導出装置１の外部（データベース３や検索装置４等）に出力する。
【００６６】
以上説明したように、本実施形態の特徴量導出装置１は、画像の特徴量を導出する特徴量導出装置であって、画像（画像５及び画像６）から複数の第一部分領域を導出する第一部分領域導出部１１と、複数の第一部分領域の各々に対して、位置が同一であり大きさが異なる、一つ以上の第二部分領域を導出する第二部分領域導出部１２と、第一部分領域及び第二部分領域の各々について、各部分領域を表現する特徴量ベクトルを抽出する特徴量ベクトル抽出部１３と、第一部分領域から抽出した特徴量ベクトルと、第一部分領域に対応する第二部分領域から抽出した特徴量ベクトルとを統合した統合ベクトルを、画像の特徴量７として出力する統合部１４と、を備える。
【００６７】
このように、本実施形態の特徴量導出装置１によれば、位置が同一であり、大きさが異なる複数の部分領域から抽出された特徴量ベクトルを統合することにより、周辺情報を捉えることができるため、特徴量７の弁別性を向上させることができる。
【００６８】
従って、本実施形態の特徴量導出装置１によれば、特定対象物体の写り方によらない、高精度な画像の検索を可能とする特徴量を導出することができる。さらに、本実施形態の特徴量導出装置１によれば、特定対象物がテクスチャレス物体であっても、高精度な画像の検索を可能とする特徴量を導出することができる。
【００６９】
以上、図面を参照して本開示の実施形態の一例を説明してきたが、本実施形態は本開示の例示に過ぎず、本開示が本実施形態に限定されるものではないことは明らかである。したがって、本開示の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよいことはいうまでもない。
【符号の説明】
【００７０】
１  特徴量導出装置
２  記憶部
３  データベース
４  検索装置
５、６  画像
７  特徴量
８  検索結果
１１  第一部分領域導出部
１２  第二部分領域導出部
１３  特徴量ベクトル抽出部
１４  統合部
２１  変換器
【図１】
2019095996.tif 000004
【図２】
2019095996.tif 000005