(57)【要約】【課題】自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においても、誤った認識結果を精度よく棄却できることができる。【解決手段】特徴抽出部１１が、第一の画像と第二の画像の各々について、一つ以上の連結かつ均質な領域を求め、当該領域、および回転させた領域のそれぞれについて、畳み込みネットワークの出力を特徴量として抽出する。対応計算部１２が、特徴量間の距離に基づいて、第二の画像から抽出された領域のそれぞれについて、第一の画像から抽出された領域との対応を求める。変換計算部１３が、第一の画像上の座標から第二の画像上の座標へと変換する線形変換を求める。判定部１４が、線形変換を用いて、当該対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、有効な対応の数に基づいて、第一の画像と第二の画像に写る物体の同一性を判定する。【選択図】図１
2018010592.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像と第二の画像に写る物体の同一性を検証する検証装置であって、
前記第一の画像と前記第二の画像の各々について、画像から一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を求め、前記畳み込みネットワークの出力を特徴量として抽出する特徴抽出部と、
前記特徴量間の距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求める対応計算部と、
対応の取れた前記第一の画像上の前記領域の座標と前記第二の画像上の前記領域の座標との空間的位置関係から、前記第一の画像上の座標から前記第二の画像上の座標へと変換する線形変換を求める変換計算部と、
対応の取れた前記第一の画像上の前記領域の座標から、前記線形変換を用いて、対応する前記第二の画像上の前記領域の座標を推定した場合の推定誤差量に基づいて、当該対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、さらに、前記有効な対応の数に基づいて、前記第一の画像と前記第二の画像に写る物体の同一性を判定する判定部と、
を備えることを特徴とする検証装置。
【請求項２】
前記対応計算部は、前記第一の画像の前記領域、および前記領域を一定間隔の角度で回転させた領域のそれぞれと、前記第二の画像の前記領域、および前記領域を一定間隔の角度で回転させた領域のそれぞれとの組み合わせのうち、距離が最小となる前記第一の画像の前記領域の前記特徴量と前記第二の画像の前記領域の前記特徴量との距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求める請求項１に記載の検証装置。
【請求項３】
第一の画像と第二の画像に写る物体の同一性を検証する検証装置における検証方法であって、
特徴抽出部が、前記第一の画像と前記第二の画像の各々について、画像から一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を求め、前記畳み込みネットワークの出力を特徴量として抽出し、
対応計算部が、前記特徴量間の距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求め、
変換計算部が、対応の取れた前記第一の画像上の前記領域の座標と前記第二の画像上の前記領域の座標との空間的位置関係から、前記第一の画像上の座標から前記第二の画像上の座標へと変換する線形変換を求め、
判定部が、対応の取れた前記第一の画像上の前記領域の座標から、前記線形変換を用いて、対応する前記第二の画像上の前記領域の座標を推定した場合の推定誤差量に基づいて、当該対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、さらに、前記有効な対応の数に基づいて、前記第一の画像と前記第二の画像に写る物体の同一性を判定する
検証方法。
【請求項４】
前記対応計算部が対応を求めることでは、前記第一の画像の前記領域、および前記領域を一定間隔の角度で回転させた領域のそれぞれと、前記第二の画像の前記領域、および前記領域を一定間隔の角度で回転させた領域のそれぞれとの組み合わせのうち、距離が最小となる前記第一の画像の前記領域の前記特徴量と前記第二の画像の前記領域の前記特徴量との距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求める請求項３に記載の検証方法。
【請求項５】
コンピュータを、請求項１又は請求項２に記載の検証装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検証装置、方法、及びプログラムに係り、特に、二枚の画像に写る物体が同一であるか否かを判定する検証装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
物体認識技術の進展が目覚ましい。これまでは、顔・指紋認証やファクトリーオートメーション等、認識する対象や環境が限定されている利用領域が中心的であった。最近では、スマートフォン等の小型な撮像デバイスの普及に伴い、一般利用者が自由な場所や環境で、任意の物体を撮影したような自由撮影画像からの物体の認識に対する産業上の要請も増えてきている。実世界とウェブ世界の商品を相互につなぐO2Oサービスや、実環境に存在する様々なランドマークを認識して情報を提供する情報案内／ナビゲーションサービスなどへの期待は特に高い。
【０００３】
このような新たな用途に供される物体認識技術にはいくつかの形態がありうるが、代表的なものの一つが物体検索である。その典型的な手続きを概説しよう。まず、各々の画像の輝度値を解析することで、特徴的な輝度分布を持つ微小な領域（キーポイントなどと呼ばれる）を多数抽出し、各キーポイントをその輝度の変化量によって表現する（局所特徴量と呼ばれる）。次に、互いに異なる二つの画像に含まれる局所特徴量同士の距離を測ることで、異なる画像間のキーポイント同士の対応を取り、多数の対応が存在するペアほど、同一の物体が写っている画像であると見做す。
【０００４】
事前に認識対象とする物体を撮影した画像（参照画像）のデータベースを構築したとする。このとき、物体検索によって、データベース内の参照画像のうち、撮影したクエリ画像と同一の物体が写っているものを検索することによって、クエリ画像中に存在する物体を特定するのである。
【０００５】
物体検索の最大の特徴の一つは、一枚の画像を一つ以上の微小領域（およびそれを記述する局所特徴量）の集合として表現することである。単に同一の物体が写った画像と言っても、どの画像にも同じ位置や姿勢（微小領域の角度）、大きさで写っているわけではなく、画像によってさまざまな写り方で撮影されているのが普通である。まして、一般利用者が自由撮影したような画像においては、事前に物体の写り方を知ることは多くの場合ほぼ不可能である。然るに、画像を記述する特徴量ベクトルは、位置・姿勢・大きさに依らない不変性を持つことが望ましい。
【０００６】
画像一枚全体を一つのベクトルで表現するような大域的な特徴量では、望ましい不変性を得ることは難しい。例えば各ピクセルの色（RGB値）をベクトルに並べたものは、位置・姿勢・大きさのいずれに対しても不変ではない。一方、一部の情報を抽象化したもの、例えば、色ヒストグラム等は、位置や姿勢に対する不変性は持ちうるが、大きさに対しては不変的ではない。また、物体の一部が欠けていたりする場合に対しても脆弱であるなど、精度が容易に低下しやすい。
【０００７】
一方、物体検索では、微小領域の集合によって画像を表現する。これらは領域の集合であるから、位置に対しては不変である。また、領域を記述する局所特徴量には、姿勢や大きさに対して不変性を持つものが発明されている。例えば非特許文献１に記載のScale Invariant Feature Transform (SIFT)が代表例である。
【０００８】
以上の通り、物体検索の典型的な手続きによれば、画像を一つ以上の領域の集合によって表現することで、位置・姿勢・大きさによらず、頑健に同一の物体を含む画像を検索することができるのである。
【０００９】
しかしながら、物体検索にも問題がある。局所特徴量の対応の有無は、二つの局所特徴量同士の距離に基づいて判断するが、現実的には、異なる物体同士であっても、互いによく似た局所特徴量となるような場合も多い。結果として、誤対応が発生し、異なる物体が検索されてしまうことがあるのである。
【００１０】
このような課題を鑑み、異なる物体が検索されてしまうことを防止することを目的としたいくつかの発明がなされてきている。
【００１１】
非特許文献２には、キーポイントの幾何検証に基づく物体検索方法が開示されている。同一の物体であれば、撮影視点の変化を除いて、キーポイントの空間的な分布も同一になるという、合理的な仮定に基づく方法である。まず、異なる画像間でキーポイント同士の対応を取ったのち、複数の対応を集合として見たときの空間的な幾何関係が、特定の線形変換に拘束されているような対応のみを有効な対応とみなすことにより、有効ではない対応を削除する。結果として、有効な対応の数が多い画像同士を、検索結果のより上位にランキングするのである。
【００１２】
特許文献１には、非特許文献２と同様にキーポイントの幾何検証に基づく方法が開示されている。画像間でアフィン不変局所特徴量を抽出して対応を取った後、全ての対応のそれぞれについてアフィン不変局所特徴量の観測方向（3次元角度）の差を求め、この観測方向の差の一貫性に基づいて有効な対応を判断する。あとは非特許文献２と同様、有効ではない対応を削除し、有効な対応の数が多い画像同士を検索結果のより上位にランキングするのである。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０１５−９５１５６号公報
【非特許文献】
【００１４】
【非特許文献１】D.G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints ”, International Journal of Computer Vision, pp.91-110, 2004.
【非特許文献２】J. Philbin, O. Chum, M. Isard, Josef Sivic and Andrew Zisserman. Object retrieval with large vocabularies and fast spatial matching 1470-1477, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2007.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
大局的にみれば、既存の発明はいずれもキーポイントおよび局所特徴量の幾何検証に基づいている。先述の通り、キーポイントは輝度の変化に基づいて決定され、また、局所特徴量は輝度変化を記述するものであるから、幾何検証はすなわち画像の輝度変化の空間的分布によって物体の同一性を判断する方法であると言い換えることができる。輝度変化の空間分布によって特徴づけが可能な物体、とりわけテクスチャの豊富な物体が撮影されているような場合（例えば、イラストが描かれた商品パッケージ等）には、有効な検証が可能であると言えるだろう。
【００１６】
一方で、輝度変化の空間分布によって特徴づけが容易ではないような物体については、依然として異なる物体を検索してしまう場合がある。まず、滑らかな平面には輝度変化が現れにくく、そもそも有効なキーポイントや局所特徴量を得ることができない場合が多い。また、輝度変化には色相差は現れないため、色の違う物体を見分けることが難しい。さらに、自由撮影した画像の場合、しばしば物体が非常に小さく写ることはままあるが、このような場合、物体の存在する領域からは幾何的な整合を検証するに十分なキーポイントを得ることができず、結果として有効な検証ができないような場合も起こる。
【００１７】
以上、現在に至るまで、特に自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においては、異なる物体が検索されてしまうような誤った認識結果を効果的に棄却できる検証技術は発明されていなかった。
【００１８】
本発明は、上記問題点を解決するために成されたものであり、自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においても、誤った認識結果を精度よく棄却できる検証装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明に係る検証装置は、第一の画像と第二の画像に写る物体の同一性を検証する検証装置であって、前記第一の画像と前記第二の画像の各々について、画像から一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を求め、前記畳み込みネットワークの出力を特徴量として抽出する特徴抽出部と、前記特徴量間の距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求める対応計算部と、対応の取れた前記第一の画像上の前記領域の座標と前記第二の画像上の前記領域の座標との空間的位置関係から、前記第一の画像上の座標から前記第二の画像上の座標へと変換する線形変換を求める変換計算部と、対応の取れた前記第一の画像上の前記領域の座標から、前記線形変換を用いて、対応する前記第二の画像上の前記領域の座標を推定した場合の推定誤差量に基づいて、当該対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、さらに、前記有効な対応の数に基づいて、前記第一の画像と前記第二の画像に写る物体の同一性を判定する判定部と、を含んで構成されている。
【００２０】
また、本発明に係る検証方法は、第一の画像と第二の画像に写る物体の同一性を検証する検証装置における検証方法であって、特徴抽出部が、前記第一の画像と前記第二の画像の各々について、画像から一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を求め、前記畳み込みネットワークの出力を特徴量として抽出し、対応計算部が、前記特徴量間の距離に基づいて、前記第二の画像から抽出された前記領域のそれぞれについて、前記第一の画像から抽出された前記領域との対応を求め、変換計算部が、対応の取れた前記第一の画像上の前記領域の座標と前記第二の画像上の前記領域の座標との空間的位置関係から、前記第一の画像上の座標から前記第二の画像上の座標へと変換する線形変換を求め、判定部が、対応の取れた前記第一の画像上の前記領域の座標から、前記線形変換を用いて、対応する前記第二の画像上の前記領域の座標を推定した場合の推定誤差量に基づいて、当該対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、さらに、前記有効な対応の数に基づいて、前記第一の画像と前記第二の画像に写る物体の同一性を判定する。
【００２１】
また、本発明に係るプログラムは、コンピュータを、上記の発明に係る検証装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２２】
本発明の検証装置、方法、及びプログラムによれば、第一の画像と第二の画像の各々について、一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を特徴量として抽出し、第二の画像から抽出された領域のそれぞれについて、第一の画像から抽出された前記領域との対応を求め、第一の画像上の座標から前記第二の画像上の座標へと変換する線形変換を求め、対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、第一の画像と第二の画像に写る物体の同一性を判定することにより、自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においても、誤った認識結果を精度よく棄却できることができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る検証装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る検証装置における検証処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２５】
＜本発明の実施の形態に係る原理＞
まず、本発明の実施の形態における原理について説明する。
【００２６】
同一の物体であるならば、同様の振る舞いをするのは輝度変化の分布のみであるとは限らず、その他さまざまな性質が同様の振る舞いをすると考えることは自然であろう。例えば色変化や物体を構成する素材や材質、あるいは物体やその部品の概形等、さまざまな観点でその幾何的な構造は同一であると考えられる。当然のことながら、このような性質は輝度変化の分布などからは捉えることができない。例えば概形などは、ある程度の大きさを持った連結した領域を見なければ知ることはできないし、また、素材や材質などは同様の性質を持つ均質な領域を解析する必要があるであろう。そこで本発明の実施の形態では、画像から連結かつ均質な領域を抽出することにより、キーポイントでは捉えられない領域の情報を捉えることができるようにするのである。
【００２７】
さらに、このような領域の記述には、畳み込みネットワークの出力を用いる。畳み込みネットワークは、先に挙げたような様々な性質を解析するのに用いられており、さらにその高い有用性が知られている強力な計算モデルである。ゆえに、このようなモデルの出力を特徴量として用いることで、単なる輝度変化にとどまらない多様な性質を定量的に記述することができるのである。
【００２８】
一方で、通常、上記のような手続きにより抽出された領域と特徴量は、姿勢（角度）に対して不変的ではない。本発明の実施の形態によれば、抽出された領域を一定間隔の角度で回転させ、これらからも畳み込みネットワークによる特徴量を抽出することで、姿勢に対する不変性を高めることができるのである。
【００２９】
以上、本発明の実施の形態によれば、物体の同一性を判断するに有効な、複合的な観点を取り入れて検証することができる。結果として、自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においても、有効に動作する検証が可能になり、誤った認識結果を精度よく棄却することができるのである。
【００３０】
もちろん、非特許文献２や特許文献１のような輝度変化の分布に基づく幾何検証とは相補的であり、これらと組み合わせてもよいことは言うまでもない。その場合にはより安全な棄却を行うことができる。
【００３１】
以下、図面を参照して本発明の実施の一形態を詳細に説明する。
【００３２】
＜＜全体構成＞＞
図１は、本発明の実施の形態に係る検証装置１の構成の一例を示すブロック図である。図１に示す検証装置１は、特徴抽出部１１と、対応計算部１２と、変換計算部１３と、判定部１４とを備える。
【００３３】
また、検証装置１は、特徴量データベース２と通信手段を介して接続されて相互に情報通信し、任意の画像の特徴量を特徴量データベース２に登録したり、読み出したりすることができる構成を採る。特徴量データベース２は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。各画像それぞれを一意に識別可能な識別子（例えば、通し番号によるIDやユニークな画像ファイル名等）を与えるものとし、さらに、当該画像から抽出された特徴量を記述したファイルも、当該画像の識別子と関連づけておけばよい。あるいは、同様にRDBMS (Relational Database Management System）などで実装・構成されていても構わない。その他、メタデータとして、例えば画像の内容を表現するもの（画像のタイトル、概要文、又はキーワード等）、画像のフォーマットに関するもの（画像のデータ量、サムネイル等のサイズ）などを含んでいても構わないが、本発明の実施においては必須ではない。
【００３４】
特徴量データベース２は、検証装置１の内部にあっても外部にあっても構わず、通信手段は任意の公知ものを用いることができるが、本実施の形態においては、外部にあるものとして、通信手段は、インターネット、TCP/IPにより通信するよう接続されているものとする。
【００３５】
また、検証装置１が備える各部及び特徴量データベース２は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは検証装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。
【００３６】
＜＜処理部＞＞
本実施の形態における検証装置１の各処理部について説明する。
【００３７】
特徴抽出部１１は、参照画像の集合３を受け取った下で、参照画像の各々に対して、一つ以上の領域と、これらの領域を表現する特徴量ベクトルの集合を抽出し、特徴量データベース２に格納する。又は、外部からクエリ画像４が与えられて問い合わせを受けた場合には、クエリ画像４に対して一つ以上の領域とこれらの領域を表現する特徴量ベクトルの集合を抽出したのち、対応計算部１２に出力する。なお、参照画像の集合３は、認識したい対象となる物体を含んだ一つ以上の参照画像によって構成されているものとする。また、クエリ画像４が、第一の画像の一例であり、参照画像が、第二の画像の一例である。
【００３８】
対応計算部１２は、クエリ画像４から抽出された領域および特徴量ベクトルの集合を特徴抽出部１１から受け取ると、クエリ画像の領域の各々に対して、特徴量データベース２に登録されている各参照画像の各領域との対応の有無を調べ、クエリ画像の当該領域と対応のある参照画像とその領域、および特徴量ベクトルを特定し、変換計算部１３に出力する。
【００３９】
変換計算部１３は、対応計算部１２から情報を受け取ると、対応の存在するクエリ画像４の領域の座標（つまり、画像の幅・高さに対する領域中心の位置）と、対応する参照画像の領域の座標との空間的位置関係に基づいて、クエリ画像４側の領域の座標から対応する参照画像上の座標を推定するための線形変換を求め、判定部１４に出力する。
【００４０】
判定部１４は、対応の取れたクエリ画像４上の領域の座標から、先の線形変換を用いて、各参照画像の対応する領域の座標を推定し、推定座標とその領域の真の座標との距離に基づいて、その領域同士の対応が有効な対応（すなわち、同一物体上から抽出された領域同士の対応）であるか否かを判定する。さらに、有効な対応の数に基づいて、その参照画像に写る物体がクエリ画像４と同一であるか否かを判定し、その判定結果５を出力する。
【００４１】
＜＜処理概要＞＞
次に、本実施の形態における検証装置１の処理について説明する。図２は、処理の流れを示すフローチャートである。
【００４２】
まず、ステップＳ３０１では、特徴抽出部１１が外部から参照画像の集合３を得た場合、参照画像の各々について、一つ以上の領域とこれを記述する特徴量ベクトルを抽出し、特徴量データベース２に格納する。クエリ画像４が入力された場合も同様に一つ以上の領域とこれを記述する特徴量ベクトルを抽出し、対応計算部１２に伝達する。
【００４３】
続いて、ステップＳ３０２では、対応計算部１２がクエリ画像４と参照画像の各々の間の領域間の対応を求め、変換計算部１３に伝達する。なお、この際、必ずしも全ての参照画像との対応を求める必要はなく、指定された参照画像についてのみ対応を求めるようにしても構わない。
【００４４】
続いて、ステップＳ３０３では、変換計算部１３が、クエリ画像４と各参照画像との対応する領域の座標に基づいて、クエリ画像４側の座標から、対応する参照画像側の座標を推定するための線形変換を求め、判定部１４に伝達する。
【００４５】
最後に、ステップＳ３０４では、判定部１４が、クエリ画像４上の領域の座標から各参照画像の対応する領域の座標（領域中心の位置）を線形変換により推定した座標と、各参照画像の対応する領域の座標の真値との距離に基づいて、各領域同士の対応が誤対応であるか否かを判定する。また、その参照画像に写る物体がクエリ画像４と同一であるか否かを判定して、判定結果を出力する。
【００４６】
以上の処理により、入力されたクエリ画像４と参照画像の各々に対して、同一物体を含むか否かを判定することができる。
【００４７】
＜＜各処理の処理詳細＞＞
以降、各処理の詳細処理について、本実施形態における一例を説明する。
【００４８】
［特徴量抽出処理］
特徴抽出部１１において、参照画像またはクエリ画像４の各々に対して、画像から一つ以上の領域を抽出し、また各領域を表す特徴量ベクトルを抽出する方法について説明する。
【００４９】
まず、画像から一つ以上の領域を抽出する方法について説明する。先に述べた通り、このような方法の代表例はキーポイントの検出である。このような方法によって検出されるキーポイントはごく微小な領域であるが、このような微小な領域では捉えられないような物体の性質も数多く存在する。特に物体やその一部の概形などは、物体のある程度のまとまった範囲（連結した領域）を囲む領域が得られていないことには表現することは不可能である。また、素材や色などについても、同一の素材や色を持つ均質な領域を得なければ表現することはできない。そこで、本発明の実施の形態では連結かつ均質な領域を解析し、連結かつ均質な領域を一つ以上抽出する。
【００５０】
最も単純な方法としては、画像の高さ・幅に対して一定の間隔で格子状に領域を取る方法であろう。ただし、このような方法では、個々の領域が均質になるかどうかについては必ずしも保障されないため、好ましくは均質性を担保するような方法を導入する。
【００５１】
代表的なアプローチとして、スーパーピクセル抽出と呼ばれているもの、および、オブジェクトプロポーザルと呼ばれているものが存在する。
【００５２】
スーパーピクセル抽出とは、その名の通りスーパーピクセルと呼ばれるピクセルの集合、特に相互に近接し、かつ、同様の性質（例えば色が近いなど）を持った複数のピクセルで構成されるものを抽出する方法である。さまざまな公知の方法が存在するが、例えば参考文献１に開示されているクラスタリングに基づく方法が存在する。
【００５３】
［参考文献１］R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk, “SLIC Superpixels Compared to State-of-the-art Superpixel Methods,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 11, p. 2274 - 2282, 2012.
【００５４】
この方法では、画像中に均質に配置したクラスタ中心を初期値として、全ピクセルをCIE Lab空間とピクセルの座標に基づいて最も近いクラスタに割り当てる処理と、各クラスタに割り当てられたピクセルの集合からクラスタ中心を求める処理を繰り返し、クラスタを更新していく。最終的に、求めたクラスタの各々を、一つ一つのスーパーピクセルとして出力する。本発明の実施の形態においては、得られたスーパーピクセルを、連結かつ均質な領域とすることで、目的の領域を得ることができる。
【００５５】
参考文献１の方法は、個々のスーパーピクセルの大きさが均一になりやすいこと、および、物体と他の物体間あるいは物体と背景間の境界を跨がないような領域が得られる点で好適であるが、もちろん、その他いかなる公知のスーパーピクセル計算方法を用いても構わない。
【００５６】
一方、スーパーピクセルは、物体を複数の領域に過分割しやすいというデメリットがある。また、原理的にスーパーピクセルにより得られる領域は相互に重ならない（オーバーラップしない）という性質を持つが、この性質が好ましくない場合もある。一般に、物体はある種の階層構造を持っていることが多い。例を挙げれば、「車」は、「タイヤ」や「ドア」、「ミラー」など、それぞれが個別の物体とみなすことができるような構成部品の集合によって構成されているという階層性を有する。このような物体に対しては、車全体を領域として抽出できることはもちろん、オーバーラップを許容しながら、個々の構成部品単位でも領域を取れるような領域抽出方法が好ましいであろう。
【００５７】
このような領域を抽出できる方法として、オブジェクトプロポーザルと呼ばれる方法がある。オブジェクトプロポーザルは、画像の中から物体であると推定される領域を列挙する方法である。例えば、参考文献２に開示されている方法がある。
【００５８】
［参考文献２］K. E. A. van de Sande, J. R. R. Uijlings, T. Gevers, A. W. M. Smeulders, “Segmentation as Selective Search for Object Recognition,” IEEE International Conference on Computer Vision, pp. 1879-1886, 2011
【００５９】
この方法も、ピクセルをまとめて領域を構成していく方法であるという意味では参考文献１と同様の処理を実施するものである。まず、例えば参考文献１のような方法によって多数の領域を構成する。この方法ではさらに、近接する領域同士の色やテクスチャ、領域のサイズ、および、仮にある二つの領域をまとめた際の自然さなどの観点に基づいて、さらに領域をまとめていく処理を繰り返していく。最終的にはそれ以上まとめられる領域が無くなるまでこれを繰り返していき、途中構成された領域も含めた全ての領域について、それらを囲う最小の矩形を出力する。本発明の実施の形態では、最終的に出力された矩形領域のそれぞれを一つの連結かつ均質な領域として扱うことによって、目的とする領域を得ることができる。
【００６０】
他にも参考文献３、参考文献４など、公知のオブジェクトプロポーザルがあり、それらを用いても構わない。
【００６１】
［参考文献３］P. A. Arbelaez, J. Pont-Tuset, J. T. Barron, F. Marques, J. Malik, “Multiscale Combinatorial Grouping,” Conference on Computer Vision and Pattern Recognition, pp. 328-335, 2014.
【００６２】
［参考文献４］C. L. Zitnick and P. Dollar, “Edge Boxes: Locating Object Proposals from Edges,” European Conference on Computer Vision, 391-405, 2014.
【００６３】
続いて、このように抽出された連結かつ均質な領域の一つ一つに対して、当該領域を記述する特徴量ベクトルを抽出していく。
【００６４】
従来の検証方法においては、SIFTのように領域内の輝度変化を記述する局所特徴量により領域の記述を行っていた。SIFTは、領域の位置や姿勢（角度）、大きさに対して不変となるような、物体検索の観点では好適な記述を与える。その一方で、輝度変化では捉えられないような性質を記述することができない。もちろん、領域ごとに色特徴や形状特徴などを個別に抽出することも可能であるが、好ましくはこれらを統一的に記述できる特徴量ベクトルである方が好ましい。
【００６５】
このような観点から、本発明の実施の形態では参考文献５などに記載の畳み込みネットワークを用いる。
【００６６】
［参考文献５］A. Krizhevsky, I. Sutskever, G. E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. In Proc. Advances in Neural Information Processing Systems. Pages. 1097-1105, 2012.
【００６７】
畳み込みネットワークは、サイズの違う畳み込みフィルタを階層的に重ね合わせたネットワーク状のモデルである。ある領域に対して畳み込みネットワークを適用すると、そのネットワークの出力として固定次元のベクトルを得ることができるため、これを特徴量ベクトルとする。なお、このモデルは階層性を持っているため、最終的な出力を計算するまでの途中段階でも中間出力を多数生成している。このような中間出力を特徴量ベクトルとして用いても全く構わない。また、畳み込みネットワークの出力は、スパースな高次元ベクトルであることが多く、処理効率の観点からは主成分分析などによって低次元化する方が好ましい場合が多い。
【００６８】
畳み込みネットワークは、事前にモデルを学習しておく必要があるものの、色や形状、エッジ、素材や材質等、領域に含まれる物体の様々な性質を表現可能であることが知られているため、本発明の目的に合致した効果的なモデルであると言える。
【００６９】
なお、畳み込みネットワークは参考文献５に開示されているモデル以外にも、多数のモデルが知られている。最終的に計算される特徴量ベクトルが固定の次元を持ち、かつ領域に対して一義的に定まるようなものであれば、どのような畳み込みネットワークを用いても構わない。
【００７０】
一方、物体検索の観点で見れば、このように畳み込みネットワークを用いて抽出した特徴量ベクトルにも明確な欠点が存在する。局所特徴量は姿勢（角度）について不変性を持つが、畳み込みネットワークの出力は一般に角度に対する不変性を持たないのである。
【００７１】
そこで、この問題を解消するため、本発明の実施の形態では、事前に定めた一定間隔の角度で、抽出された連結かつ均質な領域を回転させていき、その回転した領域の各々にも畳み込みネットワークを適用して複数の特徴量ベクトルを得る。こうして得た複数の特徴量ベクトルからなる集合によって当該領域を記述することで、回転に対する不変性を高めることができる。
【００７２】
本発明の実施の形態の一例では、各連結かつ均質な領域を、d度ずつ、画像のx,y平面方向に回転させる。dは0以上360未満の任意の整数である。領域は360度に達するまで回転させていけばよい。仮にd=45であるとすると、領域ごとにd=0, 45, 90, 135, 180, 225, 270, 315の計8個の特徴量ベクトルが生成されることになる。8個の特徴量ベクトル全てを、この領域の特徴量ベクトルとする。これによって、姿勢（角度）が変わっていても、正確に対応を取ることができるのである。
【００７３】
以上のように、画像から抽出された領域を表現する一つ以上の特徴量ベクトルを求めることができる。最終的に、画像のID、抽出した領域の情報（中心／重心座標、大きさ（幅・高さ等）、形状等）と、領域に対応する特徴量ベクトルを対応づけて、特徴量データベース２または対応計算部１２に出力する。
【００７４】
［対応計算処理］
次に、異なる画像間で抽出した領域同士の対応を取る処理について説明する。本発明の実施の形態の一例においては、クエリ画像４とそれぞれの参照画像の間で、対応する領域を決定するために用いる処理である。
【００７５】
クエリ画像４から抽出されたある領域をQi、参照画像から抽出されたある領域をRjと表すことにしよう。以下では、領域QiとRjを例にとり、これらが対応するか否かを判断する処理を説明する。
【００７６】
本発明の実施の形態においては、各領域は異なる回転角度で抽出された複数の特徴量ベクトルによって記述されている。領域Qiを記述する特徴量ベクトルを{v1, …, vD}、Rjを記述する特徴量ベクトルを{w1, …, wD}と表すとする。このとき、次式のように、クエリ画像４の領域Qi、および領域Qiを一定間隔の角度で回転させた領域のそれぞれと、参照画像の領域Rj、および領域Rjを一定間隔の角度で回転させた領域のそれぞれとの組み合わせのうち、距離が最小となるクエリ画像４の領域Qi又は回転させた領域の特徴量ベクトルｖaと参照画像の領域Rj又は回転させた領域の特徴量ベクトルｖbとの距離を、領域Qi、Rj間の距離dist(Qi, Rj)として求める。
【００７７】
【数１】
2018010592.tif 000003
【００７８】
実際は、この距離は、クエリ画像４の領域と参照画像の領域との全ての組み合わせに対して計算する。
【００７９】
続いて、求めた領域間の距離に基づいて、各領域の組が対応しているか否かを判定する。ある領域Rjに着目したとき、これに最も近いクエリ画像４の領域がQk、その次に近い領域がQlであったとしよう。このとき、下記の条件を満たすとき、RjとQkが対応していると判定する。
【００８０】
【数２】
2018010592.tif 000004
【００８１】
ここで、Tは事前に決めておくパラメータであり、0＜T≦1の任意の値を取ってよい。例えばT=0.8などとすればよい。
【００８２】
以上の計算を全てのクエリ／参照画像、全ての領域の組に対して実施することで、参照画像の領域の各々について、クエリ画像４の対応する領域を求めることが可能である。
【００８３】
なお、このように求めた対応は重複を許す。つまり、ある参照画像の領域Rjに対して、クエリ画像４の複数の領域が対応する可能性がある。通常、物体が同一であるにも関わらず、物体のある一領域に対して、複数の領域が対応することはあまりない。そこで、対応の重複を許さないよう、後処理を導入しても構わない。例えば、一度上記方法によって全ての対応を求めた後、複数の領域と対応している参照画像側の領域を列挙する。続いて、その参照画像側の領域と対応しているクエリ画像４の領域のうち、最も距離の近いものだけを有効な対応であると判断し、それ以外の組については対応を棄却する。以上のような処理を導入することにより、全ての領域は必ず一対一対応するように制約することができる。
【００８４】
［変換計算処理］
次に、求めた領域間の対応関係、および、それらの座標から、クエリ画像４上の座標から対応する参照画像上の座標を推定するための線形変換を求める。
【００８５】
仮に、クエリ画像４と参照画像が同一の物体を含んでいるとしよう。物体が剛体であるならば、クエリ画像４中の物体と参照画像中の物体は異なる視点から撮影されているにすぎず、現実的な仮定の下、この視点変動は線形変換でモデル化できる。言い換えれば、同じ物体上に存在する領域に限れば、クエリ画像４側の領域の座標と、対応する参照画像側の領域の座標は線形変換により表現できるということになる。このような線形変換は、仮に線形変換がアフィン変換であると仮定する場合には3組の物体上の領域の組があれば一意に求めることができ、また、射影変換と仮定する場合には4組の物体上の領域の組があれば一意に求めることができる。
【００８６】
しかし、クエリ画像４、参照画像ともに、全ての領域が物体上に存在するとは限らないため、物体上にある領域の組を正確にサンプリングしながら、線形変換を求めるような処理を構成する必要がある。幸運にも、このような条件で線形変換を求める手法は公知の有効な方法が存在する。例えば、参考文献６に記載のRANSACアルゴリズムや参考文献７に記載のLO-RANSACアルゴリズムが好適である。
【００８７】
［参考文献６］ M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Comm. ACM, vol. 24, no. 6, pp. 381-395, 1981.
【００８８】
［参考文献７］ O. Chum, J. Matas, and S. Obdrzalek, “Enhancing RANSAC by generalized model optimization,” Proceedings of Asian Conference on Computer Vision, pp. 812-817, 2004.
【００８９】
このような方法により、クエリ画像４側の物体上の領域の座標から、参照画像側の物体上の領域の座標への変換を与える線形変換行列（行列の大きさは3×3）を求めることができる。
【００９０】
［判定処理］
最後に、求めた領域間の対応関係と線形変換に基づいて、クエリ画像４と参照画像が同一の物体を含むか否かを判定する。
【００９１】
判定処理は、大まかに次の2ステップによって構成される。まず、対応計算部１２で求めた対応のうち、有効な対応ではない（つまり、同一の物体から抽出された領域同士の対応ではない）と考えられる組を削除する。次に、最終的に残った有効な対応の組の数に基づいて、同一の物体を含むか否かを判定する。
【００９２】
まず初めに、有効な対応ではない組を削除する処理について説明する。変換計算処理において、クエリ画像４側の領域の座標から、参照画像側の領域の座標を推定する線形変換Hを求めている。仮に、クエリ画像４側の領域の座標を(x, y)と表すとすると、この時、この領域に対応する参照画像側の領域の座標の推定値(xe, ye)は
【００９３】
【数３】
2018010592.tif 000005
【００９４】
と求めることができる。一方、クエリ画像４側の領域に対応する参照画像側の領域の真の座標は全て既知である。この真の座標を(x’, y’)と表すとすると、仮に(x, y)、 (x’, y’)が双方同一物体上に存在する領域の組であるならば、 (x’, y’)は(xe, ye)によって正確に推定されているはずである。そこで、これらの距離（推定誤差量）が一定の閾値以内に収まっているか否かによって、その対応が同一物体から抽出された領域同士の有効な対応であるか否かを判定する。閾値は任意の値としてよいが、例えば、1, 9, 36, 64など、小さい値に設定すればよい。
【００９５】
続いて、最終的に残った有効な対応の数に基づいて、同一の物体を含むか否かを判定する。これは単純であり、有効な対応の数が基準数以上存在するならば同一物体を含むと判定し、そうでないならば同一物体を含まないとして棄却すればよい。
【００９６】
以上の手続きにより、クエリ画像４と参照画像が同一の物体を含むか否かを判定することができる。
【００９７】
以上説明したように、本発明の実施の形態に係る検証装置によれば、クエリ画像と参照画像の各々について、一つ以上の連結かつ均質な領域を求め、当該領域、および当該領域を一定間隔の角度で回転させた領域のそれぞれについて、畳み込みネットワークの出力を特徴ベクトルとして抽出し、参照画像から抽出された領域のそれぞれについて、クエリ画像から抽出された前記領域との対応を求め、クエリ画像上の座標から参照画像上の座標へと変換する線形変換を求め、対応が物体上に存在する領域同士の対応であるような有効な対応であるか否かを判定し、クエリ画像と参照画像に写る物体の同一性を判定することにより、自由撮影される画像に輝度変化の空間分布によって特徴づけが容易ではないような物体が撮影されているような状況においても、誤った認識結果を精度よく棄却できることができる。
【００９８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【００９９】
１     検証装置
２     特徴量データベース
３     参照画像の集合
４     クエリ画像
１１   特徴抽出部
１２   対応計算部
１３   変換計算部
１４   判定部
【図１】
2018010592.tif 000006
【図２】
2018010592.tif 000007