(57)【要約】      （修正有）【課題】高精度な類似画像検索を実現しつつ、比較の容易な画像を検索結果の上位に表示する画像検索装置及び画像検索方法を提供する。【解決手段】画像検索装置１０００は、検索対象を含む画像及び画像のアノテーションデータの入力を受け付ける入力部１００と、画像の特徴量を抽出する特徴抽出部１０２と、画像同士の比較容易度を計算する比較容易度計算部１０４と、画像とアノテーションデータとを用いて、画像の特徴量の抽出方法と比較容易度の計算方法とを学習する学習部１０３と、学習部１０３が学習した画像の特徴量と画像同士の比較容易度とに基づいて、表示画面に表示する検索結果の順序を決定する検索部１０１と、検索部１０１が決定した順序で検索結果を表示画面に表示する表示部１０５と、を備える。【選択図】図１
2020190861.tif 000002
【特許請求の範囲】
【請求項１】
検索対象を含む画像及び前記画像のアノテーションデータの入力を受け付ける入力部と、
前記画像の特徴量を抽出する特徴抽出部と、
前記画像同士の比較容易度を計算する比較容易度計算部と、
前記画像と前記アノテーションデータとを用いて、前記画像の特徴量の抽出方法と前記比較容易度の計算方法とを学習する学習部と、
前記学習部が学習した前記画像の特徴量と前記画像同士の比較容易度とに基づいて、表示画面に表示する検索結果の順序を決定する検索部と、
前記検索部が決定した順序で前記検索結果を前記表示画面に表示する表示部と、
を備えることを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置であって、
前記入力部は、前記アノテーションデータとして、一の画像と他の画像と当該一の画像と他の画像との比較容易度とを含むデータの入力を受け付け、
前記学習部は、前記入力部から入力された前記データを用いて、前記学習を行う、
ことを特徴とする画像検索装置。
【請求項３】
請求項１に記載の画像検索装置であって、
前記検索部は、入力装置によるユーザからの操作を受け付けて、前記検索結果を表示する順序を、前記画像の特徴量の類似度と前記比較容易度の重要度とに応じて変更し、
前記表示部は、前記検索部による前記変更の結果を前記表示画面に表示する、
ことを特徴とする画像検索装置。
【請求項４】
請求項１に記載の画像検索装置であって、
前記比較容易度計算部は、前記比較容易度を画像の回転角度を用いて計算する、
ことを特徴とする画像検索装置。
【請求項５】
請求項１に記載の画像検索装置であって、
時系列的に連続する前記画像を用いて前記検索対象を追跡する追跡部と、
前記追跡部による追跡の結果を蓄積する追跡データ蓄積部と、を備え、
前記検索部は、前記追跡データ蓄積部が蓄積した前記追跡の結果から前記検索対象を含む画像を検索し、検索した当該画像と前記比較容易度とに基づいて、前記表示画面に表示する画像を選択する、
ことを特徴とする画像検索装置。
【請求項６】
入力部が、検索対象を含む画像及び前記画像のアノテーションデータの入力を受け付け、
特徴抽出部が、前記画像の特徴量を抽出し、
比較容易度計算部が、前記画像同士の比較容易度を計算し、
学習部が、前記画像と前記アノテーションデータとを用いて、前記画像の特徴量の抽出方法と前記比較容易度の計算方法とを学習し、
検索部が、前記学習部が学習した前記画像の特徴量と前記画像同士の比較容易度とに基づいて、表示画面に表示する検索結果の順序を決定し、
表示部が、前記検索部が決定した順序で前記検索結果を前記表示画面に表示する、
ことを特徴とする画像検索方法。
【請求項７】
請求項６に記載の画像検索方法であって、
前記入力部は、前記アノテーションデータとして、一の画像と他の画像と当該一の画像と他の画像との比較容易度とを含むデータの入力を受け付け、
前記学習部は、前記入力部から入力された前記データを用いて、前記学習を行う、
ことを特徴とする画像検索方法。
【請求項８】
請求項６に記載の画像検索方法であって、
前記検索部は、入力装置によるユーザからの操作を受け付けて、前記検索結果を表示する順序を、前記画像の特徴量の類似度と前記比較容易度の重要度とに応じて変更し、
前記表示部は、前記検索部による前記変更の結果を前記表示画面に表示する、
ことを特徴とする画像検索方法。
【請求項９】
請求項６に記載の画像検索方法であって、
前記比較容易度計算部は、前記比較容易度を画像の回転角度を用いて計算する、
ことを特徴とする画像検索方法。
【請求項１０】
請求項６に記載の画像検索方法であって、
追跡部が、時系列的に連続する前記画像を用いて前記検索対象を追跡し、
追跡データ蓄積部が、前記追跡部による追跡の結果を蓄積し、
前記検索部は、前記追跡データ蓄積部が蓄積した前記追跡の結果から前記検索対象を含む画像を検索し、検索した当該画像と前記比較容易度とに基づいて、前記表示画面に表示する画像を選択する、
ことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。該公報では、検索に必要な局所特徴量の算出の過程で回転角度を算出するようにし、検索結果として画像を表示する際には、推定された回転角度に基づいて回転正規化の要否を判定し、回転角度が所定値以上である場合には、クエリ画像を基準にしてサンプル画像を回転正規化した後に表示するようにして、検索結果を確認する時に、心的回転による負荷を軽減するとともに、計算量を抑えて検索結果を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−４７０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
類似画像検索の用途として、監視システムがある。例えば監視者が不審者を発見した場合に、類似画像検索を用いて監視者が不審者を追跡することを補助できる。また、例えば監視者が置き去りにされた荷物を発見した場合に、類似画像検索を用いて荷物の所有者を特定することができる。このような用途においては、同一人物や同一荷物などの同一個体が検索結果の上位に出現することが好ましく、高精度な検索が求められる。
【０００５】
従来、高精度な類似画像検索を行う方法として、Convolutional neural network (CNN) を利用して画像から特徴量を抽出し、特徴量の類似度を計算する方法が提案されている。この方法では、照明環境や画像内での検索対象の位置や大きさが異なる同一個体の様々な画像に対して、類似の特徴量を抽出するようにCNNを学習しておくため、高精度な検索を行うことができる。一方で、どのような画像に対しても類似する特徴量を抽出するように学習するため、必ずしもクエリ画像と比較しやすい画像が検索結果の上位に出現するとは限らない。クエリ画像と検索結果の比較画像が同一個体か異なる個体かを瞬時に判断するためには、比較しやすい画像を上位に表示することが好ましい。また、例えばカメラ内で個体の追跡処理を行っておき、既に同一個体と判明している画像が複数枚ある場合には、それらの中からクエリ画像と比較しやすい画像を選択し、検索結果に表示することが好ましい。
【０００６】
前記特許文献１では、クエリ画像を基準にした比較画像の回転角を計算し、検索結果を表示する際に比較画像を回転させることで比較の容易度を向上させる方法が記載されている。記載の方法は局所特徴量を利用して類似度の計算及び回転角度の計算を行っており、画像内での同一個体の向きを揃えることで比較の容易度が向上するとしている。しかし、この方法はCNNのような事前学習を行って類似画像検索を行う方法に適用することはできず、高精度の検索を実現しつつ、比較の容易度を向上させることができない。また、物体が撮影された方向が異なったり、物体の一部が遮蔽されている場合など、画像内で物体の見た目が異なる場合に角度の計算が容易ではなく、比較の容易度を向上させることは困難である。
【０００７】
本発明の一態様では、高精度な類似画像検索を実現しつつ、比較の容易な画像を検索結果の上位に表示することができる画像検索装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、検索対象を含む画像及び前記画像のアノテーションデータの入力を受け付ける入力部と、前記画像の特徴量を抽出する特徴抽出部と、前記画像同士の比較容易度を計算する比較容易度計算部と、前記画像と前記アノテーションデータとを用いて、前記画像の特徴量の抽出方法と前記比較容易度の計算方法とを学習する学習部と、前記学習部が学習した前記画像の特徴量と前記画像同士の比較容易度とに基づいて、表示画面に表示する検索結果の順序を決定する検索部と、前記検索部が決定した順序で前記検索結果を前記表示画面に表示する表示部と、を備えることを特徴とする画像検索装置として構成される。
【発明の効果】
【０００９】
本発明の一態様によれば、高精度な類似画像検索を実現しつつ、比較の容易な画像を検索結果の上位に表示することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施例を示す基本構成図
【図２】一実施例を示す画像検索のフローチャート
【図３】一実施例を示す比較容易度計算の学習を行うためのフローチャート
【図４】一実施例を示す比較容易度計算の学習を行うためのアノテーション
【図５】一実施例を示す比較容易度計算の学習用のアノテーション方法
【図６】一実施例を示す検索結果の表示画面
【図７】一実施例を示す比較容易度計算の学習用のアノテーション方法
【図８】一実施例を示す構成図
【図９】一実施例を示す追跡のフローチャート
【図１０】一実施例を示す画像検索のフローチャート
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
【００１２】
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【００１３】
以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
【００１４】
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【００１５】
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。
【００１６】
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【実施例１】
【００１７】
本実施形態では、画像検索装置の一例として、スーツケースなどの荷物画像の検索を行う例を説明する。なお、検索対象は荷物である必要はなく、撮像可能な対象（例えば、物体をはじめとする撮像対象）であればよい。
【００１８】
図１は、本実施形態で用いられる画像検索装置の構成例を示す図である。図に示すように、本実施形態の画像検索装置１０００は、入力部１００、検索部１０１、特徴抽出部１０２、学習部１０３、比較容易度計算部１０４、表示部１０５を有して構成される。以下で各ブロックについて説明する。画像検索装置１０００は、ハードウェアとしては、例えば、キーボードやマウス等の入力装置、LCD（Liquid Crystal Display）等の表示装置、あるいはタッチパネル等の入出力装置、HDD（Hard Disk Drive）やSSD（Solid State Drive）等の記憶装置やメモリ等の記憶媒体を備えた一般的なＰＣやサーバ等のコンピュータから構成される。
【００１９】
入力部１００は、検索もしくは学習を実行する際に各処理の実行に必要なデータを受け付ける。入力部１００は、検索を実行する際にはクエリ画像及び比較対象の画像群を受け付け、それらのデータを検索部１０１に出力し、学習を実行する際には学習に必要な画像とアノテーションデータを受け付け、それらのデータを学習部１０３に出力する。
【００２０】
検索部１０１は、検索のためのデータ管理や計算処理を行う。検索処理では、検索部１０１は、まず入力部１０１からクエリ画像及び比較対象の画像群を受け付け、それらのデータを特徴抽出部１０２や比較容易度計算部１０４に出力する。検索部１０１は、特徴抽出部１０２が画像から抽出した特徴量や比較容易度計算部１０４が画像から計算した比較容易度を取得し、それらから比較画像群の表示順を決定する。検索部１０１は、最後にクエリ画像や比較画像群、表示順を表示部１０５に出力する。比較容易度とは、検索対象を含む画像同士の比較の容易性、すなわち比較が容易である程度を示す情報である。以下では、比較容易度が上記画像同士の比較の容易性を示すものとして説明しているが、画像に含まれる検索対象同士の比較の容易性を比較容易度としてもよい。
【００２１】
特徴抽出部１０２は、画像から類似度計算に必要な特徴量を抽出する。検索を実行する際には、特徴抽出部１０２は、検索部１０１から取得した画像に対して特徴量を抽出し、抽出した特徴量を検索部１０１に出力する。特徴抽出部１０２は、学習を実行する際には学習部１０３から取得した画像に対して特徴量を抽出し、抽出した特徴量を学習部１０３に出力する。また、特徴抽出部１０２は、特徴量を抽出するために必要なパラメータを保持しており、学習を実行する際にはこのパラメータを学習部１０３と送取得する。
【００２２】
学習部１０３は、特徴抽出部１０２が特徴量を抽出する際に使用するパラメータや比較容易度計算部１０４が比較容易度を計算する際に使用するパラメータを学習により更新する。学習を実行する際には、学習部１０３は、入力部１００から学習に必要な画像とアノテーションデータを取得する。特徴量を抽出するためのパラメータを更新する際には、学習部１０３は、特徴抽出部１０２に画像を出力して、特徴抽出部１０２が画像から抽出した特徴量を取得し、この特徴量とアノテーションデータからパラメータの更新値を計算する。計算された更新値は特徴抽出部１０２に出力される。比較容易度を計算するためのパラメータを更新する際には、学習部１０３は、比較容易度計算部１０４に画像を出力して、比較容易度計算部１０４が画像から計算した比較容易度を取得し、この比較容易度とアノテーションデータからパラメータの更新値を計算する。計算された更新値は比較容易度計算部１０４に出力される。
【００２３】
表示部１０５は、検索結果を表示する。表示部１０５は、検索を実行する際に検索部１０１から表示するクエリ画像や比較画像群、表示順を取得し、表示順に応じて結果を並べる。また、表示部１０５は、検索部１０１から画像の類似度や比較容易度を取得してそれらを表示することもできる。
【００２４】
画像検索装の各部は、プログラムの実行により実現される。例えば、画像検索装置１０００のＣＰＵが、ＲＯＭからプログラムを読み出して実行することにより、上記各部の機能が実現される。上記プログラムは、ＵＳＢ(Universal Serial Bus)メモリ等の記憶媒体から読み出されたり、ネットワークを介した他のコンピュータからダウンロードする等して、画像検索装置１０００に提供されてもよい。
【００２５】
図２は、本実施形態で用いられる画像検索のフローの例を示す図である。以下で検索のフローを説明する。
【００２６】
ステップ２００では、検索実行者の検索開始操作により検索部が検索処理を開始する。検索実行者とは人である必要はなく、検索を実行するプログラムなどであってもよい。
【００２７】
ステップ２０１では、入力部１００が、検索実行者が入力装置を操作して検索を行うためのクエリとなる画像と検索対象となる比較画像群の入力を受け付ける。
【００２８】
ステップ２０２では、入力部１００が、ステップ２０１で検索実行者から入力されたクエリとなる画像および検索対象となる比較画像を検索部１０１に出力する。
【００２９】
ステップ２０３では、検索部１０１が、ステップ２０２で入力部１００から取得したこれらの画像を特徴抽出部１０２に出力する。
【００３０】
ステップ２０４では、特徴抽出部１０２がステップ２０３で検索部１０１から取得したこれらの画像に対して特徴量の抽出を行う。特徴量の抽出には、例えばCNNを用いる。CNNは画像を入力されて特徴量となる数値ベクトルを出力する。数値ベクトルの計算には、CNNが保持するパラメータを用いて畳み込み演算により行う。このパラメータは任意の値に設定可能であり、学習により同一個体の画像に対しては類似するベクトルを出力するようにしておく。
【００３１】
ステップ２０５では、特徴抽出部１０２が、ステップ２０４で抽出した特徴量を検索部１０１に出力する。
【００３２】
ステップ２０６では、検索部１０１が、ステップ２０２で入力部１００から取得したクエリとなる画像および検索対象となる比較画像を比較容易度計算部１０４に出力する。
【００３３】
ステップ２０７では、比較容易度計算部１０４が、ステップ２０６で検索部１０１から取得したこれらの画像に対して比較容易度の計算を行う。比較容易度の計算には、例えばCNNを用いる。CNNは二枚の画像を入力されて、その二枚の画像に対する比較容易度の値を出力する。値は、例えば0.0から1.0の範囲内にあり、大きいほど比較が容易であることを示す数値である。比較容易度の計算には、CNNが保持するパラメータを用いて畳み込み演算により行う。このパラメータは任意の値に設定可能であり、学習により比較が容易な画像の組み合わせに対しては大きな値を出力するようにしておく。
【００３４】
ステップ２０８では、比較容易度計算部１０４が、ステップ２０７で計算した比較容易度を検索部１０１に出力する。
【００３５】
ステップ２０９では、検索部１０１が、ステップ２０５で特徴抽出部１０２から取得した特徴量とステップ２０８で比較容易度計算部１０４から取得した比較容易度を用いて検索結果の表示順を決定する。特徴量を用いてクエリ画像と比較画像の類似度を計算するには、例えば特徴量である数値ベクトルのユークリッド距離を計算する。数値ベクトルは予めベクトルの大きさが1.0になるように正規化しておくことで、ユークリッド距離の範囲を0.0から2.0の範囲に制限する。更に以下の式により類似度を0.0から1.0の範囲に制限し、大きい値ほど類似度が高くなるようにする。
【００３６】
【数１】
2020190861.tif 000003
ただし、f1およびf2は比較する二つの画像の特徴量である数値ベクトルを表し、sは類似度を表す。表示順は例えば以下のスコアを計算することにより決定する。
【００３７】
【数２】
2020190861.tif 000004
【００３８】
ただし、pはスコア、sは前記の処理で計算した類似度、cはステップ２０７で計算した比較容易度、αは類似度と比較容易度の表示順の決定への重要度を表し、0.0から1.0の範囲で設定する。αが小さいと類似度が高いものから順に表示し、αが大きいと比較容易度が高いものから順に表示する。αを検索結果表示画面で動的に変更できるようにしておけば、検索実行者の要求に応じて類似度と比較容易度の重要度を変更することができ、柔軟な表示が可能となる。
【００３９】
ステップ２１０では、検索部１０１が、クエリ画像、比較画像群及びステップ２０９で計算した表示順のスコアを表示部１０５に出力する。
【００４０】
ステップ２１１では、表示部１０５がステップ２１０で検索部１０１から取得したクエリ画像、比較画像群及び表示順のスコアを使用して表示順を決定し、検索結果の表示を行う。検索結果の表示は、表示部１０５が、例えばクエリ画像を表示し、その横に比較画像群を表示スコアが降順になるように上から下に並べて表示装置に表示する。
【００４１】
ステップ２１２では、入力部１００が、検索実行者から、検索を続行するか終了するかの決定を受け付ける。
【００４２】
ステップ２１３では、入力部１００が、検索終了の決定を受け付けた場合（ステップ２１２；Ｙｅｓ）、検索を終了する。一方、入力部１００が、検索終了の決定を受け付けていない場合（ステップ２１２；Ｎｏ）、ステップ２０１に戻り、以降の処理を繰り返す。
【００４３】
本実施形態のような画像の検索方法を用いることで、クエリ画像と同一個体の画像を比較画像群の中から見つけ出し、検索結果の上位に表示する高精度な検索を実現しつつ、クエリ画像に対して比較しやすい画像を選択して表図することができ、検索結果の確認時間を減少させることができる。特許文献１の方法では比較の容易度を向上させることはできるが、特徴量の抽出方法を学習できないために、検索の精度が低くなってしまう。また、一般的な特徴量の抽出方法を学習する方法を用いる場合、全ての同一個体の画像に対して類似度が高くなるように学習を行うため、クエリ画像に対する比較画像の比較容易度は考慮されない。これらの方法に対して、本手法は特徴量の抽出方法とともに、比較容易度の計算方法も学習し表示順に反映させるため、検索結果のクエリ画像と比較画像を比較しやすくなる。
【００４４】
本フローでは、クエリ画像や比較画像がそれぞれ独立した一枚の画像であることを前提としていたが、これらは一枚である必要はなく、同一個体の複数枚の画像であってもよい。このような場合には、一つの個体に対して特徴量を表す数値ベクトルが複数できるが、例えばそれらの数値ベクトルの平均値を計算して一つの数値ベクトルにまとめてもよいし、クエリ画像と比較画像の複数の数値ベクトルに対して全ての組み合わせの類似度を計算して、それらの類似度の最小値や平均値を計算してもよい。このような方法を用いることで、一対一の類似度計算を行うよりも画像の変化に頑強な類似度計算を行えるようになる。
【００４５】
また、本フローでは、検索を行う際に検索実行者が画像を入力して逐一特徴量の抽出や比較容易度の計算を行っていたが、例えば予め特徴量の抽出や比較容易度の計算を行い、画像や抽出した特徴量、計算した比較容易度を記憶媒体に保存しておき、検索時には記憶媒体に保存されたものを用いることで、検索を実行する際の処理時間を減少させることができる。
【００４６】
また、本フローでは、特徴量の抽出方法として一般的なCNNを使用していたが、従来から知られている他の手法、例えば回転に対して頑強なCNNを使用して特徴量を抽出することで、荷物画像が回転している場合でも特徴量が変化せず、検索精度を向上させることができる。
【００４７】
図３は、本実施形態で用いられる比較容易度計算の学習を行うためのフローチャートの例を示す図である。以下で学習のフローを説明する。
【００４８】
ステップ３００では、学習実行者の学習開始操作により学習部が学習処理を開始する。学習実行者とは人である必要はなく、学習を実行するプログラムなどであってもよい。
【００４９】
ステップ３０１では、入力部１００が、学習実行者が入力装置を操作して学習を行うための画像及びアノテーションデータの入力を受け付ける。
【００５０】
ステップ３０２では、入力部１００が、ステップ３０１で学習実行者から入力された画像及びアノテーションデータを学習部１０３に出力する。
【００５１】
ステップ３０３では、学習部１０３が、ステップ３０２で入力部１００から取得した画像を比較容易度計算部１０４に出力する。
【００５２】
ステップ３０４では、比較容易度計算部１０４が、ステップ３０３で学習部１０３から取得した画像に対して比較容易度の計算を行う。比較容易度の計算方法は図２におけるステップ２０７と同様である。
【００５３】
ステップ３０５では、比較容易度計算部１０４が、ステップ３０４で計算した比較容易度と比較容易度を計算する際に使用したパラメータを学習部１０３に出力する。
【００５４】
ステップ３０６では、学習部１０３が、ステップ３０５で比較容易度計算部１０４から取得した比較容易度と、ステップ３０２で入力部１００から取得したアノテーションデータを用いて、ステップ３０５で比較容易度計算部１０４から取得した比較容易度計算用のパラメータの更新を行う。パラメータの更新には、例えば確率的勾配降下法を用いる。確率的勾配降下法の目的関数は、例えば比較容易度計算部１０４から取得した比較容易度の推定値と入力部１００から取得したアノテーションデータに含まれる比較容易度の正解値の平均二乗誤差を用いる。平均二乗誤差Ｅは以下のように計算される。
【００５５】
【数３】
2020190861.tif 000005
ただし、ｃｇは比較容易度の正解値、ｃｐは比較容易度の推定値である。平均二乗誤差Ｅを減少させるようにパラメータを更新する。
【００５６】
ステップ３０７では、学習部１０３がステップ３０６で更新した比較容易度計算用のパラメータを比較容易度計算部１０４に出力する。
ステップ３０８では、比較容易度計算部１０４がステップ３０７で学習部１０３から取得した比較容易度計算用のパラメータを比較容易度の計算に使用するように設定する。
ステップ３０９では、入力部１００が、学習実行者から、学習を続行するか終了するかの決定を受け付ける。
ステップ３１０では、入力部１００が、学習終了の決定を受け付けた場合（ステップ３０９；Ｙｅｓ）、学習を終了する。一方、入力部１００が、学習終了の決定を受け付けていない場合（ステップ３０９；Ｎｏ）、ステップ３０１に戻り、以降の処理を繰り返す。
【００５７】
本実施形態のような比較容易度計算の学習を行うと、比較のしやすさについて様々な要素を考慮することができる。特許文献１の方法では画像の回転について比較容易度を考慮することができるがその他の要素については考慮することができない。それに対して、本手法では、回転の他に例えば荷物の遮蔽についても考慮することができる。荷物が他の荷物に遮蔽されており、荷物を比較する際の重要な部分が見えない場合に比較容易度を小さくするように学習しておけば、このような画像は検索結果の上位から除外することができる。
【００５８】
なお、本フローの比較容易度計算の学習方法は、目的関数を変更することで特徴抽出の学習に用いるパラメータの更新にも用いることができる。特徴抽出の学習における目的関数には、例えばSoftmax cross entropyで個体の識別を行うように学習する方法がある。このときの学習データセットは一つである必要はなく、複数のデータセットを用いることができる。複数のデータセットを用いる場合、複数のデータセットに含まれる全ての個体の中から各個体を識別するように学習するのではなく、特徴量を共有しながら各データセット内の個体の中から各個体を識別するように学習する方が精度を向上させることができる。
【００５９】
図４は、本実施形態における比較容易度計算の学習を行うためのアノテーションデータの例を示す図である。アノテーションデータ４００は検索対象を含む二つの画像IDの組み合わせとその二つの画像の比較容易度の集合で構成される。画像IDとは一つの画像に対して他の画像との重複が無いように付与された識別子であり、個々の画像を一意に特定するために使用される。当該一つの画像と他の画像との間の比較容易度は比較容易度計算部１０４が推定する目標値であり、0から1.0の範囲内で値が大きいほど比較が容易であることを示す数値である。画像ID1と画像ID2の順序は関係なく、画像ID1と画像ID2の組み合わせが同じものは同じアノテーションデータとして扱う。
【００６０】
図５は、本実施形態における比較容易度計算の学習用のアノテーション方法の例を示す図である。表示部１０４は、表示装置に表示するアノテーション画面５００として、同一個体の異なる画像５０１-５０４と比較容易度５０５を表示する。表示されている数値は、アノテーション実行者が入力した各画像の比較容易度であり、例えば数値５０５は画像５０２と画像５０４に対してアノテーション実行者が入力装置を操作して比較容易度0.8を入力したことを示している。
【００６１】
本実施形態のように、人間が検索結果を確認する同様の状況である画像を比較する状況において、比較容易度の入力によりアノテーションデータを作成することによって、人間の比較しやすさの感覚を検索結果に反映することができる。
【００６２】
本表示画面では、画面の四隅にアノテーション対象の画像を配置したが、例えば二つの画像と比較容易度を行方向に並べ、各アノテーションデータを列方向に並べるテーブル表示画面を用いてもよい。このような表示画面を用いると、アノテーション対象の画像が大量にある場合にも対応できる。
【００６３】
図６は、本実施形態における検索結果の表示画面の例を示す図である。以下では、検索部１０１が、入力装置によるユーザからの操作を受け付けて、検索結果を表示する順序を、画像の特徴量の類似度と比較容易度の重要度とに応じて変更し、表示部１０５が、検索部１０１による変更の結果を表示画面に表示する。
【００６４】
例えば、表示部１０５は、表示装置に表示する検索結果表示画面６００として、検索に使用したクエリ画像６０１、比較画像群の検索結果６０２、クエリ画像と比較画像の類似度６０３、クエリ画像と比較画像の比較容易度６０４及び類似度と比較容易度の重要度を設定するα値６０５を表示する。本表示画面ではα値６０５が0.5に設定されており、類似度と比較容易度が同等の重要度であるとしてスコアが計算されている。検索結果６０２はスコアが降順になるように並べられている。
【００６５】
本実施形態のように、入力部１００が、検索実行者からα値６０５の設定操作を受け付け、表示画面上でα値６０５を任意に設定できるようにすることで、類似度と比較容易度の重要度を変更することができ、柔軟な検索結果の確認ができる。
【００６６】
本表示画面ではα値を数値で入力するようにしているが、例えばスライドバーなどを用いて設定してもよい。スライドバーを用いることでα値６０５の入力を簡易に行うことができるようになる。
【実施例２】
【００６７】
本実施形態では、画像検索装置の一例として、スーツケースなどの荷物画像の検索を行う例を説明する。なお、検索対象は荷物である必要はなく、実施例１の場合と同様、撮像可能な対象であればよい。本実施形態では、比較容易度を画像の回転角度から算出されるものとし、比較容易度計算の学習を行うためのアノテーションデータとして画像の回転角度を用いる。その他については実施例１と同様である。
【００６８】
図７は、本実施形態における比較容易度計算の学習用のアノテーション方法の例を示す図である。
表示部１０４は、表示装置に表示するアノテーション画面７００として、同一個体の異なる画像７０１-７０２及び回転角度７０３を表示する。入力部１００は、アノテーション実行者から、基準画像７０１と比較画像７０２の荷物の回転角度の入力を受け付ける。比較容易度計算部１０４は、入力された回転角度から比較容易度を以下のように計算する。
【００６９】
【数４】
2020190861.tif 000006
ただし、ｃは比較容易度、θは回転角度を表している。
【００７０】
本実施形態のように、比較容易度を画像の回転角度に限定することで、アノテーション実行者がアノテーションをしやすくなる特徴がある。
【実施例３】
【００７１】
本実施形態では、画像検索装置の一例として、スーツケースなどの荷物画像の検索を行う例を説明する。なお、検索対象は荷物である必要はなく、実施例１の場合と同様、撮像可能な対象であればよい。本実施形態では、物体の追跡が事前に行われており、各個体の画像が複数枚ある場合に、その複数枚の画像からクエリ画像と比較しやすい画像を選択する。その他については実施例１と同様である。
【００７２】
図８は、本実施形態で用いられる構成例を示す図である。図に示すように、本実施形態の画像検索装置８０００は、図１の構成例に追跡部８００と追跡データ蓄積部８０１を追加して構成される。以下で追加された各ブロックについて説明する。
【００７３】
追跡部８００は、時系列的に連続する複数の画像について、各画像から荷物を検出し、その荷物を時系列方向に追跡する。追跡を実行する際には、まず追跡部８００が入力部１００から時系列的に連続する画像を取得する。次に追跡部８００は、取得した画像に対して追跡処理を実施する。最後に追跡処理の結果を追跡データ蓄積部８０１に出力する。
【００７４】
追跡データ蓄積部８０１は、追跡部８００が追跡処理を終了した際に、追跡結果を取得し、記憶装置や記憶媒体に保存しておく。
【００７５】
図９は、本実施形態で用いられる追跡のフローチャートの例を示す図である。以下で追跡のフローを説明する。
【００７６】
ステップ９００では、追跡実行者の追跡開始操作により追跡部が追跡処理を開始する。追跡実行者とは人である必要はなく、追跡を実行するプログラムなどであってもよい。
【００７７】
ステップ９０１では、入力部１００が、追跡実行者が入力装置を操作して追跡を行うための時系列的に連続する画像の入力を受け付ける。
【００７８】
ステップ９０２では、入力部１００が、ステップ９０１で追跡実行者から入力された時系列的に連続する画像を追跡部８００に出力する。
【００７９】
ステップ９０３では、追跡部８００が、ステップ９０２で入力部１００から取得した時系列的に連続する画像に対して追跡処理を実施する。追跡には、例えばまず、従来から知られている様々な手法を用いて各画像の荷物の検出を行う。検出結果は荷物の種類と画像内における位置と大きさになる。次に、追跡部８００は、時系列的に隣接する画像の検出結果について、同じ種類として検出した荷物のうち空間的に距離が近い荷物同士を結びつけ、結び付けた荷物を含む画像に同じ追跡IDを付与する距離の計算には、例えば検出の位置のユークリッド距離を用いる。このようにして生成された検出結果は荷物の種類、荷物が映る画像ID、同じ種類の荷物として検出した画像の追跡ID、各画像における荷物の位置と大きさとなる。
【００８０】
ステップ９０４では、追跡部８００が、ステップ９０３で生成した検出結果を追跡結果として追跡データ蓄積部８０１に出力する。
【００８１】
ステップ９０５では、追跡データ蓄積部８０１が、ステップ９０４で追跡部８００から取得した追跡結果を示すデータを記憶装置や記憶媒体に保存する。
【００８２】
ステップ９０６では、入力部１００が、追跡実行者から、追跡を続行するか終了するかの決定を受け付ける。
【００８３】
ステップ９０７では、入力部１００が、追跡終了の決定を受け付けた場合（ステップ９０６；Ｙｅｓ）、追跡を終了する。一方、入力部１００が、追跡終了の決定を受け付けていない場合（ステップ９０６；Ｎｏ）、ステップ９０１に戻り、以降の処理を繰り返す。
【００８４】
本実施形態のような追跡を行うと、検索実行前に同一個体の複数の画像を集合としてまとめておけるため、比較対象となる画像の枚数を減らすことができ、検索精度を向上させることができる。また、類似度を計算する際に、クエリ画像と比較画像それぞれについて複数枚の画像を使用できるため、画像の変化に頑強な類似度計算を行うことができ、検索精度を向上させることができる。
【００８５】
図１０は、本実施形態で用いられる画像検索のフローチャートの例を示す図である。以下で図２の検索フローと異なるステップのみ説明する。
【００８６】
ステップ１０００では、入力部１００が、検索実行者が入力装置を操作して検索を行うためのクエリとなる画像の入力を受け付ける。
【００８７】
ステップ１００１では、追跡データ蓄積部８０１が、検索の比較対象となる画像群及び追跡データを検索部１０１に出力する。
【００８８】
ステップ１００２では、検索部１０１が、ステップ１０００で入力部１００から取得したクエリ画像及びステップ１００１で追跡データ蓄積部８０１から取得した比較画像群を特徴量抽出部１０２に出力する。
【００８９】
ステップ１００３では、検索部１０１が、ステップ１０００で入力部１００から取得したクエリ画像及びステップ１００１で追跡データ蓄積部８０１から取得した比較画像群を比較容易度計算部１０４に出力する。
【００９０】
ステップ１００４では、検索部１０１が、ステップ２０５で特徴抽出部１０２から取得した特徴量を用いて検索結果の表示順を決定する。検索部１０１は、表示順を決めるスコアとして、例えばステップ２０９の類似度計算方法を用いて特徴量から類似度を計算し、その類似度を用いる。
【００９１】
ステップ１００５では、検索部１０１が、比較対象の各個体を示す複数の画像の中から比較容易度を使用して表示する画像を選択する。検索部１０１は、例えば複数の画像の中からクエリ画像に対して比較容易度が最も大きいものを選択する。
【００９２】
本実施形態のような画像の検索方法を用いることで、比較対象の同一個体を示す複数の画像の中からクエリ画像と比較しやすいものを選択することができ、検索結果の確認時間を減少させることができる。
【００９３】
このように、上記各実施例によれば、高精度な類似画像検索を実現しつつ、比較の容易な画像を検索結果の上位に表示することができる画像検索装置を提供することができる。また、類似特徴量の抽出方法とともに、画像の比較容易度を計算するように学習しておき、検索の際に特徴量の類似度と比較の容易度の両方を用いて検索結果を並べ替えることで比較の容易度を向上させる方法を提供することができる。
【００９４】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００９５】
１０００、８０００  画像検索装置
１００              入力部
１０１              検索部
１０２              特徴抽出部
１０３              学習部
１０４              比較容易度計算部
１０５              表示部
８００              追跡部
８０１              追跡データ蓄積部
【図１】
2020190861.tif 000007
【図２】
2020190861.tif 000008
【図３】
2020190861.tif 000009
【図４】
2020190861.tif 000010
【図５】
2020190861.tif 000011
【図６】
2020190861.tif 000012
【図７】
2020190861.tif 000013
【図８】
2020190861.tif 000014
【図９】
2020190861.tif 000015
【図１０】
2020190861.tif 000016