(57)【要約】【課題】より高精度にインスタンスを示す画像を検索する。【解決手段】適合確率計算部３０が、注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。【選択図】図１
2016162127.tif 000002
【特許請求の範囲】
【請求項１】
クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出するクエリ特徴抽出部と、
複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、
前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する適合確率計算部と、
を含む映像検索装置。
【請求項２】
前記複数の映像の各々について、前記クエリ特徴抽出部により抽出された第一の特徴ベクトル及び第二の特徴ベクトルから、重複する特徴ベクトルを除いて、前記映像から抽出された特徴点の特徴ベクトルと、前記第一の特徴ベクトルとを照合した結果に基づいて、前記第一の特徴ベクトルの出現頻度を集計し、前記映像から抽出された特徴点の特徴ベクトルと、前記第二の特徴ベクトルとを照合した結果に基づいて、前記第二の特徴ベクトルの出現頻度を集計し、前記集計された前記第一の特徴ベクトルの出現頻度及び前記第二の特徴ベクトルの出現頻度に基づいて、映像長を計算し、
前記第一の特徴ベクトルを有する映像数に基づいて、前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数に基づいて、前記第二の特徴ベクトルの重みを計算する映像情報計算部を更に含み、
前記適合確率計算部は、前記複数の映像の各々について、前記映像情報計算部によって前記映像について計算された前記第一の特徴ベクトルの出現頻度、映像長、及び前記第一の特徴ベクトルの重みに基づいて、前記映像の第一の映像適合確率を算出し、
前記映像情報計算部によって前記映像について計算された前記第二の特徴ベクトルの出現頻度、映像長、及び前記第二の特徴ベクトルの重みに基づいて、前記映像の第二の映像適合確率を算出する請求項１記載の映像検索装置。
【請求項３】
前記映像情報計算部は、前記第一の特徴ベクトルを有する映像数が少ないほど大きくなる前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数が少ないほど大きくなる前記第二の特徴ベクトルの重みを計算する請求項２記載の映像検索装置。
【請求項４】
前記適合確率計算部は、前記第一の映像適合確率に対する重みを、前記第二の映像適合確率に対する重みより大きくして、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する請求項１〜請求項３の何れか１項記載の映像検索装置。
【請求項５】
クエリ特徴抽出部及び適合確率計算部を含む映像検索装置における映像検索方法であって、
前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出し、
前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、
前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された前記第二の映像適合確率との重み付き線形和をランキングスコアとして算出する
映像検索方法。
【請求項６】
コンピュータを、請求項１〜請求項４のいずれか１項記載の映像検索装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、exponential IDF(eIDF)と呼ばれる特徴点の検索識別性(重要度、重み)を使用した確率的情報検索法(BM25)に基づくインスタンスサーチシステムが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Masaya Murata et al., “NTT Communication Science Laboratories and National Institute of Informatics at TRECVID 2013 Instance Search Task.”, In Proc. of TRECVID 2013 Workshop, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、従来技術とは異なるアプローチにより、より高精度にインスタンスを示す画像を検索することができる映像検索装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の映像検索装置は、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出するクエリ特徴抽出部と、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する適合確率計算部と、を含んで構成されている。
【０００６】
本発明の映像検索装置によれば、前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出する。そして、前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
【０００７】
このように、注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる。
【０００８】
本発明の映像検索装置は、前記複数の映像の各々について、前記特徴抽出部により抽出された第一の特徴ベクトル及び第二の特徴ベクトルから、重複する特徴ベクトルを除いて、前記映像から抽出された特徴点の特徴ベクトルと、前記第一の特徴ベクトルとを照合した結果に基づいて、前記第一の特徴ベクトルの出現頻度を集計し、前記映像から抽出された特徴点の特徴ベクトルと、前記第二の特徴ベクトルとを照合した結果に基づいて、前記第二の特徴ベクトルの出現頻度を集計し、前記集計された前記第一の特徴ベクトルの出現頻度及び前記第二の特徴ベクトルの出現頻度に基づいて、映像長を計算し、前記第一の特徴ベクトルを有する映像数に基づいて、前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数に基づいて、前記第二の特徴ベクトルの重みを計算する映像情報計算部を更に含み、前記適合確率計算部は、前記複数の映像の各々について、前記映像情報計算部によって前記映像について計算された前記第一の特徴ベクトルの出現頻度、映像長、及び前記第一の特徴ベクトルの重みに基づいて、前記映像の第一の映像適合確率を算出し、前記映像情報計算部によって前記映像について計算された前記第二の特徴ベクトルの出現頻度、映像長、及び前記第二の特徴ベクトルの重みに基づいて、前記映像の第二の映像適合確率を算出することができる。
【０００９】
本発明の映像情報計算部は、前記第一の特徴ベクトルを有する映像数が少ないほど大きくなる前記第一の特徴ベクトルの重みを計算し、前記第二の特徴ベクトルを有する映像数が少ないほど大きくなる前記第二の特徴ベクトルの重みを計算することができる。
【００１０】
上記の適合確率計算部は、前記第一の映像適合確率に対する重みを、前記第二の映像適合確率に対する重みより大きくして、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出することができる。
【００１１】
また、本発明の映像検索方法は、クエリ特徴抽出部及び適合確率計算部を含む映像検索装置における映像検索方法であって、前記クエリ特徴抽出部が、クエリとなるインスタンスを含むインスタンス画像から、前記インスタンス画像内の前記インスタンスを示す注目領域の特徴点の第一の特徴ベクトル、及び前記注目領域でない注目領域外の特徴点の第二の特徴ベクトルを抽出し、前記適合確率計算部が、複数の映像の各々について、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第一の特徴ベクトルとを照合した結果に基づいて、前記映像の第一の映像適合確率を算出し、前記算出された前記第一の映像適合確率の上位Ｋ件の映像の各々に対して、前記映像から抽出された特徴点の特徴ベクトルと、前記クエリ特徴抽出部によって抽出された前記第二の特徴ベクトルとを照合した結果に基づいて、前記映像の第二の映像適合確率を算出し、前記算出された前記第一の映像適合確率と、前記算出された第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
【００１２】
また、本発明のプログラムは、コンピュータを、上記の映像検索装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明の映像検索装置、方法、及びプログラムによれば、注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る映像検索装置の構成を示す概略図である。
【図２】クエリのデータ構造の一例を示す図である。
【図３】クエリ特徴ＤＢのデータ構造の一例を示す図である。
【図４】特徴照合結果のデータ構造の一例を示す図である。
【図５】注目領域外特徴出現頻度及び注目領域内特徴出現頻度のデータ構造の一例を示す図である。
【図６】映像長のデータ構造の一例を示す図である。
【図７】特徴点重みのデータ構造の一例を示す図である。
【図８】途中の検索結果ランキングのデータ構造の一例を示す図である。
【図９】検索結果ランキングのデータ構造の一例を示す図である。
【図１０】本発明の実施の形態における映像検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜本実施の形態の概要＞
本実施の形態は、大規模映像データベースからインスタンスと呼ばれる特定の人物、物体、場所が映る映像を検索し、適合度順にランキングしてユーザに提示する映像検索装置に関するものである。映像検索装置の入力はインスタンスを写した画像(インスタンス画像)と、その画像内におけるインスタンスの領域を示した注目領域画像(region-of-interest, ROI 画像) のペアであり、システムはこの画像情報だけを用いてデータベースに格
【００１７】
納されている大量の映像のランキング結果を検索結果として出力する。本実施の形態では２段階の検索処理を行うことで高精度なインスタンスサーチシステムを実現する。
【００１８】
また、本実施の形態ではクエリのインスタンス画像中の注目領域から取得された画像特徴のみを用いてまずＢＭ２５を実行し、その検索結果ランキング上位Ｋ件の映像を、注目領域外から取得された画像特徴のみを用いたＢＭ２５スコアも考慮してリランキングする手法を提案する。
【００１９】
また、上記の非特許文献１に記載のeIDF には設定パラメータがありその設定が困難であるといった問題があった。本実施の形態ではその様なパラメータが存在しない、square root IDF(srIDF) も提案する。
【００２０】
＜本発明の実施の形態に係る映像検索装置の構成＞
本実施の形態に係る映像検索装置１０は、ＣＰＵと、ＲＡＭと、後述する映像検索処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、入力部１２、演算部１４、及び出力部１６を備えている。
【００２１】
入力部１２は、インスタンスが映る画像(インスタンス画像)と、その画像中におけるインスタンスの領域を白黒で示した注目領域画像(ROI 画像)とのペアを、クエリとして、少なくとも１つのクエリを受け付ける。クエリの例を図２に示す。図２の左の画像がインスタンス画像、右の画像が注目領域画像であり、クエリは、この造花がささる大きな花瓶を表している。なお、インスタンス画像と注目領域画像との複数のペアがクエリとして入力されることもある。
【００２２】
演算部１４は、クエリを手掛かりにして、大量の映像の中から実際にこのインスタンス(この造花がささる大きな花瓶)が映る映像を検索し、適合度順でランキングしたものを検索結果として出力部１６により出力する。
【００２３】
演算部１４は、クエリ特徴抽出部２０、クエリ特徴データベース（ＤＢ）２２、映像特徴データベース（ＤＢ）２４、特徴照合部２６と、映像情報計算部２８と、適合確率計算部３０と、検索ランキング部３２とを含んで構成で表すことができる。また、演算部１４は、注目領域外特徴集合４０、注目領域内特徴集合４２、特徴照合結果４４、注目領域外特徴出現頻度４６、注目領域内特徴出現頻度４８、特徴点重み５０、及び映像長５２の各々を記憶する記憶領域を備えている。
【００２４】
クエリ特徴抽出部２０は、入力部１２で受け付けたクエリのインスタンス画像から特徴点を検出し、検出した特徴点の特徴量を記述した特徴ベクトルを抽出する。クエリ特徴抽出部２０は、例えば、インスタンス画像において輝度値の変化が激しい箇所をHarris-Laplace法（「C. Harris et al., “A combined corner and edge detector.”, 4th Alvey Vision Conf., 1988.」参照）により特徴点として検出する。そして、検出した各特徴点の特徴量をSIFT又はCompact Color SIFT（「K. Mikolajczyk et al., “Scale and affine invariant interest point detectors.”, IJCV, 2004.」参照）により記述する。SIFTは128次元のベクトルであり、Compact Color SIFTは、輝度に関する１２８次元のＳＩＦＴ特徴量、色度を表す６４次元のベクトルを追加した１９２次元のベクトルである。
【００２５】
クエリ特徴抽出部２０は、入力部で受け付けたクエリの注目領域画像をもとに、各特徴点の特徴ベクトルを、注目領域内の第一の特徴ベクトルと、注目領域外の第二の特徴ベクトルとに分けて、注目領域外特徴集合４０及び注目領域内特徴集合４２に格納し、第一の特徴ベクトルと第二の特徴ベクトルとを合わせて、重複した特徴ベクトルを取り除いた集合を、クエリ特徴ＤＢ２２に格納する（図３参照）。なお、複数のクエリが入力された場合には、複数のクエリについて抽出された第一の特徴ベクトルと第二の特徴ベクトルとを合わせて、重複した特徴ベクトルを取り除いた集合を、クエリ特徴ＤＢ２２に格納すればよい。
【００２６】
映像特徴データベース２４には、映像データベース（図示省略）に大量に格納されている約５〜２０秒の映像の各々から抽出された各特徴点の特徴ベクトルが記憶されている。映像からの特徴抽出では、映像をフレーム画像(例えば１フレーム/秒)に分割し、各フレーム画像から、クエリ特徴抽出部２０と同様に、各特徴点の特徴ベクトルを抽出し、映像の各フレーム画像から抽出された各特徴点の特徴ベクトルを集約したものを、当該映像の各特徴点の特徴ベクトルとしている。
【００２７】
特徴照合部２６は、映像特徴データベース２４に格納されている各映像の特徴ベクトルと、クエリ特徴データベース２２に格納されている第一の特徴ベクトル及び第二の特徴ベクトルとを照合し、映像の各々について、当該映像の各特徴ベクトルに対して最もベクトルの値が近い第一の特徴ベクトル又は第二の特徴ベクトルを探索し、ベクトル間のコサイン類似度が所定値以上（例えば、０．９）以上という条件を考慮して、照合した第一の特徴ベクトル又は第二の特徴ベクトルを求める。上記のCompact Color SIFTの場合、例えば、１９２次元の特徴ベクトル間のコサイン類似度（０〜１の範囲の値を取り、同一の特徴ベクトルの場合は１）を用いて、コサイン類似度が所定値以上（例えば、０．９５）の特徴ベクトルと第一の特徴ベクトル又は第二の特徴ベクトルとを一致する特徴ベクトルと判断する。この照合結果が、特徴照合結果４４に格納される（図４参照）。
【００２８】
映像情報計算部２８は、特徴照合部２６による照合結果に基づいて、複数の映像の各々について、第一の特徴ベクトルの各々の出現頻度を集計し、第二の特徴ベクトルの各々の出現頻度を集計して、注目領域内特徴出現頻度４８及び注目領域外特徴出現頻度４６に格納すると共に（図５参照）、集計された第一の特徴ベクトルの出現頻度及び第二の特徴ベクトルの出現頻度の総和を、当該映像の映像長として計算し、映像長５２に格納する（図６参照）。
【００２９】
また、映像情報計算部２８は、複数の映像の各々について集計された第一の特徴ベクトルの出現頻度及び第二の特徴ベクトルの出現頻度に基づいて、第一の特徴ベクトルの各々に対し、以下の（１）式に従って、当該第一の特徴ベクトルを有する映像数に基づく、第一の特徴ベクトルの重みを計算し、第二の特徴ベクトルの各々に対し、以下の（１）式に従って、当該第二の特徴ベクトルを有する映像数に基づく、第二の特徴ベクトルの重みを計算して、特徴点重み５０に格納する（図７参照）。
【００３０】
【数１】
2016162127.tif 000003
【００３１】
ここで、Nは映像の総数、niは特徴ベクトルIを有する映像数である。この重みは式の形からsquare root IDF(srIDF)と呼ばれ、niが大きくなる傾向を示せば値が急速に小さくなる性質を要する。つまり、各特徴ベクトルの出現傾向を定量化したものであり、多頻出傾向にある特徴ベクトルは検索(映像の識別)においてあまり有効ではないと考えられるため、重みが小さくなる。非特許文献１のeIDFと比べて設定パラメータが存在しないため、実装が容易であるといった特徴がある。
【００３２】
適合確率計算部３０は、複数の映像の各々について、映像情報計算部２８によって当該映像について計算された第一の特徴ベクトルの各々の出現頻度、映像長、及び第一の特徴ベクトルの各々の重みに基づいて、以下の（２）式に従って、当該映像の第一の映像適合確率ＢＭ２５を算出する。
【００３３】
【数２】
2016162127.tif 000004
【００３４】
ここで、qjROIは、ｊ番目の第一の特徴ベクトルであり、qjROI > 0は、映像ｖ内にこのj番目の第一の特徴ベクトルが１回以上存在していることを意味し、上記(2)式の右辺はこれらの和であることを意味する。vjが実際の出現回数であり、注目領域内特徴出現頻度４８にこの情報が格納されている。k1,b1はパラメータであり、k1= 2,b1 = 0.75がよく使用される。vl,avvlはそれぞれ映像ｖの映像長、平均映像ショット長であり、映像長５２にこの情報が格納されている。平均映像ショット長は映像長５２の各映像長の平均値である。ここでsrIDFjの代わりに非特許文献１のeIDFjを用いてもよい。
【００３５】
適合確率計算部３０は、上記で計算した第一の映像適合確率ＢＭ２５の降順で映像をランキングし(途中の検索結果ランキング(図８参照))、途中の検索結果ランキング上位Ｋ件の映像の各々に対して、映像情報計算部２８によって当該映像について計算された第二の特徴ベクトルの出現頻度、映像長、及び第二の特徴ベクトルの重みに基づいて、以下の（３）式に従って、当該映像の第二の映像適合確率ＢＭ２５を計算する。
【００３６】
【数３】
2016162127.tif 000005
【００３７】
ここで、qj’は、j 番目の第二の特徴ベクトルであり、qj’ > 0は、映像ｖ内にこのj番目の第二の特徴ベクトルが１回以上存在していることを意味し、上記（３）式の右辺はこれらの和であることを意味する。vj’が実際の出現回数であり、注目領域外特徴出現頻度４６にこの情報が格納されている。k1,b1,vl,avvlは上記（２）式と同じである。
【００３８】
また、適合確率計算部３０は、途中の検索結果ランキング上位Ｋ件の映像の各々に対して、以下の（４）式に従って、算出された当該映像の第一の映像適合確率と、算出された当該映像の第二の映像適合確率との重み付き線形和をランキングスコアとして算出する。
【００３９】
【数４】
2016162127.tif 000006
【００４０】
ここでscore(v, q)が最終的なランキングスコアであり、αは重みである。通常、（２）式のスコアの重みの方が大きく、例えば、上記（２）式のスコアの1/10が、（２）式に足される(α = 1/10)。この様な２段階のリランキング法により、背景情報(第二の特徴ベクトル)の検索結果ランキングへの寄与を低減させる(コントロールする)ことができ、インスタンス情報(第一の特徴ベクトル)を多く含む映像をランキング上位へ表示させることができるようになる。K = 20〜30が通常の設定である。上記（３）式の重みとして０も設定可能であり、これは第二の特徴ベクトルでのリランキングは行わないことに相当する。クエリのインスタンス画像に映るインスタンスとその背景が明らかに関係しない場合、リランキングによる検索精度向上は望めないばかりか精度の劣化につながるため、この様な重み０の設定がなされる。
【００４１】
検索ランキング部３２は、上記（４）式で算出されたランキングスコアの降順でランキングした検索結果を作成し、出力部１６により出力する。図９に、検索結果のデータ構造の一例を示す。図９では、ランキングスコアの降順で並べられた映像とランキングスコアとが対応付けられたデータ構造となっている。
【００４２】
なお、検索結果は、上記のようにランキング形式にする場合に限定されず、ランキングスコアが最大となる映像のみを検索結果としてもよいし、ランキングスコアが所定値以上となる映像をランダムに並べた検索結果としてもよい。
【００４３】
＜本発明の実施の形態に係る映像検索装置の作用＞
次に、本発明の実施の形態に係る映像検索装置１０の作用について説明する。映像検索装置１０に、少なくとも一つのクエリが入力されると、映像検索装置１０において、図１０に示す映像検索処理ルーチンが実行される。
【００４４】
ステップＳ１００で、クエリ特徴抽出部２０が、入力されたクエリのインスタンス画像から特徴点を検出し、注目領域から検出した特徴点の特徴量を記述した第一の特徴ベクトル、及び注目領域外から検出した特徴点の特徴量を記述した第二の特徴ベクトルを抽出し、抽出した第一の特徴ベクトル及び第二の特徴ベクトルから重複した特徴ベクトルを除いて、クエリ特徴データベース２２に格納する。
【００４５】
次に、ステップＳ１０２で、特徴照合部２６は、複数の映像の各々について、映像特徴データベース２４に格納されている当該映像の特徴ベクトルと、クエリ特徴データベース２２に格納された第一の特徴ベクトル及び第二の特徴ベクトルとを照合する。
【００４６】
次に、ステップＳ１０４で、映像情報計算部２８が、複数の映像の各々について、上記ステップＳ１０２の照合結果に基づいて、当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度を集計する。
【００４７】
そして、ステップＳ１０６において、映像情報計算部２８が、第一の特徴ベクトルの各々について、上記ステップＳ１０４の集計結果に基づいて、上記（１）式に従って当該第一の特徴ベクトルの重みを計算し、第二の特徴ベクトルの各々について、上記ステップＳ１０４の集計結果に基づいて、上記（１）式に従って当該第二の特徴ベクトルの重みを計算する。
【００４８】
そして、ステップＳ１０８で、映像情報計算部２８が、複数の映像の各々について、上記ステップＳ１０４で集計された当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度に基づいて、当該映像の映像長を計算する。
【００４９】
次に、ステップＳ１１０で、適合確率計算部３０が、複数の映像の各々について、上記ステップＳ１０４で集計された当該映像の第一の特徴ベクトルの出現頻度、及び第二の特徴ベクトルの出現頻度と、上記ステップＳ１０６で計算された第一の特徴ベクトルの重み及び第二の特徴ベクトルの重みと、上記ステップＳ１０８で計算された当該映像の映像長とに基づいて、上記（２）式、（３）式に従って、当該映像の第一の映像適合確率及び第二の映像適合確率を計算し、上記（４）式に従って、当該映像の第一の映像適合確率及び第二の映像適合確率の重み付け和を、ランキングスコアとして計算する。
【００５０】
そして、ステップＳ１１２で、検索ランキング部３２が、上記ステップＳ１１０で計算されたランキングスコアの降順で映像をランキングした検索結果を作成し、出力部１６により出力して映像検索処理ルーチンを終了する。
【００５１】
以上説明したように、本実施の形態に係る映像検索装置によれば、インスタンス画像の注目領域の特徴点の第一の特徴ベクトルと照合した結果に基づいて、第一の映像適合確率を算出し、第一の映像適合確率の上位Ｋ件の映像の各々に対して、インスタンス画像の注目領域外の特徴点の第二の特徴ベクトルとを照合した結果に基づいて、第二の映像適合確率を算出し、第一の映像適合確率と、第二の映像適合確率との重み付き線形和をランキングスコアとして算出することにより、より高精度にインスタンスを示す映像を検索することができる。
【００５２】
また、本実施の形態は画像クエリに基づく特定物体探索システムの一般的な枠組であり、本実施の形態で使用したもの以外の特徴点検出器や特徴記述法、ランキング法にも対応可能である。提案したリランキング法により、インスタンスそのものを含んでいる確率が高く、かつクエリのインスタンス画像全体とも適合している確率が高い映像を検索結果上位ランクに表示させることが可能となり、高精度なインスタンス検索システムの実現が期待できる。
【００５３】
一度本実施の形態の技術が実用レベルに達するとその応用は非常に広範である。タブレットやウェアラブルデバイスに本実施の形態の技術が搭載されると、ユーザは現実世界の対象物を撮影する感覚でデータベース映像にひもづくWWW上の様々な情報にアクセスすることが可能になる。
【００５４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５５】
例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００５６】
１０   映像検索装置
１２   入力部
１４   演算部
１６   出力部
２０   クエリ特徴抽出部
２２   クエリ特徴データベース
２４   映像特徴データベース
２６   特徴照合部
２８   映像情報計算部
３０   適合確率計算部
３２   検索ランキング部
４０   注目領域外特徴集合
４２   注目領域内特徴集合
４４   特徴照合結果
４６   注目領域外特徴出現頻度
４８   注目領域内特徴出現頻度
５２   映像長
【図１】
2016162127.tif 000007
【図１０】
2016162127.tif 000008
【図２】
2016162127.tif 000009
【図３】
2016162127.tif 000010
【図４】
2016162127.tif 000011
【図５】
2016162127.tif 000012
【図６】
2016162127.tif 000013
【図７】
2016162127.tif 000014
【図８】
2016162127.tif 000015
【図９】
2016162127.tif 000016