(57)【要約】【課題】クエリ画像に含まれるキー画像に類似した類似画像を被検索画像の中から検索する際に、キー画像の特徴点が無関係な被検索画像の特徴点に誤って対応付けられることによる画像検索の精度低下を低減する。【解決手段】画像検索サーバは、クエリ画像の特徴点と被検索画像の特徴点を、それらの特徴点の特徴量の類似度に基づき対応付ける。画像検索サーバは、クエリ画像の特徴点に対応付けられた特徴点の比率が閾値以上である被検索画像を候補画像として特定する。画像検索サーバは、候補画像の各々に関し、当該候補画像の特徴点に対応付けられた特徴点を内側に含む外接矩形の領域をキー画像として特定する。画像検索サーバは、キー画像の特徴点と候補画像の特徴点を、それらの特徴点の特徴量の類似度に基づき対応付ける。画像検索サーバは、キー画像の特徴点に対応付けられた特徴点の比率が閾値以上である候補画像を類似画像として特定する。【選択図】図１２
2015032248.tif 000002
【特許請求の範囲】
【請求項１】
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する第１の特徴量データ取得手段と、
クエリ画像の複数の特徴点の各々の特徴量を示す第２の特徴量データを取得する第２の特徴量データ取得手段と、
前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、
前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、
前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と
を備える画像検索装置。
【請求項２】
前記１以上の候補画像の各々に関し、前記第１の対応付け手段により当該候補画像の特徴点に対応付けられた前記クエリ画像の特徴点を予め定められた条件で含む前記クエリ画像の１以上の領域をキー画像として特定するキー画像特定手段
を備え、
前記第２の対応付け手段は、前記１以上のキー画像の各々に関し、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、当該キー画像の特徴点の前記第２の特徴量データが示す特徴量との比較の結果に基づき、当該キー画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける
請求項１に記載の画像検索装置。
【請求項３】
前記第２の対応付け手段は、前記１以上のキー画像の各々に関し、当該キー画像の複数の特徴点のうちの１以上の特徴点の各々に対し、前記キー画像特定手段が当該キー画像の特定に用いた候補画像の特徴点のいずれかを対応付ける
請求項２に記載の画像検索装置。
【請求項４】
前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第１の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第１の特徴量データを取得し、
前記候補画像特定手段は、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第１の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記候補画像を特定する
請求項１乃至３のいずれか１項に記載の画像検索装置。
【請求項５】
前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第１の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第１の特徴量データを取得し、
前記類似画像特定手段は、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第１の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記類似画像を特定する
請求項１乃至４のいずれか１項に記載の画像検索装置。
【請求項６】
前記類似画像特定手段が類似画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数は、前記候補画像特定手段が候補画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数よりも大きい
請求項１乃至５のいずれか１項に記載の画像検索装置。
【請求項７】
クエリ画像を表わす画像データを取得する画像データ取得手段と、
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と
を備え、
前記第２の特徴量データ取得手段は、前記特徴量データ生成手段により生成された特徴量データを前記第２の特徴量データとして取得する
請求項１乃至６のいずれか１項に記載の画像検索装置。
【請求項８】
端末装置と画像検索装置とを備え、
前記端末装置は、
クエリ画像を表わす画像データを取得する画像データ取得手段と、
前記画像データを前記画像検索装置に送信する送信手段と、
前記送信手段により送信された前記画像データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段と
を備え、
前記画像検索装置は、
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する特徴量データ取得手段と、
前記端末装置から前記画像データを受信する受信手段と、
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す第２の特徴量データを生成する特徴量データ生成手段と、
前記第１の特徴量データが示す特徴量と前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、
前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、
前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、
前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段と
を備える
データ検索システム。
【請求項９】
端末装置と画像検索装置とを備え、
前記端末装置は、
クエリ画像を表わす画像データを取得する画像データ取得手段と、
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と、
前記特徴量データを前記画像検索装置に送信する送信手段と、
前記送信手段により送信された前記特徴量データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段と
を備え、
前記画像検索装置は、
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す特徴量データを第１の特徴量データとして取得する特徴量データ取得手段と、
前記端末装置から送信されてくる前記特徴量データを第２の特徴量データとして受信する受信手段と、
前記第１の特徴量データが示す特徴量と前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、
前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、
前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、
前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段と
を備える
データ検索システム。
【請求項１０】
コンピュータに、
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する処理と、
クエリ画像の複数の特徴点の各々の特徴量を示す第２の特徴量データを取得する処理と、
前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける処理と、
前記複数の被検索画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する処理と、
前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける処理と、
前記１以上の候補画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する処理と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、データ検索システム及びプログラムに関する。
【背景技術】
【０００２】
登録された複数の画像の中から、ある画像と類似した画像を検索する画像検索技術がある。例えば、特許文献１には、複数の検索対象画像の中からクエリ画像と類似する画像を検索する画像検索システムが提案されている。
【０００３】
特許文献１に提案されている画像検索システムにおいては、まず、複数の検索対象画像の各々に関し、当該検索対象画像とクエリ画像の特徴点のペアリングが行われる。続いて、検索対象画像とクエリ画像の各々において、ペアリングされた特徴点に基づき比較領域が特定される。続いて、検索対象画像の比較領域とクエリ画像の比較領域の特徴点のペアリングが行われる。そして、比較領域においてペアリングされた特徴点の数に基づき、クエリ画像に類似する検索対象画像が検索結果として出力される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０４９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、クエリ画像に含まれる検索対象の画像であるキー画像に類似した類似画像を複数の被検索画像の中から特定する際に、キー画像の特徴点が無関係な被検索画像の特徴点に誤って対応付けられることによる画像検索の精度低下を低減することである。
【課題を解決するための手段】
【０００６】
本発明は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する第１の特徴量データ取得手段と、クエリ画像の複数の特徴点の各々の特徴量を示す第２の特徴量データを取得する第２の特徴量データ取得手段と、前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段とを備える画像検索装置を第１の態様として提案する。
【０００７】
また、本発明は、上記の第１の態様の画像検索装置において、前記１以上の候補画像の各々に関し、前記第１の対応付け手段により当該候補画像の特徴点に対応付けられた前記クエリ画像の特徴点を予め定められた条件で含む前記クエリ画像の１以上の領域をキー画像として特定するキー画像特定手段を備え、前記第２の対応付け手段は、前記１以上のキー画像の各々に関し、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、当該キー画像の特徴点の前記第２の特徴量データが示す特徴量との比較の結果に基づき、当該キー画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける、という構成を第２の態様として提案する。
【０００８】
また、本発明は、上記の第１の態様の画像検索装置において、前記第２の対応付け手段は、前記１以上のキー画像の各々に関し、当該キー画像の複数の特徴点のうちの１以上の特徴点の各々に対し、前記キー画像特定手段が当該キー画像の特定に用いた候補画像の特徴点のいずれかを対応付ける、という構成を第３の態様として提案する。
【０００９】
また、本発明は、上記の第１乃至第３のいずれかの態様の画像検索装置において、前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第１の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第１の特徴量データを取得し、前記候補画像特定手段は、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第１の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記候補画像を特定する、という構成を第４の態様として提案する。
【００１０】
また、本発明は、上記の第１乃至第４のいずれかの態様の画像検索装置において、前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第１の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第１の特徴量データを取得し、前記類似画像特定手段は、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第１の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記類似画像を特定する、という構成を第５の態様として提案する。
【００１１】
また、本発明は、上記の第１乃至第５のいずれかの態様の画像検索装置において、前記類似画像特定手段が類似画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数は、前記候補画像特定手段が候補画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数よりも大きい、という構成を第６の態様として提案する。
【００１２】
また、本発明は、上記の第１乃至第５のいずれかの態様の画像検索装置において、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段とを備え、前記第２の特徴量データ取得手段は、前記特徴量データ生成手段により生成された特徴量データを前記第２の特徴量データとして取得する、という構成を第７の態様として提案する。
【００１３】
また、本発明は、端末装置と画像検索装置とを備え、前記端末装置は、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データを前記画像検索装置に送信する送信手段と、前記送信手段により送信された前記画像データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段とを備え、前記画像検索装置は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する特徴量データ取得手段と、前記端末装置から前記画像データを受信する受信手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す第２の特徴量データを生成する特徴量データ生成手段と、前記第１の特徴量データが示す特徴量と前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段とを備えるデータ検索システムを第８の態様として提案する。
【００１４】
また、本発明は、端末装置と画像検索装置とを備え、前記端末装置は、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と、前記特徴量データを前記画像検索装置に送信する送信手段と、前記送信手段により送信された前記特徴量データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段とを備え、前記画像検索装置は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す特徴量データを第１の特徴量データとして取得する特徴量データ取得手段と、前記端末装置から送信されてくる前記特徴量データを第２の特徴量データとして受信する受信手段と、前記第１の特徴量データが示す特徴量と前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第１の対応付け手段と、前記複数の被検索画像のうち、前記第１の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける第２の対応付け手段と、前記１以上の候補画像のうち、前記第２の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段とを備えるデータ検索システムを第９の態様として提案する。
【００１５】
また、本発明は、コンピュータに、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第１の特徴量データを取得する処理と、クエリ画像の複数の特徴点の各々の特徴量を示す第２の特徴量データを取得する処理と、前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける処理と、前記複数の被検索画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす１以上の被検索画像を類似画像の候補画像として特定する処理と、前記１以上の候補画像の特徴点の前記第１の特徴量データが示す特徴量と、前記第２の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの１以上の特徴点に、前記１以上の候補画像の特徴点のいずれかを対応付ける処理と、前記１以上の候補画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する処理とを実行させるためのプログラムを第１０の態様として提案する。
【発明の効果】
【００１６】
上記の第１の態様によれば、候補画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。
【００１７】
上記の第２の態様によれば、キー画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。
【００１８】
上記の第３の態様によれば、キー画像の特徴点に対し全ての候補画像の特徴点の中からいずれかを対応付ける画像検索装置による場合と比較し、高速に類似画像の特定が行われ得る。
【００１９】
上記の第４の態様によれば、候補画像の特定においてページの情報を利用しない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。
【００２０】
上記の第５の態様によれば、類似画像の特定においてページの情報を利用しない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。
【００２１】
上記の第６の態様によれば、検索されるべき類似画像が候補画像の特定の段階で除外される危険性が低減される。
【００２２】
上記の第７の態様によれば、画像検索装置に対し類似画像の検索を要求する装置におけるクエリ画像の特徴量データの生成を要さない。
【００２３】
上記の第８の態様によれば、端末装置のユーザは端末装置を用いてクエリ画像を画像検索装置に送信することで、クエリ画像の類似画像に応じたデータを受信することができる。
【００２４】
上記の第９の態様によれば、端末装置のユーザは端末装置において生成されたクエリ画像の特徴量データを画像検索装置に送信することで、クエリ画像の類似画像に応じたデータを受信することができる。
【００２５】
上記の第１０の態様によれば、候補画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索を行い得る画像検索装置がコンピュータにより実現される。
【図面の簡単な説明】
【００２６】
【図１】一実施形態の画像検索システムの全体構成を示す図である。
【図２】一実施形態のＥＭＭの概要を説明する図である。
【図３】一実施形態のユーザ端末のハードウェア構成を示すブロック図である。
【図４】一実施形態の画像検索サーバのハードウェア構成を示すブロック図である。
【図５】一実施形態の特徴量ＤＢの構成例を示す図である。
【図６】一実施形態のコンテンツＤＢの構成例を示す図である。
【図７】一実施形態のユーザ端末及び画像検索サーバの機能構成を示すブロック図である。
【図８】一実施形態の特徴量テーブルの構成例を示す図である。
【図９】一実施形態の画像検索システムの動作の概要を示す図である。
【図１０Ａ】一実施形態の画像検索システムが行う処理のフロー図である。
【図１０Ｂ】一実施形態の画像検索システムが行う処理のフロー図である。
【図１１】一実施形態においてクエリ画像の特徴点と被検索画像の特徴点が対応付けられた状態を示す図である。
【図１２】一実施形態において特定されたキー画像を例示した図である。
【図１３】一実施形態においてキー画像の特徴点と候補画像の特徴点が対応付けられた状態を示す図である。
【図１４】一実施形態のユーザ端末に表示されるコンテンツ閲覧画面を示した図である。
【図１５】一変形例の特徴量ＤＢ２３１の構成例を示す図である。
【図１６】一変形例のユーザ端末及び画像検索サーバの機能構成を示すブロック図である。
【図１７】一変形例の画像検索システムが行う処理のフロー図である。
【図１８】一変形例において特定されたキー画像を例示した図である。
【発明を実施するための形態】
【００２７】
本発明の実施の形態について図面を参照しつつ説明する。
［実施形態］
図１は、本実施形態の画像検索システム１の全体構成を示す図である。図１に示すように、画像検索システム１は、ユーザ端末１０と、画像検索サーバ２０を備え、画像検索を行うためのシステムである。図１には、ユーザ端末１０を１つだけ図示しているが、実際には画像検索システム１を利用するユーザの数に応じてユーザ端末１０の数も変化する。ユーザ端末１０と画像検索サーバ２０は、通信回線１００を介して相互に通信する。通信回線１００は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。
【００２８】
ユーザ端末１０は、撮影機能（カメラ機能）を有する通信端末であり、図１に示す印刷物４０を撮影し、検索対象の画像であるキー画像を含むクエリ画像を表わす画像データを画像検索サーバ２０へ送信する。印刷物４０は、例えば広告やパンフレット、雑誌の誌面であり、媒体（例えば紙媒体）上に文字や写真等の画像要素が印刷された印刷物である。画像検索システム１で利用される印刷物４０には、これらの画像要素に重ねて、埋め込み型メディアマーカ（ＥＭＭ；Embedded Media Markers）と呼ばれるマーカ４１が印刷されている。
【００２９】
マーカ４１は、印刷物４０の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ４１は、印刷物４０の画像要素をユーザが視認する際の妨げとならない色や濃度で印刷される。画像検索サーバ２０は、クエリ画像を使用して行った画像検索の結果に応じて、ユーザ端末１０へデジタルコンテンツを提供する。
【００３０】
なお、ユーザ端末１０は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。
【００３１】
図２は、ＥＭＭの概要を説明する図である。図２（ａ）には、マーカ４１の模式図が示されている。図２（ａ）に示すように、マーカ４１は、特徴境界４１１と、アンカーポイント４１２と、メディアアイコン４１３とで構成される。特徴境界４１１は、ここでは円形の線画像によって表され、印刷物４０に印刷されている画像要素のうちキー画像を構成する画像要素（もしくは、画像要素群）を含む領域をユーザに対し示す。図２（ｂ）に示すように、ユーザ端末１０のユーザは、マーカ４１の全体が撮影範囲に含まれるように印刷物４０を撮影する（以下、「マーカ４１を撮影する」と表現する）ことで、デジタルコンテンツをユーザ端末１０に表示させることができる。アンカーポイント４１２は、印刷物４０においてデジタルコンテンツが関連付けられた情報が記載されている位置を示す。
【００３２】
メディアアイコン４１３は、デジタルコンテンツの種類をユーザに示すアイコンである。図２に例示のメディアアイコン４１３はビデオカメラを模したアイコンであり、関連付けられているデジタルコンテンツが動画コンテンツであることを意味する。この場合、ユーザがユーザ端末１０を用いてマーカ４１を撮影すると、ユーザ端末１０は図２（ｃ）に示すように、画像検索サーバ２０から提供された動画コンテンツを再生する。なお、マーカ４１に関連付けられるデジタルコンテンツは動画に限られず、静止画像やＷｅｂページ等、いずれの種類であってもよい。
【００３３】
図３は、ユーザ端末１０のハードウェア構成を示すブロック図である。図３に示すように、ユーザ端末１０は、制御部１１と、ＵＩ（User Interface）部１２と、通信部１３と、撮影部１４と、記憶部１５とを備える。
【００３４】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶されたプログラムをＲＡＭに読み出して実行することにより、ユーザ端末１０の各部を制御する。ＵＩ部１２は、ＧＵＩ（Graphical User Interface）を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。なお、ユーザ端末１０は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声による操作を受け付ける機能を有していてもよい。
【００３５】
通信部１３は、通信回線１００に接続して通信するためのインタフェースを有する。撮影部１４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有する撮影装置であり、撮影した画像を表わす画像データを生成する。撮影部１４の撮影レンズ（図示略）は、ここではユーザ端末１０の背面側に設けられる。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるＯＳ（Operating System）やその他のプログラムを記憶する。
【００３６】
図４は、画像検索サーバ２０のハードウェア構成を示すブロック図である。図４に示すように、画像検索サーバ２０は、制御部２１と、通信部２２と、記憶部２３とを備える。制御部２１は、ＣＰＵ及びＡＳＩＣ（Application Specific Integrated Circuit）を含む演算装置やメモリを有する制御装置であり、画像検索サーバ２０の各部を制御する。通信部２２は、通信回線１００に接続して通信するためのインタフェースある。記憶部２３は、例えばハードディスク装置を有する記憶装置であり、制御部２１により実行されるプログラムを記憶する。また、記憶部２３は、特徴量ＤＢ（Data Base）２３１及びコンテンツＤＢ２３２を有している。
【００３７】
特徴量ＤＢ２３１は、複数の被検索画像の各々に関し、当該被検索画像の特徴点の特徴量を登録したデータベースである。図５は、特徴量ＤＢ２３１の構成例を示す図である。特徴量ＤＢ２３１は被検索画像の各々に応じたデータレコードを有し、各データレコードはデータフィールドとして、被検索画像を識別する「画像識別子」、被検索画像の特徴点を識別する「特徴点識別子」、特徴点毎の局所的な特徴量である「特徴量」を有している。図５において、特徴点識別子の左に示す図は被検索画像であり、○で示される部分が被検索画像の特徴点である。なお、図５においては後述する画像検索システム１の動作の説明における便宜のために被検索画像を図示しているが、特徴量ＤＢ２３１には被検索画像の画像データが格納されている必要はない。なお、以下の説明において、画像識別子「Ｉ００００１」で識別される被検索画像を「被検索画像「Ｉ０００１」」のようにいう。
【００３８】
図５に示されるように、１つの被検索画像が有する特徴点は通常複数であり、特徴量ＤＢ２３１の１つのデータレコードには特徴点識別子により識別される複数の特徴点の各々に応じた特徴量が登録されている。
【００３９】
本実施形態においては特徴量としてＳＩＦＴ（Scale Invariant Feature Transform）特徴量が用いられるが、他の方式に従った特徴量がＳＩＦＴ特徴量に代えて採用されてもよい。ＳＩＦＴ特徴量は、画素の代表輝度勾配方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル（１２８次元のベクトル）で輝度勾配を表現した局所特徴量である。ＳＩＦＴ特徴量は、例えば、"永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月）"に記載されているとおり周知であり、その詳細な説明を省略する。
【００４０】
コンテンツＤＢ２３２は、複数の被検索画像の各々に関し、当該被検索画像に応じたデジタルコンテンツを表わすコンテンツデータを登録したデータベースである。図６は、コンテンツＤＢ２３２の構成例を示す図である。コンテンツＤＢ２３２もまた、被検索画像の各々に応じたデータレコードを有し、各データレコードはデータフィールドとして、被検索画像を識別する「画像識別子」、被検索画像に応じた「コンテンツデータ」を有している。コンテンツＤＢ２３２の画像識別子は特徴量ＤＢ２３１の画像識別子と共通であり、画像識別子によって特徴量ＤＢ２３１のデータレコードとコンテンツＤＢ２３２のデータレコードは互いに対応付けられる。コンテンツデータは、画像検索サーバ２０からユーザ端末１０へと提供されるデジタルコンテンツを表わすデータである。本実施形態において、コンテンツＤＢ２３２にはコンテンツデータが登録されているものとするが、コンテンツデータに代えて、コンテンツデータの格納場所を示すＵＲＩ（Uniform Resource Identifier）等のコンテンツデータを特定するデータがコンテンツＤＢ２３２に登録されていてもよい。
【００４１】
なお、本実施形態では、画像検索サーバ２０が特徴量ＤＢ２３１及びコンテンツＤＢ２３２を有しているが、特徴量ＤＢ２３１及びコンテンツＤＢ２３２の一方又は両方が、画像検索サーバ２０の外部の装置により管理され、画像検索サーバ２０が通信回線等を介して特徴量ＤＢ２３１やコンテンツＤＢ２３２にアクセスする構成が採用されてもよい。
【００４２】
図７は、ユーザ端末１０及び画像検索サーバ２０の機能構成を示すブロック図である。ユーザ端末１０は、プログラムを実行することにより、クエリ画像取得部１０１と、送信部１０２と、受信部１０３とを備える装置として機能する。クエリ画像取得部１０１は、撮影部１４の撮影によりクエリ画像を表わす画像データを生成し取得する。クエリ画像取得部１０１により生成された画像データは、ユーザ端末１０の記憶部１５に一時的に記憶される。
【００４３】
送信部１０２はクエリ画像取得部１０１により取得された画像データを画像検索サーバ２０へ送信する。受信部１０３は、送信部１０２により送信された画像データに対する応答として画像検索サーバ２０から送信されてくるコンテンツデータを受信する。
【００４４】
画像検索サーバ２０は、プログラムを実行することにより、受信部２０１と、特徴量データ生成部２０２と、記憶部２０３と、第１の特徴量データ取得部２０４と、第２の特徴量データ取得部２０５と、第１の対応付け部２０６と、候補画像特定部２０７と、キー画像特定部２０８と、第２の対応付け部２０９と、類似画像特定部２１０と、コンテンツデータ出力部２１１と、送信部２１２とを備える装置として機能する。
【００４５】
受信部２０１は、ユーザ端末１０から送信されてくるクエリ画像を表わす画像データを受信して取得する。特徴量データ生成部２０２は、受信部２０１が受信した画像データが表わすクエリ画像の複数の特徴点を特定し、特定した複数の特徴点の各々の特徴量を表わす特徴量データを生成する。特徴量データ生成部２０２が行う特徴点の抽出及び特徴量データの生成の方法としては既知の方法が用いられるため、その説明を省略する。
【００４６】
図８は、特徴量データ生成部２０２により生成される複数の特徴量データを含む特徴量テーブルの構成例を示す図である。特徴量テーブルにはクエリ画像の複数の特徴点の各々に応じたデータレコードが含まれる。各データレコードは、データフィールドとして、特徴点を識別する「特徴点識別子」、特徴点のクエリ画像における「位置」、特徴点の「特徴量」を有している。特徴量データ生成部２０２は画像検索の処理が完了するまでの期間、生成した特徴量テーブルを記憶部２０３に一時的に記憶させる。
【００４７】
記憶部２０３は特徴量ＤＢ２３１及びコンテンツＤＢ２３２を記憶するとともに、特徴量データ生成部２０２により生成される特徴量テーブルを一時的に記憶する。また、記憶部２０３は画像検索サーバ２０の他の構成部により生成されるデータを一時的に記憶する。
【００４８】
第１の特徴量データ取得部２０４は、記憶部２０３から特徴量ＤＢ２３１に格納されている特徴量データを第１の特徴量データとして読み出して取得する。第２の特徴量データ取得部２０５は、記憶部２０３から特徴量テーブルに格納されている特徴量データを第２の特徴量データとして読み出して取得する。
【００４９】
第１の対応付け部２０６は、第１の特徴量データ取得部２０４により特徴量ＤＢ２３１から読み出される第１の特徴量データが示す特徴量と、第２の特徴量データ取得部２０５により特徴量テーブルから読み出される第２の特徴量データが示す特徴量を比較し、当該比較の結果に基づき、クエリ画像の複数の特徴点のうちの１以上の特徴点の各々に対し、複数の被検索画像の特徴点のいずれかを対応付ける。より具体的には、第１の対応付け部２０６は、特徴量ＤＢ２３１に登録されている特徴量データが示す特徴量と、特徴量テーブルに含まれる特徴量データが示す特徴量との類似度の指標である特徴点間距離を既知の算出式に従い順次算出する。その後、第１の対応付け部２０６は、クエリ画像の特徴点の各々に関し、予め定められた閾値以下の特徴点間距離をもたらす被検索画像の特徴点を対応付ける。その際、当該閾値以下の特徴点間距離をもたらす被検索画像の特徴点が複数ある場合、例えば最小の特徴点間距離をもたらす被検索画像の特徴点がクエリ画像の特徴点に対応付けられる。また、１つの被検索画像の特徴点との特徴点間距離がいずれも最小となるクエリ画像の特徴点が２つ以上ある場合、より小さい特徴点間距離を示すクエリ画像の特徴点がその被検索画像の特徴点に対応付けられる。
【００５０】
候補画像特定部２０７は、複数の被検索画像のうち、第１の対応付け部２０６によってクエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす被検索画像を類似画像の候補画像として特定する。より具体的には、候補画像特定部２０７は、複数の被検索画像の各々に関し、当該被検索画像の特徴点の数に対する、クエリ画像のいずれかの特徴点に対応付けられた特徴点の数の比率（以下、「対応比率」という）を算出する。そして、算出した対応比率が予め定められた閾値（例えば、７０％）以上である被検索画像を、類似画像の候補画像として特定する。
【００５１】
キー画像特定部２０８は、候補画像特定部２０７により特定された１以上の候補画像の各々に関し、第１の対応付け部２０６により当該候補画像の特徴点に対応付けられたクエリ画像の特徴点を予め定められた条件で含むクエリ画像の領域をキー画像として特定する。より具体的には、キー画像特定部２０８は、候補画像特定部２０７により特定された１以上の候補画像の各々に関し、当該候補画像の特徴点に対応付けられたクエリ画像の特徴点を特定する。続いて、キー画像特定部２０８は特定したそれらの特徴点のクエリ画像における位置を特徴点テーブルから特定し、それらの特徴点を全て内側に含む外接矩形を特定する。キー画像特定部２０８は、クエリ画像から、特定した外接矩形の領域をキー画像として特定する。なお、キー画像特定部２０８により、候補画像の数だけ、キー画像が特定されることになる。
【００５２】
第２の対応付け部２０９は、キー画像特定部２０８により特定された１以上のキー画像の各々に関し、第１の特徴量データ取得部２０４により特徴量ＤＢ２３１から読み出される候補画像の特徴点の第１の特徴量データが示す特徴量と、第２の特徴量データ取得部２０５により特徴量テーブルから読み出されるキー画像の特徴点の第２の特徴量データが示す特徴量を比較し、当該比較の結果に基づき、キー画像の複数の特徴点のうちの１以上の特徴点の各々に対し、１以上の候補画像の特徴点のいずれかを対応付ける。第２の対応付け部２０９が行う具体的な処理は、比較に用いる特徴量が候補画像の特徴点とキー画像の特徴点に限定される点を除き、第１の対応付け部２０６が行う処理と共通した処理である。
【００５３】
類似画像特定部２１０は、キー画像特定部２０８により特定された１以上のキー画像の各々に関し、候補画像特定部２０７により特定された１以上の候補画像のうち、第２の対応付け部２０９により当該キー画像の特徴点に対応付けられた特徴点の数が定められた条件を満たす候補画像を類似画像として特定する。より具体的には、類似画像特定部２１０は、１以上のキー画像の各々に関し、まず、キー画像の特徴点に対応付けられた特徴点が最多の候補画像を特定する。続いて、類似画像特定部２１０は、特定した候補画像の特徴点の数に対する、キー画像の特徴点のいずれかに対応付けられた特徴点の数の比率（対応比率）を算出する。そして、算出した対応比率が予め定められた閾値（例えば、８０％）以上である場合、この候補画像をキー画像の類似画像として特定する。
【００５４】
コンテンツデータ出力部２１１は、類似画像特定部２１０によりキー画像の各々に関し特定された類似画像に関し、当該類似画像の画像識別子に対応するコンテンツデータをコンテンツＤＢ２３２（図６）から読み出し、送信部２１２に出力する。コンテンツデータ出力部２１１が送信部２１２に出力するコンテンツデータには、当該コンテンツデータに対応する類似画像が類似すると判定されたキー画像のクエリ画像における代表位置（例えば、キー画像の中心位置）を示す位置データが付加される。
【００５５】
送信部２１２は、コンテンツデータ出力部２１１から出力されたコンテンツデータを、受信部２０１が受信した画像データの送信元のユーザ端末１０に送信する。なお、類似画像特定部２１０により類似画像が１つも特定されなかった場合、コンテンツデータ出力部２１１は送信部２１２に類似画像の検索の失敗を通知するメッセージデータを出力し、送信部２１２は当該メッセージデータをコンテンツデータの代わりにユーザ端末１０に送信する。
【００５６】
ユーザ端末１０は受信部１０３により受信したコンテンツデータが表わすデジタルコンテンツをＵＩ部１２において表示する。その際、ユーザ端末１０は、記憶部１５に一時的に記憶した画像データに従い、クエリ画像をＵＩ部１２に表示し、各々のコンテンツデータに付加されている位置データが示すクエリ画像上の位置にデジタルコンテンツを表示する。
【００５７】
以上が画像検索システム１の構成である。続いて、画像検索システム１の動作を説明する。以下の説明において、特徴量ＤＢ２３１には図５に例示したデータが格納されており、コンテンツＤＢ２３２には図６に例示したデータが格納されているものとする。図９は、以下に説明する画像検索システム１の動作の概要を示す図である。また、図１０Ａおよび図１０Ｂ（以下、図１０Ａと図１０Ｂを合せて図１０という）は、画像検索システム１により行われる処理のシーケンスを示すフロー図である。
【００５８】
まず、ユーザは、ユーザ端末１０を操作して画像検索システム１を利用するためのアプリケーションを起動した後、カメラ機能を用いて印刷物４０を撮影する（ステップＳ１０１）。ユーザ端末１０のクエリ画像取得部１０１は、撮影されたクエリ画像を表わす画像データを生成し取得する。クエリ画像取得部１０１により生成された画像データは記憶部１５に一時的に記憶される。
【００５９】
図９の例では、印刷物４０には２つのマーカ４１が印刷されており、それらのマーカ４１の特徴境界４１１内にはダイヤの図形（以下、単に「ダイヤ」という）とクローバの図形（以下、単に「クローバ」という）が印刷されている。ダイヤは特徴量ＤＢ２３１（図５）において被検索画像「Ｉ０００１」と同じ画像であり、クローバは被検索画像「Ｉ０００２」と同じ画像である。
【００６０】
ユーザは、２つのマーカ４１の各々を個別に撮影することもできるが、２つのマーカ４１を一度に撮影してもよい。ここでは、ユーザが印刷物４０に印刷された２つのマーカ４１を一度に撮影するものとする。ユーザにより撮影されたクエリ画像には、ダイヤとクローバに加え、三角形のマーク（以下、「トライアングル」という）が含まれている。このトライアングルはいずれの被検索画像でもない。
【００６１】
ユーザ端末１０の送信部１０２はクエリ画像を表わす画像データを画像検索サーバ２０に送信する（ステップＳ１０２）。画像検索サーバ２０の受信部２０１はユーザ端末１０から画像データを受信し（ステップＳ１０３）、特徴量データ生成部２０２に引き渡す。なお、受信部２０１は画像データを記憶部２０３に一時的に記憶させ、特徴量データ生成部２０２が記憶部２０３から画像データを読み出してもよい。以下の説明において、画像検索サーバ２０のある構成部が他の構成部にデータを引き渡す場合、受信部２０１から特徴量データ生成部２０２への画像データの引き渡しの場合と同様に、直接データを引き渡す代わりに、記憶部２０３を介してデータを引き渡してもよい。
【００６２】
特徴量データ生成部２０２は画像データにより表わされるクエリ画像の特徴点を抽出し、抽出した特徴点の各々の位置及び特徴量を特定する。特徴量データ生成部２０２はクエリ画像の特徴点の各々の位置及び特徴量を格納する特徴量テーブル（図８）を生成し（ステップＳ１０４）、記憶部２０３に記憶させる。ここで、クエリ画像からは図８に示すようにｎ個（ｎは自然数）の特徴点が抽出されたものとする。
【００６３】
続いて、第２の特徴量データ取得部２０５は、特徴量テーブルから最初のデータレコード（特徴点識別子「ｐ１」のデータレコード）の特徴量データを第２の特徴量データとして読み出し（ステップＳ１０５）、第１の対応付け部２０６に引き渡す。第２の特徴量データ取得部２０５は特徴量データを第１の対応付け部２０６に引き渡す際、その特徴量データが特徴量テーブルに格納される最後の特徴量データであれば、その旨を示す最後通知データを付加する。この場合、第２の特徴量データ取得部２０５が第１の対応付け部２０６に引き渡す特徴量データは最後ではないため、最後通知データは付加されない。
【００６４】
続いて、第１の特徴量データ取得部２０４は、特徴量ＤＢ２３１（図５）から最初のデータレコード（画像識別子「Ｉ０００１」のデータレコード）に含まれる最初の特徴点識別子（「ｐ１」）に応じた特徴量データを第１の特徴量データとして読み出し（ステップＳ１０６）、第１の対応付け部２０６に引き渡す。第１の特徴量データ取得部２０４も第２の特徴量データ取得部２０５と同様に、特徴量データを第１の対応付け部２０６に引き渡す際、その特徴量データが特徴量ＤＢ２３１に格納される最後の特徴量データであれば、その旨を示す最後通知データを付加する。この場合、第１の特徴量データ取得部２０４が第１の対応付け部２０６に引き渡す特徴量データは最後ではないため、最後通知データは付加されない。
【００６５】
第１の対応付け部２０６は、第２の特徴量データ取得部２０５から引き渡された第２の特徴量データが示す特徴量と、第１の特徴量データ取得部２０４から引き渡された第１の特徴量データが示す特徴量とを用いて特徴点間距離を算出し、算出結果を示す特徴点間距離データを生成する。第１の対応付け部２０６は特徴点間距離データと、比較した２個の特徴点を識別するデータ（第２の特徴量データに関しては特徴点識別子、第１の特徴量データに関しては画像識別子及び特徴点識別子）とを記憶部２０３に一時的に記憶させる（ステップＳ１０７）。
【００６６】
第１の対応付け部２０６は、ステップＳ１０６において第１の特徴量データ取得部２０４から引き渡された第１の特徴量データに最後通知データが付加されていたか否かを判定する（ステップＳ１０８）。この場合、最後通知データは第１の特徴量データに付加されていないので（ステップＳ１０８；Ｎｏ）、第１の対応付け部２０６は第１の特徴量データ取得部２０４に次の特徴量データを要求する。この要求に応じて、第１の特徴量データ取得部２０４は特徴量ＤＢ２３１から次の特徴量データ（この場合、画像識別子「Ｉ０００１」の特徴点識別子「ｐ２」に応じた特徴量データ）を読み出し、第１の対応付け部２０６に引き渡す（ステップＳ１０６）。
【００６７】
続いて、第１の対応付け部２０６はステップＳ１０５において既に第２の特徴量データ取得部２０５から引き渡されている第２の特徴量データと、新たなステップＳ１０６において第１の特徴量データ取得部２０４から引き渡された第１の特徴量データを用いて、ステップＳ１０７の処理を行う。その後、第１の対応付け部２０６が最後通知データを伴う第１の特徴量データを用いたステップＳ１０７の処理を行うまで、ステップＳ１０６〜Ｓ１０８の処理が繰り返される。
【００６８】
第１の対応付け部２０６は、最後通知データを伴う第１の特徴量データを用いたステップＳ１０７の処理を完了すると（ステップＳ１０８；Ｙｅｓ）、ステップＳ１０５において第２の特徴量データ取得部２０５から引き渡された第２の特徴量データに最後通知データが付加されていたか否かを判定する（ステップＳ１０９）。この場合、最後通知データは第２の特徴量データに付加されていないので（ステップＳ１０９；Ｎｏ）、第１の対応付け部２０６は第２の特徴量データ取得部２０５に次の特徴量データを要求する。また、第１の対応付け部２０６は、第１の特徴量データ取得部２０４に特徴量ＤＢ２３１の最初の特徴量データを要求する。
【００６９】
第１の対応付け部２０６の要求に応じて、第２の特徴量データ取得部２０５は特徴量テーブルから次の特徴量データ（この場合、特徴点識別子「ｐ２」に応じた特徴量データ）を読み出し、第１の対応付け部２０６に引き渡す（ステップＳ１０５）。また、第１の特徴量データ取得部２０４は特徴量ＤＢ２３１から最初の特徴量データ（画像識別子「Ｉ０００１」の特徴点識別子「ｐ１」に応じた特徴量データ）を再び読み出し、第１の対応付け部２０６に引き渡す（ステップＳ１０６）。
【００７０】
続いて、第１の対応付け部２０６は新たなステップＳ１０５において第２の特徴量データ取得部２０５から引き渡された第２の特徴量データと、新たなステップＳ１０６において第１の特徴量データ取得部２０４から引き渡された第１の特徴量データを用いて、ステップＳ１０７の処理を行う。その後、第１の対応付け部２０６が最後通知データを伴う第１の特徴量データと、最後通知データを伴う第２の特徴量データとを用いたステップＳ１０７の処理を行うまで、ステップＳ１０６〜Ｓ１０９の処理が繰り返される。
【００７１】
第１の対応付け部２０６が、最後通知データを伴う第１の特徴量データと最後通知データを伴う第２の特徴量データとを用いたステップＳ１０７の処理を完了すると（ステップＳ１０９；Ｙｅｓ）、記憶部２０３にはクエリ画像の全ての特徴点と全ての被検索画像の全ての特徴点との組み合わせに関し、それらの特徴点の特徴点間距離を示す特徴点間距離データが記憶されることになる。
【００７２】
続いて、第１の対応付け部２０６は、ステップＳ１０７において記憶部２０３に一時的に記憶させた特徴点間距離データに基づき、クエリ画像の特徴点と被検索画像の特徴点の対応付けを行う（ステップＳ１１０）。図１１は、第１の対応付け部２０６によりクエリ画像の特徴点と被検索画像の特徴点が対応付けられた状態を例示した図である。なお、図１１において対応付けの行われた特徴点を●で示しており、対応付けが行われなかった特徴点を○で示している（図１２等においても同様）。
【００７３】
続いて、候補画像特定部２０７は、被検索画像のうち、クエリ画像の特徴点に対応付けられた特徴点の比率（対応比率）が予め定められた閾値（７０％とする）以上である被検索画像を類似画像の候補画像として特定する（ステップＳ１１１）。図１１の例の場合、被検索画像「Ｉ０００１」の８個の特徴点のうち７個がクエリ画像の特徴点に対応付けられているため、対応比率は８７．５％となる。同様に、被検索画像「Ｉ０００２」の対応比率は約７７．８％、被検索画像「Ｉ０００３」の対応比率は約１６．７％、被検索画像「Ｉ０００４」の対応比率は約２２．２％となる。従って、この場合、候補画像特定部２０７は被検索画像「Ｉ０００１」と被検索画像「Ｉ０００２」を候補画像として特定する。
【００７４】
続いて、キー画像特定部２０８は候補画像特定部２０７により特定された候補画像の各々に関し、候補画像の特徴点に対応付けられているクエリ画像の特徴点の全てを内側に含む外接矩形の領域をキー画像として特定する（ステップＳ１１２）。図１２は、キー画像特定部２０８により特定されたキー画像を例示した図である。図１２において、キー画像「Ｋ０００１」は候補画像である被検索画像「Ｉ０００１」に対応するキー画像であり、キー画像「Ｋ０００２」は候補画像である被検索画像「Ｉ０００２」に対応するキー画像である。
【００７５】
続いて、第２の対応付け部２０９により、ステップＳ１１２において特定されたキー画像の各々に関し、キー画像の特徴点と候補画像の特徴点の対応付けが行われる（ステップＳ１１３〜Ｓ１１８）。第２の対応付け部２０９による特徴点の対応付けの処理は、第１の対応付け部２０６によるクエリ画像の特徴点と被検索画像の特徴点の対応付けの処理（ステップＳ１０５〜Ｓ１０９）と比較し、対応付けの対象とする特徴点が異なる点を除き、共通している。
【００７６】
すなわち、第２の対応付け部２０９は、まず、第２の特徴量データ取得部２０５により１番目のキー画像（この場合、キー画像「Ｋ０００１」）の特徴点の特徴量データを１つずつに読み出して第２の特徴量データとして第２の対応付け部２０９に引き渡す（ステップＳ１１３）。また、第１の特徴量データ取得部２０４は候補画像（この場合、被検索画像「Ｉ０００１」と被検索画像「Ｉ０００２」）の特徴点の特徴量データを１つずつ読み出して第１の特徴量データとして第２の対応付け部２０９に引き渡す（ステップＳ１１４）。第２の対応付け部２０９は第２の特徴量データと第１の特徴量データを用いて、特徴点間距離データを生成し、記憶部２０３に一時的に記憶させる（ステップＳ１１５）。
【００７７】
ステップＳ１１３〜Ｓ１１５の処理は、全てのキー画像の全ての特徴点と全ての候補画像の全ての特徴点との特徴点間距離の算出が完了するまで、最後通知データの有無に基づく判定（ステップＳ１１６〜Ｓ１１８）により繰り返される。
【００７８】
続いて、第２の対応付け部２０９はステップＳ１１８において記憶部２０３に一時的に記憶させた特徴点間距離データに基づき、キー画像の特徴点と候補画像の特徴点の対応付けを行う（ステップＳ１１９）。図１３は、第２の対応付け部２０９により２つのキー画像の特徴点と２つの候補画像の特徴点が対応付けられた状態を例示した図である。
【００７９】
続いて、類似画像特定部２１０は、候補画像のうち、キー画像の特徴点に対応付けられた特徴点の比率（対応比率）が予め定められた閾値（９０％とする）以上である候補画像を類似画像として特定する（ステップＳ１２０）。図１３の例の場合、候補画像である被検索画像「Ｉ０００１」の８個の特徴点のうち８個がクエリ画像の特徴点に対応付けられているため、対応比率は１００％となる。同様に、候補画像である被検索画像「Ｉ０００２」の対応比率も１００％となる。従って、この場合、類似画像特定部２１０は被検索画像「Ｉ０００１」と被検索画像「Ｉ０００２」を類似画像として特定する。
【００８０】
続いて、コンテンツデータ出力部２１１は、類似画像の各々に関し、類似画像の特徴点に対応付けられている特徴点が最多のキー画像をその類似画像に対応するキー画像として特定する（ステップＳ１２１）。この場合、類似画像である被検索画像「Ｉ０００１」に対応するキー画像としてキー画像「Ｋ０００１」が特定され、類似画像である被検索画像「Ｉ０００２」に対応するキー画像としてキー画像「Ｋ０００２」が特定される。なお、ステップＳ１２１において、ステップＳ１１２において特定されている候補画像とキー画像の対応関係に基づき、類似画像とキー画像の対応関係が特定されてもよい。
【００８１】
続いて、コンテンツデータ出力部２１１は、類似画像の各々に関し、コンテンツＤＢ２３２（図６）から類似画像の画像識別子に対応するコンテンツデータを読み出し、ステップＳ１２１において特定した対応するキー画像の代表位置（中心位置とする）を示す位置データを付加して、送信部２１２に出力する。送信部２１２はコンテンツデータ出力部２１１から出力された位置データの付加されたコンテンツデータをユーザ端末１０に送信する（ステップＳ１２２）（図９）。
【００８２】
ユーザ端末１０の受信部１０３はクエリ画像の送信（ステップＳ１０２）の応答として画像検索サーバ２０から送信されてくるコンテンツデータを受信する（ステップＳ１２３）。ユーザ端末１０は受信したコンテンツデータが表すデジタルコンテンツをＵＩ部１２に表示する（ステップＳ１２４）。その際、ユーザ端末１０は先に記憶部１５に一時的に記憶しておいたクエリ画像の画像データを用いて、背景画像としてクエリ画像を表示する。
【００８３】
図１４は、ステップＳ１２４においてユーザ端末１０に表示されるコンテンツ閲覧画面を例示した図である。コンテンツ閲覧画面には、背景画像として表示されるクエリ画像におけるキー画像の中心位置に、対応するデジタルコンテンツ（又はデジタルコンテンツに応じたボタン等）が表示される。なお、図１４の例では、デジタルコンテンツ「Ｃ０００１」とデジタルコンテンツ「Ｃ０００２」はともに動画コンテンツであり、デジタルコンテンツに代えて再生操作を促すボタンが表示されている。ユーザはこれらのボタンを操作して、各々の動画コンテンツを再生することができる。以上が画像検索システム１の動作の説明である。
【００８４】
上述したように、画像検索システム１においては、第１の対応付け部２０６によりクエリ画像の特徴点に対応付けられた被検索画像の特徴点の数に応じた候補画像の特定と、候補画像に応じたキー画像の特定が行われる。さらに、第２の対応付け部２０９によりキー画像の特徴点に対応付けられた候補画像の特徴点の数に応じた類似画像の特定が行われる。従来技術にかかる画像検索システムにおいては、第１の対応付け部２０６が行う対応付けと同様の対応付け、すなわちクエリ画像の特徴点と被検索画像の特徴点との対応付けが行われ、対応付けられた特徴点の数が最多の被検索画像が類似画像として特定されていた。従って、従来技術によれば、例えば図１１に例示される被検索画像「Ｉ０００１」が類似画像として特定され、被検索画像「Ｉ０００２」は類似画像として特定されない。
【００８５】
また、従来技術において、対応比率が９０％以上のものを類似画像として特定する、という条件が付されている場合、被検索画像「Ｉ０００１」も被検索画像「Ｉ０００２」も共に対応比率が９０％未満であるため、類似画像としては特定されない。つまり検索に失敗する。そこで、類似画像として特定する際の条件を緩和して、例えば対応比率が８０％以上であるもの、とすれば、被検索画像「Ｉ０００１」は類似画像として特定されるが、被検索画像「Ｉ０００２」は類似画像として特定されない。さらに類似画像として特定する際の条件を緩和して、例えば対応比率が７０％以上であるもの、とすれば、被検索画像「Ｉ０００１」と被検索画像「Ｉ０００２］はともに類似画像として特定される。ただし、類似画像として特定する際の対応比率の閾値を下げ過ぎると、キー画像とは無関係な被検索画像が誤って類似画像として特定される危険性が高まる。
【００８６】
これに対し、画像検索システム１によれば、候補画像の特定によりクエリ画像と無関係と推定される被検索画像が類似画像の特定における候補から除外される。そのため、誤って無関係な被検索画像に対応付けられていたクエリ画像の特徴点が、類似画像の特定の際に正しい被検索画像の特徴点に対応付けられる確率が高まる。さらに、画像検索システム１によれば、クエリ画像のうち被検索画像と同じ画像が含まれていると推定される領域がキー画像として切り出され、それ以外の領域の特徴点に関しては第２の対応付け部２０９による対応付けから除外される。そのため、クエリ画像の背景画像などのように被検索画像とは無関係な画像の特徴点が被検索画像の特徴点に誤って対応付けられる確率が低減される。その結果、従来技術による場合と比較して高精度でクエリ画像の特徴点と被検索画像の特徴点の対応付けが行われる。
【００８７】
［変形例］
上述した実施形態は、本発明の一実施例であって、本発明がこれに限定されるものではなく、技術的思想の範囲内で様々に変形可能である。以下にそれらの変形の例を示す。なお、上述した実施形態と以下に例示する変形例はそれらの２以上が組み合わされてもよい。
【００８８】
［第１変形例］
第１変形例においては、被検索画像がページ毎にグループ化されており、候補画像の特定において、ページ単位でクエリ画像の特徴点に対応付けられた被検索画像の特徴点の数がカウントされ、その数が最大のページの被検索画像の中から候補画像が特定される。
【００８９】
図１５は、第１変形例において使用される特徴量ＤＢ２３１のデータの構成例を示した図である。図１５に示されるように、第１変形例においては、特徴量ＤＢ２３１のデータレコードにはデータフィールド「ページ番号」が設けられている。このページ番号は、複数ページを持つ印刷物４０において、画像識別子で識別される被検索画像がどのページに印刷されているかを示す。
【００９０】
第１変形例において、候補画像特定部２０７は、ステップＳ１１１（図１０）において、まず、クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数を、被検索画像のページ番号毎に集計し、その数が最大となるページ番号の被検索画像を選択する。その後、候補画像特定部２０７は、ページ番号に基づき選択した被検索画像の中から、対応比率に基づき候補画像の特定を行う。
【００９１】
第１変形例によれば、クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数に基づきユーザ端末１０が撮影したページの推定が行われ、撮影したと推定されるページに印刷されている被検索画像の中から候補画像の特定が行われるため、撮影されていないページに印刷されている被検索画像が誤って候補画像として特定される危険性が低減される。その結果、印刷物４０が複数ページである場合、上述した実施形態における場合と比較して高精度で類似画像の特定が行われる。
【００９２】
［第２変形例］
第２変形例においても、第１変形例と同様に、被検索画像がページ毎にグループ化されている（図１５）。ただし、第２変形例においては、類似画像の特定において、ページ単位でキー画像の特徴点に対応付けられた候補画像の特徴点の数がカウントされ、その数が最大のページの候補画像の中から類似画像が特定される。
【００９３】
第２変形例において、類似画像特定部２１０は、ステップＳ１２０（図１０）において、まず、キー画像の特徴点に対応付けられた候補画像の特徴点の数を、候補画像のページ番号毎に集計し、その数が最大となるページ番号の候補画像を選択する。その後、類似画像特定部２１０は、ページ番号に基づき選択した候補画像の中から、対応比率に基づき類似画像の特定を行う。
【００９４】
第２変形例によれば、キー画像の特徴点に対応付けられた候補画像の特徴点の数に基づきユーザ端末１０が撮影したページの推定が行われ、撮影したと推定されるページに印刷されている候補画像の中から類似画像の特定が行われるため、撮影されていないページに印刷されている候補画像が誤って類似画像として特定される危険性が低減される。その結果、印刷物４０が複数ページである場合、上述した実施形態における場合と比較して高い精度で類似画像の特定が行われる。
【００９５】
［第３変形例］
第３変形例においては、キー画像の特定は行われず、第２の対応付け部２０９によりクエリ画像の特徴点と候補画像の特徴点との対応付けが行われる。従って、第３変形例においては、画像検索サーバ２０はキー画像特定部２０８を備えない。そして、ステップＳ１１３（図１０）において第２の特徴量データ取得部２０５から第２の対応付け部２０９に引き渡される特徴量データは、クエリ画像の特徴点の全ての特徴量データとなる。従って、ステップＳ１１８の判定に従うループ処理は不要である。
【００９６】
第３変形例によれば、キー画像の特定が行われないため、クエリ画像のうちキー画像以外の領域の特徴点が誤って候補画像の特徴点に対応付けられる可能性がある。従って、第３変形例によれば、上述した実施形態における場合と比較すると画像検索の精度が低下する。ただし、候補画像の特定は行われるため、従来技術による場合と比較して高い精度の画像検索が行われる。
【００９７】
［第４変形例］
第４変形例においては、第２の対応付け部２０９は、ステップＳ１１９（図１０）における特徴点の対応付けにおいて、ステップＳ１１２において特定されている候補画像とキー画像の対応関係に基づき、キー画像の特徴点と、当該キー画像に対応する候補画像の特徴点との対応付けが行われる。
【００９８】
たとえば、図１２に示される例では、キー画像「Ｋ０００１」は候補画像である被検索画像「Ｉ０００１」の特徴点に対応付けられたクエリ画像の特徴点の外接矩形の領域として特定されたキー画像である。従って、キー画像「Ｋ０００１」に対応する候補画像は被検索画像「Ｉ０００１」である。同様に、キー画像「Ｋ０００２」に対応する候補画像は被検索画像「Ｉ０００２」である。
【００９９】
第２の対応付け部２０９は、ステップＳ１１５において、キー画像「Ｋ０００１」の特徴点の特徴量データ（第２の特徴量データ）と被検索画像「Ｉ０００１」の特徴点の特徴量データ（第１の特徴量データ）とを用いて特徴点間距離の算出を行う。そして、第２の対応付け部２０９は、ステップＳ１１９において、キー画像「Ｋ０００１」の特徴点を、キー画像「Ｋ０００１」に対応する候補画像である被検索画像「Ｉ０００１」の特徴点のいずれかに対応付ける。同様に、第２の対応付け部２０９は、ステップＳ１１５において、キー画像「Ｋ０００２」の特徴点の特徴量データ（第２の特徴量データ）と被検索画像「Ｉ０００２」の特徴点の特徴量データ（第１の特徴量データ）とを用いて特徴点間距離の算出を行う。そして、第２の対応付け部２０９は、ステップＳ１１９において、キー画像「Ｋ０００２」の特徴点を、キー画像「Ｋ０００２」に対応する候補画像である被検索画像「Ｉ０００２」の特徴点のいずれかに対応付ける。
【０１００】
第４変形例によれば、上述した実施形態における場合と比較して、ステップＳ１１３〜Ｓ１１９における処理量が低減され、迅速に類似画像の特定が行われる。
【０１０１】
［第５変形例］
第５変形例においては、ユーザ端末１０がクエリ画像の特徴点の抽出及び特徴量データの生成を行う。図１６は、第５変形例におけるユーザ端末１０と画像検索サーバ２０の機能構成を示した図である。第５変形例における画像検索サーバ２０は特徴量データ生成部２０２を備えず、代わりにユーザ端末１０が特徴量データ生成部１０４を備えている。
【０１０２】
図１７は第５変形例において画像検索システム１により行われる処理のシーケンスの一部を示したフロー図である。撮影によりクエリ画像取得部１０１がクエリ画像の画像データを生成すると（ステップＳ１０１）、特徴量データ生成部１０４はクエリ画像の画像データを用いて特徴量テーブル（図８）を生成する（ステップＳ２０１）。なお、ステップＳ２０４において特徴量データ生成部１０４が行う処理は、上述した実施形態において特徴量データ生成部２０２が行う処理と共通した処理である。
【０１０３】
続いて、送信部１０２は特徴量データ生成部１０４により生成された特徴量テーブルを画像検索サーバ２０に送信する（ステップ２０２）。画像検索サーバ２０の受信部２０１は特徴量テーブルを受信し（ステップＳ２０３）、記憶部２０３に一時的に記憶する。その後、上述した実施形態におけるステップＳ１０５以降の処理が行われる。
【０１０４】
第５変形例によれば、クエリ画像の特徴量データの生成がユーザ端末１０により行われるため、上述した実施形態における場合と比較して、画像検索サーバ２０の処理負荷が軽減される。また、一般的に画像データのデータ量よりも特徴量テーブルのデータ量の方が少ないため、第５変形例によれば、上述した実施形態における場合と比較して、通信回線１００を介して通信されるデータ量が削減される。
【０１０５】
［その他の変形例］
（１）上述した実施形態では、特徴量としてＳＩＦＴ特徴量を使用していたが、ＳＵＲＦ（Speeded Up Robust Features）特徴量等の他の局所特徴量を使用してもよい。本発明の局所特徴量は、輝度勾配の特徴を表すのに限らず、例えば、特徴点の位置（座標）を表すものであってもよい。
【０１０６】
（２）上述した実施形態では、画像検索サーバ２０は、キー画像に類似する被検索画像に応じたコンテンツデータをユーザ端末１０に送信するが、送信対象となる情報はコンテンツデータに限られない。例えば、画像検索サーバ２０は類似画像を表す画像データをユーザ端末１０へ送信してもよい。
【０１０７】
（３）ユーザ端末１０が備える構成部と画像検索サーバ２０が備える構成部の配置は様々に変更可能である。例えば、ユーザ端末１０が画像検索サーバ２０の全ての機能を備え、画像検索サーバ２０が画像検索サーバ２０を備えない構成としてもよい。
【０１０８】
（４）上述した実施形態では、キー画像の特定において候補画像の特徴点に対応付けられたクエリ画像の特徴点の外接矩形の領域をキー画像として特定する構成としている。キー画像を特定する際の形状やそのサイズは外接矩形に限られず、例えば円等の他の形状であってもよいし、例えば外接矩形を予め定められた拡大率で拡大した矩形のように他のサイズであってもよい。
【０１０９】
（５）上述した実施形態では、キー画像の特定において候補画像の特徴点に対応付けられたクエリ画像の特徴点の全てを内側に含む領域をキー画像として特定する構成としている。キー画像の領域は、必ずしも全ての特徴点をその内側に含む必要はなく、それらの特徴点を予め定められた条件で含む領域であれば、他の条件に従いキー画像の領域が特定されてもよい。例えば、キー画像の特定を、候補画像の特徴点に対応付けられたクエリ画像の特徴点を予め定められた密度の閾値以上で含む領域や、密度勾配が閾値となるラインの内側の領域などをキー画像として特定する構成が採用されてもよい。このように特徴点の密度に基づきキー画像を特定する構成とした場合、上述した実施形態において図１３に例示したケースでは、キー画像が図１８に示すように特定される。その結果、上述した実施形態における場合と比較し、キー画像が検索対象の画像（被検索画像と同じ画像）の特徴点ではない特徴点を含む確率が低下するため、画像検索の精度が高まる。
【０１１０】
（６）上述した実施形態では、候補画像の特定及び類似画像の特定において、被検索画像の特徴点のうちクエリ画像の特徴点に対応付けられた特徴点の数の比率（対応比率）に基づき、その特定を行う構成としている。候補画像の特定及び類似画像の特定には、被検索画像の特徴点のうちクエリ画像の特徴点に対応付けられた特徴点の数に基づく限り、対応比率以外の指標（例えば、対応付けられた特徴点の絶対数や特徴点の特定に応じた重み付けを乗じて加算した数等）が用いられてもよい。
【０１１１】
（７）上述した実施形態又はその変形例のユーザ端末１０や画像検索サーバ２０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末１０や画像検索サーバ２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、通信回線を介して配信されてもよい。また、本発明は、コンピュータが行う画像検索方法として把握することも可能である。
【符号の説明】
【０１１２】
１…画像検索システム、１０…ユーザ端末、１１…制御部、１２…ＵＩ部、１３…通信部、１４…撮影部、１５…記憶部、２０…画像検索サーバ、２１…制御部、２２…通信部、２３…記憶部、４０…印刷物、４１…マーカ、１００…通信回線、１０１…クエリ画像取得部、１０２…送信部、１０３…受信部、１０４…特徴量データ生成部、２０１…受信部、２０２…特徴量データ生成部、２０３…記憶部、２０４…第１の特徴量データ取得部、２０５…第２の特徴量データ取得部、２０６…第１の対応付け部、２０７…候補画像特定部、２０８…キー画像特定部、２０９…第２の対応付け部、２１０…類似画像特定部、２１１…コンテンツデータ出力部、２１２…送信部、２３１…特徴量ＤＢ、２３２…コンテンツＤＢ、４１１…特徴境界、４１２…アンカーポイント、４１３…メディアアイコン
【図１】
2015032248.tif 000003
【図２】
2015032248.tif 000004
【図３】
2015032248.tif 000005
【図４】
2015032248.tif 000006
【図５】
2015032248.tif 000007
【図６】
2015032248.tif 000008
【図７】
2015032248.tif 000009
【図８】
2015032248.tif 000010
【図９】
2015032248.tif 000011
【図１０Ａ】
2015032248.tif 000012
【図１０Ｂ】
2015032248.tif 000013
【図１１】
2015032248.tif 000014
【図１２】
2015032248.tif 000015
【図１３】
2015032248.tif 000016
【図１４】
2015032248.tif 000017
【図１５】
2015032248.tif 000018
【図１６】
2015032248.tif 000019
【図１７】
2015032248.tif 000020
【図１８】
2015032248.tif 000021