(57)【要約】【課題】ユーザの意図をより正確に反映した画像検索を実行可能とする。【解決手段】情報処理システムは、端末装置と、画像検索装置と、情報処理装置とを含む。画像検索装置は、被検索画像と連携情報とが関連付けられて登録される登録部から、検索対象画像との類似度に基づき被検索画像を検索する検索部と、検索された被検索画像に関連付けられた連携情報を端末装置に送信する送信部とを備える。情報処理装置は、被検索画像を登録部に登録する。情報処理システムは、被検索画像に対して注目領域を設定する領域設定部と、注目領域に対して重みを設定する重み設定部と、重みに基づき類似度を変更する変更部とを備える。【選択図】図１
2017037437.tif 000002
【特許請求の範囲】
【請求項１】
端末装置と、被検索画像と連携情報とが関連付けられて登録される登録部から、検索対象画像との類似度に基づき該被検索画像を検索する検索部と、検索された該被検索画像に関連付けられた連携情報を前記端末装置に送信する送信部とを備える画像検索装置と、該被検索画像を該登録部に登録する情報処理装置とを含む情報処理システムであって、
前記被検索画像に対して注目領域を設定する領域設定部と、
前記注目領域に対して重みを設定する重み設定部と、
前記重みに基づき前記類似度を変更する変更部と
を備える情報処理システム。
【請求項２】
前記重み設定部は、
指定された値の前記重みを設定する
請求項１に記載の情報処理システム。
【請求項３】
前記変更部は、
前記注目領域の画像と前記検索対象画像との第１の類似度を前記重みに基づき重み付けし、重み付けした該第１の類似度を前記検索対象画像と前記被検索画像との第２の類似度に加算して、前記検索部が前記被検索画像の検索を行うための第３の類似度を求める
請求項１または請求項２に記載の情報処理システム。
【請求項４】
前記変更部は、
前記第２の類似度が閾値以上の場合に前記第３の類似度を求める
請求項３に記載の情報処理システム。
【請求項５】
前記登録部に登録するための登録対象画像から所定領域を抽出する抽出部と、
前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定部と
をさらに備え、
前記領域設定部は、
前記登録部に前記類似画像が登録されていると判定された場合に、前記登録対象画像の前記所定領域とは異なる領域を前記注目領域として設定し、
前記重み設定部は、
前記注目領域に対して前記類似度を増加させる重みを設定する
請求項１乃至請求項４の何れか１項に記載の情報処理システム。
【請求項６】
前記登録部に登録するための登録対象画像から所定領域を抽出する抽出部と、
前記所定領域の画像を前記検索部に送信し、前記検索部の検索結果に基づき、該所定領域に類似する画像を含む類似画像が前記登録部に登録されているか否かを判定する判定部と
をさらに備え、
前記領域設定部は、
前記登録部に前記類似画像が登録されていると判定された場合に、前記登録対象画像の前記所定領域を前記注目領域として設定し、
前記重み設定部は、
前記注目領域に対して前記類似度を減少させる重みを設定する
請求項１乃至請求項４の何れか１項に記載の情報処理システム。
【請求項７】
被検索画像と連携情報とが関連付けられて登録される登録部から検索対象画像との類似度に基づき該被検索画像を検索する検索部と、検索された該被検索画像に関連付けられた連携情報を前記端末装置に送信する送信部とを備える画像検索装置の該登録部に対して該被検索画像を登録する情報処理装置であって、
前記被検索画像に対して注目領域を設定する領域設定部と、
前記注目領域に対して、前記類似度を変更するための重みを設定する重み設定部と
を備える情報処理装置。
【請求項８】
被検索画像と、連携情報と、該被検索画像に設けられた注目領域に設定された重みを示す重み情報とが関連付けられて登録される登録部と、
端末装置から送信された検索対象画像との類似度に基づき前記被検索画像を検索する検索部と、
検索された前記被検索画像に関連付けられた連携情報を前記端末装置に送信する送信部と、
前記重み情報に示される前記重みに基づき前記類似度を変更する変更部と
を備える情報処理装置。
【請求項９】
被検索画像と連携情報とが関連付けられて登録される登録部から検索対象画像との類似度に基づき該被検索画像を検索する検索部と、検索された該被検索画像に関連付けられた連携情報を前記端末装置に送信する送信部とを備える画像検索装置の該登録部に対して該被検索画像を登録する情報処理方法であって、
前記被検索画像に対して注目領域を設定する領域設定ステップと、
前記注目領域に対して重みを設定する重み設定ステップと、
前記重みに基づき前記類似度を変更する変更ステップと
を備える情報処理方法。
【請求項１０】
被検索画像と連携情報とが関連付けられて登録される登録部から検索対象画像との類似度に基づき該被検索画像を検索する検索部と、検索された該被検索画像に関連付けられた連携情報を前記端末装置に送信する送信部とを備える画像検索装置の該登録部に対して該被検索画像を登録する情報処理方法をコンピュータに実行させるための情報処理プログラムであって、
前記被検索画像に対して注目領域を設定する領域設定ステップと、
前記注目領域に対して、前記類似度を変更するための重みを設定する重み設定ステップと
を備える情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
例えばカメラで撮像して得た撮像画像から特徴点を抽出して、予め登録された画像群から類似した特徴点を多く持つ画像を検索する画像検索技術が知られている。この画像検索技術を利用して、特定の写真や印刷物の画像を様々な電子データと関連付けてデータベースに登録し、これら写真や印刷物を撮像した撮像画像を用いてこのデータベースから類似画像を検索して、類似画像に関連付けられた連携情報を提示する画像検索システムが知られている（例えば特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
特徴点の類似度を用いた画像検索においては、検索対象の画像内の特定領域における特徴点に基づき画像検索がなされ、特定領域外の特徴点が考慮されない場合が有り得る。この場合、ユーザが検索したい部分が特定領域外にあれば、ユーザの意図する検索結果を得ることが難しくなるおそれがある。
【０００４】
これに対して、特定領域に対するマスキングにより画像検索の対象外とする方法も考えられる。しかしながら、この方法では、マスキングされた領域を全く考慮しない検索となるため、検索精度が低下してしまう可能性がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、ユーザの意図をより正確に反映した画像検索を実行可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、端末装置と、被検索画像と連携情報とが関連付けられて登録される登録部から、検索対象画像との類似度に基づき被検索画像を検索する検索部と、検索された被検索画像に関連付けられた連携情報を端末装置に送信する送信部とを備える画像検索装置と、被検索画像を登録部に登録する情報処理装置とを含む情報処理システムであって、被検索画像に対して注目領域を設定する領域設定部と、注目領域に対して重みを設定する重み設定部と、重みに基づき類似度を変更する変更部とを備える。
【発明の効果】
【０００７】
本発明によれば、ユーザの意図をより正確に反映した画像検索が実行可能となるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、各実施形態に適用可能な画像検索システムの一例の構成を概略的に示す図である。
【図２】図２は、各実施形態に係る情報処理システムの一例の構成を概略的に示す図である。
【図３】図３は、各実施形態に適用可能な登録端末のハードウェアの一例の構成を示すブロック図である。
【図４】図４は、各実施形態に係る画像検索サーバに適用可能なハードウェアの一例の構成を示すブロック図である。
【図５】図５は、各実施形態に適用可能な検索端末のハードウェアの一例の構成を示すブロック図である。
【図６】図６は、各実施形態に係る登録端末の機能を説明するための一例の機能ブロック図である。
【図７】図７は、各実施形態に適用可能な検索端末の機能を説明するための一例の機能ブロック図である。
【図８】図８は、実施形態に係る画像登録処理の一例を示すフローチャートである。
【図９】図９は、各実施形態に係るログイン画面の例を示す図である。
【図１０】図１０は、各実施形態に係るメニュー画面の例を示す図である。
【図１１】図１１は、各実施形態に係る登録情報一覧画面の例を示す図である。
【図１２】図１２は、各実施形態に係る公開設定画面の例を示す図である。
【図１３】図１３は、各実施形態に係るキャンペーン登録画面の例を示す図である。
【図１４】図１４は、各実施形態に係る編集画面の例を示す図である。
【図１５】図１５は、各実施形態に係るファイル選択画面の例を示す図である。
【図１６】図１６は、各実施形態に係るキャンペーン設定画面の例を示す図である。
【図１７】図１７は、各実施形態に係る警告画面の例を示す図である。
【図１８】図１８は、各実施形態に係る、対象領域を示す情報が記述されるＸＭＬコードの一例を示す図である。
【図１９】図１９は、被検索画像の例を示す図である。
【図２０】図２０は、第１の実施形態に係る注目領域設定および重み付けの処理を示す一例のフローチャートである。
【図２１】図２１は、被検索画像に対して注目領域および重み値ｗが設定された例を示す図である。
【図２２】図２２は、被検索画像に対して複数の注目領域および重み値ｗが設定された例を示す図である。
【図２３】図２３は、第１の実施形態に係る、重み付け情報を含むＸＭＬコードの一例を示す図である。
【図２４】図２４は、第１の実施形態に係る重み値入力画面の例を示す図である。
【図２５】図２５は、第１の実施形態に係る、画像検索サーバにおける画像検索処理を示す一例のフローチャートである。
【図２６】図２６は、第１の実施形態に係る、被検索画像から注目領域の範囲の画像を切り出す処理について説明するための図である。
【図２７】図２７は、各注目領域の範囲の各画像を、被検索画像と関連付けて画像ＤＢに予め格納しておく例を説明するための図である。
【図２８】図２８は、第１の実施形態に係る、変更された類似度を求める方法を説明するための図である。
【図２９】図２９は、第１の実施形態に係る、変更された類似度に基づき検索結果を出力する方法を説明するための図である。
【図３０】図３０は、第１の実施形態に係る、検索抑制領域をマスクする例を示す図である。
【図３１】図３１は、名刺画像の例を示す図である。
【図３２】図３２は、名刺画像に基づく氏名による検索をより高精度に実行可能とするための重み付けの例を示す図である。
【図３３】図３３は、チェック対象の画像に対して部分的に類似する画像を類似画像として検索する例を説明するための図である。
【図３４】図３４は、第２の実施形態に係る、類似画像チェックにおける重み付け処理を示す一例のフローチャートである。
【図３５】図３５は、第２の実施形態に係る、チェック対象画像に複数のチェック領域が指定された例を示す図である。
【図３６】図３６は、第２の実施形態に係る、チェック対象画像に対する類似画像チェックが終了した結果の例を示す図である。
【図３７】図３７は、第２の実施形態の第１の変形例に係る、類似画像チェックにおける重み付け処理を示す一例のフローチャートである。
【図３８】図３８は、第２の実施形態の第２の変形例について説明するための図である。
【図３９】図３９は、第２の実施形態の第２の変形例について説明するための図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、情報処理システム、情報処理装置、情報処理方法および情報処理プログラムの実施形態を詳細に説明する。
【００１０】
（各実施形態に適用可能なシステム）
図１は、各実施形態に適用可能な情報処理システムとしての画像検索システムの一例の構成を概略的に示す。図１において、画像検索システムは、画像検索サーバ１０を含み、登録端末２０および検索端末３０とネットワークを介して通信が可能とされている。画像検索サーバ１０は、１台の情報処理装置により構成してもよいし、互いに接続された複数台の情報処理装置により機能や制御を分散させて構成してもよい。
【００１１】
画像検索サーバ１０は、登録端末２０から送信された画像および連携情報を関連付けてデータベースに登録する。画像検索サーバ１０は、検索端末３０から送信された、被写体４０を撮像した撮像画像に基づきデータベースに登録された画像を検索して、検索された画像に関連付けられた連携情報を検索端末３０に送信する。
【００１２】
画像検索サーバ１０は、解析部１２と、検索部１３と、通信部１６と、画像検索用データベース（ＤＢ）１１とを備える。画像検索用ＤＢ１１は、画像データベース（ＤＢ）１４と、連携情報データベース（ＤＢ）１５とを含む。画像ＤＢ１４は、画像を検索可能に登録する。連携情報ＤＢ１５は、画像ＤＢ１４に登録された画像と連携するための連携情報が、当該画像と関連付けられて登録される。
【００１３】
より詳細には、画像検索サーバ１０は、登録対象となる画像を解析部１２により解析して、当該画像の特徴を表す特徴情報を抽出する。画像検索サーバ１０は、抽出された特徴情報を、画像を識別するための画像識別情報と関連付けて画像ＤＢ１４に格納する。画像検索サーバ１０は、また、ユーザに提供するための連携情報を画像識別情報と関連付けて連携情報ＤＢ１５に格納する。画像（特徴情報）および連携情報がそれぞれ画像識別情報に関連付けられて画像ＤＢ１４および連携情報ＤＢ１５に格納されることで、当該画像の画像検索用ＤＢ１１への登録が行われる。
【００１４】
登録端末２０は、画像と、当該画像に関連付けるための連携情報とを取得して、画像検索サーバ１０に送信する。画像検索サーバ１０は、登録端末２０から送信された画像および連携情報を、上述したようにして画像ＤＢ１４および連携情報ＤＢ１５に格納し、画像の画像検索用ＤＢ１１への登録を行う。
【００１５】
また、登録端末２０は、画像検索用ＤＢ１１に登録する画像に対して注目領域を指定し、指定した注目領域に対して重み付けを行うことができる。登録端末２０は、当該画像に設定した注目領域と注目領域に設定した重みを示す重み値とを含む重み付け情報を、画像および連携情報と共に画像検索サーバ１０に送信する。画像検索サーバ１０は、登録端末から送信された重み付け情報を、画像に関連付けて画像ＤＢ１４に格納し、重み付け情報の画像検索用ＤＢ１１への登録を行う。
【００１６】
なお、図１の例では、登録端末２０は、被写体４０を撮像した撮像画像を、画像検索用ＤＢ１１に登録するための画像として用いている。これはこの例に限定されず、登録端末２０は、画像検索用ＤＢ１１に登録するための画像として、外部から供給された画像や、登録端末２０の内部で作成した画像を用いてもよい。
【００１７】
検索端末３０は、撮像機能を備え、被写体４０を撮像した画像をネットワークを介して画像検索サーバ１０に送信することができる。検索端末３０は、例えばユーザ操作に応じて撮像機能を起動させて被写体４０を撮像し、撮像して得た画像と、この画像に類似する画像の検索を要求する検索要求とを画像検索サーバ１０に送信する。画像検索サーバ１０は、検索端末３０から送信された画像および検索要求に応じて画像ＤＢ１４から当該画像に類似する画像を検索し、検索された画像の識別情報を検索結果として出力する。
【００１８】
例えば、検索端末３０から送信された画像は、画像検索サーバ１０の検索部１３に受信される。検索部１３は、受信した画像を解析部１２に渡す。解析部１２は、検索部１３から渡された画像を解析して当該画像から特徴情報を抽出し、抽出した特徴情報を検索部１３に渡す。検索部１３は、解析部１２から渡された特徴情報に基づき、当該特徴情報と、画像ＤＢ１４に格納される特徴情報との類似度を求め、類似度の高い特徴情報を画像ＤＢ１４から検索する。ここで、検索部１３は、検索された特徴情報に対応する画像に重み付け情報が関連付けられている場合に、重み付け情報に示される重み値に従い類似度を変更し、変更された類似度を用いて、画像ＤＢ１４からの特徴情報の検索を行う。
【００１９】
検索部１３は、検索された特徴情報に対応する画像識別情報に関連付けられた連携情報を連携情報ＤＢ１５から取得して、検索端末３０に送信する。連携情報は、例えばインターネット４１上のＷｅｂサイト４２ａやＷｅｂサイト４２ｂのＵＲＬ(Uniform  Resource  Locator)を含むことができる。この場合、検索端末３０は、被写体４０を撮像した撮像画像に基づき画像検索サーバ１０で検索され送信された連携情報に応じて、インターネット４１を介してＷｅｂサイト４２ａやＷｅｂサイト４２ｂにアクセスすることができる。
【００２０】
図２は、各実施形態に係る情報処理システムの一例の構成を概略的に示す。なお、図２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。
【００２１】
図２において、情報処理システム１は、画像検索サーバ１０と、登録端末２０と、登録サーバ５０とを含む。情報処理システム１は、ユーザ管理サーバ６０をさらに含んでもよい。なお、図２では、説明のため、画像検索用ＤＢ１１が画像検索サーバ１０の外部に接続されるように示されている。また、画像検索用ＤＢ１１は、画像ＤＢ１４に登録される画像に関するメタデータを格納するメタデータＤＢをさらに有する。
【００２２】
ここで、情報処理システム１において、画像の登録は、キャンペーンを単位として行われる。キャンペーンは、１以上の画像と、各画像に関連付けられる各連携情報とを含み、メタデータは、キャンペーンの属性情報を含む。また、キャンペーンに含まれる各画像を、適宜、ページと記述する。換言すれば、キャンペーンは、ページ単位で画像が含まれる。
【００２３】
画像検索サーバ１０は、上述したように、検索端末３０からインターネット４１を介して送信された画像（撮像画像）を解析部１２で解析して特徴情報を抽出し、検索部１３により、抽出した特徴情報と、画像ＤＢ１４に格納される特徴情報との類似度を求め、類似度の高い、例えば類似度が所定値以上の特徴情報を画像ＤＢ１４から検索する。そして、画像検索サーバ１０は、画像ＤＢ１４から検索された特徴情報に関連付けられた画像識別情報に対応する連携情報を連携情報ＤＢ１５から取得して、検索端末３０に送信する。
【００２４】
登録サーバ５０は、画像検索用ＤＢ１１と対応する画像検索用ＤＢ１１’を備え、画像検索サーバ１０と同様に、解析部１２および検索部１３を含む。また、画像検索用ＤＢ１１’は、画像検索用ＤＢ１１’に含まれる画像に関するメタデータを格納するメタデータＤＢをさらに含む。
【００２５】
登録端末２０は、登録ツール２１を含む。登録端末２０は、顧客６２ａ、６２ｂ、６２ｃ、…から画像および画像に関連付けるための連携情報がそれぞれ提供される。登録端末２０は、顧客６２ａ、６２ｂ、６２ｃ、…から提供された各画像に対して連携情報をそれぞれ関連付けて登録サーバ５０に送信する。この、顧客６２ａ、６２ｂ、６２ｃ、…から提供された画像に連携情報を関連付けて登録サーバ５０に送信する処理は、登録端末２０において登録ツール２１により実行される処理である。
【００２６】
また、登録ツール２１は、顧客６２ａ、６２ｂ、６２ｃ、…から提供された画像に注目領域を指定し、指定した注目領域に対して重み付けを行い重み値を設定することができる。登録ツール２１は、この注目領域および重み値を含む重み付け情報も、登録サーバ５０に送信する。
【００２７】
登録サーバ５０は、登録端末２０から送信された画像および連携情報、ならびに、重み付け情報を画像検索用ＤＢ１１’に登録する。すなわち、登録サーバ５０は、登録端末２０から送信された画像を、登録サーバ５０に含まれる解析部１２で解析して、当該画像から、当該画像の特徴を表す特徴情報を抽出する。登録サーバ５０は、画像識別情報を、抽出された特徴情報と登録端末２０から送信された重み付け情報とに関連付けて、画像検索用ＤＢ１１’に含まれる画像ＤＢ１４に格納する。また、登録サーバ５０は、画像ＤＢ１４に格納した画像に対応する連携情報に画像識別情報を関連付けて連携情報ＤＢ１５に格納する。このようにして、登録サーバ５０は、画像の画像検索用ＤＢ１１’への登録を行う。
【００２８】
なお、画像ＤＢ１４および連携情報ＤＢ１５に格納される画像、連携情報および重み付け情報は、さらに、登録を行ったユーザを示す情報（ユーザＩＤなど）を含むメタデータが関連付けられる。ユーザ情報は、後述するユーザＤＢ６１から取得することができる。
【００２９】
登録サーバ５０への画像の登録に際して、登録端末２０は、登録を行おうとする画像と類似した画像が登録サーバ５０に既に登録されているか否かをチェックする、類似画像チェックを行うことができる。登録端末２０は、類似画像チェックを、重み付け情報を用いて行うことができる。
【００３０】
登録サーバ５０は、画像検索用ＤＢ１１’に登録された画像（特徴情報）、連携情報および重み付け情報のうち、公開可能に設定された画像、連携情報および重み付け情報を画像検索サーバ１０に送信して、画像検索用ＤＢ１１に登録させる。例えば、登録サーバ５０は、夜間など所定のタイミングで画像検索サーバ１０と通信を行い、登録サーバ５０の画像検索用ＤＢ１１’に登録されている画像のうち、公開可能に設定されており、且つ、画像検索サーバ１０の画像検索用ＤＢ１１に未登録の画像を検索する。そして、登録サーバ５０は、検索された画像と、当該画像に関連付けられている重み付け情報および連携情報とを画像検索サーバ１０に送信する。画像検索サーバ１０は、登録サーバ５０から送信された画像、連携情報および重み付け情報を、画像検索用ＤＢ１１に登録する。
【００３１】
ユーザ管理サーバ６０は、ユーザＤＢ６１を備え、情報処理システム１を利用するユーザの情報を管理する。例えば、ユーザＤＢ６１は、顧客６２ａ、６２ｂ、６２ｃ、…の情報や、登録端末２０（登録ツール２１）の機能を利用可能なユーザの情報、画像検索サーバ１０および登録サーバ５０を管理する管理者の情報が登録される。
【００３２】
ユーザ管理サーバ６０は、例えば、全体管理者、ドメイン管理者、クライアント管理者およびクライアントの４つの階層でユーザ情報を管理する。全体管理者は、ドメイン管理者、クライアント管理者およびクライアントの情報にアクセス可能な権限を有する。ドメイン管理者は、クライアント管理者およびクライアントの情報にアクセス可能な権限を有し、クライアント管理者は、クライアントの情報にアクセス可能な権限を有する。クライアントは、各クライアント自身の情報のみ、アクセス可能とされている。ユーザＤＢ６１に登録される各情報は、登録端末２０から登録ツール２１を用いて、各階層に与えられた権限に応じて閲覧および編集することが可能である。
【００３３】
図３は、各実施形態に適用可能な登録端末２０のハードウェアの一例の構成を示す。図３において、登録端末２０は、バス２０００に対してＣＰＵ２００１と、ＲＯＭ(Read  Only  Memory)２００２と、ＲＡＭ(Random  Access  Memory)２００３と、表示制御部２００４と、ストレージ２００６と、データＩ／Ｆ（インターフェイス）２００７と、入力デバイス２００８と、通信Ｉ／Ｆ２００９とが接続される。登録端末２０は、一般的なコンピュータ装置を用いて構成することができる。
【００３４】
ストレージ２００６は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ２００６として、フラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ２００６は、ＣＰＵ２００１が実行するためのプログラムや各種データが格納される。
【００３５】
ＣＰＵ２００１は、ＲＯＭ２００２およびストレージ２００６に記憶されるプログラムに従い、ＲＡＭ２００３をワークメモリとして用いて、この登録端末２０の全体を制御する。
【００３６】
表示制御部２００４は、ＣＰＵ２００１により生成された表示制御信号を、表示デバイス２００５が表示可能な信号に変換して出力する。表示制御部２００４は、ＣＰＵ２００１により生成された表示制御信号に基づき表示デバイス２００５を駆動する。表示デバイス２００５は、表示制御部２００４により駆動されて表示制御信号に応じた表示を行う。
【００３７】
データＩ／Ｆ２００７は、外部機器との間でデータの入出力を行う。データＩ／Ｆ２００７としては、例えば、ＵＳＢ(Universal  Serial  Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインターフェイスを適用することができる。通信Ｉ／Ｆ２００９は、ＣＰＵ２００１の制御に従いネットワークを介した通信を無線通信により行う。
【００３８】
入力デバイス２００８は、例えばマウスなどのポインティングデバイスや、キーボードを含み、ユーザ入力を受け付ける。ユーザは、例えば表示デバイス２００５に対する表示に応じて入力デバイス２００８を操作することで、登録端末２０に対して指示を出すことができる。
【００３９】
図４は、各実施形態に係る画像検索サーバ１０に適用可能なハードウェアの一例の構成を示す。図４において、画像検索サーバ１０は、バス１０００に対してＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、ストレージ１００４および通信部１００５が接続される。ストレージ１００４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブである。これに限らず、ストレージ１００４として、フラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。
【００４０】
ＣＰＵ１００１は、ＲＯＭ１００２およびストレージ１００４に記憶されるプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、この画像検索サーバ１０の全体を制御する。
【００４１】
ストレージ１００４は、ＣＰＵ１００１が実行するためのプログラムや各種データが格納される。また、上述した画像検索用ＤＢ１１は、このストレージ１００４上の記憶領域を用いて構成される。なお、図４では、ストレージ１００４が１のハードウェアから構成されるように示しているが、これはこの例に限定されず、例えば複数のストレージ装置を１つのストレージ１００４として統合的に管理するようにしてもよい。また、画像検索用ＤＢ１１は、ＣＰＵ１００１が実行するためのプログラムおよび各種データが格納されるストレージ１００４とは別のハードウェアとしてのストレージ１００４に格納されることが望ましい。
【００４２】
通信部１００５は、ＣＰＵ１００１の制御に従いネットワークを介した通信を無線通信により行う通信Ｉ／Ｆを含む。
【００４３】
なお、図４では、画像検索サーバ１０が１のハードウェアから構成されるように示しているが、これはこの例に限定されず、画像検索サーバ１０を、同等の構成を有する複数のサーバ装置を統合的に制御することで構成してもよい。また、登録サーバ５０は、画像検索サーバ１０と同様の構成で実現可能であるので、ここでの説明を省略する。
【００４４】
図５は、各実施形態に適用可能な検索端末３０のハードウェアの一例の構成を示す。図５において、検索端末３０は、バス３０００に対してＣＰＵ３００１と、ＲＯＭ３００２と、ＲＡＭ３００３と、表示制御部３００４と、ストレージ３００６と、データＩ／Ｆ３００７と、入力デバイス３００８と、通信Ｉ／Ｆ３００９と、撮像部３０１０とが接続される。検索端末３０において、バス３０００に、さらにＧＰＳ部３０１１を接続してもよい。
【００４５】
ストレージ３００６は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ３００６としてハードディスクドライブを用いてもよい。ストレージ３００６は、ＣＰＵ３００１が実行するためのプログラムや各種データが格納される。なお、ストレージ３００６およびＲＯＭ３００２は、例えば１つの書き換え可能な不揮発性半導体メモリなどを共用してもよい。
【００４６】
ＣＰＵ３００１は、ＲＯＭ３００２およびストレージ３００６に記憶されるプログラムに従い、ＲＡＭ３００３をワークメモリとして用いて、この検索端末３０の全体を制御する。表示制御部３００４は、ＣＰＵ３００１により生成された表示制御信号を、表示デバイス３００５が表示可能な信号に変換して出力する。
【００４７】
データＩ／Ｆ３００７は、外部機器との間でデータの入出力を行う。データＩ／Ｆ３００７としては、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）といったインターフェイスを適用することができる。
【００４８】
表示制御部３００４は、ＣＰＵ３００１により生成された表示制御信号に基づき表示デバイス３００５を駆動する。表示デバイス３００５は、例えばＬＣＤ(Liquid  Crystal  Display)を含み、表示制御部３００４により駆動されて表示制御信号に応じた表示を行う。
【００４９】
入力デバイス３００８は、ユーザ入力を受け付ける。ユーザは、例えば表示デバイス３００５に対する表示に応じて入力デバイス３００８を操作することで、検索端末３０に対して指示を出すことができる。なお、入力デバイス３００８と表示デバイス３００５とを一体的に構成し、押圧した位置に応じた制御信号を出力すると共に、表示デバイス３００５の画像を透過するタッチパネルとして構成すると、好ましい。
【００５０】
通信Ｉ／Ｆ３００９は、ＣＰＵ３００１の制御に従いネットワークを介した通信を無線通信により行う。
【００５１】
撮像部３０１０は、光学系と、撮像素子と、光学系および撮像素子の制御駆動回路とを備え、撮像素子から出力される撮像信号に所定の処理を施してディジタル信号による撮像画像として出力する。撮像部３０１０は、入力デバイス３００８に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。撮像部３０１０から出力された撮像画像は、バス３０００を介してＣＰＵ３００１に送られ、プログラムに従い所定の画像処理を施される。撮像部３０１０から出力され画像処理を施した撮像画像を、例えばストレージ３００６に記憶することができる。また、ＣＰＵ３００１は、ストレージ３００６から撮像画像を読み出して、通信Ｉ／Ｆ３００９によりネットワークに対して送信することができる。
【００５２】
ＧＰＳ部３０１１は、ＧＰＳ(Global  Positioning  System)による信号を受信し、受信した信号に基づき緯度および経度からなる現在位置を計算する。
【００５３】
図６は、各実施形態に係る登録端末２０の機能を説明するための一例の機能ブロック図である。図６において、登録端末２０は、登録ツール２１を含み、登録ツール２１は、取得部２０１と、抽出部２０２と、判定部２０３と、通知部２０４と、通信部２０５と、表示部２０６と、入力部２０７と、記憶部２０８と、領域設定部２１０と、重み設定部２１１とを含む。
【００５４】
これら取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６、入力部２０７、記憶部２０８、領域設定部２１０および重み設定部２１１は、ＣＰＵ２００１上で動作するプログラムにより実現される。これに限らず、これら各部の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
【００５５】
通信部２０５は、ネットワークを介した通信を制御し、ネットワーク上にデータを送信する送信部と、ネットワークからのデータを受信する受信部として機能する。
【００５６】
表示部２０６は、表示デバイス２００５に表示させるための表示情報を生成する。すなわち、登録端末２０において、ＣＰＵ２００１は、表示部２０６により生成された表示情報に基づき表示制御信号を生成し、生成した表示制御信号を表示制御部２００４に渡す。表示制御部２００４は、この表示制御信号に従い表示デバイス２００５に対して表示情報に従った表示を行う。なお、以下では、この、表示部２０６が生成した表示情報に従い表示デバイス２００５に表示を行う一連の動作を、表示部２０６が表示を行う、などのように記述する。
【００５７】
入力部２０７は、入力デバイス２００８に対する入力操作で入力された情報を受け付ける。
【００５８】
取得部２０１は、登録端末２０の外部から画像を取得する。取得部２０１は、例えば顧客６２ａから画像を取得する。取得部２０１は、顧客６２ａが有する他の機器からネットワークを介して送信された画像を取得してもよいし、ＣＤ(Compact  Disk)やＤＶＤ(Digital  Versatile  Disk)といった記録媒体を介して画像を受け取ってもよい。さらに、取得部２０１は、紙などの印刷媒体から画像を取得してもよい。また、取得部２０１は、顧客６２ａから、画像に関連付ける連携情報のための情報を取得する。
【００５９】
抽出部２０２は、取得部２０１により取得された画像における所定領域内の画像を抽出する。抽出部２０２は、取得部２０１により取得された画像から、例えば後述する領域設定部２１０により設定された領域内の画像を切り出して抽出する。判定部２０３は、例えば類似度に基づく判定処理を行う。通知部２０４は、判定部２０３による判定結果を示す情報の通知を行う。
【００６０】
記憶部２０８は、ストレージ２００６やＲＡＭ２００３に対する情報の書き込み、読み出しを制御する。
【００６１】
領域設定部２１０は、入力部２０７に受け付けられた情報に基づき、取得部２０１により取得された画像に対して領域を設定する。例えば、領域設定部２１０は、入力デバイス２００８に対してなされた、画像上に範囲を指定する範囲指定操作に応じて、当該画像上に、当該範囲に対応する領域を設定する。
【００６２】
重み設定部２１１は、領域設定部２１０により設定された領域に対して重み値を設定して重み付けを行う。重み設定部２１１は、領域に対する重み付けを、入力部２０７に受け付けられた情報に基づき行ってもよいし、予め定められた値を用いて行ってもよい。
【００６３】
上述した登録ツール２１に含まれる取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６、入力部２０７、記憶部２０８、領域設定部２１０および重み設定部２１１は、ＣＰＵ２００１上で動作する情報処理プログラムによって実現される。この情報処理プログラムは、例えば、登録端末２０が登録サーバ５０に接続することにより、登録サーバ５０により提供される。
【００６４】
例えば、登録端末２０は、一般的なコンピュータに搭載されるものと同等のブラウザアプリケーション（以下、ブラウザ）が搭載される。ブラウザは、ＣＰＵ２００１上で動作して、例えばＨＴＭＬ(HyperText  Markup  Language)に従い記述されたファイルを読み込み、所定の動作を行う。登録端末２０において、ブラウザを用いて登録サーバ５０にアクセスすることで、登録サーバ５０上の情報処理プログラムがブラウザに読み込まれる。
【００６５】
情報処理プログラムは、例えば、登録ツール２１を構成する上述した各部（取得部２０１、抽出部２０２、判定部２０３、通知部２０４、通信部２０５、表示部２０６、入力部２０７、記憶部２０８、領域設定部２１０および重み設定部２１１）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ２００１上で動作するブラウザが、登録サーバ５０から読み込んだ情報処理プログラムを実行することにより上記各部が主記憶装置（例えばＲＡＭ２００３）上に展開され、各部が主記憶装置上に生成されるようになっている。
【００６６】
これに限らず、情報処理プログラムを、例えばストレージ２００６に予め記憶させて提供されるようにしてもよい。また、この情報処理プログラムを、ネットワークに接続されたコンピュータ上に格納し、通信Ｉ／Ｆ２００９によりネットワーク経由でダウンロードさせることにより提供するように構成することができる。また、この情報処理プログラムを、ネットワーク経由で提供または配布するように構成してもよい。
【００６７】
これに限らず、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、記録媒体に記録された情報処理プログラムは、例えばデータＩ／Ｆ２００７に接続された外部のドライブ装置を介して登録端末２０に供給される。これに限らず、記録媒体に記録された情報処理プログラムを、パーソナルコンピュータなど他の情報処理装置上に一旦記憶させ、この他の情報処理装置から通信Ｉ／Ｆ２００９やデータＩ／Ｆ２００７を介した通信により、登録端末２０に供給してもよい。
【００６８】
図７は、各実施形態に適用可能な検索端末３０の機能を説明するための一例の機能ブロック図である。図７において、検索端末３０は、撮像処理部３０１と、検索要求部３０２と、選択部３０３と、受信部３０４と、送信部３０５と、入力部３０６と、表示部３０７とを有する。
【００６９】
これら撮像処理部３０１、検索要求部３０２、選択部３０３、受信部３０４、送信部３０５、入力部３０６および表示部３０７は、ＣＰＵ３００１上で動作するプログラムによって実現される。これに限らず、撮像処理部３０１、検索要求部３０２、選択部３０３、受信部３０４、送信部３０５、入力部３０６および表示部３０７のうち一部または全部を、互いに協働して動作するハードウェア回路により実現してもよい。
【００７０】
撮像処理部３０１は、検索端末３０が備えるカメラ機能を起動して撮像部３０１０を制御し、撮像画像を出力する。受信部３０４は、ネットワークを介して送信されるデータの受信処理を行う。送信部３０５は、ネットワークを介したデータの送信処理を行う。入力部３０６は、検索端末３０が備える入力デバイス３００８に対する入力操作を受け付け、操作に応じたデータを取得する。表示部３０７は、検索端末３０が備える表示デバイス３００５に対する情報の表示を制御する。入力部３０６と表示部３０７とで、検索端末３０のＵＩ(User  Interface)が構成される。
【００７１】
検索要求部３０２は、撮像処理部３０１により取得された撮像画像に基づく検索を要求する検索要求を生成する。検索要求部３０２は、撮像画像と、生成した検索要求とを送信部３０５から画像検索サーバ１０に対して送信する。選択部３０３は、検索要求に応じて画像検索サーバ１０から返される連携情報から所望の情報を選択するための選択画面を生成し、表示部３０７に渡す。また、選択部３０３は、選択画面に応じて入力部３０６が受け付けた入力操作に応じて、選択された連携情報に対応する処理を行う。
【００７２】
（各実施形態に係る画像登録処理）
次に、各実施形態に係る画像登録処理について説明する。図８は、実施形態に係る、登録端末２０において登録ツール２１によって実行される画像登録処理の一例を示すフローチャートである。なお、図８のフローチャートの処理に先立って、登録ツール２１を利用するユーザの情報（ユーザＩＤおよびパスワード）は、ユーザ管理サーバ６０によりユーザＤＢ６１に登録されているものとする。また、以下において、画像は、キャンペーンを単位として登録されるものとする。
【００７３】
登録端末２０において登録ツール２１が起動されると、ステップＳ１００で、登録ツール２１は、ユーザに対するログイン処理を行う。例えば、登録ツール２１は、表示部２０６により図９に例示されるログイン画面４００の表示を行う。図９の例では、ログイン画面４００は、ユーザ情報（ユーザＩＤおよびパスワード）を入力するための入力領域４０１と、ログインを指示するためのボタン４０２と、パスワードの再発行を依頼するためのボタン４０３とが配置されている。
【００７４】
例えば、登録ツール２１は、入力領域４０１にユーザＩＤおよびパスワードが入力されると、入力されたユーザＩＤおよびパスワードをユーザ管理サーバ６０に送信し、ユーザＩＤの認証を要求する。登録ツール２１は、ユーザ管理サーバ６０からの、ユーザＩＤの認証が成功したことを示す情報を受信した場合に、処理をステップＳ１０１に移行させる。
【００７５】
ステップＳ１０１で、登録ツール２１は、表示部２０６により、図１０に例示されるメニュー画面４１０の表示を行う。図１０の例では、メニュー画面４１０は、タブ４１１ａ、４１１ｂおよび４１１ｃと、ボタン群４１２と、検索入力領域４１３と、リスト表示領域４１４と、終了ボタン４１５とが配置される。
【００７６】
タブ４１１ａ、４１１ｂおよび４１１ｃは、メニュー項目を選択して登録ツール２１の動作モードを決定するためのタブである。タブ４１１ａおよび４１１ｂは、ユーザ管理モードに移行するためのタブであって、操作することでそれぞれ管理者一覧およびクライアント一覧が表示される。また、タブ４１１ｃは、画像登録モードに移行するためのタブであって、操作することでキャンペーン一覧が表示される。
【００７７】
リスト表示領域４１４は、タブ４１１ａ、４１１ｂおよび４１１ｃにより選択したメニュー項目に対応するリストが表示される。図１０の例では、タブ４１１ｂが操作されクライアント一覧が選択されている。以下では、リストの各行をレコードと呼び、各列を項目と呼ぶ。
【００７８】
ボタン群４１２は、リスト表示領域４１４に表示されるリストに対する処理を選択する。図１０の例では、ボタン群４１２は４個のボタンを含み、各ボタンは、左から、「新規登録」、「編集」、「削除」、「ＣＳＶ出力」の各機能が割り当てられている。「新規登録」ボタンは、リスト表示領域４１４に表示されるリストに対して新規にレコードを追加する。「編集」ボタンは、リスト表示領域４１４に表示されるリストにおいて選択されたレコードの情報を編集する。「削除」ボタンは、リスト表示領域４１４に表示されるリストにおいて選択されたレコードの情報を削除する。「ＣＳＶ出力」は、リスト表示領域４１４に表示されるリストの情報をＣＳＶ(Comma-Separated  Values)形式のテキストファイルで出力する。
【００７９】
検索入力領域４１３は、リスト表示領域４１４に表示されるリストから、選択または入力された検索キーに基づきレコードが選択される。終了ボタン４１５は、登録ツール２１による処理を終了する。
【００８０】
説明は図８に戻り、ステップＳ１０１でメニュー表示がなされると、処理が次のステップＳ１０２に移行され、登録ツール２１は、タブ４１１ａ、４１１ｂおよび４１１ｃ、ならびに、終了ボタン４１５の何れかが操作され、処理が選択されるのを待機する。若し、終了ボタン４１５が操作された場合、登録ツール２１は、処理をステップＳ１０３に移行させ、ユーザのログアウト処理を行い、登録ツール２１の動作を終了させる。
【００８１】
また、ステップＳ１０２で、タブ４１１ａまたはタブ４１１ｂが操作されユーザ管理モードが選択された場合、登録ツール２１は、処理をステップＳ１０４に移行させる。そして、登録ツール２１は、ステップＳ１０４において、ステップＳ１０２でタブ４１１ａおよび４１１ｂの何れが操作されたかに応じて、管理者一覧画面およびクライアント一覧画面のうち何れかの表示を行う。登録ツール２１は、管理者一覧画面またはクライアント一覧画面での処理が終了した旨の操作がなされると、処理をステップＳ１０１に戻し、メニュー表示を行う。
【００８２】
さらに、ステップＳ１０２で、タブ４１１ｃが操作され画像登録モードが選択された場合、登録ツール２１は、処理をステップＳ１０５に移行させる。ステップＳ１０５で、登録ツール２１は、表示部２０６により、図１１に例示するような登録情報一覧画面４２０の表示を行い、ユーザ操作を待機する。図１１において、登録情報一覧画面４２０は、ボタン４２１ａ〜４２１ｄと、検索入力領域４２２と、リスト表示領域４２３と、終了ボタン４２４とが配置される。
【００８３】
リスト表示領域４２３は、登録サーバ５０に登録されるキャンペーンのリストが表示される。このとき、登録ツール２１は、登録サーバ５０に登録されるキャンペーンのうち、登録ツール２１にログインしたユーザがアクセス可能なキャンペーンを選択してリスト表示領域４２３に表示させることができる。例えば、登録ツール２１は、ユーザ管理サーバ６０からログイン中のユーザに関する情報を取得し、この情報に基づき登録サーバ５０のメタデータＤＢから、当該ユーザがアクセス可能なキャンペーンのリストを取得する。
【００８４】
ボタン４２１ａは、リスト表示領域４２３に表示されるリストに対して新規にレコードを追加する「新規登録」ボタンである。ボタン４２１ｂは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードの情報を編集する「編集」ボタンである。ボタン４２１ｃは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードの情報を削除する「削除」ボタンである。また、ボタン４２１ｄは、リスト表示領域４２３に表示されるリストにおいて選択されたレコードに登録されたキャンペーンの公開および非公開を設定するためのボタンである。
【００８５】
図１１の例では、リスト表示領域４２３に表示されるリストにおいて、各レコードは、「キャンペーン名」、「クライアント名」、「ユーザＩＤ」、「担当者名」、「公開ページ数」、「利用ページ数」、「最終更新日」、「状態」、「担当管理者」、「所属ドメイン」、「備考」および「ＣＳＶ出力」の各項目を含む。レコードの情報は、当該レコードに示されるキャンペーンのメタデータおよび関連キャンペーン情報を含み、例えば、登録サーバ５０における画像検索用ＤＢ１１’に含まれるメタデータＤＢに格納される。
【００８６】
なお、レコードは、キャンペーン単位に作成され、１つのキャンペーンに含まれる１以上の画像に関連付けられるもので、例えば、メタデータＤＢに登録されるメタデータに基づき生成される。登録ツール２１は、リスト表示領域４２３に表示されるレコードの情報を、登録サーバ５０の画像検索用ＤＢ１１’に含まれるメタデータＤＢから取得することができる。
【００８７】
リスト表示領域４２３に表示されるリストの各レコードにおいて、項目「キャンペーン名」は、レコードに登録されるキャンペーンに付けられた名前を示す。項目「クライアント名」は、そのレコードのキャンペーンの所有者を示す。項目「ユーザＩＤ」は、そのレコードのキャンペーンの所有者のＩＤを示す。項目「担当者名」は、そのレコードのキャンペーンの情報を入力したユーザ名を示す。
【００８８】
項目「公開ページ数」は、そのレコードのキャンペーンに含まれるページのうち、公開するように設定された公開ページ数を示す。例えば、後述する対象領域が指定されたページが、公開ページとされる。項目「利用ページ数」は、そのレコードのキャンペーンに含まれる全ページ数を示す。すなわち、項目「利用ページ数」に示されるページ数は、そのレコードのキャンペーンが非公開状態であっても表示される。なお、項目「公開ページ数」および「利用ページ数」が何れも「０」となっているレコードは、キャンペーン情報の登録だけ行って、未だ画像が登録されていないことを示す。
【００８９】
項目「最終更新日」は、そのレコードのキャンペーンの情報を最後に編集した日付を示す。項目「状態」は、そのレコードのキャンペーンが公開状態および非公開状態の何れの状態にあるかを示す。項目「担当管理者」は、そのレコードのキャンペーンを担当するユーザの上位の管理者を示す。項目「所属ドメイン」は、項目「担当管理者」が属するドメインの情報を示す。項目「備考」は、任意の情報を入力することができる。また、項目「ＣＳＶ出力」は、そのレコードの情報をＣＳＶ形式のテキストファイルで出力する。
【００９０】
ステップＳ１０５で登録情報一覧画面４２０が表示されると、登録ツール２１は、処理を次のステップＳ１１０に移行させ、ボタン４２１ａ〜４２１ｄ、ならびに、終了ボタン４２４に対する操作を待機する。以下、各ボタンに対する操作に応じた処理を、下記の項目（１）〜（５）に従い説明する。
【００９１】
（１）ステップＳ１１０で、登録ツール２１は、処理の終了を指示するボタン４２４が操作された場合、例えば処理をステップＳ１０１に戻し、メニュー表示を行う。
【００９２】
（２）ステップＳ１１０で、登録ツール２１は、リスト表示領域４２３においてレコードが選択された状態で、キャンペーンの公開および非公開を設定するためのボタン４２１ｄが操作された場合、処理をステップＳ１２０に移行させる。ステップＳ１２０で、登録ツール２１は、表示部２０６により、選択されたレコードに示されるキャンペーンの公開および非公開を設定するための公開設定画面の表示を行う。
【００９３】
図１２は、公開設定画面の例を示す。図１２において、公開設定画面４３０は、公開設定部４３１と、ＯＫボタン４３２ａおよびキャンセルボタン４３２ｂとが配置される。図１２の例では、公開設定部４３１は、ラジオボタンにより公開および非公開を排他的に設定可能となっており、選択されたレコードの項目「公開状態」の値が初期値とされる。登録ツール２１は、ＯＫボタン４３２ａが操作されると、公開設定部４３１において公開および非公開の何れかに設定された公開状態が当該レコードに対して設定される。登録ツール２１は、公開状態が設定されると、リスト表示領域４２３の表示を更新して、処理をステップＳ１０５に戻す。また、登録ツール２１は、キャンセルボタン４３２ｂが操作された場合、当該レコードの公開状態を公開設定画面４３０の表示前の状態として、処理をステップＳ１０５に戻す。
【００９４】
（３）ステップＳ１１０で、登録ツール２１は、リスト表示領域４２３においてレコードが選択された状態で、画像の削除を指定するボタン４２１ｃが操作された場合、処理をステップＳ１２１に移行させる。ステップＳ１２１で、登録ツール２１は、選択されたレコードの情報を削除する。このとき、登録ツール２１は、レコードの削除を本当に行うか否か、また、レコードに関連付けられた画像の情報を含めてレコードを削除するか否かなどの確認画面を表示させると、好ましい。登録ツール２１は、レコードが削除されると、リスト表示領域４２３の表示を更新して、処理をステップＳ１０５に戻す。
【００９５】
（４）ステップＳ１１０で、登録ツール２１は、画像の編集を指示するボタン４２１ｂが操作された場合、処理をステップＳ１２２に移行させる。ステップＳ１２２で、登録ツール２１は、登録情報一覧画面４２０のリスト表示領域４２３に表示されるリストにおいて選択されたレコードに示されるキャンペーンに含まれる画像を、登録サーバ５０から取得する。登録ツール２１は、取得した画像に連携情報が関連付けられている場合、この連携情報も取得する。そして、登録ツール２１は、処理をステップＳ１２４に移行させる。
【００９６】
（５）また、ステップＳ１１０で、登録ツール２１は、新規登録を指示するボタン４２１ａが操作された場合、処理をステップＳ１２３に移行させ、新規キャンペーンの登録処理を実行する。ステップＳ１２３において、登録ツール２１は、先ず、表示部２０６により、キャンペーンの新規登録を行うための、図１３に例示されるようなキャンペーン登録画面４４０の表示を行う。
【００９７】
図１３において、キャンペーン登録画面４４０は、キャンペーン名およびユーザＩＤを入力するための入力領域４４１および４４２と、ＯＫボタン４４３ａおよびキャンセルボタン４４３ｂとが配置される。入力領域４４１に入力された文字列が、レコードにおける項目「キャンペーン名」の値となる。同様に、入力領域４４２に入力された文字列が、レコードにおける項目「ユーザＩＤ」の値となる。
【００９８】
登録ツール２１は、ＯＫボタン４４３ａが操作されると、キャンペーン登録画面４４０において入力領域４４１および４４２に入力された各文字列を当該レコードの項目「キャンペーン名」および「ユーザＩＤ」として設定し、処理をステップＳ１２４に移行させる。
【００９９】
ステップＳ１２４で、登録ツール２１は、表示部２０６により、キャンペーンの情報を編集するための編集画面の表示を行う。図１４は、各実施形態に係る編集画面の例を示す。図１４において、編集画面４８０は、ヘッダ領域４８１と、サムネイル表示領域４８３と、ページ編集領域４８４と、プレビュー領域４８５と、対象領域一覧領域４８６と、リンクアイコン一覧領域４８７と、ツールバー４８８とを含む。
【０１００】
ヘッダ領域４８１は、この編集画面４８０の編集対象となるキャンペーンの名前が左端に表示され、右端には、登録ツール２１にログインしているユーザの権限で利用できるメニューが表示されるユーザメニュー表示部４８２が配置される。
【０１０１】
サムネイル表示領域４８３は、キャンペーンに含まれる各画像を縮小したサムネイル画像が表示される領域である。例えば、処理が上述のキャンペーン情報の編集を指示するステップＳ１２２からこのステップＳ１２４に移行された場合、登録ツール２１は、ステップＳ１２２で登録サーバ５０から取得された、リスト表示領域４２３から選択されたレコードに示されるキャンペーンに含まれる各画像を登録サーバ５０の画像ＤＢ１４から取得する。そして、登録ツール２１は、取得した各画像を縮小してサムネイル画像を生成し、サムネイル表示領域４８３に表示させる。図１４の例では、サムネイル表示領域４８３に対し、サムネイル画像４８３０1、４８３０2、４８３０3、…が表示されている。
【０１０２】
なお、処理が上述のキャンペーン情報の新規登録を指示するステップＳ１２３からこのステップＳ１２４に移行した場合は、サムネイル表示領域４８３は、空欄となる。また、サムネイル表示領域４８３の右端に設けられるスクロールバーを操作することで、サムネイル表示領域４８３外に仮想的に表示される他のサムネイル画像を、サムネイル表示領域４８３内に順次表示させることができる。
【０１０３】
ページ編集領域４８４は、キャンペーンに含まれる各画像のうち、編集対象となる画像４８４０が表示される。例えば、登録ツール２１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０1、４８３０2、４８３０3、…から選択したサムネイル画像の元画像を、画像４８４０としてページ編集領域４８４に表示させる。図１４の例では、サムネイル表示領域４８３においてサムネイル画像４８３０2が選択され、この選択されたサムネイル画像４８３０2の元画像が画像４８４０としてページ編集領域４８４に表示されている。また、サムネイル表示領域４８３では、選択され現在ページ編集領域４８４に表示されるサムネイル画像４８３０2が周囲の枠４８３２により強調表示されて示されている。
【０１０４】
登録ツール２１は、ページ編集領域４８４に表示される画像４８４０に対して範囲が指定された場合、指定された範囲を対象領域として設定することができる。範囲の指定は、例えばユーザによる入力デバイス２００８の操作が入力部２０７に受け付けられてなされる。例えば、ページ編集領域４８４に表示される画像４８４０内の任意の２点を指定することで、指定された２点を対角上の頂点とする矩形範囲が指定される。図１４の例では、ページ編集領域４８４の画像４８４０に対して矩形の範囲により対象領域４８４１ａおよび４８４１ｂがそれぞれ設定されている。
【０１０５】
登録ツール２１は、設定された対象領域４８４１ａおよび４８４１ｂを、例えば領域内の色を領域外と異ならせて表示させることで、対象領域４８４１ａおよび４８４１ｂを明示的に示すことができる。また、対象領域の形状は、矩形に限られず、閉じた形状であれば任意の形状を設定することができる。
【０１０６】
登録ツール２１は、設定された各対象領域４８４１ａおよび４８４１ｂを識別する識別情報（通し番号など）を生成し、各対象領域４８４１ａおよび４８４１ｂに関連付ける。識別情報は、編集対象のキャンペーンに含まれる各画像を通して対象領域を識別可能に生成される。
【０１０７】
また、詳細は後述するが、登録ツール２１は、ページ編集領域４８４において設定された対象領域４８４１ａおよび４８４１ｂに対して、１以上の連携情報を関連付けることができる。
【０１０８】
さらに、登録ツール２１は、サムネイル表示領域４８３に表示される各サムネイル画像４８３０1、４８３０2、４８３０3、…ページ編集領域４８４において何らかの編集、例えば対象領域の指定が行われ、且つ、未保存の画像に対応するサムネイル画像に対して、マーカ画像４８３１を付加する。
【０１０９】
プレビュー領域４８５は、ページ編集領域４８４において編集中の画像がこの情報処理システム１に対応するアプリケーションプログラムにより検索端末３０の表示デバイス３００５に表示される画面をエミュレートしたプレビュー画面４８５０を表示する。登録ツール２１は、プレビュー領域４８５において、ページ編集領域４８４において設定された各対象領域４８４１ａおよび４８４１ｂを強調表示などにより明示的に表示させる。また、登録ツール２１は、プレビュー領域４８５において、各対象領域４８４１ａおよび４８４１ｂに設定された連携情報を示す情報を、各対象領域４８４１ａおよび４８４１ｂに対応させて表示させる。
【０１１０】
対象領域一覧領域４８６は、編集対象のキャンペーンに含まれる各画像に設定された各対象領域に付加されている連携情報の一覧がアイコン画像６００、６００、…にて表示される。図１４の例では、登録ツール２１は、連携情報を、対応する対象領域に付加された識別情報（通し番号）毎に纏めて対象領域一覧領域４８６に表示している。また、対象領域一覧領域４８６において、右端に設けられるスクロールバーを操作することで、対象領域一覧領域４８６外に仮想的に表示される他の対象領域の連携情報を、対象領域一覧領域４８６内に順次表示させることができる。
【０１１１】
リンクアイコン一覧領域４８７は、対象領域に対して設定可能な連携情報を、各連携情報に対応するアイコン画像６００、６００、…を用いて一覧表示する。登録ツール２１は、リンクアイコン一覧領域４８７に表示されるアイコン画像６００を所謂ドラッグアンドドロップ操作により移動させ、ページ編集領域４８４内に設定された例えば対象領域４８４１ａに重ねることで、当該アイコン画像６００、６００、…に対応する連携情報を当該対象領域４８４１ａに関連付けることができる。また、１つの対象領域に対して、複数の連携情報を関連付けることができる。
【０１１２】
リンクアイコン一覧領域４８７において、右端に設けられるスクロールバーを操作することで、リンクアイコン一覧領域４８７外に仮想的に配置される他のアイコン画像６００を、リンクアイコン一覧領域４８７内に順次登場させ表示させることができる。
【０１１３】
なお、対象領域に対して連携情報が関連付けられた場合に、当該対象領域の所定位置に、関連付けられた連携情報を示すアイコン画像６００を表示させることができる。こうすることで、当該対象領域４８４１ａにどの連携情報を関連付けたかを容易に知ることができ、好ましい。また、対象領域に対する連携情報の関連付けは、プレビュー領域４８５の表示に反映させる。
【０１１４】
ツールバー４８８には、ページ編集領域４８４に表示されるページ（画像）を指定するページ指定部４８８０と、登録ツール２１が備える様々な機能を実行させるためのボタンまたはボタン群４８８１〜４８９０とが配置される。ボタン４８８１は、編集画面４８０から登録情報一覧画面４２０に戻るためのボタンである。
【０１１５】
ボタン４８８２は、登録端末２０から登録サーバ５０に対して画像をアップロードするためのボタンである。ボタン４８８２が操作されると、登録ツール２１は、表示部２０６により、例えば図１５に例示されるようなファイル選択画面４６０の表示を行う。図１５において、ファイル選択画面４６０は、例えば登録端末２０のＣＰＵ２００１上で動作するＯＳ(Operating  System)により提供される、標準のファイル選択画面であって、フォルダ指定部４６１と、ファイル一覧表示領域４６２と、ファイル名表示部４６３と、ファイル形式指定部４６４と、ボタン４６５および４６６とが配置される。
【０１１６】
ファイル一覧表示領域４６２は、フォルダ指定部４６１で指定されたフォルダに格納されるファイルの一覧を表示する。ファイル形式指定部４６４は、ファイル一覧表示領域４６２に表示させるファイルの形式を指定する。ファイル名表示部４６３は、ファイル一覧表示領域４６２において選択されたファイルのファイル名を表示する。ファイル一覧表示領域４６２に表示されるファイルから１以上のファイルを選択してボタン４６５を操作することで、例えば、選択されたファイルを示す情報がＯＳから登録ツール２１に渡される。登録ツール２１は、ＯＳから渡されたファイル情報に示されるファイルを登録端末２０から登録サーバ５０に送信し、画像の登録サーバ５０に対するアップロードを実行する。ボタン４６６は、ファイルのアップロードを行わずに編集画面４８０に戻る際に用いる。
【０１１７】
図１４の説明に戻り、ボタン群４８８３は、ページ編集領域４８４に表示される画像４８４０の表示サイズを調整するための２つのボタンを含む。
【０１１８】
ボタン４８８４は、ページ編集領域４８４内に領域を設定する領域設定モードを、対象領域の設定を行う対象領域設定モードに切り替える。登録ツール２１は、このボタン４８８４が操作され編集モードが対象領域設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域を対象領域に設定する。
【０１１９】
ボタン４８８５は、ページ編集領域４８４内に領域を指定する領域設定モードを、解析部１２による特徴情報の抽出の対象としないマスク領域を指定するマスク設定モードに切り替える。登録ツール２１は、このボタン４８８５が操作され編集モードがマスク設定モードに切り替えられた上で、ページ編集領域４８４に表示される画像４８４０上に領域が指定された場合に、当該領域をマスク領域に設定する。
【０１２０】
ボタン４８８６は、キャンペーンの詳細を設定するためのキャンペーン設定画面を表示させるためのボタンである。図１６は、キャンペーン設定画面の例を示す。図１６において、キャンペーン設定画面４５０は、表示領域４５１ａおよび４５１ｂと、入力領域４５１ｃ〜４５１ｅ、４５３および４５４と、公開方法設定部４５２と、ボタン４５５ａおよび４５５ｂとが配置される。表示領域４５１ａおよび４５１ｂは、それぞれ、図１１に示した登録情報一覧画面４２０におけるレコードの項目「ユーザ名」および「クライアント名」の値が変更不可に表示される。
【０１２１】
入力領域４５１ｃは、キャンペーン名を入力する。入力領域４５１ｃは、デフォルトで登録情報一覧画面４２０におけるレコードの項目「キャンペーン名」の値が入力されている。入力領域４５１ｄは、検索端末３０において当該キャンペーンを表示させる際に用いる表示名を入力する。入力領域４５１ｅは、例えばキャンペーンの登録を行う担当者の名前を入力する。
【０１２２】
公開方法設定部４５２は、キャンペーンの公開方法を設定する。なお、ここでいう公開は、検索端末３０上で所定の操作を行った場合の検索端末３０における動作をいう。図１６の例では、公開方法設定部４５２は、設定項目として「コレクション」と、「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」といった複数のＳＮＳ(Social  Networking  Service)と、「外部アプリ」とが設けられている。公開方法設定部４５２は、同時に複数の公開方法を指定可能となっている。
【０１２３】
公開方法設定部４５２で設定可能な公開方法のうち、設定項目「コレクション」は、キャンペーンの情報を検索端末３０に保存する。設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」は、それぞれ、キャンペーンの情報をＳＮＳ＃ＡやＳＮＳ＃Ｂに投稿する。設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」において、「投稿にＵＲＬを含めるか？」にチェックを入れることで、投稿内容に対して、リンク可能にＵＲＬを含めることができる。設定項目「外部アプリ」は、検索端末３０において当該情報処理システム１に対応するアプリケーションプログラムに対して外部のアプリケーションプログラムを用いてキャンペーンの情報を表示させる。
【０１２４】
入力領域４５３は、公開方法設定部４５２において設定項目「ＳＮＳ＃Ａ」および「ＳＮＳ＃Ｂ」による公開を設定した場合に、ＳＮＳ＃ＡおよびＳＮＳ＃Ｂにキャンペーンの情報を投稿する際の投稿文を入力する。入力領域４５４は、例えばキャンペーンに関する備考が入力される。
【０１２５】
ボタン４５５ａは、入力領域４５１ｃ〜４５１ｅ、４５３および４５４と、公開方法設定部４５２に入力および設定された情報をキャンペーンの設定情報として反映させて、編集画面４８０に戻る。このキャンペーンの設定情報は、当該キャンペーンのメタデータに含まれる。登録ツール２１は、ボタン４５５ａが操作された場合、例えば、入力領域４５１ｃ〜４５１ｅ、ならびに、４５３および４５４に入力された情報と、公開方法設定部４５２により設定された設定値とに基づき、キャンペーンに対応するレコードやメタデータを更新する。ボタン４５５ｂは、キャンペーンに対応するレコードやメタデータの更新を行わずに、編集画面４８０に戻る。
【０１２６】
説明は図１４に戻り、ボタン群４８８７は、情報のコピー、ペーストおよび削除をそれぞれ実行する３つのボタンを含む。
【０１２７】
ボタン４８８８は、編集画面４８０のページ編集領域４８４に現在表示されている画像（ページ）４８４０の一部または全部に類似する部分を含む画像が画像検索サーバ１０に既に登録されているか否かをチェックする類似画像チェックを行う。これは、例えば、画像検索サーバ１０の代わりに登録サーバ５０を対象とし、登録サーバ５０に登録される画像のうち、キャンペーンの設定情報により「公開」が設定された画像をチェック対象とすることで行う。これに限らず、登録サーバ５０に登録される「非公開」が設定される画像をさらにチェック対象としてもよいし、画像検索サーバ１０を直接的にチェック対象としてもよい。登録ツール２１は、登録サーバ５０から送信された検索結果を、表示部２０６に表示する。ユーザは、この検索結果に基づき画像の再編集を行うことができる。
【０１２８】
このとき、登録ツール２１は、例えば、ボタン４８８４の操作に応じて設定された対象領域内の画像のみをチェックの対象として登録サーバ５０に送信し、類似画像の検索を要求することができる。また、登録ツール２１は、ボタン４８８５の操作に応じて設定されたマスク領域内の画像をチェックの対象から除外することもできる。さらに、登録ツール２１は、ページ編集領域４８４に現在表示されている画像４８４０を分割し、分割した画像のそれぞれを登録サーバ５０に送信して類似画像の検索を要求して、各々の画像について類似画像チェックを行うこともできる。
【０１２９】
ボタン４８８９は、ページ編集領域４８４内に領域を設定する領域設定モードを、注目領域の設定を行う注目領域設定モードに切り替える。登録ツール２１は、このボタン４８８９が操作され編集モードが注目領域設定モードに切り替えられた上で、ページ編集領域４８４に表示表示される画像４８４０上に領域が指定された場合に、当該領域を注目領域に設定する。登録ツール２１は、さらに、設定された注目領域に対して重み値を設定して重み付けを行う。登録ツール２１は、注目領域に対する重み付けを、予め定められた重み値に基づき行ってもよいし、ユーザ操作に従い入力部２０７により受け付けられた重み値に基づき行うこともできる。この注目領域の設定および注目領域に対する重み付けの詳細については、後述する。
【０１３０】
ボタン４８９０は、編集画面４８０において編集中のキャンペーンの保存を指示する。
【０１３１】
ここで、説明を図８に戻し、ボタン４８９０が操作されると、登録ツール２１は、処理をステップＳ１２５に移行させ、キャンペーンの保存処理を開始する。保存処理が開始されると、登録ツール２１は、処理をステップＳ１２６に移行させ、保存対象のキャンペーンが新規登録のキャンペーンであるか否かを判定する。登録ツール２１は、処理が上述したステップＳ１２２からこのステップＳ１２６に移行された場合に、新規登録のキャンペーンではないと判定し、処理をステップＳ１２７に移行させる。
【０１３２】
一方、登録ツール２１は、処理が上述したステップＳ１２３からこのステップＳ１２６に移行された場合に、新規登録のキャンペーンであると判定し、処理をステップＳ１３０に移行させる。
【０１３３】
ステップＳ１３０で、登録ツール２１は、保存対象のキャンペーンに含まれる画像のうち対象領域が設定された画像について、上述した、各画像の一部または全部に類似する部分を含む画像が登録サーバ５０に既に登録されているか否かを判定する、類似画像チェックを実行する。例えば、登録ツール２１は、保存対象のキャンペーンに含まれる全ての画像を登録サーバ５０に送信し、類似画像の検索を要求する。登録ツール２１は、次のステップＳ１３１で、検索結果に基づき登録サーバ５０に類似画像が登録されていないと判定した場合、処理をステップＳ１２７に移行させる。
【０１３４】
一方、登録ツール２１は、ステップＳ１３１で、検索結果に基づき登録サーバ５０に類似画像が登録されていると判定した場合、処理をステップＳ１３２に移行させる。登録ツール２１は、ステップＳ１３２で、表示部２０６により例えば図１７に例示される警告画面の表示を行う。図１７において、警告画面４７０は、登録サーバ５０に類似画像が既に登録されている旨を示す警告メッセージ４７１が表示されると共に、「はい」ボタン４７２および「いいえ」ボタン４７３が配置される。
【０１３５】
登録ツール２１は、警告画面４７０において「いいえ」ボタン４７３が操作された場合、類似画像の登録に対する回避処理を実行することができる。一例として、登録ツール２１は、表示部２０６により、類似画像の登録に対する回避処理の実行を促すメッセージの表示を行い、処理をステップＳ１２４に戻す。この場合、回避処理としては、例えば、保存対象のキャンペーンに含まれる画像の変更や、当該画像に対するマスク領域の設定、対象領域の変更などが考えられる。回避処理が実行されると、処理がステップＳ１２７に移行される。
【０１３６】
一方、登録ツール２１は、警告画面４７０において「はい」ボタン４７２が操作された場合、上述した回避処理を実行せずに処理をステップＳ１２７に移行させ、画像の登録を実行することができる。
【０１３７】
ステップＳ１２７で、登録ツール２１は、キャンペーンの情報を登録サーバ５０に送信し、登録サーバ５０に対して登録される情報の更新を要求する。例えば、登録ツール２１は、キャンペーンに含まれる各画像と、各画像に関連付けられる各連携情報と、当該キャンペーンのメタデータとを登録サーバ５０に送信する。
【０１３８】
また、登録ツール２１は、編集画面４８０において設定した各情報に基づき、対象領域を示す情報を生成し、登録サーバ５０に送信する。各実施形態では、対象領域を示す情報は、例えば、タグを用いてデータの意味や構造を定義して記述するマークアップ言語の一種である(Extensible  Markup  Language)を用いて記述される。
【０１３９】
登録サーバ５０は、登録ツール２１からの要求に応じて、登録端末２０から送信された各情報に基づき画像ＤＢ１４および連携情報ＤＢ１５と、メタデータＤＢとを更新する。このとき、登録サーバ５０は、対象領域を示す情報が記述されるＸＭＬコードが格納されるファイルのファイル名と、画像識別情報とを関連付けて、連携情報ＤＢ１５に格納する。
【０１４０】
登録ツール２１は、ステップＳ１２７で登録サーバ５０に対する情報更新の要求を送信すると、処理をステップＳ１０５に戻す。
【０１４１】
ここで、各実施形態に係る、対象領域を示す情報が記述されるＸＭＬコードについて概略的に説明する。図１８は、各実施形態に係る、対象領域を示す情報が記述されるＸＭＬコードの一例を示す。なお、図１８および以下の同様のコード例を示す図において、特に記載のない限り、各行の先頭の数字は説明のための行番号を示し、続くコロン（：）でデータ本体を示すコードと区別されている。また、図１８に例示されるコードは、プログラミング言語として一般的に用いられるＣ言語の記法を模した疑似コードである。
【０１４２】
図１８において、ＸＭＬコード１４０は、最も外側のタグ「<page>」および「</page>」に挟まれた部分（１行目〜１６行目）により、ページを定義する。すなわち、タグ「<page>」および「</page>」に挟まれた部分に、１つの画像が関連付けられる。２行目〜１２行目、１３行目〜１５行目（１４行目は複数の行を省略して示す）の各範囲において、タグ「<hotspot>」および「</hotspot>」に挟まれた部分により、それぞれ１つの対象領域が定義される。このように、１ページ（１画像）に対して複数の対象領域を定義することができる。
【０１４３】
３行目は、タグ「<area>」および「</area>」に挟まれた部分により、２行目〜１２行目に示される対象領域のページ内での範囲が例えば左上隅の座標（ｘ１，ｙ１）および右下隅の座標（ｘ２，ｙ２）で定義される。
【０１４４】
４行目〜８行目と、９行目〜１１行目（１０行目は複数の行を省略して示す）の各範囲において、それぞれ、タグ「<link>」および「</link>」に挟まれた部分により、それぞれ１つの連携情報が定義される。このように、１つの対象領域に対して複数の連携情報を定義することができる。例えば、図１８において４行目〜８行目に例示されるように、タグ「<title>」および「</title>」に挟まれた部分により連携情報のタイトルが定義される。タグ「<type>」および「</type>」に挟まれた部分によりこの連携情報のタイプが定義される。
【０１４５】
この例では、連携情報として、タグ「<URI>」および「</URI>」に挟まれた部分により、例えばインターネット４１といったネットワーク上でのアドレス情報がＵＲＩ(Uniform  Resource  Identifier)を用いて定義されている。この場合、ＵＲＩに対して引数を付加することで、例えばＵＲＩを読み込んだブラウザアプリケーションの振る舞いを指定することができる。また、連携情報は、ＵＲＩに限られない。予めタグを定義することで、様々な種類の連携情報を記述することが可能である。例えば、連携情報として、特定のアプリケーションプログラムを起動させるための情報を記述することもできる。
【０１４６】
また、この例では、タグ「<link>」および「</link>」に挟まれた部分に定義される連携情報において、タグ「<title>」および「</title>」、タグ「<type>」および「</type>」、ならびに、タグ「<URI>」および「</URI>」により、３つの項目が定義されている。
【０１４７】
これはこの例に限定されず、タグ「<link>」および「</link>」に挟まれた部分に、さらに多くの項目を定義することができる。タグ「<link>」および「</link>」に挟まれた部分に、項目として画像データを定義し、対象領域の画像データそのものを記述してもよい。
【０１４８】
このように、ＸＭＬコード１４０により、ページ内の対象領域および当該対象領域における連携情報を定義しているため、ページ内の当該対象領域に含まれるオブジェクトに関連付けられる連携情報による機能を実行することができる。
【０１４９】
（第１の実施形態）
次に、第１の実施形態について説明する。第１の実施形態に係る画像検索システムは、画像検索用ＤＢ１１に登録される画像（被検索画像と呼ぶ）に注目領域を設定し、設定した注目領域に重み値ｗを設定して重み付けを行う。そして、画像検索システムは、検索端末３０から送信された画像（検索対象画像と呼ぶ）に基づく画像検索用ＤＢ１１に対する画像検索において、検索対象画像と被検索画像との類似度ｓを、注目領域に設定された重み値に基づき変更して当該画像検索を行う。
【０１５０】
第１の実施形態では、このように、被検索画像に重み付けされた注目領域を設定し、検索対象画像との類似度ｓを注目領域の重み値ｗに基づき変更することで、被検索画像において特に検索させたい部分や、検索を抑制させたい部分を設定することが可能となる。
【０１５１】
以下、第１の実施形態に係る、被検索画像に対する重み付け処理および画像検索について、より詳細に説明する。先ず、被検索画像に対する注目領域の設定および注目領域に対する重み付け処理について説明する。
【０１５２】
図１９は、被検索画像の例を示す。図１９において、被検索画像５００は、オブジェクト５１０ａ〜５１０ｃと、オブジェクト５１１ａ〜５１１ｃと、オブジェクト５１２とを含む。例えば、被検索画像５００は、オブジェクト５１２で名前が示される商品カタログであり、オブジェクト５１０ａ〜５１０ｃ、および、オブジェクト５１１ａ〜５１１ｃが、それぞれ商品および商品の販売元を示しているものとする。また、この被検索画像５００が編集画面４８０に表示されているものとする。
【０１５３】
図２０は、第１の実施形態に係る注目領域設定および重み付けの処理を示す一例のフローチャートである。登録ツール２１は、例えば、上述した編集画面４８０（図１４参照）において、ツールバー４８８に配置される、ボタン４８８９が操作されることで、この図２０のフローチャートによる処理を開始する。
【０１５４】
ステップＳ２００で、登録ツール２１は、ユーザ操作に従い、注目領域として設定する画像上の範囲を指定する。例えば、登録ツール２１は、ポインティングデバイスとしての入力デバイス２００８を用いて、編集画面４８０に表示される被検索画像５００の任意の２点間をドラッグ操作した場合の始点および終点を対角上の頂点とした矩形を、注目領域の範囲として指定することができる。
【０１５５】
次のステップＳ２０１で、登録ツール２１は、ステップＳ２００で範囲が指定された注目領域に対して重みを示す値である重み値ｗを設定する。重み値ｗを設定するための重み値入力画面の例については、後述する。
【０１５６】
図２１は、被検索画像５００に対して注目領域および重み値ｗが設定された例を示す。図２１の例では、被検索画像５００に含まれるオブジェクト５１０ｂを含んで注目領域５２０ｂが設定され、注目領域５２０ｂに対して重みの値ｗ＝１．０が設定されている。なお、類似度ｓは、０≦ｓ≦１の範囲の値とし、重み値ｗは、−１．０≦ｗ≦１．０の範囲で設定可能であるものとする。
【０１５７】
次のステップＳ２０２で、登録ツール２１は、例えば入力部２０７に受け付けられたユーザ操作に応じて、被検索画像５００に対する注目領域の設定が全て終了したか否かを判定する。登録ツール２１は、注目領域の設定が未だ終了していないと判定した場合、処理をステップＳ２００に戻し、次の注目領域の設定を受け付ける。すなわち、登録ツール２１は、１つの被検索画像５００に対して複数の注目領域および重み値ｗを設定することができる。
【０１５８】
図２２は、被検索画像５００に対して複数の注目領域および重み値ｗが設定された例を示す。図２２の例では、上述した図２１で示した注目領域５２０ｂに加えて、オブジェクト５１２を含む注目領域５２０ａと、オブジェクト５１１ｃを含む注目領域５２０ｃとが設定されている。また、注目領域５２０ａに対して重み値ｗ＝−０．７が設定され、注目領域５２０ｃに対して重み値ｗ＝−０．４が設定されている。
【０１５９】
登録ツール２１は、ステップＳ２０２で、被検索画像５００に対して全ての注目領域の設定が終了したと判定した場合、処理をステップＳ２０３に移行させる。ステップＳ２０３で、登録ツール２１は、注目領域および重み値ｗを示す情報が記述されるＸＭＬコードを生成する。ＸＭＬコードが生成されると、注目領域設定および重み付けの一連の処理が終了される。
【０１６０】
登録ツール２１は、例えば、図２３（ａ）に示されるように、各注目領域について、被検索画像５００上の範囲を示す座標情報と、重み値ｗとが関連付けられたＸＭＬコード１４１を生成することができる。図２３（ａ）の例では、ＸＭＬコード１４１は、図２で示したＸＭＬコード１４０と同様に、最も外側のタグ「<page>」および「</page>」に挟まれた部分（１行目〜１４行目）により、ページ（被検索画像５００）を定義される。そして、２行目〜５行目、６行目〜９行目、１０行目〜１３行目の各範囲において、タグ「<weightarea>」および「</weightarea>」に挟まれた部分により、それぞれ１つの注目領域が定義される。
【０１６１】
２行目〜５行目の範囲において、３行目は、タグ「<area>」および「</area>」に挟まれた部分により、２行目〜５行目に示される注目領域のページ内での範囲が例えば左上隅の座標（ｘ３，ｙ３）および右下隅の座標（ｘ４，ｙ４）で定義される。さらに、４行目は、タグ「<weight>」および「</weight>」に挟まれた部分により、２行目〜５行目に示される注目領域に対して設定された重み値ｗが定義される。６行目〜９行目、１０行目〜１３行目の各範囲においても同様である。
【０１６２】
この図２３（ａ）のＸＭＬコード１４１は、例えば、上述したＸＭＬコード１４０と同様に、対応する画像の画像識別情報と関連付けられて、登録サーバ５０に送信される。
【０１６３】
図２３（ａ）の例では、注目領域および重み値ｗを示す情報が記述されるＸＭＬコード１４１を、対象領域を示すＸＭＬコード１４０と独立して生成しているが、これはこの例に限定されない。登録ツール２１は、例えば図２３（ｂ）に例示されるように、対象領域を示すＸＭＬコードに注目領域および重み値ｗを示す情報を埋め込んだＸＭＬコード１４１’を生成することもできる。
【０１６４】
図２３（ｂ）の例では、２行目〜１５行目が図２のＸＭＬコード１４０のタグ「<page>」および「</page>」に挟まれた部分に対応し、対象領域を定義している。また、１６行目〜２７行目が図２３（ａ）の２行目〜１３行目に対応し、注目領域および重み値ｗを定義している。ＸＭＬコード１４０’は、これら２行目〜１５行目と１６行目〜２７行目とを纏めてタグ「<page>」および「</page>」で挟むことで、ページの対象領域と、注目領域および重み値ｗとを定義している。
【０１６５】
図２４は、上述した図２０のフローチャートにおけるステップＳ２０１およびステップＳ２０２の処理に係る重み値入力画面の例を示す。図２４において、重み入力画面４９０は、入力領域４９１と、ボタン４９２〜４９５とが配置される。入力領域４９１は、ステップＳ２００で指定された範囲に対して設定する重み値ｗを入力するための領域である。この例では、入力領域４９１は、重み値ｗとして、−１．０≦ｗ≦１．０の範囲の値が入力可能となっている。
【０１６６】
ボタン４９２は、範囲の指定をやり直すためのボタンである。ボタン４９２が操作されると、例えば、直前のステップＳ２００での範囲指定がキャンセルされ、再びステップＳ２００での範囲指定操作が待機される。
【０１６７】
ボタン４９３は、直前に入力領域４９１に入力された重み値ｗを確定し（図２０のステップＳ２０１）、処理をステップＳ２００に戻して被検索画像５００に対する次の注目領域の設定に処理を移行させる（図２０のステップＳ２０２での「Ｎｏ」）ためのボタンである。例えば、ボタン４９３が操作されると、登録ツール２１は、記憶部２０８により、直前に入力領域４９１に入力された重み値ｗを、注目領域の範囲を示す情報と関連付けて、ＲＡＭ２００３などに一時的に記憶させる。
【０１６８】
ボタン４９４は、直前に入力領域４９１に入力された重み値ｗを確定し（図２０のステップＳ２０１）、被検索画像５００に対する注目領域の設定を終了させる（図２０のステップＳ２０２での「Ｙｅｓ」）ためのボタンである。また、ボタン４９５は、被検索画像５００に対する注目領域の設定処理を中止するためのボタンである。ボタン４９５が操作された場合、登録ツール２１は、図２０のフローチャートによる一連の処理で設定された注目領域の範囲を示す情報と、重み値ｗとを例えば破棄して、注目領域と重み値ｗの設定処理を終了させる。
【０１６９】
次に、第１の実施形態に係る画像検索処理について説明する。図２５は、第１の実施形態に係る、画像検索サーバ１０における画像検索処理を示す一例のフローチャートである。検索端末３０は、被写体４０を撮像した撮像画像と、撮像画像に基づく画像検索要求を画像検索サーバ１０に送信する。
【０１７０】
画像検索サーバ１０は、通信部１６により、検索端末３０から送信された撮像画像と画像検索要求とを受信する。通信部１６は、受信した撮像画像および画像検索要求を検索部１３に渡す。検索部１３は、通信部１６から撮像画像および画像検索要求を受け取り、検索端末３０からの画像検索要求を受け付ける（ステップＳ３００）。
【０１７１】
次のステップＳ３０１で、検索部１３は、受け付けた画像検索要求に従い、ステップＳ３００で通信部１６から受け取った撮像画像を検索対象画像として画像検索用ＤＢ１１を検索し、画像検索用ＤＢ１１に登録される被検索画像のうち、検索対象画像との類似度ｓが第１の閾値以上の被検索画像を検索結果として抽出する。なお、類似度ｓは、０≦ｓ≦１の値を取るものとし、例えばｓ＝０．５を閾値とする。画像検索サーバ１０は、この検索結果として、複数の被検索画像を抽出することができる。
【０１７２】
次のステップＳ３０２で、検索部１３は、ステップＳ３０１で抽出した被検索画像に、重み付けされた注目領域が設定されている被検索画像が存在するか否かを判定する。検索部１３は、例えば、ステップＳ３０１で抽出した被検索画像の画像識別情報に、注目領域の情報を記述したＸＭＬコード１４１が関連付けられている場合に、当該被検索画像に重み付けされた注目領域が設定されていると判定する。
【０１７３】
検索部１３は、ステップＳ３０１で抽出した被検索画像に、重み付けされた注目領域が設定されている被検索画像が存在しないと判定した場合、処理をステップＳ３１０に移行させる。
【０１７４】
一方、検索部１３は、ステップＳ３０１で抽出した被検索画像に、重み付けされた注目領域が設定されている被検索画像が存在すると判定した場合、処理をステップＳ３０３に移行させる。
【０１７５】
以降、ステップＳ３０３〜ステップＳ３０９の処理は、ステップＳ３０１で抽出した被検索画像毎に実行される。ここでは、ステップＳ３０１でｍ個の被検索画像が抽出されたものとし、ステップＳ３０３〜ステップＳ３０９の処理は、ｍ個の被検索画像のうちｊ番目（１≦ｊ≦ｍ）の被検索画像について実行されるものとする。また、ステップＳ３０３〜ステップＳ３０７の処理は、１つの被検索画像に含まれる各注目領域毎に実行される。ここでは、１つの被検索画像に含まれる注目領域の数をｎ個とし、ステップＳ３０３〜ステップＳ３０７の処理は、ｎ個の注目領域のうちｉ番目（１≦ｉ≦ｎ）の注目領域について実行されるものとする。
【０１７６】
ステップＳ３０３で、検索部１３は、ステップＳ３０１で抽出されたｊ番目の被検索画像Ｓjに含まれるｉ番目の注目領域Ｔijに対する、検索対象画像に基づく画像検索を実行する。例えば、検索部１３は、被検索画像Ｓjから注目領域Ｔijの範囲の画像を切り出し、切り出した画像と、検索対象画像との類似度ｓijを求める。
【０１７７】
図２６を用いて、第１の実施形態に係る、被検索画像から注目領域の範囲の画像を切り出す処理について、より具体的に説明する。なお、図２６において、上述した図２２と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０１７８】
一例として、図２６における被検索画像５００を現在処理対象としている被検索画像Ｓjとする。検索部１３は、この被検索画像５００に設定された各注目領域５２０ａ、５２０ｂおよび５２０ｃの範囲の画像をそれぞれ切り出して、切り出した各画像を、それぞれ画像５２０ａ’、５２０ｂ’および５２０ｃ’として、例えばＲＡＭ１００３に記憶する。これら画像５２０ａ’、５２０ｂ’および５２０ｃ’は、実際には、画像の特徴情報である。
【０１７９】
ステップＳ３０３で、検索部１３は、例えばｉ＝１であって注目領域５２０ａが１番目の注目領域Ｔ1jとした場合、ＲＡＭ１００３に記憶した、注目領域５２０ａに対応する画像５２０ａ’と、検索対象画像との類似度ｓ1jを求める。
【０１８０】
なお、上述では、検索部１３は、検索端末３０から送信された画像検索要求に応じて、被検索画像から各注目領域の範囲の画像を切り出しているが、これはこの例に限定されない。例えば、被検索画像に設定された各注目領域の範囲の画像を予め用意しておくことも考えられる。
【０１８１】
より具体的には、図２７に例示されるように、画像検索サーバ１０は、被検索画像５００に設定された各注目領域５２０ａ、５２０ｂおよび５２０ｃの範囲の各画像５０１、５０２および５０３を、被検索画像５００と関連付けて、例えば画像ＤＢ１４に予め格納しておく。ステップＳ３０３では、この画像ＤＢ１４に格納された各画像５０１、５０２および５０３に対して画像検索を行う。
【０１８２】
この、各注目領域の範囲の画像を予め用意しておく方法では、検索端末３０からの画像検索要求毎の注目領域の範囲の画像の切り出しが必要無いため、検索端末３０からの画像検索要求毎に画像切り出しを行う上述の方法と比べて、より高速な検索処理が期待できる。一方、各被検索画像に設定された各注目領域の画像を画像ＤＢ１４に予め格納するため、検索端末３０からの画像検索要求毎に画像切り出しを行う上述の方法と比べて、画像ＤＢ１４により大きな容量が必要となる。
【０１８３】
図２５の説明に戻り、次のステップＳ３０４で、検索部１３は、ステップＳ３０３で求めた類似度ｓijが第２の閾値以上であるか否かを判定する。検索部１３は、類似度ｓijが第２の閾値未満であると判定した場合、処理をステップＳ３０５に移行させ、検索部１３は、この類似度ｓijに対応する注目領域Ｔijを、処理の対象から除外する。そして、処理がステップＳ３０７に移行される。
【０１８４】
一方、ステップＳ３０４で、検索部１３は、類似度ｓijが第２の閾値以上であると判定した場合、この類似度ｓijと、注目領域Ｔijの情報とを変更部１７に渡して、処理をステップＳ３０６に移行させる。ステップＳ３０６で、変更部１７は、検索部から渡された情報に基づき、注目領域Ｔijの類似度ｓijに対して、当該注目領域Ｔijに設定された重み値ｗijにより重み付けを行う。例えば、変更部１７は、類似度ｓijに重み値ｗijを加算した値を、当該注目領域Ｔijの変更された類似度ｓij’とする。そして、処理がステップＳ３０７に移行される。
【０１８５】
ステップＳ３０７で、検索部１３は、現在処理対象としている被検索画像Ｓjに設定されている全ての注目領域Ｔijに対して処理が終了したか否かを判定する。終了していないと判定した場合、検索部１３は、処理をステップＳ３０３に戻し、被検索画像Ｓjに設定される次の注目領域Ｔ(i+1)jに対する処理を実行する。図２６の例では、例えば注目領域５２０ｂが２番めの注目領域Ｔ2jである場合、この注目領域５２０ｂの範囲の画像を切り出した画像５２０ｂ’と、検索対象画像との類似度ｓ2jが求められる。
【０１８６】
一方、ステップＳ３０７で、検索部１３は、被検索画像Ｓjに設定されている全ての注目領域Ｔijに対して処理が終了したと判定した場合、処理をステップＳ３０８に移行させる。
【０１８７】
ステップＳ３０８で、変更部１７は、現在処理対象としている被検索画像Ｓjに設定されている各注目領域Ｔijのうち、ステップＳ３０５で除外されていない各注目領域Ｔijの、重み値ｗijが加算された各類似度ｓij’を、当該被検索画像Ｓjの検索対象画像に対する類似度ｓjに加算する。そして、変更部１７は、加算して得られた類似度ｓj’を、当該被検索画像Ｓjの変更された類似度とする。
【０１８８】
図２８を用いて、ステップＳ３０８の処理についてより具体的に説明する。図２８の例では、被検索画像Ｓ0に対して、それぞれ重み値ｗ10およびｗ20が設定された２つの注目領域Ｔ10およびＴ20が設定されているものとする。また、被検索画像Ｓ0の、検索対象画像に対する類似度が類似度ｓ0となっており、注目領域Ｔ10およびＴ20の検索対象画像に対する類似度が、それぞれ類似度ｓ10およびｓ20となっているものとする。
【０１８９】
第１の実施形態では、各注目領域Ｔ10およびＴ20に設定された重み値ｗ10およびｗ20に基づき変更された被検索画像Ｓ0の類似度ｓ0’を、所定の関数ｆを用いて下記の式（１）にて求める。なお、第１の実施形態では、関数ｆは、括弧内の要素を加算する演算を用いている。すなわち、関数ｆ(ｗ10，ｓ10)＝ｗ10＋ｓ10である。
ｓ0’＝ｓ0＋ｆ(ｗ10，ｓ10)＋ｆ(ｗ20，ｓ20)    …（１）
【０１９０】
このように、第１の実施形態に係る変更部１７は、各注目領域Ｔijに設定された重み値ｗijに基づき、各注目領域Ｔijが含まれる被検索画像Ｓjの検索対象画像に対する類似値ｓjを変更し、変更された類似度ｓj’を求める。
【０１９１】
なお、式（１）において、関数ｆは、括弧内の要素を加算する演算に限定されない。例えば、関数ｆは、括弧内の要素に関する乗算であってもよいし、さらに他の演算を適用することも可能である。関数ｆを括弧内の要素に関する乗算とする場合、重み値ｗを、例えば０≦ｗ≦２とすることが考えられる。
【０１９２】
次のステップＳ３０９で、検索部１３は、ステップＳ３０１で抽出された全ての被検索画像Ｓjについて処理が終了したか否かを判定する。検索部１３は、終了していないと判定した場合、処理をステップＳ３０３に戻し、ステップＳ３０１で抽出された次の被検索画像Ｓj+1に対する処理を実行する。
【０１９３】
すなわち、検索部１３は、次の被検索画像Ｓj+1について、被検索画像Ｓj+1に設定される各注目領域Ｔi(j+1)の範囲の画像と検索対象画像との各類似度ｓi(j+1)を求める。変更部１７は、被検索画像Ｓj+1について求められたこの各類似度ｓi(j+1)に、当該各注目領域Ｔi(j+1)に設定される各重み値ｗi(j+1)をそれぞれ加算した各類似度ｓi(j+1)’を求める。そして、変更部１７は、求めたｓi(j+1)’を、被検索画像Ｓj+1と検索対象画像との類似度ｓj+1に加算して、被検索画像Ｓj+1について、変更された類似度ｓj+1’を求める。
【０１９４】
一方、ステップＳ３０９で、検索部１３は、ステップＳ３０１で抽出された全ての被検索画像Ｓjについて処理が終了したと判定した場合、処理をステップＳ３１０に移行させる。ステップＳ３１０で、検索部１３は、上述のステップＳ３０３〜ステップＳ３０９の処理で、各被検索画像Ｓjについて求められた、変更された類似度ｓj’それぞれを比較する。
【０１９５】
次のステップＳ３１１で、検索部１３は、ステップＳ３１０の比較の結果、変更された類似度ｓj’が最も大きな値となる被検索画像Ｓjを、検索結果として出力する。
【０１９６】
図２９を用いて、ステップＳ３１０およびステップＳ３１１の処理についてより具体的に説明する。図２９の例では、ステップＳ３０１において、４つの被検索画像Ｓ1、Ｓ2、Ｓ3およびＳ4が抽出されている。各被検索画像Ｓ1、Ｓ2、Ｓ3およびＳ4は、それぞれ１つの注目領域Ｔ11、Ｔ12、Ｔ13およびＴ14が設定され、各注目領域Ｔ11、Ｔ12、Ｔ13およびＴ14には、それぞれ重み値ｗ11、ｗ12、ｗ13およびｗ14が設定されているものとする。また、図２９の例では、各被検索画像Ｓ1、Ｓ2、Ｓ3およびＳ4の、検索対象画像に対する類似度がそれぞれ類似度ｓ1、ｓ2、ｓ3およびｓ4となっており、各注目領域Ｔ11、Ｔ12、Ｔ13およびＴ14の検索対象画像に対する類似度が、それぞれ類似度ｓ11、ｓ12、ｓ13およびｓ14となっているものとする。
【０１９７】
この例の場合、ステップＳ３０８で求められる各被検索画像Ｓ1、Ｓ2、Ｓ3およびＳ4の、変更された類似度ｓ1’、ｓ2’、ｓ3’およびｓ4’は、下記の式（２）〜（５）のようになる。なお、関数ｆの意味は、上述の式（１）と同様である。
ｓ1’＝ｓ1＋ｆ(ｗ11，ｓ11)    …（２）
ｓ2’＝ｓ2＋ｆ(ｗ12，ｓ12)    …（３）
ｓ3’＝ｓ3＋ｆ(ｗ13，ｓ31)    …（４）
ｓ4’＝ｓ4＋ｆ(ｗ14，ｓ14)    …（５）
【０１９８】
検索部１３は、式（２）〜（５）で求められた各類似度ｓ1’、ｓ2’、ｓ3’およびｓ4’を比較し（ステップＳ３１０）、各類似度ｓ1’、ｓ2’、ｓ3’およびｓ4’のうち最も値が大きい類似度ｓ’を選択する。そして、検索部１３は、選択した類似度ｓ’に対応する被検索画像Ｓを、検索結果として出力する。
【０１９９】
一例として、各被検索画像Ｓ1〜Ｓ4について、下記の各値を考える。
Ｓ1：ｓ1＝０．６，ｗ11＝０．５，ｓ11＝０．７
Ｓ2：ｓ2＝０．７，ｗ12＝−０．３，ｓ12＝０．７
Ｓ3：ｓ3＝０．８，ｗ13＝０．３，ｓ13＝０．８
Ｓ4：ｓ4＝０．６，ｗ14＝−０．７，ｓ14＝０．６
【０２００】
この場合、各被検索画像Ｓ1〜Ｓ4の変更された類似度ｓ1’、ｓ2’、ｓ3’およびｓ4’は、上述の式（２）〜（５）に上述の各値を代入して、下記の式（６）〜（９）のように求められる。
ｓ1’＝ｓ1＋ｗ11＋ｓ11＝０．６＋０．５＋０．７＝１．８    …（６）
ｓ2’＝ｓ2＋ｗ12＋ｓ12＝０．７−０．３＋０．７＝１．１    …（７）
ｓ3’＝ｓ3＋ｗ13＋ｓ13＝０．８＋０．３＋０．８＝１．９    …（８）
ｓ4’＝ｓ4＋ｗ14＋ｓ14＝０．６−０．７＋０．６＝０．５    …（９）
【０２０１】
式（６）〜（９）により、類似度ｓ1’〜ｓ4’のうち、式（８）の類似度ｓ3’＝１．９が最も大きい値となることが分かる。したがって、検出部１３は、類似度ｓ3’に対応する被検索画像Ｓ3を、検索端末３０による画像検索要求に対する検索結果として出力する。
【０２０２】
このように、第１の実施形態によれば、被検索画像内に設定された注目領域に対して重み付けを行い、この重み付けに従い検索対象画像に対する被検索画像の類似度を変更している。そのため、被検索画像内における重要領域（検索させたい部分）に対して設定した注目領域に対してより大きな重み値により重み付けすることで、この重要領域内の画像に類似する部分を含む検索対象画像による、当該重要領域を含む被検索画像の検索を、より高精度に実行することが可能となる。これにより、ユーザ（被検索画像の提供者）の意図をより正確に反映した画像検索が可能となる。また、注目領域以外の部分の情報も用いて画像検索が行われるため、注目領域以外の部分を除外することによる検索精度の低下が回避可能である。
【０２０３】
なお、上述のように、注目領域に対して、負の値の重み値を設定することもできる。これにより、被検索画像内における検索させたくない部分（検索抑制領域と呼ぶ）を設定することが可能となる。この場合、検索抑制領域の画像に類似する画像を含む検索対象画像に基づく画像検索により、当該被検索画像が検索されることを抑制できる。
【０２０４】
また、検索抑制領域は、マスク領域として設定することもできる。図３０は、第１の実施形態に係る、検索抑制領域をマスクする例を示す。なお、図３０において、上述した図２２と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０２０５】
図３０の例では、オブジェクト５１０ｂを検索抑制領域としてマスク領域５２１を設定している。登録ツール２１は、例えば、マスク領域５２１として指定した領域における類似度ｓを強制的に０にする設定を行う。このような設定の例として、上述の式（１）の関数ｆが加算演算の場合、マスク領域５２１に対する重み値ｗとして、上述したステップＳ３０３で求めた類似度ｓと絶対値が等しく正負の符号を反転させた値を適応的に生成する設定が考えられる。また例えば、式（１）の関数ｆの演算が乗算演算であれば、重み値ｗを０に設定することが考えられる。
【０２０６】
これに限らず、画像検索の際に、マスク領域５２１内の特徴量を無視する設定としてもよい。
【０２０７】
（第１の実施形態の適用例）
次に、第１の実施形態の適用例について説明する。ここでは、第１の実施例に係る画像検索システムにより名刺画像の検索を行う例について説明する。図３１は、名刺画像の例を示す。図３１（ａ）は、顔写真付きの名刺の名刺画像５５０ａの例を示す。図３１（ａ）の例では、名刺画像５５０ａは、オブジェクト５５１〜５５５を含む。各オブジェクトは、例えば、オブジェクト５５１が社名ロゴ画像、オブジェクト５５２が社名マーク画像、オブジェクト５５３が氏名を示す文字列画像、オブジェクト５５４が顔写真画像、オブジェクト５５５がその他の文字列画像であるものとする。
【０２０８】
図３１（ｂ）は、顔写真無しの名刺画像５５０ｂの例を示す。なお、図３１（ｂ）において、上述の図３１（ａ）と共通する部分には同一の符号を付して、詳細な説明を省略する。図３１（ｂ）の例では、名刺画像５５０ｂは、オブジェクト５５１および５５３を含むと共に、オブジェクト５５６を含む。オブジェクト５５６は、部署名や住所などの社名や氏名に対する属性を示す文字列画像であるものとする。
【０２０９】
画像検索サーバ１０の画像検索用ＤＢ１１には、複数の名刺画像が登録され、さらに、名刺画像に対応する氏名の人物の情報が連携情報として登録されているものとする。一例として、ユーザは、名刺画像５５０ａや名刺画像５５０ｂに対応する実体としての名刺を入手し、この名刺に記載される氏名の人物の情報を、第１の実施形態に係る画像検索システムによる画像検索により取得したいと考えたとする。この場合、ユーザは、名刺を検索端末３０により撮像し、撮像画像として名刺画像５５０ａや名刺画像５５０ｂを取得する。検索端末３０は、取得した撮像画像を、当該撮像画像に基づく画像検索を要求する画像検索要求と共に画像検索サーバ１０に送信する。
【０２１０】
画像検索サーバ１０は、既に説明したように、検索端末３０から送信された撮像画像（すなわち名刺画像５５０ａや名刺画像５５０ｂ）を検索対象画像として、この検索対象画像から特徴量を抽出する。そして、画像検索サーバ１０は、検索対象画像から抽出した特徴量と、画像検索用ＤＢ１１に登録された各画像の特徴量との類似度を求め、類似度の高い特徴量に対応する画像識別情報に関連付けられた連携情報を、検索端末３０に送信する。
【０２１１】
ここで、名刺画像５５０ａにおいて、例えばオブジェクト５５２（社名マーク画像）は、重要な検索の要素となる。顔写真であるオブジェクト５５４も同様に、重要な検索の要素となる。このとき、顔写真は、文字列画像やマーク画像などと比べて特徴点を多く含むため、顔写真付きの名刺による名刺画像５５０ａに基づく画像検索では、似た顔の画像が含まれる別の名刺画像が検索される可能性が高いと考えられる。
【０２１２】
また、顔写真を含まない名刺画像５５０ｂでは、画像検索用ＤＢ１１に同じ会社の社員の名刺画像、すなわち、同じ社名ロゴ画像のオブジェクト５５１を含む名刺画像が大量に登録されている場合、オブジェクト５５１をマスキングしておく必要があると考えられる。
【０２１３】
図３２は、名刺画像５５０ａおよび５５０ｂに基づく氏名による検索をより高精度に実行可能とするための重み付けの例を示す。なお、図３２において、重み値ｗは、重要度Ｉｍとして示されている。重要度Ｉｍは、式（１０）に示されるように、重み値ｗに１を加算した値であって、重み値ｗが−１≦ｗ≦１の範囲とされるとき、重要度Ｉｍは、０≦Ｉｍ≦２となる。指定範囲が検索に際して重要である場合には、重要度Ｉｍとして１より大きな値を設定し、指定範囲による検索を抑制したい場合には、重要度Ｉｍとして１未満の値を設定する。この重要度Ｉｍを用いることで、より直感的に重み値ｗを設定可能となると考えられる。
Ｉｍ＝ｗ＋１    …（１０）
【０２１４】
図３２（ａ）は、顔写真付きの名刺画像５５０ａに対する重み付けの例を示す。この例では、より重要である、氏名の文字列画像によるオブジェクト５５３を含む領域５６０ｃに重要度Ｉｍ＝２．０を設定している。また、検索を抑制させたい部分、すなわち、社名ロゴ画像および社名マーク画像のオブジェクト５５１および５５２を含む領域５６０ａおよび５６０ｂに、それぞれ重要度Ｉｍ＝０．３を設定し、顔写真画像によるオブジェクト５５４を含む領域５６０ｄに重要度Ｉｍ＝０．６を設定している。
【０２１５】
各領域５６０ａ〜５６０ｄの重要度Ｉｍをこのように設定することで、顔写真画像や、社名ロゴ画像、社名マーク画像による検索への影響が弱められると共に、氏名の文字列画像がより強調され、氏名の文字列画像による検索がより高精度に実行できる。これにより、ユーザの意図をより正確に反映した画像検索が可能となる。
【０２１６】
図３２（ｂ）は、顔写真無しの名刺画像５５０ｂに対する重み付けの例を示す。この例でも、上述の図３２（ａ）の例と同様に、より重要である、氏名の文字列画像によるオブジェクト５５３を含む領域５６０ｆに、重要度Ｉｍ＝２．０を設定している。また、検索を抑制させたい部分である社名ロゴ画像のオブジェクト５５１を含む領域５６０ｅに、重要度Ｉｍ＝０．１を設定している。この例の場合も上述と同様に、社名ロゴ画像による検索への影響が弱められると共に、氏名の文字列画像がより強調され、氏名の文字列画像による検索がより高精度に実行でき、これにより、ユーザの意図をより正確に反映した画像検索が可能となる。
【０２１７】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、図８を用いて説明した類似チェック（ステップＳ１２４、ステップＳ１３０）に対して、上述した第１の実施形態に係る重み付けを適用する。
【０２１８】
ここで、類似チェックについて説明する。画像検索サーバ１０の画像ＤＢ１４に互いに似た特徴情報を持つ複数の画像が登録されていると、画像検索サーバ１０は、画像検索の際に誤認識をしてしまうおそれがある。そのため、登録端末２０から登録サーバ５０に対し、登録ツール２１を用いて画像を登録する際に、当該画像に類似した画像が既に登録サーバ５０に登録されていないかどうかをチェックすることが好ましい。そして、登録端末２０において、チェック結果に応じて、画像検索の際の誤認識を回避させるための処理を行う。
【０２１９】
ここで、画像の特徴情報を用いて類似度を判定する場合、例えばチェック対象の画像に対して部分的に類似する画像を、類似画像として検索することができる。一例として、図３３（ａ）に例示されるように、複数のオブジェクト５７１ａ、５７１ｂおよび５７１ｃが含まれる画像５７０を、登録ツール２１を用いて登録サーバ５０に登録する場合について考える。このとき、登録サーバ５０には、図３３（ｂ）に例示される、オブジェクト５７１ａと類似度が高いオブジェクト５７３のみを含む画像５７２が既に登録されているものとする。
【０２２０】
この場合において、登録ツール２１は、画像５７０を登録端末２０から登録サーバ５０に送信し、画像５７０に対する類似画像チェックを登録サーバ５０に要求する。登録サーバ５０は、登録ツール２１により送信された画像５７０内の一部の領域に含まれるオブジェクト５７１ｂと類似度の高いオブジェクト５７３を含む画像５７２を示す情報を、検索結果として登録端末２０に返す。したがって、登録ツール２１は、画像５７０に類似する画像が登録サーバ５０に既に登録されていると判定する。
【０２２１】
ここで、登録ツール２１を操作しているユーザは、登録サーバ５０に既に登録されていると判定された画像に対して類似度が高いと判定された画像が、画像５７０に含まれる各オブジェクト５７１ａ、５７１ｂおよび５７１ｃのうち何れであるかを知ることは、困難である。すなわち、登録サーバ５０の画像ＤＢ１４には、画像が特徴情報として登録されており、ユーザが特徴情報から元の画像を知ることは難しいと考えられる。そのため、ユーザは、類似画像が登録サーバ５０に登録されているとの判定を回避するために、画像５７０に如何なる編集を加えるかを判断することが極めて困難になるおそれがある。
【０２２２】
そこで、第２の実施形態では、チェック対象の画像に対してチェック領域を設定し、類似画像チェックを、この設定されたチェック領域内の画像について実行する。そして、チェック結果に応じて、チェック領域に対して検索を抑制させるための重み付けを行う。
【０２２３】
より具体的には、登録ツール２１は、チェック対象の画像から設定した領域内の画像を切り出して、切り出した画像を、当該画像の画像検索を要求する画像検索要求と共に登録サーバ５０に送信する。登録サーバ５０は、この画像検索要求に応じて、画像検索用ＤＢ１１’に対して、登録端末２０から送信された画像に対して類似度が閾値以上の画像を検索し、検索結果を登録端末２０に送信する。
【０２２４】
登録端末２０において、登録ツール２１は、登録サーバ５０から送信された検索結果が、類似度が閾値以上の画像が登録されていることを示している場合、設定した領域内の画像と類似する画像が既に登録サーバ５０に登録されているとして、当該領域に対して負の値の重み値を設定し、当該領域に対する検索を抑制させる。
【０２２５】
図３４は、第２の実施形態に係る、類似画像チェックにおける重み付け処理を示す一例のフローチャートである。登録ツール２１は、例えば、図８のフローチャートのステップＳ１２６において新規登録であると判定された場合、または、図１４に示す編集画面４８０に配置されるボタン４８８８が操作され類似画像チェックが指示された場合に、図３４のフローチャートによる処理を開始する。
【０２２６】
なお、図３４のフローチャートによる処理の開始に先立って、編集画面４８０のページ編集領域４８４には、類似画像チェックの対象となる画像が既に表示されているものとする。以下、類似画像チェックの対象となる画像として、図３３（ａ）で説明した画像５７０を用いるものとし、当該画像５７０を、適宜、チェック対象画像５７０と呼ぶ。
【０２２７】
ステップＳ４００で、登録ツール２１は、ユーザ操作に従い、チェック対象画像５７０に対して、類似画像の有無を判定する対象となる画像上の領域（チェック領域と呼ぶ）を指定する。このとき、登録ツール２１は、チェック対象画像５７０に対して複数のチェック領域を指定することができるものとする。図３５は、チェック対象画像５７０に、それぞれオブジェクト５７１ａ、５７１ｂおよび５７１ｃを含む複数のチェック領域５７４ａ、５７４ｂおよび５７４ｃが指定された例を示している。
【０２２８】
以降、ステップＳ４０１〜ステップＳ４０５の処理は、チェック領域毎の処理となる。ステップＳ４０１で、登録ツール２１は、ステップＳ４００で指定したチェック領域のうち１つのチェック領域について、チェック領域内の画像の画像検索を登録サーバ５０に要求する。例えば、登録ツール２１は、抽出部２０２により、ステップＳ４００で指定したチェック領域５７４ａ内の画像を抽出し、抽出した画像を、当該画像の画像検索要求と共に登録サーバ５０に送信する。
【０２２９】
登録サーバ５０は、登録端末２０から送信された画像および画像検索要求を受信し、画像検索要求に応じて、当該画像と、画像検索用ＤＢ１１’に登録される各画像との類似度ｓを求める。登録サーバ５０は、求めた類似度ｓのうち最も高い類似度ｓを、検索結果として登録端末２０に送信する。登録サーバ５０から送信された、検索結果としての類似度ｓは、登録端末２０に受信され、登録ツール２１に取得される（ステップＳ４０２）。
【０２３０】
次のステップＳ４０３で、登録ツール２１は、判定部２０３により、ステップＳ４０２で取得した類似度ｓを第３の閾値と比較して閾値判定を行う。登録ツール２１は、類似度ｓが第３の閾値未満であると判定した場合、処理をステップＳ４０１に戻し、次のチェック領域（例えばチェック領域５７４ｂ）に対する処理を実行する。
【０２３１】
一方、登録ツール２１は、ステップＳ４０３で類似度ｓが第３の閾値以上であると判定した場合、処理をステップＳ４０４に移行させる。ステップＳ４０４で、登録ツール２１は、現在処理対象としているチェック領域（例えばチェック領域５７４ａ）に対して、検索を抑制させる負の値の重み値ｗを設定する。例えば、登録ツール２１は、当該チェック領域に対して、重み値ｗ＝−１を設定する。
【０２３２】
次のステップＳ４０５で、登録ツール２１は、ステップＳ４００で指定した全てのチェック領域に対する処理が終了したか否かを判定する。登録ツール２１は、全てのチェック領域に対する処理が終了していないと判定した場合、処理をステップＳ４０１に戻し、次のチェック領域（例えばチェック領域５７４ｂ）に対する処理を実行する。
【０２３３】
ステップＳ４０５で、登録ツール２１は、全てのチェック領域に対する処理が終了したと判定した場合、処理をステップＳ４０６に移行させる。ステップＳ４０６で、登録ツール２１は、各チェック領域および重み値ｗを示すＸＭＬコードを生成する。ステップＳ４０６で生成されるコードは、例えば図２３（ａ）で説明したコード１４１と同様とすることができるので、ここでの詳細な説明は省略する。ＸＭＬコードが生成されると、類似画像チェックの一連の処理が終了される。
【０２３４】
図３６は、第２の実施形態に係る、チェック対象画像５７０に対する類似画像チェックが終了した結果の例を示す。図３６の例は、ステップＳ４０３の閾値判定において、チェック領域５７４ａでのみ、取得された類似度ｓが第３の閾値以上であると判定され、他のチェック領域５７４ｂおよび５７４ｃでは、それぞれ取得された類似度ｓが第３の閾値未満であると判定された例である。この場合、チェック領域５７４ａに対して負の値の重み値ｗが設定され、他のチェック領域５７４ｂおよび５７４ｃは、重み値ｗが設定されていない。
【０２３５】
このように、第２の実施形態では、チェック対象画像に対して指定した各チェック領域の画像に対してそれぞれ画像検索を行い、画像検索の結果で得られた類似度ｓに基づき類似画像チェックを行っている。そして、類似画像チェックの結果、類似度ｓが高いチェック領域を、当該領域に類似した画像が既に登録されていると見做して、そのチェック領域に対して、検索を抑制するための重み値を設定している。
【０２３６】
そのため、既に登録されている画像と類似する画像を含む画像を新規登録した場合であっても、既に登録されている画像に対して新規登録画像が重複して検索されることが抑制される。また、この場合において、新規登録画像を編集する必要もない。
【０２３７】
なお、上述では、登録ツール２１は、ステップＳ４０３で類似度ｓが第３の閾値以上であると判定した場合に、そのチェック領域に対して負の値の重み値ｗを設定しているが、これはこの例に限定されない。例えば、上述したように、当該チェック領域における類似度ｓを強制的に０にする設定を行ってもよいし、当該チェック領域内の特徴量を無視する設定としてもよい。
【０２３８】
（第２の実施形態の第１の変形例）
次に、第２の実施形態の第１の変形例について説明する。上述の第２の実施形態では、類似度ｓが閾値以上のチェック領域に対して検索を抑制させるための重み値ｗを設定した。これに対して、第２の実施形態の第１の変形例では、類似度ｓが閾値以上のチェック領域とは異なる他のチェック領域、すなわち、類似度ｓが閾値未満のチェック領域を重要領域として、例えば０より大きい正の値の重み値ｗを設定する。このようにすることでも、類似画像が既に登録されていると見做される領域の検索を抑制させることが可能である。
【０２３９】
図３７は、第２の実施形態の第１の変形例に係る、類似画像チェックにおける重み付け処理を示す一例のフローチャートである。登録ツール２１は、例えば、図８のフローチャートのステップＳ１２６において新規登録であると判定された場合、または、図１４に示す編集画面４８０に配置されるボタン４８８８が操作され類似画像チェックが指示された場合に、図３７のフローチャートによる処理を開始する。また、図３７のフローチャートによる処理の開始に先立って、編集画面４８０のページ編集領域４８４には、類似画像チェックの対象となる画像（例えばチェック対象画像５７０）が既に表示されているものとする。
【０２４０】
ステップＳ４１０で、登録ツール２１は、ユーザ操作に従い、チェック対象画像５７０に対して１以上のチェック領域を指定する。
【０２４１】
以降、ステップＳ４１１〜ステップＳ４１３の処理は、チェック領域毎の処理となる。ステップＳ４１１で、登録ツール２１は、上述のステップＳ４０１と同様にして、ステップＳ４１０で指定したチェック領域のうち１つのチェック領域について、チェック領域内の画像の画像検索を登録サーバ５０に要求する。登録サーバ５０は、登録端末２０から送信された画像および画像検索要求に応じて、当該画像と、画像検索用ＤＢ１１’に登録される各画像との類似度ｓを求め、求めた類似度ｓのうち最も高い類似度ｓを、検索結果として登録端末２０に送信する。この類似度ｓは、登録端末２０に受信され、登録ツール２１に取得される（ステップＳ４１２）。
【０２４２】
次のステップＳ４１３で、登録ツール２１は、ステップＳ４１０で指定した全てのチェック領域に対する処理が終了したか否かを判定する。登録ツール２１は、全てのチェック領域に対する処理が終了していないと判定した場合、処理をステップＳ４１１に戻し、次のチェック領域に対する処理を実行する。
【０２４３】
ステップＳ４１３で、登録ツール２１は、全てのチェック領域に対する処理が終了したと判定した場合、処理をステップＳ４１４に移行させる。ステップＳ４１４で、登録ツール２１は、判定部２０３により、ステップＳ４１０において指定された各チェック領域についてステップＳ４１２で取得された各類似度ｓに基づき閾値判定を行い、類似度ｓが第４の閾値未満のチェック領域を抽出する。そして、登録ツール２１は、抽出された類似度ｓが第４の閾値未満のチェック領域に対して、０より大きい正の値の重み値ｗを設定する。そして、次のステップＳ４１５で、登録ツール２１は、各チェック領域および重み値ｗを示すＸＭＬコードを生成する。
【０２４４】
なお、ここでは、複数のチェック領域に対して纏めて重み値ｗを設定しているが、これはこの例に限定されない。この第２の実施形態の第１の変形例においても、上述した第２の実施形態において図３４のフローチャートで説明した、各チェック領域に対して順次、重み値ｗを設定する方法を適用可能である。同様に、上述した第２の実施形態に対して、この第２の実施形態の第１の変形例による、複数のチェック領域に対して纏めて重み値ｗを設定する方法を適用することもできる。
【０２４５】
（第２の実施形態の第２の変形例）
次に、第２の実施形態の第２の変形例について、図３８および図３９を用いて説明する。なお、図３８および図３９において、上述した図３５と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０２４６】
第２の実施形態の第２の変形例では、チェック対象画像を分割して分割された各分割領域をそれぞれチェック領域とし、これら各チェック領域に対して類似画像チェックを行う。図３８（ａ）は、チェック対象画像５７０を縦方向に３分割し、上からチェック領域５７５T、５７５Cおよび５７５Bとした例である。また、図３８（ｂ）は、チェック対象画像５７０を格子状に４分割し、左上のチェック領域５７５LTと、右上のチェック領域５７５RTと、左下のチェック領域５７５LBと、右下のチェック領域５７５RBとを形成した例である。
【０２４７】
なお、チェック対象画像５７０を分割する分割位置および分割数については、特に限定されない。登録ツール２１は、ユーザ操作により指定された位置を分割位置に設定してもよいし、チェック対象画像５７０の内容に応じて分割位置を設定してもよい。勿論、図３８（ａ）および図３８（ｂ）の例のように、分割位置を固定的に設定してもよい。以下では、図３８（ｂ）に示されるように、チェック対象画像５７０を格子状に４分割するものとして説明する。
【０２４８】
例えば、登録ツール２１は、編集画面４８０においてボタン４８８８が操作され類似画像チェックが指示された場合、または、図８のステップＳ１３０での類似画像チェックにおいて、画像５７０からチェック領域５７５LT、５７５RT、５７５LBおよび５７５RBの画像を切り出し、切り出した各画像を登録サーバ５０に送信する。
【０２４９】
登録サーバ５０は、これらチェック領域５７５LT、５７５RT、５７５LBおよび５７５RBの画像それぞれについて、類似画像の検索処理を実行し、チェック領域５７５LT、５７５RT、５７５LBおよび５７５RBと、画像検索用ＤＢ１１’に登録されている各画像との類似度ｓを求める。そして、チェック領域５７５LT、５７５RT、５７５LBおよび５７５RBそれぞれについて、最大の類似度ｓを求める。登録サーバ５０は、チェック領域５７５LT、５７５RT、５７５LBおよび５７５RBの最大の類似度ｓを、検索結果として登録端末２０に送信する。登録端末２０は、受信した各検索結果を、登録ツール２１に渡す。
【０２５０】
登録ツール２１は、各検索結果に示される各類似度ｓをそれぞれ閾値判定し、値が第４の閾値以上の類似度ｓに対応するチェック領域内の画像に類似する画像が既に画像検索用ＤＢ１１’に登録されている（ＮＧ）ものと判定する。また、登録ツール２１は、閾値判定の結果、値が第４の閾値未満の類似度ｓに対応するチェック領域内の画像は、類似する画像が画像検索用ＤＢ１１’に登録されていない（ＯＫ）と判定する。
【０２５１】
登録ツール２１は、例えば、類似する画像が既に画像検索用ＤＢ１１’に登録されていると判定されたチェック領域に対して、検索を抑制させる負の値の重み値ｗを設定し、他のチェック領域には、重み値ｗを設定しない。若しくは、登録ツール２１は、例えば、類似する画像が既に画像検索用ＤＢ１１’に登録されていないと判定されたチェック領域に対して、このチェック領域を重要領域として、例えば０より大きい正の値の重み値ｗを設定する。
【０２５２】
図３９は、第２の実施形態の第２の変形例に係る、チェック対象画像５７０に対する類似画像チェックが終了した結果の例を示す。図３９の例は、チェック領域５７５LTにおいて取得された類似度ｓが第４の閾値以上であるとされ、他のチェック領域５７５RT、５７５LBおよび５７５RBでは、それぞれ取得された類似度ｓが第４の閾値未満であると判定された例である。この場合、チェック領域５７５LTに対して負の値の重み値ｗが設定され、他のチェック領域５７５RT、５７５LBおよび５７５RBは、重み値ｗが設定されていない。
【０２５３】
勿論、この第２の実施形態の第２の変形例においても、上述した第２の実施形態の第１の変形例と同様に、類似度ｓが第４の閾値未満のチェック領域５７５RT、５７５LBおよび５７５RBに０より大きい正の値の重み値ｗを設定し、類似度ｓが第４の閾値以上であるとされたチェック領域５７５LTには重み値ｗを設定しないようにしてもよい。
【０２５４】
この第２の実施形態の第２の変形例では、上述した第２の実施形態の効果に加え、チェック対象画像５７０に対する分割位置を予め決めておくことで、登録端末２０を操作するユーザの、類似画像チェックに対する負担を軽減させることができる。
【０２５５】
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
【符号の説明】
【０２５６】
１  情報処理システム
１０  画像検索サーバ
１１，１１’  画像検索用ＤＢ
１２  解析部
１３  検索部
１４  画像ＤＢ
１５  連携情報ＤＢ
２０  登録端末
２１  登録ツール
３０  検索端末
５０  登録サーバ
６０  ユーザ管理サーバ
６１  ユーザＤＢ
２０１  取得部
２０２  抽出部
２０３  判定部
２０４  通知部
２０５  通信部
２０６  表示部
２１０  領域設定部
２１１  重み設定部
４００  ログイン画面
４１０  メニュー画面
４２０  登録情報一覧画面
４８０  編集画面
４８４  ページ編集領域
４８５  プレビュー領域
４８６  対象領域一覧領域
４８７  リンクアイコン一覧領域
４８８  ツールバー
５００，Ｓ0，Ｓ1，Ｓ2，Ｓ3，Ｓ4  被検索画像
５２０ａ，５２０ｂ、５２０ｃ，Ｔ10，Ｔ11，Ｔ12，Ｔ13，Ｔ14  注目領域
５７４ａ，５７４ｂ，５７４ｃ，５７５T，５７５C，５７５B，５７５LT，５７５RT，５７５LB，５７５RB  チェック領域
【先行技術文献】
【特許文献】
【０２５７】
【特許文献１】特開２０１４−０１０７２３号公報
【図１】
2017037437.tif 000003
【図２】
2017037437.tif 000004
【図３】
2017037437.tif 000005
【図４】
2017037437.tif 000006
【図５】
2017037437.tif 000007
【図６】
2017037437.tif 000008
【図７】
2017037437.tif 000009
【図８】
2017037437.tif 000010
【図９】
2017037437.tif 000011
【図１０】
2017037437.tif 000012
【図１１】
2017037437.tif 000013
【図１２】
2017037437.tif 000014
【図１３】
2017037437.tif 000015
【図１４】
2017037437.tif 000016
【図１５】
2017037437.tif 000017
【図１６】
2017037437.tif 000018
【図１７】
2017037437.tif 000019
【図１８】
2017037437.tif 000020
【図１９】
2017037437.tif 000021
【図２０】
2017037437.tif 000022
【図２１】
2017037437.tif 000023
【図２２】
2017037437.tif 000024
【図２３】
2017037437.tif 000025
【図２４】
2017037437.tif 000026
【図２５】
2017037437.tif 000027
【図２６】
2017037437.tif 000028
【図２７】
2017037437.tif 000029
【図２８】
2017037437.tif 000030
【図２９】
2017037437.tif 000031
【図３０】
2017037437.tif 000032
【図３１】
2017037437.tif 000033
【図３２】
2017037437.tif 000034
【図３３】
2017037437.tif 000035
【図３４】
2017037437.tif 000036
【図３５】
2017037437.tif 000037
【図３６】
2017037437.tif 000038
【図３７】
2017037437.tif 000039
【図３８】
2017037437.tif 000040
【図３９】
2017037437.tif 000041