(57)【要約】【課題】ユーザ操作に係る負担を低減しつつ、ユーザの希望に合った情報を検索することを目的とする。【解決手段】第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定手段と、前記決定手段により決定された前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索手段と、前記検索手段による検索結果を表示するよう制御する表示制御手段とを有する。【選択図】図１３
2018101331.tif 000002
【特許請求の範囲】
【請求項１】
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定手段と、
前記決定手段により決定された前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索手段と、
前記検索手段による検索結果を表示するよう制御する表示制御手段と
を有することを特徴とする情報処理システム。
【請求項２】
前記第１の撮影画像と、前記第２の撮影画像と、の一致度を特定する特定手段をさらに有し、
前記決定手段は、前記一致度に基づいて、前記第１のコンテンツの優先度を決定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記特定手段は、前記第１の撮影画像における、前記第２の撮影画像に対応する領域の面積の、前記第１の撮影画像の全体の面積に対する割合に応じて、前記一致度を特定し、
前記決定手段は、前記第２のコンテンツに対し、前記一致度に応じた優先度を決定することを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記決定手段は、前記一致度が高い程、より低くなるような優先度を決定することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記第２の撮影画像は、前記第１の撮影画像の後に撮影された画像であることを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記決定手段は、前記一致度が閾値以下の場合に、前記第２の撮影画像と、前記第２の撮影画像に含まれる第２のコンテンツを含み、前記第２の撮影画像と異なる第３の撮影画像と、に基づいて、前記第２のコンテンツの優先度を決定し、
前記検索手段は、前記第２のコンテンツの優先度に基づいて、前記第２の撮影画像に対する前記類似画像を検索することを特徴とする請求項２に記載の情報処理システム。
【請求項７】
前記第３の撮影画像は、前記第２の撮影画像の後に撮影された画像であることを特徴とする請求項６に記載の情報処理システム。
【請求項８】
前記第２の撮影画像において領域を設定する設定手段をさらに有し、
前記決定手段は、前記設定手段により設定された領域と、前記第１の撮影画像と、に基づいて、前記領域に含まれる前記第１のコンテンツの優先度を決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
【請求項９】
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を取得する取得手段と、
前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索手段と、
前記検索手段による検索結果を外部装置に送信する送信手段と
を有することを特徴とする情報処理装置。
【請求項１０】
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定手段と、
前記第１のコンテンツの優先度に基づいた、前記第１の撮影画像に対する前記類似画像の検索処理により得られた検索結果を表示するよう制御する表示制御手段と
を有することを特徴とする情報処理装置。
【請求項１１】
情報処理システムが実行する情報処理方法であって、
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定ステップと、
前記決定ステップにおいて決定された前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索ステップと、
前記検索ステップにおいて得られた検索結果を表示するよう制御する表示制御ステップと
を含むことを特徴とする情報処理方法。
【請求項１２】
情報処理装置が実行する情報処理方法であって、
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を取得する取得ステップと、
前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索ステップと、
前記検索ステップにおいて得られた検索結果を外部装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定ステップと、
前記第１のコンテンツの優先度に基づいた、前記第１の撮影画像に対する前記類似画像の検索処理により得られた検索結果を表示するよう制御する表示制御ステップと
を含むことを特徴とする情報処理方法。
【請求項１４】
コンピュータを、
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を取得する取得手段と、
前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索手段と、
前記検索手段による検索結果を外部装置に送信する送信手段と
として機能させるためのプログラム。
【請求項１５】
コンピュータを、
第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定手段と、
前記第１のコンテンツの優先度に基づいた、前記第１の撮影画像に対する前記類似画像の検索処理により得られた検索結果を表示するよう制御する表示制御手段と
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、旅行代理店のプランナーは、旅行プランを顧客に提案する際に、顧客が持ってきたパンフレット等を参考にして関連旅行プラン群を検索し、顧客に提示している。関連旅行プラン群の一般的な検索方法として、旅行プラン群が登録されたストレージサーバ等の検索機能を利用して、顧客要望にあったキーワードを検索クエリに用いて探し出すという方法が考えられる。検索に係る技術として、特許文献１には、カメラを使用して、紙文書全体を撮影し、さらに紙文書のテキスト部分を拡大撮影することで生成した複数の画像データを用いて、関連文書を検索する技術が開示されている。特許文献１には、さらに、拡大撮影により得られた画像データの他、手動で入力されたキーワードに重み付けを行うことで、手動で入力されたキーワードを含む関連文書の優先度を高く設定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１５９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術においては、キーワードは手動で入力する必要があり、ユーザにとって手間がかかるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、ユーザ操作に係る負担を低減しつつ、ユーザの希望に合った情報を検索することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、情報処理システムであって、第１のコンテンツを含む第１の撮影画像と、前記第１のコンテンツを含み、前記第１の撮影画像と異なる第２の撮影画像と、に基づいて、前記第１の撮影画像に類似する類似画像の検索における、前記第１のコンテンツの優先度を決定する決定手段と、前記決定手段により決定された前記第１のコンテンツの優先度に基づいて、前記第１の撮影画像に対する前記類似画像を検索する検索手段と、前記検索手段による検索結果を表示するよう制御する表示制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザ操作に係る負担を低減しつつ、ユーザの希望に合った情報を検索することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理システムを示す図である。
【図２】クライアント装置のハードウェア構成を示す図である。
【図３】レコメンドサーバ装置のハードウェア構成を示す図である。
【図４】レコメンドサーバ装置のソフトウェア構成を示す図である。
【図５】画像関連情報テーブルのデータ構成の一例を示す図である。
【図６】画像サーバ装置のソフトウェア構成を示す図である。
【図７】クライアント装置のソフトウェア構成を示す図である。
【図８】撮影ＵＩを提供する画面の一例を示す図である。
【図９】類似画像表示ＵＩを提供する画面例を示す図である。
【図１０】画像関連情報登録処理を示すシーケンス図である。
【図１１】撮影ＵＩによって撮影された撮影画像の表示例を示す図である。
【図１２】媒体を示す図である。
【図１３】類似画像表示処理を示すシーケンス図である。
【図１４】ブースト値テーブルの一例を示す図である。
【図１５】キーワードと、検索ブースト値の一例を示す図である。
【図１６】基準画像管理処理を示すフローチャートである。
【図１７】撮影ＵＩ上の表示画面の一例を示す図である。
【図１８】領域管理処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムを示す図である。情報処理システムは、ネットワーク１００を介して接続されるクライアント装置１０１と、レコメンドサーバ装置１０２と、画像サーバ装置１０３とを有している。ネットワーク１００は、各装置間で通信を行うための基盤であって、イントラネット、インターネットもしくはその他のネットワークシステムであってもよい。クライアント装置１０１は、カメラを備える。クライアント装置１０１は、ＩＰアドレスで管理されてもよく、この場合には、ネットワーク１００とクライアント装置１０１の間にゲートウェイ（不図示）が存在し、ゲートウェイはアドレス変換を行う。例えばゲートウェイにはルーターが含まれる。
【００１０】
レコメンドサーバ装置１０２は、画像サーバ装置１０３に格納されている撮影画像から抽出されたキーワードを、撮影画像の格納先の情報と紐付けてＤＢに格納する。レコメンドサーバ装置１０２はさらに、ＤＢの情報とクライアント装置１０１から受信した情報を比較することで、クライアント装置１０１から受信した情報と類似する撮影画像を検索する。以下においては、基準となる撮影画像を基準画像、基準画像に含まれるキーワードに基づいて、基準画像に類似する撮影画像として検出された画像を類似画像と称することとする。なお、本実施形態においては、レコメンドサーバ装置１０２は、撮影画像に含まれるキーワードを比較することにより、類似画像を検索する。ここで、キーワードは、撮影画像に含まれるコンテンツの一例である。
【００１１】
なお、撮影画像を検索するために利用される、撮影画像に含まれるコンテンツは、キーワードに限定されるものではない。他の例としては、レコメンドサーバ装置１０２は、キーワードに替えて、撮影画像に含まれる被写体等の一部の画像をコンテンツとし、一部の画像との比較により、撮影画像に対する類似画像を検索してもよい。レコメンドサーバ装置１０２は、さらに検索により得られた複数の類似画像からなる類似画像群を列挙する。画像サーバ装置１０３は、撮影画像及び撮影画像へのアクセス履歴を保存する。
【００１２】
図２は、クライアント装置１０１のハードウェア構成を示す図である。ＣＰＵ２０１は、クライアント装置１０１を制御する。ＲＡＭ２０２は、ＣＰＵ２０１のワークエリアを提供する。記憶装置２０３は、クライアント装置１０１上で動作するプログラム、設定を記憶する。ネットワーク装置２０４は、他機器とネットワーク１００による通信を行う。入出力Ｉ／Ｆ２０５は、クライアント装置１０１のタッチパネルとデータを送受信する。カメラユニット２０６は、カメラで撮影した被写体の画像（撮影画像）をクライアント装置１０１に取り込む。メインバス２００は、各部を接続する。なお、後述するクライアント装置１０１の機能や処理は、ＣＰＵ２０１が記憶装置２０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１３】
図３は、レコメンドサーバ装置１０２のハードウェア構成を示す図である。ＣＰＵ３０１は、レコメンドサーバ装置１０２を制御する。ＲＡＭ３０２は、ＣＰＵ３０１のワークエリアを提供する。記憶装置３０３は、レコメンドサーバ装置１０２上で動作するプログラム、設定を記憶する。ネットワーク装置３０４は、他機器とネットワーク１００による通信を行う。メインバス３００は、各部を接続する。なお、後述するレコメンドサーバ装置１０２の機能や処理は、ＣＰＵ３０１が記憶装置３０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、画像サーバ装置１０３のハードウェア構成は、図３を参照しつつ説明したレコメンドサーバ装置１０２のハードウェア構成と同様である。
【００１４】
図４は、レコメンドサーバ装置１０２のソフトウェア構成を示す図である。レコメンドサーバ装置１０２は、通信部４０１、クローラー部４０２、クロール結果処理部４０３、リクエスト受付処理部４０４、検索制御部４０５、キーワード抽出部４０６、検索部４０７、画像関連情報ＤＢ部４０８を有する。
【００１５】
クローラー部４０２は、通信部４０１を介して、定期的に画像サーバ装置１０３に格納されている撮影画像及び当該撮影画像の格納先情報を収集する。クローラー部４０２は、新規に登録された撮影画像又は更新された撮影画像を対象に収集を行う。他の例としては、クローラー部４０２は、レコメンドサーバ装置１０２の構成外に存在してもよい。この場合、画像サーバ装置１０３から収集した情報は、レコメンドサーバ装置１０２へリクエストとして送信され、リクエスト受付処理部４０４を介して、クロール結果処理部４０３に渡される。
【００１６】
クロール結果処理部４０３は、クローラー部４０２から受け取った撮影画像を、キーワード抽出部４０６に渡し、レスポンスとして、撮影画像から抽出したキーワード（撮影画像の特徴情報）を受け取る。さらに、クロール結果処理部４０３は、受け取ったキーワードを検索部４０７に渡す。
【００１７】
検索部４０７は、画像関連情報ＤＢ部４０８を参照し、クロール結果処理部４０３から受け取ったキーワードに基づいて、基準画像に対応した類似画像を検索する。そして、検索部４０７は、類似画像から抽出されたキーワード及び類似画像の格納先情報をクロール結果処理部４０３に渡す。クロール結果処理部４０３は、類似画像のキーワード及び格納先情報を画像関連情報ＤＢ部４０８に保存する。
【００１８】
リクエスト受付処理部４０４は、通信部４０１を介して、クライアント装置１０１から、レコメンド画像の検索リクエストを受け付ける。リクエストで受信する検索クエリとして、キーワード、テキスト・バイナリデータ（以下、クエリデータ）、また、それらに対する重み付け情報（以下、検索ブースト値）を受け取ることができる。なお、キーワードに割り当てられた検索ブースト値が高い程、このキーワードを含む撮影画像の基準画像との類似度がより高いと判定される。リクエスト受付処理部４０４は、検索制御部４０５が処理したレコメンド結果を、クライアント装置１０１にレスポンスとして送信する処理も行う。
【００１９】
検索制御部４０５は、リクエスト受付処理部４０４が受け付けたクエリデータを、キーワード抽出部４０６に渡し、レスポンスとして、クエリデータから抽出したキーワード（クエリデータの特徴情報）を受け取る。さらに、検索制御部４０５は、受け取ったキーワードやリクエスト受付処理部４０４が受け付けたキーワード、またそれらに対する検索ブースト値とともに検索指示を検索部４０７に出す。検索部４０７は、画像関連情報ＤＢ部４０８に格納されている撮影画像の中から、類似画像を検索する。検索制御部４０５は、検索部４０７による検索結果をレコメンド結果としてリクエスト受付処理部４０４に返す。
【００２０】
キーワード抽出部４０６は、撮影画像から、キーワードを抽出する。キーワード抽出部４０６は、撮影画像内のすべての単語をキーワードとして抽出してもよいし、予め定められた単語をキーワードと抽出してもよい。また、他の例としては、キーワード抽出部４０６は、撮影画像内の図形や構成を読み取り、これらと所定の関係にあるキーワードを抽出してもよい。さらに、４０６は、キーワードの出現回数や予め設定した計算式により、当該キーワードに対するスコア値を算出してもよい。
【００２１】
検索部４０７は、キーワード等の情報に基づいて、画像関連情報ＤＢ部４０８から画像関連情報を検索する処理を行う。検索部４０７は、キーワードに一致するキーワード数や受信した検索ブースト値等を使用して、基準画像と画像関連情報ＤＢ部４０８に登録されている撮影画像との間の類似度を算出する。そして、検索部４０７は、類似度が一定の閾値を超えた撮影画像を類似画像として特定し、これを返す。
【００２２】
画像関連情報ＤＢ部４０８には、画像サーバ装置１０３から収集した撮影画像に関する情報が格納されている。画像関連情報ＤＢ部４０８には、画像関連情報として、撮影画像のＩＤ、撮影画像の名前、撮影画像の格納先、抽出キーワード、のうちの少なくとも一つの情報が格納されている。図５は、画像関連情報ＤＢ部４０８に格納されている画像関連情報テーブル５００のデータ構成の一例を示す図である。画像関連情報テーブル５００には、画像関連情報として、撮影画像を識別するＩＤ、名前、格納先、抽出キーワード、更新日時を対応付けて記憶している。
【００２３】
図６は、画像サーバ装置１０３のソフトウェア構成を示す図である。画像サーバ装置１０３は、通信部６０１、画像管理部６０２、画像保存部６０３を有する。画像管理部６０２は、通信部６０１を介して、クライアント装置１０１やレコメンドサーバ装置１０２からリクエストを受け付ける。受け付けるリクエストの種類は、画像保存部６０３への撮影画像格納要求や画像保存部６０３に保存されている撮影画像の取得要求等である。また、画像管理部６０２は、受け付けたリクエストに従い、画像保存部６０３への撮影画像の保存や、画像保存部６０３からの撮影画像の取得を行う。
【００２４】
図７は、クライアント装置１０１のソフトウェア構成を示す図である。クライアント装置１０１のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、画像管理部７０１を有する。画像管理部７０１は、画像やアプリケーションデータを管理する。ＯＳは、画像管理部７０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を提供している。各アプリはその制御ＡＰＩを利用することで画像管理部７０１が管理する画像やアプリケーションデータの取得や保存を行う。
【００２５】
クライアントアプリケーション（以下、クライアントアプリ）７０２は、クライアント装置１０１のＯＳのインストール機能を利用して、ダウンロードしインストールすることにより実行可能なアプリケーションである。クライアントアプリ７０２は、カメラユニット２０６を介して取り込んだ撮影画像に対する各種のデータ処理を行う。
【００２６】
メイン制御部７０３は、クライアントアプリ７０２を制御し、後述する各モジュール部（７０４〜７０８）に対する指示及び管理を行う。情報表示部７０４は、メイン制御部７０３からの指示に従い、クライアントアプリ７０２のユーザインタフェース（ＵＩ）をユーザに提供する。操作情報取得部７０５は、情報表示部７０４により表示されたクライアントアプリ７０２のＵＩがユーザ操作された情報を取得し、取得した情報をメイン制御部７０３に通知する。例えば、タッチパネルをユーザが手で触れると、操作情報取得部７０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部７０３に送信する。
【００２７】
画像解析部７０６は、撮影画像の解析技術により撮影画像同士を比較し、画像特徴の一致率を算出する。ここで、一致率とは、基準画像の全体の面積に対する、比較される他の撮影画像と一致する、基準画像の領域の面積の、基準画像の全体の面積に対する割合である。また、本実施形態においては、画像間の類似度が閾値以上となる場合に画像が一致すると判断するものとする。ここで、一致率は、一致度の一例である。
【００２８】
記憶部７０７は、データベース機能を有し、後述の類似画像を検索する検索部７０８で使用する検索ブースト値をブースト値テーブルで管理する。ブースト値テーブルについては図１４を参照しつつ後述する。検索部７０８は、メイン制御部７０３からの指示に従い、類似画像の検索リクエストをレコメンドサーバ装置１０２に送信し、結果を受信する。
【００２９】
図８は、クライアントアプリ７０２の撮影ＵＩを提供する画面の一例を示す図である。表示画面８００は、クライアント装置１０１のタッチパネルに表示される。また、表示画面８００においては、領域８０１にカメラ１０４を介して取り込んだ画像が表示され、画像等に対するユーザによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。
【００３０】
シャッターボタン８０２は、カメラユニット２０６を通して表示画面に表示したカメラ入力画像（以下、撮影画像）をＲＡＭ２０２や画像管理部７０１で保存するためのボタンである。ズームボタン８０３は、表示画像の拡縮を行うためのボタンである。撮影画像８０４は、画面上部の一覧表示エリア８０５に表示される。また、撮影画像８０４は、一覧表示エリア８０５から削除可能であってもよい。検索ボタン８０６は、一覧表示エリア８０５に表示された撮影画像に類似する類似画像の検索リクエストをレコメンドサーバ装置１０２に送信するボタンである。
【００３１】
図９は、クライアントアプリ７０２の類似画像表示ＵＩを提供する画面例を示す図である。類似画像表示エリア９００には、検索ボタン８０６が押下された場合に類似コンテンツ群９０１が一覧表示される。なお、クライアントアプリ７０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、実施形態に限定されるものではなく、クライアント装置１０１の機能を実現することができる適宜の構成を採用することができる。
【００３２】
図１０は、画像関連情報登録処理を示すシーケンス図である。画像関連情報登録処理において、レコメンドサーバ装置１０２は、画像サーバ装置１０３に格納された撮影画像を取得し、取得した撮影画像に係る画像関連情報を画像関連情報ＤＢ部４０８に登録する。ここでは、画像関連情報登録処理の開始前において、画像サーバ装置１０３には、図５に示す画像関連情報に対応した撮影画像（ハワイプラン１、ハワイプラン２、ハワイプラン３）が既に格納されているものとする。さらに、レコメンドサーバ装置１０２には、ハワイプラン１及びハワイプラン２の画像関連情報が既に登録されているものとする。但し、ハワイプラン２は、レコメンドサーバ装置１０２に画像関連情報が登録された後に、ユーザによって画像サーバ装置１０３上で撮影画像が更新されているものとする。
【００３３】
まず、Ｓ１００１において、レコメンドサーバ装置１０２のクローラー部４０２は、通信部４０１を介して、画像サーバ装置１０３へ撮影画像の一覧情報の取得リクエストを送信する。これに対し、Ｓ１００２において、画像サーバ装置１０３の画像管理部６０２は、通信部６０１を介して、撮影画像の一覧情報の取得リクエストを受信する。次に、Ｓ１００３において、画像管理部６０２は、画像保存部６０３に格納された撮影画像の一覧情報を生成する。本例では、ハワイプラン１、ハワイプラン２及びハワイプラン３の撮影画像を含む一覧情報が生成される。次に、Ｓ１００４において、画像管理部６０２は、通信部６０１を介して、レコメンドサーバ装置１０２に撮影画像の一覧情報を返信する。これに対し、Ｓ１００５において、レコメンドサーバ装置１０２のクローラー部４０２は、撮影画像の一覧情報を受信する。
【００３４】
続いて、レコメンドサーバ装置１０２は、Ｓ１００７〜Ｓ１０１４の処理を、一覧情報に含まれる撮影画像の数だけ繰り返す。Ｓ１００７において、クロール結果処理部４０３は、画像関連情報テーブル５００に登録されている画像関連情報を参照することにより、処理対象の撮影画像が新規に登録された撮影画像又は更新された撮影画像のいずれかに該当するか否かを判定する。クロール結果処理部４０３は、処理対象の撮影画像と同一のＩＤの画像関連情報が画像関連情報テーブル５００に登録されていない場合に、新規の撮影画像であると判定する。クロール結果処理部４０３はまた、処理対象の撮影画像と同一ＩＤの画像関連情報が画像関連情報テーブル５００に登録されており、登録されている更新日時が処理対象の撮影画像の撮影日時よりも前の日時の場合に、更新された撮影画像であると判定する。
【００３５】
クロール結果処理部４０３は、新規の撮影画像又は更新された撮影画像に該当すると判定した場合には（Ｓ１００７でＹｅｓ）、処理をＳ１００８へ進める。クロール結果処理部４０３は、新規の撮影画像及び更新された撮影画像のいずれにも該当しないと判定した場合には（Ｓ１００７でＮｏ）、処理対象の撮影画像に対する処理を終了する。ハワイプラン１は、新規の撮影画像及び更新された撮影画像のいずれにも該当しないと判定される。ハワイプラン２は、更新された撮影画像に該当すると判定される。ハワイプラン３は、新規の撮影画像に該当すると判定される。
【００３６】
Ｓ１００８において、クローラー部４０２は、通信部４０１を介して、画像サーバ装置１０３へ撮影画像の取得リクエストを送信する。これに対し、Ｓ１００９において、画像サーバ装置１０３の画像管理部６０２は、通信部６０１を介して、撮影画像の取得リクエストを受信する。次に、Ｓ１０１０において、画像管理部６０２は、画像保存部６０３から撮影画像を取得する。次に、Ｓ１０１１において、画像管理部６０２は、通信部６０１を介して、レコメンドサーバ装置１０２に撮影画像を返信する。
【００３７】
これに対応して、Ｓ１０１２において、レコメンドサーバ装置１０２のクローラー部４０２は、撮影画像を受信する。次に、Ｓ１０１３において、クロール結果処理部４０３は、キーワード抽出部４０６に撮影画像を渡す。キーワード抽出部４０６は、撮影画像からキーワードを抽出し、これをクロール結果処理部４０３に返す。次に、Ｓ１０１４において、クロール結果処理部４０３は、撮影画像の格納先と抽出キーワードを紐づけて画像関連情報ＤＢ部４０８に登録する。
【００３８】
図１１は、クライアントアプリ７０２の撮影ＵＩによって撮影された撮影画像の表示例を示す図である。１枚目（１番目）に撮影された撮影画像１１０１は、処理対象となる媒体の全体の撮影画像である。２枚目の撮影画像１１０２は、２番目に撮影されたものであり、撮影画像１１０３は３番目に撮影されたものであり、撮影画像１１０４は、４番目に撮影されたものである。なお、本実施形態においては、撮影のタイミングが、直前の撮影から一定期間経過後である場合に１枚目と判定されるものとする。撮影画像１１０２〜１１０４は、いずれも撮影画像１１０１の撮影範囲の一部の範囲を拡大して撮影した画像である。本実施形態の情報処理システムでは、１番目に撮影された全体画像を基準画像とし、基準画像に類似する類似画像を検索する際に、２番目以降に撮影された、基準画像の一部の領域の拡大画像を参照する。本処理については、後に詳述する。
【００３９】
図１２は、図１１に示す撮影画像１１０１に対応した媒体１２０１を示す図である。撮影画像１１０１は、媒体１２０１の全体を撮影した画像である。撮影画像１１０２は、「ハワイ９日間プラン」や「ハワイ島」などが記載された領域１２０２の拡大画像である。撮影画像１１０３は、領域１２０３の拡大画像である。撮影画像１１０４は、領域１２０４の拡大画像である。
【００４０】
画像解析部７０６は、例えば撮影画像１１０１を基準画像とする場合において、撮影画像１１０１と撮影画像１１０２の比較、撮影画像１１０１と撮影画像１１０３の比較、撮影画像１１０１と撮影画像１１０４の比較を行う。撮影画像１１０１と撮影画像１１０２の比較においては、撮影画像１１０２は撮影画像１１０１の拡大画像であるため、拡大率に基づいて一致度を算出する。図１１及び図１２の例においては、撮影画像１１０１に対し、撮影画像１１０２との一致率４０％、撮影画像１１０３との一致率３０％、撮影画像１１０４との一致率１５％が算出される。
【００４１】
図１３は、類似画像表示処理を示すシーケンス図である。類似画像表示処理において、クライアント装置１０１は、処理対象の撮影画像を検索クエリデータとし、検索結果としての類似画像を表示する。Ｓ１３０１において、クライアントアプリ７０２のメイン制御部７０３は、操作情報取得部７０５を介して類似画像の検索ボタンが押下されたか否かを判定する。メイン制御部７０３は、検索ボタンが押下されたと判定した場合（Ｓ１３０１でＹｅｓ）、処理をＳ１３０８へ進める。メイン制御部７０３は、検索ボタンが押下されていないと判定した場合（Ｓ１３０１でＮｏ）、処理をＳ１３０２へ進める。
【００４２】
Ｓ１３０２において、メイン制御部７０３は、操作情報取得部７０５を介してシャッターボタンが押下されたか否かを判定する。メイン制御部７０３は、シャッターボタンが押下されていないと判定した場合は（Ｓ１３０２でＮｏ）、処理をＳ１３０１へ進める。メイン制御部７０３は、シャッターボタンが押下されたと判定した場合（Ｓ１３０２でＹｅｓ）、処理をＳ１３０３へ進める。Ｓ１３０３において、メイン制御部７０３は、Ｓ１３０２におけるシャッターボタンの押下に応じて得られた撮影画像を画像管理部７０１に保存する。以下、シャッターボタンの押下に応じて得られた撮影画像を、処理対象の撮影画像と称することとする。
【００４３】
次に、Ｓ１３０４において、メイン制御部７０３は、処理対象の撮影画像が１番目に撮影された撮影画像、すなわち１枚目か否かを判定する。メイン制御部７０３は、例えば、Ｓ１３０２に対応した撮影のタイミングが、直前の撮影から一定期間経過後である場合に１枚目と判定する。メイン制御部７０３は、処理対象の撮影画像が１枚目と判定した場合は（Ｓ１３０４でＹｅｓ）、処理対象の撮影画像を基準画像に設定し、その後処理をＳ１３０７へ進める。メイン制御部７０３は、処理対象の撮影画像が２枚目以降と判定した場合は（Ｓ１３０４でＮｏ）、処理をＳ１３０５へ進める。
【００４４】
Ｓ１３０５において、メイン制御部７０３は、画像解析部７０６に処理対象の撮影画像と１枚目の撮影画像の一致率を算出させ、その結果として一致率を取得する。本処理は、一致率を特定する特定処理の一例である。次に、Ｓ１３０６において、メイン制御部７０３は、ブースト値テーブルを参照し、算出した一致率に基づいて、検索ブースト値を特定する。そして、メイン制御部７０３は、検索ブースト値を、処理対象の撮影画像に紐付けて記憶部７０７に一時的に保存する。ここで、検索ブースト値は、基準画像に対応する類似画像を検索する際の、コンテンツの優先度である。
【００４５】
図１４は、ブースト値テーブル１４００の一例を示す図である。ブースト値テーブル１４００は、記憶部７０７に記憶されている。ブースト値テーブル１４００は、一致率と検索ブースト値とを対応付けて記憶している。メイン制御部７０３は、ブースト値テーブル１４００を参照することにより、処理対象の撮影画像と１枚目の撮影画像（基準画像）との一致度からブースト値を特定する。メイン制御部７０３は、特定したブースト値を、処理対象の撮影画像に紐付けて記憶部７０７に一時的に保存する。例えば、図１１に示す２枚目の撮影画像１１０２は、一致率が「４０％」であるため、検索ブースト値は「３」と決定される。３枚目の撮影画像１１０３は、一致度が「３０％：であるため、検索ブースト値は「５」と決定される。４枚目の撮影画像１１０４は、一致度が「１５％」であるため、検索ブースト値は「１０」と決定される。
【００４６】
Ｓ１３０６の処理の後、Ｓ１３０７において、メイン制御部７０３は、画像管理部７０１から取得した、処理対象の撮影画像を、情報表示部７０４を介して一覧表示エリア８０５に表示するよう制御し、その後処理をＳ１３０１へ進める。
【００４７】
一方、Ｓ１３０８においては、メイン制御部７０３は、一覧表示エリア８０５に表示している撮影画像枚数をカウントする。メイン制御部７０３は、撮影画像枚数が０枚の場合は（Ｓ１３０８で０枚）、処理をＳ１３０１へ進める。メイン制御部７０３は、撮影画像枚数が１枚以上の場合は（Ｓ１３０８で１枚以上）、処理をＳ１３０９へ進める。
【００４８】
Ｓ１３０９において、メイン制御部７０３は、保存したすべての撮影画像とそれに紐づく検索ブースト値を記憶部７０７から取得する。そして、メイン制御部７０３は、保存したすべての画像からなる撮影画像群をクエリデータとして、検索ブースト値と紐づけてレコメンドサーバ装置１０２に送信する。この時、１枚目の撮影画像、すなわち基準画像はクエリデータとして送信しないようユーザが選択できるようにしてもよい。送信する場合は、１枚目の撮影画像の検索ブースト値は一致率１００％の値を使用するなど予め設定された値を使用する。
【００４９】
これに対応し、Ｓ１３１０において、レコメンドサーバ装置１０２の検索制御部４０５は、通信部４０１を介して、クエリデータ及び検索ブースト値を受信する。次に、Ｓ１３１１において、検索制御部４０５は、キーワード抽出部４０６にクエリデータである撮影画像を渡す。キーワード抽出部４０６は、撮影画像からキーワードを抽出し、検索制御部４０５に返す。
【００５０】
次に、Ｓ１３１２において、検索部４０７は、受信した検索ブースト値を、対応する撮影画像から抽出されたキーワードの検索ブースト値として決定する。なお、クエリデータとしての撮影画像は基準画像の拡大画像であり、クエリデータとしての撮影画像から抽出されたキーワードは、基準画像にも含まれる、共通のキーワードである。検索部４０７は、抽出されたキーワードを検索キーワードとし、各キーワードに対して決定された検索ブースト値を利用して、基準画像に対する類似画像の検索を行う。図１５は、抽出されたキーワードと、これらに対応付けられた検索ブースト値の一例を示す図である。なお、図１５に示す例は、図１１の例に対応している。本処理は、キーワード（コンテンツ）の検索ブースト値（優先度）を決定する決定処理の一例である。また、本処理は、優先度に基づいて、類似画像を検索する検索処理の一例である。
【００５１】
キーワードに紐づけて検索することにより、キーワードが含まれる類似画像の類似度が高くなり、検索結果の優先順位の上位にランク付けすることができる。類似画像の検索ロジックについては限定しない。例えば、検索部４０７は、以下のようなクエリ形式で、抽出したキーワードと検索ブースト値を紐づけて検索することによって、一致したキーワード数と一致キーワードの検索ブースト値を掛け合わせた結果が高い順に優先順位を決定してもよい。その場合、図５に示す撮影画像を対象に検索した場合、検索ブースト値が高いキーワードである「レンタカープラン」が含まれる、ＩＤ３の撮影画像の類似度が高くなり、検索結果の最上位にランク付けされる。
"repository":"図５リポジトリ",
"query":[
["content":"ハワイ",  "score":3.0],
["content":"9日間",  "score":3.0],
:
["content":"170,00",  "score":5.0],
:
["content":"レンタカープラン","score":10.0]
]
【００５２】
Ｓ１３１２の処理の後、Ｓ１３１３において、検索制御部４０５は、通信部４０１を介して、検索結果を類似画像リストにしてクライアント装置１０１（外部装置）に送信する。次に、Ｓ１３１４において、クライアントアプリ７０２のメイン制御部７０３は、類似画像リストを受信する。Ｓ１３１５において、メイン制御部７０３は、情報表示部７０４を介して、類似画像リストを類似画像表示エリア９００に表示するよう制御する。本処理は、検索結果を表示するよう制御する表示制御処理の一例である。
【００５３】
以上のように、第１の実施形態に係る情報処理システムにおいては、基準画像と、基準画像に対応した拡大画像の一致度に基づいて、両画像に共通に含まれるキーワードの検索ブースト値を設定することができる。これにより、ユーザ操作に係る負担を低減しつつ、ユーザの希望に合った情報を検索することができる。
【００５４】
（第２の実施形態）
次に、第２の実施形態に係る情報処理システムについて説明する。第２の実施形態に係る情報処理システムは、基準画像とそれ以降に撮影された画像との一致度が閾値以下の場合には、基準画像を自動的に変更する。なお、本実施形態においては、閾値を０％とする。以下、第２の実施形態に係る情報処理システムについて、第１の実施形態に係る情報処理システムと異なる点について説明する。
【００５５】
図１６は、基準画像管理処理を示すフローチャートである。第２の実施形態においても、第１の実施形態において図１３を参照しつつ説明した類似画像表示処理が実行される。ただし、第２の実施形態においては、類似画像表示処理のＳ１３０３でＹｅｓと判定された場合に、Ｓ１３０４〜Ｓ１３０６の処理に替えて、基準画像管理処理を行う。Ｓ１６０１において、メイン制御部７０３は、画像管理部７０１に撮影画像を保存する。次に、Ｓ１６０２において、メイン制御部７０３は、撮影画像が一枚目か判定する。メイン制御部７０３は、撮影画像が１枚目と判定された場合は（Ｓ１６０２でＹｅｓ）、基準画像管理処理を終了し、処理をＳ１３０７へ進める。メイン制御部７０３は、撮影画像が２枚目以降と判定された場合は（Ｓ１６０２でＮｏ）、処理をＳ１６０３へ進める。
【００５６】
Ｓ１６０３において、メイン制御部７０３は、画像解析部７０６に、処理対象の撮影画像と１枚目の撮影画像の一致率を算出させた結果を取得する。次に、Ｓ１６０４において、メイン制御部７０３は、取得した一致率が０％か否かを判定する。なお一致率が０％とは、基準画像と処理対象の撮影画像が基準画像と異なる被写体を撮影した画像である場合である。メイン制御部７０３は、一致率が０％でない場合は（Ｓ１６０４でＮｏ）、Ｓ１６１０へ進める。メイン制御部７０３は、一致率が０％である場合は（Ｓ１６０４でＹｅｓ）、処理を１６０５へ進める。
【００５７】
Ｓ１６０５において、メイン制御部７０３は、基準画像を再指定する方法を選択する。例えば、選択画面をクライアント装置１０１の画面に表示してユーザに選択させてもよいし、クライアントアプリ７０２で予め設定された方法を自動で選択してもよい。メイン制御部７０３は、再指定方法が「基準画像設定モード」の場合は（Ｓ１６０５で基準画像設定モード）、処理をＳ１６０６へ進める。Ｓ１６０６において、メイン制御部７０３は、処理対象の撮影画像を基準画像に再設定する。以上で、基準画像管理処理が終了し、メイン制御部７０３は、その後処理をＳ１３０７（図１３）へ進める。
【００５８】
メイン制御部７０３は、再指定方法が「基準画像再撮影モード」の場合は（Ｓ１６０５で基準画像再撮影モード）、処理をＳ１６０７へ進める。Ｓ１６０７において、メイン制御部７０３は、操作情報取得部７０５を介してシャッターボタンが押下されたか判定する。メイン制御部７０３は、シャッターボタンが押下されるまで待機し、シャッターボタンが押下されると（Ｓ１６０７でＹｅｓ）、処理をＳ１６０８へ進める。Ｓ１６０８において、メイン制御部７０３は、画像管理部７０１に再撮影画像を保存する。次に、Ｓ１６０９において、メイン制御部７０３は、再撮影画像を基準画像に設定し、その後処理をＳ１６０３へ進める。
【００５９】
Ｓ１６１０において、メイン制御部７０３はブースト値テーブル１４００を参照し、算出した一致率に基づいて、検索ブースト値を特定する。そして、メイン制御部７０３は、検索ブースト値を処理対象の撮影画像に紐付けて記憶部７０７に一時的に保存する。以上で、基準画像管理処理が終了し、メイン制御部７０３は、その後処理をＳ１３０７（図１３）へ進める。なお、第２の実施形態に係る情報処理システムのこれ以外の構成及び処理は、第１の実施形態に係る情報処理システムの構成及び処理と同様である。
【００６０】
以上のように、第２の実施形態に係る情報処理システムにおいては、自動的に基準画像を変更することができる。
【００６１】
（第３の実施形態）
次に、第３の実施形態に係る情報処理システムについて説明する。第３の実施形態に係る情報処理システムは、拡大画像において領域を設定する。そして、設定された領域と基準画像の一致度に応じて、設定された領域と基準画像に共通に含まれるキーワードの検索ブースト値を設定する。図１７は、撮影画像のトリミングに使用する領域を決定する領域枠を、クライアントアプリ７０２の撮影ＵＩ上に表示した画面の例である。領域枠１７００は、ＵＩ上でユーザによって拡大・縮小することができてもよいし、ＵＩ上に不可視で予め設定された指定領域を内部で使用してもよい。
【００６２】
図１８は、領域管理処理を示すフローチャートである。第３の実施形態においても、第１の実施形態において図１３を参照しつつ説明した類似画像表示処理が実行される。ただし、第３の実施形態においては、類似画像表示処理のＳ１３０３でＹｅｓと判定された場合に、Ｓ１３０４〜Ｓ１３０６の処理に替えて、領域管理処理を行う。
【００６３】
Ｓ１８０１において、メイン制御部７０３は、画像管理部７０１に撮影画像を保存する。次に、Ｓ１８０２において、メイン制御部７０３は、撮影画像が一枚目か判定する。メイン制御部７０３は、撮影画像が１枚目と判定された場合は（Ｓ１８０２でＹｅｓ）、領域管理処理を終了し、処理をＳ１３０７（図１３）へ進める。メイン制御部７０３は、撮影画像が２枚目以降と判定された場合は（Ｓ１８０２でＮｏ）、処理をＳ１８０３へ進める。Ｓ１８０３において、メイン制御部７０３は、処理対象の撮影画像に対して領域を設定する。次に、Ｓ１８０４において、メイン制御部７０３は、画像解析部７０６にトリミングされた領域のトリミング画像と１枚目の撮影画像の一致率を算出させた結果を取得する。
【００６４】
次に、Ｓ１８０５において、メイン制御部７０３は、ブースト値テーブル１４００を参照し、算出した一致率に基づいて、検索ブースト値を特定する。そして、メイン制御部７０３は、検索ブースト値を、トリミング画像に紐付けて記憶部７０７に一時的に保存する。メイン制御部７０３はさらに、撮影画像のうち、Ｓ１８０３において設定された領域以外の領域の画像に対し、予め設定された検索ブースト値を紐づけて一時保存してもよい。以上で、領域管理処理が終了し、メイン制御部７０３は、その後処理をＳ１３０７（図１３）へ進める。なお、第３の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。
【００６５】
以上のように、第３の実施形態に係る情報処理システムにおいては、設定された領域に応じて、検索ブースト値を設定することができる。
【００６６】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００６７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１０１  クライアント装置
１０２  レコメンドサーバ装置
１０３  画像サーバ装置
【図１】
2018101331.tif 000003
【図２】
2018101331.tif 000004
【図３】
2018101331.tif 000005
【図４】
2018101331.tif 000006
【図５】
2018101331.tif 000007
【図６】
2018101331.tif 000008
【図７】
2018101331.tif 000009
【図８】
2018101331.tif 000010
【図９】
2018101331.tif 000011
【図１０】
2018101331.tif 000012
【図１１】
2018101331.tif 000013
【図１２】
2018101331.tif 000014
【図１３】
2018101331.tif 000015
【図１４】
2018101331.tif 000016
【図１５】
2018101331.tif 000017
【図１６】
2018101331.tif 000018
【図１７】
2018101331.tif 000019
【図１８】
2018101331.tif 000020