(57)【要約】【課題】撮像画像に対する検索処理の負荷を低減しつつ、撮像画像に関する情報を検索することが可能な情報処理システム、情報処理方法、及び情報処理プログラムを提供すること。【解決手段】情報処理システムは、利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識処理部と、前記認識処理部により認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索処理部と、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する登録処理部と、を備える。【選択図】図１
2020113184.tif 000002
【特許請求の範囲】
【請求項１】
利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得処理部と、
前記画像取得処理部により取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識処理部と、
前記認識処理部により認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索処理部と、
前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する登録処理部と、
を備える情報処理システム。
【請求項２】
記憶部に予め記憶された複数の前記施設のそれぞれに関する施設情報と、前記認識処理部により認識される前記文字情報との一致度を算出する算出処理部をさらに備え、
前記検索処理部は、前記算出処理部により算出される前記一致度が第１閾値以上となる前記施設情報に対応する前記所定の情報である第１情報と、前記一致度が第２閾値以上かつ前記第１閾値未満となる前記施設情報に対応する前記所定の情報である第２情報とを検索し、
前記登録処理部は、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記第１情報及び前記第２情報とを関連付けて登録する、
請求項１に記載の情報処理システム。
【請求項３】
記憶部に予め記憶された複数の前記施設のそれぞれに関する施設情報と、前記認識処理部により認識される前記文字情報との一致度を算出する算出処理部をさらに備え、
前記検索処理部は、前記算出処理部により算出される前記一致度が第１閾値以上となる前記施設情報に対応する前記所定の情報を検索し、
前記登録処理部は、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する、
請求項１に記載の情報処理システム。
【請求項４】
前記算出処理部により算出される前記一致度が前記第１閾値未満の場合に、前記認識処理部は、さらに、前記撮像画像を画像解析して、前記表示媒体に表示された写真情報を認識し、
前記算出処理部は、前記記憶部に予め記憶された複数の前記施設のそれぞれに関する前記施設情報と、前記認識処理部により認識される前記写真情報との一致度を算出し、
前記検索処理部は、前記算出処理部により算出される前記一致度が第２閾値以上となる前記施設情報に対応する前記所定の情報を検索し、
前記登録処理部は、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する、
請求項３に記載の情報処理システム。
【請求項５】
前記算出処理部により算出される前記一致度が前記第２閾値未満の場合に、前記認識処理部は、さらに、前記撮像画像に関連付けられた撮像場所を示す位置情報を認識し、
前記算出処理部は、前記記憶部に予め記憶された複数の前記施設のそれぞれに関する前記施設情報と、前記認識処理部により認識される前記位置情報との一致度を算出し、
前記検索処理部は、前記算出処理部により算出される前記一致度が第３閾値以上となる前記施設情報に対応する前記所定の情報を検索し、
前記登録処理部は、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する、
請求項４に記載の情報処理システム。
【請求項６】
前記検索処理部は、前記認識処理部により認識される前記文字情報、前記写真情報、又は前記位置情報により特定される前記施設情報に対応する第１情報と、当該第１情報に関連する第２情報とを検索し、
前記登録処理部は、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記第１情報及び前記第２情報とを関連付けて登録する、
請求項５に記載の情報処理システム。
【請求項７】
前記表示媒体には第１施設に関する施設情報が表示されており、
前記検索処理部は、前記第１施設に関する前記第１情報と、前記第１施設の場所に近い第２施設、前記第１施設と同じ業態の第３施設、前記表示媒体が撮像された場所に近い第４施設、及び、前記表示媒体が撮像された日時に利用可能な第５施設のうち少なくともいずれかの施設に関する前記第２情報とを、検索する、
請求項６に記載の情報処理システム。
【請求項８】
前記検索処理部により検索される前記所定の情報に対応する提示情報を前記利用者端末に提示する提示処理部をさらに備え、
前記提示処理部は、現在日時と前記撮像画像に関連付けられた日時情報とに基づいて、前記提示情報を前記利用者端末に提示する、
請求項１〜７のいずれかに記載の情報処理システム。
【請求項９】
前記表示媒体には飲食店に関する施設情報が表示されており、
前記提示処理部は、前記検索処理部により検索される前記所定の情報に関連付けられた前記飲食店を利用可能な日時を示す日時情報に基づいて、前記提示情報を前記利用者端末に提示する、
請求項８に記載の情報処理システム。
【請求項１０】
前記表示媒体にはイベントに関するイベント情報が表示されており、
前記提示処理部は、前記検索処理部により検索される前記所定の情報に関連付けられた前記イベントの開催日時を示す日時情報に基づいて、前記提示情報を前記利用者端末に提示する、
請求項８に記載の情報処理システム。
【請求項１１】
前記検索処理部により検索される前記所定の情報に対応する提示情報を前記利用者端末に提示する提示処理部をさらに備え、
前記提示処理部は、前記利用者の現在位置と前記撮像画像に関連付けられた位置情報とに基づいて、前記提示情報を前記利用者端末に提示する、
請求項１〜７のいずれかに記載の情報処理システム。
【請求項１２】
前記表示媒体には予約対象に関する予約対象情報が表示されており、
前記検索処理部により検索される前記所定の情報に対応する提示情報を前記利用者端末に提示する提示処理部をさらに備え、
前記提示情報は、前記予約対象に対する前記利用者からの予約を受け付ける予約受付情報を含む、
請求項１〜７のいずれかに記載の情報処理システム。
【請求項１３】
利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得ステップと、
前記画像取得ステップにより取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識ステップと、
前記認識ステップにより認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索ステップと、
前記画像取得ステップにより取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索ステップにより検索される前記所定の情報とを関連付けて登録する登録ステップと、
を一又は複数のプロセッサーにより実行する情報処理方法。
【請求項１４】
利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得ステップと、
前記画像取得ステップにより取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識ステップと、
前記認識ステップにより認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索ステップと、
前記画像取得ステップにより取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索ステップにより検索される前記所定の情報とを関連付けて登録する登録ステップと、
を一又は複数のプロセッサーに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
従来、利用者が携帯端末に搭載されたカメラにより撮影した雑誌、新聞、ポスター等の画像を解析して、当該画像に関する情報を検索する技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７７４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、写真、名称及び説明文を含む撮像画像の全体を検索対象としている。このため、検索処理の照合に必要な情報量が多くなるため、検索処理を行うシステムの負荷が大きくなる問題が生じる。
【０００５】
本発明の目的は、撮像画像に対する検索処理の負荷を低減しつつ、撮像画像に関する情報を検索することが可能な情報処理システム、情報処理方法、及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理システムは、利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識処理部と、前記認識処理部により認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索処理部と、前記画像取得処理部により取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索処理部により検索される前記所定の情報とを関連付けて登録する登録処理部と、を備える。
【０００７】
本発明に係る情報処理方法は、利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得ステップと、前記画像取得ステップにより取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識ステップと、前記認識ステップにより認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索ステップと、前記画像取得ステップにより取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索ステップにより検索される前記所定の情報とを関連付けて登録する登録ステップと、を一又は複数のプロセッサーにより実行する。
【０００８】
本発明に係る情報処理プログラムは、利用者端末における利用者の操作に基づいてカメラにより撮像される、施設に関する施設情報が表示された表示媒体の撮像画像を取得する画像取得ステップと、前記画像取得ステップにより取得される前記撮像画像を画像解析して、前記表示媒体に表示された文字情報を認識する認識ステップと、前記認識ステップにより認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する検索ステップと、前記画像取得ステップにより取得される前記撮像画像に対応する少なくとも一部の情報と、前記検索ステップにより検索される前記所定の情報とを関連付けて登録する登録ステップと、を一又は複数のプロセッサーに実行させるための情報処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、撮像画像に対する検索処理の負荷を低減しつつ、撮像画像に関する情報を検索することが可能な情報処理システム、情報処理方法、及び情報処理プログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】図２は、本発明の実施形態に係る情報処理システムで使用される施設情報の一例を示す図である。
【図３】図３は、本発明の実施形態に係る表示媒体の一例を示す図である。
【図４】図４は、本発明の実施形態に係る情報処理システムで使用される登録情報の一例を示す図である。
【図５】図５は、本発明の実施形態に係る利用者端末に表示される撮像画像の一例を示す図である。
【図６】図６は、本発明の実施形態に係る利用者端末に表示される提示情報の一例を示す図である。
【図７】図７は、本発明の実施形態に係る情報処理装置で実行される情報検索処理の手順の一例を示すフローチャートである。
【図８】図８は、本発明の実施形態に係る情報処理装置で実行される情報検索処理の手順の他の例を示すフローチャートである。
【図９】図９は、本発明の実施形態に係る情報処理装置で実行される情報検索処理の手順の他の例を示すフローチャートである。
【図１０】図１０は、本発明の実施形態に係る情報処理装置で実行される情報検索処理の手順の他の例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１２】
［情報処理システム１００］
図１に示すように、本発明の実施形態に係る情報処理システム１００は、情報処理装置１と利用者端末２とを含む。情報処理装置１及び利用者端末２は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。利用者端末２は、１台であってもよいし複数台であってもよい。
【００１３】
情報処理装置１は、利用者端末２において撮像された表示媒体３の撮像画像に基づいて、当該撮像画像に表示された施設に関する施設情報を検索して利用者端末２に提示する。情報処理装置１は、複数の施設に関する施設情報を提供する施設情報提供サイトとしての機能を備えている。表示媒体３は、雑誌、新聞、広告、ポスター、ＴＶ、ＳＮＳ、ＷＥＢなど、前記施設の情報を表示するあらゆる媒体を含む。また、前記施設は、飲食店、コンサート会場、遊園地、競技場（野球場、サッカー場など）、祭り会場、劇場（映画館、演劇など）、遊技場（パチンコ、ゲームセンターなど）、ゴルフ場など、サービスを提供したり、イベントを開催したりする施設を含む。また、表示媒体３に表示される情報は、例えば、施設の写真、施設の名称、所在地、電話番号、ＵＲＬ、利用可能日時、交通情報（アクセス情報）、予約情報などである。表示媒体３には、これら情報の少なくとも一つが表示されている。
【００１４】
例えば、利用者は、雑誌を閲覧しているときに、当該雑誌に掲載された飲食店Ａの記事を見て飲食店Ａに興味を持った場合に、利用者端末２のカメラ２５（図５参照）で飲食店Ａの記事を撮影する。前記記事には、飲食店Ａの名称、飲食店Ａの外観の写真、飲食店Ａの電話番号などが表示されている。情報処理装置１は、利用者端末２から飲食店Ａの記事の撮像画像を取得すると、当該撮像画像に基づいて飲食店Ａに関する情報（例えば名称、住所、ＵＲＬ）を検索し、検索した情報を、当該撮像画像に含まれる写真又は当該撮像画像に対応する情報（例えば撮像場所、撮像日時などのＥＸＩＦ情報）に関連付けて登録するとともに利用者端末２に送信する。
【００１５】
ところで、表示媒体３における写真、名称及び説明文を含む撮像画像の全体を検索対象とする構成では、検索処理の照合に必要な情報量が多くなるため、検索処理を行うシステムの負荷が大きくなる問題が生じる。これに対して、本実施形態に係る情報処理システム１００によれば、撮像画像に対する検索処理の負荷を低減しつつ、撮像画像に関する情報を検索することが可能である。
【００１６】
［情報処理装置１］
図１に示されるように、情報処理装置１は、制御部１１、記憶部１２、及び通信Ｉ／Ｆ１３などを備えるサーバーコンピューターである。なお、情報処理装置１は、１台のコンピューターに限らず、複数台のコンピューターが協働して動作するコンピューターシステムであってもよい。また、情報処理装置１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。情報処理装置１は、本発明の情報処理システムの一例である。
【００１７】
通信Ｉ／Ｆ１３は、情報処理装置１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して１又は複数の利用者端末２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【００１８】
記憶部１２は、各種の情報を記憶する半導体メモリー、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。具体的に、記憶部１２には、施設情報Ｄ１及び登録情報Ｄ２などのデータが記憶される。図２は、施設情報Ｄ１の一例を示す図である。図４は、登録情報Ｄ２の一例を示す図である。
【００１９】
施設情報Ｄ１には、複数の施設に関する情報が予め登録されている。施設情報Ｄ１には、前記施設情報提供サイトに登録されている複数の施設に関する情報が含まれる。図２に示されるように、施設情報Ｄ１には、施設ごとに、対応する「施設ＩＤ」、「施設名」、「所在地」、「電話番号」、「ＵＲＬ」、「写真」、「利用可能日時」、「業態」などの情報が登録される。「施設ＩＤ」は、前記施設を識別するための識別情報である。「施設名」は、前記施設の名称である。「所在地」は、前記施設の所在地（住所）を示す。「電話番号」は、前記施設の電話番号である。「ＵＲＬ」は、前記施設のＷＥＢページにアクセスするためのアドレスである。「写真」は、前記施設の内観、外観などを撮影した写真である。なお、写真の画像データが記憶部１２の画像データ格納部（不図示）に記憶され、画像データの識別情報が施設情報Ｄ１の「写真」に登録されてもよい。前記施設が例えば飲食店の場合、「写真」は、飲食店で提供される料理又はメニューの写真であってもよい。「利用可能日時」は、前記施設を利用することが可能な日時（開店時間、閉店時間、イベント開催日時（イベント開始日時、イベント終了日時）など）を示す。「業態」は、前記施設のジャンル（飲食店、イベントなど）を示す。また、施設情報Ｄ１には、前記施設に来訪するために利用される交通機関の情報（アクセス情報）、前記施設を利用するために必要な料金（利用料金）の情報などが登録されてもよい。
【００２０】
表示媒体３には、施設情報Ｄ１に含まれる少なくとも一部の情報が表示（掲載）される。図３には、表示媒体３の一例を示している。図３の表示媒体３は、例えば雑誌に掲載された飲食店Ａに関する記事を示している。図３に示す表示媒体３には、施設名「飲食店Ａ」、写真「写真Ａ」、所在地「住所Ａ」、電話番号「電話番号Ａ」、利用可能時間「利用可能時間Ａ」、ＵＲＬ「ＵＲＬ＿Ａ」などの情報が表示されている。また、写真Ａの下欄には、飲食店Ａの紹介文などのコメント３１が表示されている。施設名は写真Ａの上欄に表示されており、住所、電話番号、利用可能時間、ＵＲＬなどのテキスト形式の情報（文字情報）は、表示媒体３の下端領域３２に表示されている。利用者は、利用者端末２のカメラ２５により表示媒体３を撮影する。
【００２１】
登録情報Ｄ２には、情報処理装置１において検索される情報が登録される。図４に示されるように、登録情報Ｄ２には、利用者により撮影された撮像画像に対応する「画像情報」ごとに「検索情報」が関連付けられて登録される。「画像情報」は、前記撮像画像に対応する情報であって、例えば撮像画像に含まれる写真、所在地、電話番号、ＵＲＬ、利用可能日時、業態、交通機関、利用料金などの情報、又は、前記撮像画像に関連付けられた撮像場所、撮像日時などの情報（例えばＥＸＩＦ情報）である。「検索情報」は、情報処理装置１において前記撮像画像に基づいて検索された結果を示す情報である。前記所定の情報には、前記撮像画像に対応する前記施設を特定するための施設情報Ｄ１に含まれる１又は複数の情報が含まれる。例えば図４に示す登録情報Ｄ２では、「画像情報」である「写真（写真Ａ）」に対して、「施設名」である「飲食店Ａ」が関連付けられて登録されており、「画像情報」である「写真（写真Ｂ）」に対して、「施設名」である「飲食店Ｂ」及び「飲食店Ｃ」が関連付けられて登録されている。また、例えば、「画像情報」である「所在地（住所Ｃ）」に対して、「施設名」である「飲食店Ｃ」及び「会場Ｄ」が関連付けられて登録されており、「画像情報」である「利用可能時間（利用可能時間Ｄ）」に対して、「施設名」である「会場Ｄ」、「飲食店Ａ」及び「飲食店Ｂ」が関連付けられて登録されている。なお、登録情報Ｄ２に登録される検索情報は、施設情報Ｄ１に含まれる「所在地」、「電話番号」、「ＵＲＬ」、「写真」、「利用可能日時」、「業態」、「交通機関」、「利用料金」などの情報であってもよい。登録情報Ｄ２と施設情報Ｄ１とは互いに関連付けられて記憶される。
【００２２】
なお、他の実施形態として、施設情報Ｄ１及び登録情報Ｄ２の一方又は両方が、情報処理装置１から通信網Ｎ１を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、情報処理装置１の制御部１１は、必要に応じて前記サーバーから各種の情報を取得して、後述の情報検索処理（図７参照）などの各処理を実行してもよい。
【００２３】
さらに、記憶部１２には、制御部１１に後述の情報検索処理（図７参照）を実行させるための情報検索処理プログラム（情報処理プログラム）などの制御プログラムが記憶されている。例えば、前記情報検索処理プログラムは、ＣＤ又はＤＶＤなどのコンピューター読取可能な記録媒体に非一時的に記録されており、情報処理装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。
【００２４】
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより情報処理装置１を制御する。
【００２５】
具体的に、制御部１１は、図１に示されるように、画像取得処理部１１１、認識処理部１１２、算出処理部１１３、検索処理部１１４、登録処理部１１５、提示処理部１１６などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記情報検索処理プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記情報検索処理プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【００２６】
画像取得処理部１１１は、利用者端末２における利用者の操作に基づいてカメラ２５により撮像される、施設に関する施設情報が表示された表示媒体３（図３参照）の撮像画像を取得する。画像取得処理部１１１は、本発明の画像取得処理部の一例である。例えば、利用者が雑誌などの表示媒体３に掲載された所望の施設の記事を利用者端末２のカメラ２５で撮像した場合に、画像取得処理部１１１は、利用者端末２から撮像画像を取得する。
【００２７】
認識処理部１１２は、画像取得処理部１１１により取得される前記撮像画像を画像解析して、表示媒体３に表示された文字情報（テキスト情報）を認識する。認識処理部１１２は、本発明の認識処理部の一例である。具体的には、認識処理部１１２は、前記撮像画像の画像データに対して文字認識処理（ＯＣＲ）を実行して、前記撮像画像から文字情報を抽出する。前記文字情報には、施設名、所在地（住所）、電話番号、ＵＲＬ、利用可能日時、交通機関（アクセス情報）、紹介文（図３のコメント３１）など、テキスト形式で表された情報が含まれる。
【００２８】
ここで、認識処理部１１２は、前記撮像画像において、所定の領域を優先的に画像解析してもよい。一般的に、表示媒体３では文字情報は表示媒体３の上端又は下端に表示され、写真情報は表示媒体３の中央付近に表示される。そこで、認識処理部１１２は、上端領域又は下端領域を優先して画像解析することが好ましい。さらに、認識処理部１１２は、最初に下端領域を画像解析し、次に上端領域を画像解析してもよい。これにより、画像解析処理の負荷を最小限に抑えることができる。また、認識処理部１１２は、表示媒体３に掲載された施設を特定しやすく、且つ解析しやすい電話番号などの文字情報から優先的に解析、認識してもよい。これにより、画像解析処理の負荷をさらに軽減することができる。
【００２９】
算出処理部１１３は、記憶部１２に予め記憶された複数の施設のそれぞれに関する施設情報Ｄ１と、認識処理部１１２により認識される前記文字情報との一致度を算出する。算出処理部１１３は、本発明の算出処理部の一例である。例えば、算出処理部１１３は、認識処理部１１２が前記撮像画像から抽出した施設名と、施設情報Ｄ１に登録された複数の施設のそれぞれの「施設名」との一致度を算出する。前記一致度は、例えば、施設情報Ｄ１に登録された「施設名」の文字に対して、前記抽出した施設名の文字が一致する割合で示される。抽出した施設名の文字と、施設情報Ｄ１に登録された「施設名」の文字が全て一致する場合、算出処理部１１３は、前記一致度を例えば「１００」とし、抽出した施設名の文字と、施設情報Ｄ１に登録された「施設名」の文字が半分一致する場合、算出処理部１１３は、前記一致度を「５０」とする。
【００３０】
算出処理部１１３は、複数の施設情報Ｄ１を用いて前記一致度を算出してもよい。例えば、算出処理部１１３は、認識処理部１１２が前記撮像画像から抽出した施設名、住所、及び電話番号と、施設情報Ｄ１に登録された複数の施設のそれぞれの「施設名」、「住所」、及び「電話番号」との一致度を算出する。
【００３１】
検索処理部１１４は、認識処理部１１２により認識される前記文字情報に基づいて、前記施設に関する所定の情報を検索する。検索処理部１１４は、本発明の検索処理部の一例である。具体的には、検索処理部１１４は、算出処理部１１３により算出される前記一致度が閾値以上となる施設情報Ｄ１に対応する所定の情報を検索する。例えば、認識処理部１１２により認識（抽出）された施設名と、施設情報Ｄ１に登録された飲食店Ａとの一致度が閾値以上である場合に、検索処理部１１４は、飲食店Ａに関する情報として、施設名「飲食店Ａ」、所在地「住所Ａ」、電話番号「電話番号Ａ」、ＵＲＬ「ＵＲＬ＿Ａ」、写真「写真Ａ」、利用可能日時「利用可能日時Ａ」、業態「飲食店」、「交通機関」、「利用料金」の少なくとも一部の情報を検索及び抽出する。
【００３２】
他の実施形態として、検索処理部１１４は、認識処理部１１２により前記撮像画像から抽出された複数の文字情報に基づいて所定の情報を検索してもよい。例えば、検索処理部１１４は、認識処理部１１２により認識（抽出）された住所、利用可能時間などに基づいて所定の情報を検索してもよい。これにより、検索処理部１１４は、例えば、認識処理部１１２により前記認識された住所と同一又は近い飲食店であって、利用可能時間が同一又は類似する飲食店の情報を検索することができる。
【００３３】
また、検索処理部１１４は、前記一致度が閾値以上となる施設情報Ｄ１に対応する施設が複数存在する場合には、それぞれの施設に対応する所定の情報を検索する。例えば、認識処理部１１２により認識（抽出）された施設名と、施設情報Ｄ１に登録された飲食店Ｂ及び飲食店Ｃのそれぞれの一致度が閾値以上である場合に、検索処理部１１４は、飲食店Ｂに関する情報（施設名「飲食店Ｂ」）と、飲食店Ｃに関する情報（施設名「飲食店Ｃ」）とを検索及び抽出する。
【００３４】
また例えば、認識処理部１１２により認識（抽出）された住所と、施設情報Ｄ１に登録された飲食店Ｃ及び会場Ｄのそれぞれの住所との一致度が閾値以上である場合に、検索処理部１１４は、飲食店Ｃに関する情報（施設名「飲食店Ｃ」）と、会場Ｄに関する情報（施設名「会場Ｄ」）とを検索及び抽出する。なお、この場合に、検索処理部１１４は、施設情報Ｄ１に登録された施設のうち、同一の業態（例えば「飲食店」）の施設のみを検索及び抽出してもよい。
【００３５】
また、検索処理部１１４は、前記一致度が閾値以上となる施設情報Ｄ１に対応する第１施設に対応する所定の情報と、第１施設に関連する他の施設に対応する所定の情報とを検索してもよい。例えば、検索処理部１１４は、前記第１施設に関する第１検索情報と、前記第１施設の場所（住所）に近い第２施設、前記第１施設と同じ業態（例えば「飲食店」）の第３施設、表示媒体３が撮像された場所に近い第４施設、及び、表示媒体３が撮像された日時に利用可能な第５施設のうち少なくともいずれかの施設に関する第２検索情報とを、検索及び抽出してもよい。
【００３６】
また、検索処理部１１４は、前記所定の情報として、前記施設が掲載された表示媒体３自体に関する情報を検索及び抽出してもよい。例えば、検索処理部１１４は、飲食店Ａが掲載された雑誌のタイトル、掲載ページ、発行日などの情報を検索及び抽出してもよい。
【００３７】
なお、前記閾値は、表示媒体３に表示された施設と、施設情報Ｄ１に登録された施設とが一致すると判断することが可能な程度の値に設定される。また、前記閾値は、認識処理部１１２により認識される前記文字情報の種類に応じて異なる値に設定されてもよい。例えば、前記文字情報の種類が施設名である場合は、前記閾値は相対的に低い値に設定され、前記文字情報の種類が電話番号である場合は、前記閾値は相対的に高い値に設定される。これにより、表示媒体３に表示された施設と、施設情報Ｄ１に登録された施設とが一致するか否かの判定結果の信頼性を高めることができる。なお、認識処理部１１２は、画像解析において、前記文字情報の文字の配列パターンなどに基づいて、施設名、住所、電話番号、ＵＲＬなどの種類を判定することができる。
【００３８】
なお、前記一致度が閾値以上となる施設情報Ｄ１が記憶部１２に存在しない場合は、検索処理部１１４は、前記所定の情報（検索情報）を検索及び抽出する処理を行わない。これにより、撮像画像に対する検索処理の負荷を軽減することができる。
【００３９】
登録処理部１１５は、画像取得処理部１１１により取得される前記撮像画像に対応する少なくとも一部の情報（画像情報）と、検索処理部１１４により検索される前記所定の情報（検索情報）とを関連付けて記憶部１２の登録情報Ｄ２（図４参照）に登録する。登録処理部１１５は、本発明の登録処理部の一例である。前記撮像画像に対応する少なくとも一部の情報には、前記撮像画像の全体、前記撮像画像に含まれる施設の外観、内観、料理などを示す写真、施設情報Ｄ１に登録された写真、前記撮像画像に含まれる施設名、住所、電話番号、利用可能時間、ＵＲＬなどの文字情報、前記撮像画像のＥＸＩＦ情報に含まれる撮像場所（位置情報）、撮像日時（日時情報）などが含まれる。
【００４０】
例えば、登録処理部１１５は、画像取得処理部１１１により取得される前記撮像画像に対応する写真Ａと、検索処理部１１４により検索される飲食店Ａの施設名とを関連付けて登録情報Ｄ２に登録する（図４参照）。また、例えば、登録処理部１１５は、画像取得処理部１１１により取得される前記撮像画像に対応する写真Ｂと、検索処理部１１４により検索される飲食店Ｂ及び飲食店Ｃの施設名とを関連付けて登録情報Ｄ２に登録する（図４参照）。なお、写真Ａ，Ｂは、前記撮像画像に含まれる写真であってもよいし、施設情報Ｄ１に登録された写真であってもよい。
【００４１】
また例えば、認識処理部１１２により前記撮像画像から抽出された住所Ｃと、施設情報Ｄ１に登録された飲食店Ｃ及び会場Ｄのそれぞれの住所との一致度が閾値以上である場合に、検索処理部１１４は、飲食店Ｃ及び会場Ｄに関する情報として、施設名「飲食店Ｃ」及び「会場Ｄ」の情報を検索及び抽出する。この場合、登録処理部１１５は、前記撮像画像に対応する住所Ｃと、検索処理部１１４により検索される飲食店Ｃ及び会場Ｄの施設名とを関連付けて登録情報Ｄ２に登録する（図４参照）。また、登録処理部１１５は、前記撮像画像に対応する写真Ｃ、施設名「飲食店Ｃ」、又は住所Ｃの周辺地図と、検索処理部１１４により検索される飲食店Ｃ及び会場Ｄの施設名、ＵＲＬ、住所などの情報とを関連付けて登録情報Ｄ２に登録してもよい。
【００４２】
また例えば、認識処理部１１２により前記撮像画像から抽出された利用可能時間Ｄと、施設情報Ｄ１に登録された会場Ｄ、飲食店Ａ及び飲食店Ｂのそれぞれの利用可能時間との一致度が閾値以上である場合に、検索処理部１１４は、会場Ｄ、飲食店Ａ及び飲食店Ｂに関する情報として、施設名「会場Ｄ」、「飲食店Ａ」及び「飲食店Ｂ」の情報を検索及び抽出する。この場合、登録処理部１１５は、前記撮像画像に対応する利用可能時間Ｄと、検索処理部１１４により検索される会場Ｄ、飲食店Ａ及び飲食店Ｂの施設名とを関連付けて登録情報Ｄ２に登録する（図４参照）。また、登録処理部１１５は、前記撮像画像に対応する写真Ｄ又は施設名「会場Ｄ」と、検索処理部１１４により検索される会場Ｄ、飲食店Ａ及び飲食店Ｂの施設名、ＵＲＬ、利用可能時間などの情報とを関連付けて登録情報Ｄ２に登録してもよい。
【００４３】
提示処理部１１６は、検索処理部１１４により検索される前記所定の情報に対応する提示情報を利用者端末２に提示する。提示処理部１１６は、本発明の提示処理部の一例である。具体的には、提示処理部１１６は、検索処理部１１４により検索され、登録情報Ｄ２に登録される前記所定の情報（検索情報）を前記提示情報として利用者端末２に送信する。前記提示情報には、撮像画像、又は、図４に示す登録情報Ｄ２の画像情報が含まれてもよい。
【００４４】
他の実施形態として、提示処理部１１６は、登録情報Ｄ２に登録された前記所定の情報に関する提示情報を、施設情報Ｄ１に登録された利用可能日時の情報に基づいて、利用者端末２に送信してもよい。例えば、現在日時が、施設情報Ｄ１に登録された利用可能日時Ａ（開店時間、予約日時など）に近づいた場合に、提示処理部１１６は、登録情報Ｄ２に登録された飲食店Ａに関する提示情報（広告、予約催促メッセージ、予約確認メッセージ、道案内情報など）を利用者端末２に送信する。また、表示媒体３にイベントに関するイベント情報が表示されている場合には、現在日時が、施設情報Ｄ１に登録された利用可能日時（イベント開催日時など）に近づいた場合に、提示処理部１１６は、登録情報Ｄ２に登録されたイベントに関する前記提示情報を利用者端末２に送信する。
【００４５】
また提示処理部１１６は、登録情報Ｄ２に登録された前記所定の情報に関する提示情報を、施設情報Ｄ１に登録された住所の情報に基づいて、利用者端末２に送信してもよい。例えば、利用者端末２の現在位置（現在地）が、施設情報Ｄ１に登録された施設の住所に近づいた場合に、提示処理部１１６は、登録情報Ｄ２に登録された施設に関する提示情報（広告、予約催促メッセージ、予約確認メッセージ、道案内情報など）を利用者端末２に送信する。
【００４６】
また、表示媒体３に予約対象に関する予約対象情報が表示されている場合に、提示処理部１１６は、前記予約対象に対する利用者からの予約を受け付ける予約受付情報を含む提示情報を利用者端末２に提示してもよい。例えば、表示媒体３に飲食店Ａの予約に関する予約情報が表示されている場合において、認識処理部１１２が飲食店Ａの名称と前記予約情報を認識した場合に、提示処理部１１６は、検索処理部１１４により検索される飲食店Ａの名称と、飲食店Ａの予約受付情報とを含む提示情報を利用者端末２に送信する。
【００４７】
なお、画像取得処理部１１１、認識処理部１１２、算出処理部１１３、検索処理部１１４、登録処理部１１５、提示処理部１１６の一部又は全部の処理部が、利用者端末２に設けられてもよい。画像取得処理部１１１、認識処理部１１２、算出処理部１１３、検索処理部１１４、登録処理部１１５、提示処理部１１６が設けられた利用者端末２は、本発明の情報処理システムの一例である。
【００４８】
［利用者端末２］
図１に示されるように、利用者端末２は、制御部２１、記憶部２２、操作表示部２３、通信Ｉ／Ｆ２４、及びカメラ２５などを備える。利用者端末２は、表示媒体３を撮影する利用者が所有する携帯端末であり、例えばスマートフォン、携帯電話、又はタブレット端末のような情報処理装置である。
【００４９】
カメラ２５は、被写体である表示媒体３の画像を撮像してデジタル画像データとして出力するデジタルカメラである。
【００５０】
通信Ｉ／Ｆ２４は、利用者端末２を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して情報処理装置１などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【００５１】
操作表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部２３１と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部２３２とを備えるユーザーインターフェースである。
【００５２】
記憶部２２は、各種の情報を記憶するフラッシュメモリーなどの不揮発性の記憶部である。記憶部２２には、制御部２１に各種の処理を実行させるための制御プログラムが記憶されている。
【００５３】
制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより利用者端末２を制御する。
【００５４】
具体的に、制御部２１は、画像処理部２１１、表示処理部２１２などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【００５５】
画像処理部２１１は、カメラ２５により撮像された表示媒体３（図３参照）の撮像画像を取得し、当該撮像画像に対応するデジタル画像データを情報処理装置１に送信する。
【００５６】
表示処理部２１２は、各種の情報を操作表示部２３に表示させる。例えば図５に示すように、利用者が撮影モードで操作部２３２を押下した場合に、表示処理部２１２は、カメラ２５により撮像された撮像画像Ｐ１を表示部２３１に表示させる。
【００５７】
また、表示処理部２１２は、情報処理装置１から提示される前記提示情報を表示部２３１に表示させる。図６には、利用者端末２に表示される前記提示情報の一例を示している。図６に示す提示情報は、図４に示す登録情報Ｄ２に対応する。例えば、利用者が撮影した表示媒体３に表示された写真Ａに関連付けられた飲食店Ａに対応する前記提示情報が情報処理装置１から送信された場合、表示処理部２１２は、写真Ａと、前記提示情報に含まれる飲食店Ａの名称、住所、ＵＲＬなどの表示とを表示させる。また利用者が撮影した表示媒体３に表示された写真Ｂに関連付けられた飲食店Ｂ及び飲食店Ｃに対応する前記提示情報が情報処理装置１から送信された場合、表示処理部２１２は、写真Ｂと、前記提示情報に含まれる飲食店Ｂ及び飲食店Ｃの名称、住所、ＵＲＬなどの表示とを表示させる。
【００５８】
また、利用者が撮影した表示媒体３に表示された住所Ｃに関連付けられた飲食店Ｃ及び会場Ｄに対応する前記提示情報が情報処理装置１から送信された場合、表示処理部２１２は、住所Ｃの周辺の地図Ｃと、前記提示情報に含まれる飲食店Ｃ及び会場Ｄの名称、住所、ＵＲＬなどの表示とを表示させる。なお、地図Ｃの情報は前記提示情報に含まれる。
【００５９】
なお、前記提示情報には、登録情報Ｄ２に登録された画像情報が含まれてもよいし、登録情報Ｄ２とは異なる情報（例えば、前記地図Ｃの情報）が含まれてもよい。また前記提示情報に撮像画像Ｐ１が含まれる場合、表示処理部２１２は、撮像画像Ｐ１と、前記提示情報に含まれる施設の情報とを表示させる。
【００６０】
また、登録情報Ｄ２において所定の利用者に対して複数の撮像画像に対応する登録情報Ｄ２が登録されている場合、表示処理部２１２は、図６に示すように、施設情報をリスト形式にして表示部２３１に表示させることが可能である。
【００６１】
［情報検索処理］
以下、図７を参照しつつ、情報処理装置１の制御部１１によって実行される情報検索処理について説明する。例えば、情報処理装置１の制御部１１は、利用者が表示媒体３を利用者端末２のカメラ２５により撮影することにより前記情報検索処理プログラムの実行を開始することによって、前記情報検索処理の実行を開始する。なお、制御部１１は、複数の利用者のそれぞれが表示媒体３を利用者端末２のカメラ２５により撮影した場合に、利用者ごとに前記情報検索処理を個別に並行して実行してもよい。
【００６２】
なお、本発明は、前記情報検索処理に含まれる一又は複数のステップを実行する情報処理方法の発明として捉えることができる。
【００６３】
なお、ここで説明する前記情報検索処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記情報検索処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１によって前記情報検索処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、複数のプロセッサーによって前記情報検索処理における各ステップが分散して実行されてもよい。
【００６４】
ステップＳ１１において、制御部１１は、利用者端末２における利用者の操作に基づいてカメラ２５により撮像される表示媒体３（図３参照）の撮像画像を取得する。前記ステップＳ１１は、本発明の画像取得ステップの一例である。
【００６５】
次にステップＳ１２において、制御部１１は、前記撮像画像に対して画像解析の処理（文字認識処理（ＯＣＲ））を実行する。
【００６６】
次にステップＳ１３において、制御部１１は、前記撮像画像から、施設名、所在地（住所）、電話番号、ＵＲＬ、利用可能日時などの文字情報を認識する。なお、制御部１１は、施設を特定しやすく、且つ解析しやすい電話番号などの文字情報から優先的に解析、認識してもよい。これにより、画像解析処理の負荷を軽減することができる。前記ステップＳ１２，Ｓ１３は、本発明の認識ステップの一例である。
【００６７】
次にステップＳ１４において、制御部１１は、記憶部１２に予め記憶された複数の施設のそれぞれに関する施設情報Ｄ１と、前記文字情報との一致度を算出する。前記ステップＳ１４は、本発明の算出ステップの一例である。
【００６８】
次にステップＳ１５において、制御部１１は、記憶部１２に、前記一致度が閾値以上となる施設情報Ｄ１が存在するか否かを判定する。記憶部１２に、前記一致度が閾値以上となる施設情報Ｄ１が存在しないと判定された場合（Ｓ１５：ＮＯ）、処理は終了する。前記一致度が閾値以上となる施設情報Ｄ１が記憶部１２に存在しない場合は、制御部１１は、以下のステップＳ１６の処理、すなわち、所定の情報（検索情報）を検索及び抽出する処理を行わない。これにより、撮像画像に対する検索処理の負荷を軽減することができる。前記ステップＳ１５は、本発明の検索ステップの一例である。
【００６９】
ステップＳ１６において、制御部１１は、前記一致度が閾値以上となる施設情報Ｄ１に対応する所定の情報（検索情報）を検索及び抽出し、抽出した前記所定の情報（検索情報）を登録情報Ｄ２に登録する。具体的には、制御部１１は、前記撮像画像に対応する少なくとも一部の情報（画像情報）と、前記所定の情報（検索情報）とを関連付けて登録情報Ｄ２に登録する。例えば、制御部１１は、前記撮像画像に含まれる施設の写真と、当該施設の名称とを関連付けて登録情報Ｄ２に登録する（図４参照）。前記ステップＳ１６は、本発明の登録ステップの一例である。
【００７０】
次にステップＳ１７において、制御部１１は、前記所定の情報に対応する提示情報を利用者端末２に提示する。具体的には、制御部１１は、前記画像情報及び前記検索情報を含む登録情報Ｄ２を利用者端末２に送信する。前記ステップＳ１７は、本発明の提示ステップの一例である。
【００７１】
以上説明したように、本実施形態に係る情報処理システム１００では、施設の情報が掲載された表示媒体３の撮像画像のうち文字情報に基づいて、前記施設に関する所定の情報を検索し、前記撮像画像に対応する少なくとも一部の情報（撮像画像、写真、撮像場所、撮像日時など）と、検索された前記所定の情報とを関連付けて登録する。このように、文字情報を利用して所定の情報を検索するため、撮像画像に対する検索処理の負荷を低減しつつ、撮像画像に関する情報を検索することができる。
【００７２】
また、前記一部の情報と前記所定の情報とは、互いに関連付けられて記憶部１２に記憶される（図４参照）。また前記所定の情報（登録情報Ｄ２）には、施設情報Ｄ１（図２参照）が関連付けられている。このため、例えば、現在日時又は利用者の現在位置などの情報に応じた適切なタイミングで、前記所定の情報を利用者に提供することができる。また、撮像画像に一致する施設に関する情報だけでなく、当該施設に関連する他の施設に関する情報を合わせて利用者に提供することができる。これにより、利用者は、表示媒体３に表示された情報に基づいて、様々な有益な情報を取得することができる。
【００７３】
さらに、情報処理システム１００によれば、検索処理に必要な情報量が抑制されるため、通信トラフィックの低減、及びコンピュータリソースの有効利用が可能となる。
【００７４】
本発明の情報処理システム１００は、上述の実施形態に限定されない。情報処理システム１００は、以下に示す形態であってもよい。
【００７５】
［変形例１］
他の実施形態として、情報処理装置１において、検索処理部１１４は、算出処理部１１３により算出される前記一致度が第１閾値以上となる施設情報Ｄ１に対応する所定の情報（第１検索情報）と、前記一致度が第２閾値以上かつ第１閾値未満となる施設情報Ｄ１に対応する所定の情報（第２検索情報）とを検索してもよい。なお、第１検索情報と第２検索情報とは互いに異なる情報である。また、第２閾値は第１閾値より低い値に設定される。前記第１検索情報は本発明の第１情報の一例であり、前記第２検索情報は本発明の第２情報の一例である。
【００７６】
例えば、検索処理部１１４は、認識処理部１１２により認識された施設名が完全に一致する施設の住所（第１検索情報）と、当該施設名の８割が一致する施設の住所（第２検索情報）とを検索する。この場合、登録処理部１１５は、例えば画像取得処理部１１１により取得される前記撮像画像に含まれる施設の写真と、検索処理部１１４により検索される前記第１検索情報及び前記第２検索情報とを関連付けて登録する。そして、提示処理部１１６は、互いに関連付けられた前記写真と前記第１検索情報及び前記第２検索情報とを含む提示情報を利用者端末２に送信する。これにより、撮像画像の表示内容に合致する情報だけでなく、当該表示内容に関連する情報を利用者に提供することが可能となる。なお、前記第１閾値及び前記第２閾値は、認識処理部１１２により認識される文字情報の種類に応じて設定されてもよい。
【００７７】
［変形例２］
上述の図７に示す情報検索処理では、前記一致度が閾値以上となる施設情報Ｄ１が存在しないと判定された場合には（Ｓ１５：ＮＯ）、処理が終了する。他の実施形態では、図８に示すように、前記一致度が第１閾値以上となる施設情報Ｄ１が存在しないと判定された場合に（Ｓ１５：ＮＯ）、ステップＳ２１において、制御部１１は、さらに記憶部１２に、前記一致度が第２閾値以上かつ第１閾値未満となる施設情報Ｄ１が存在するか否かを判定する。記憶部１２に、前記一致度が第２閾値以上かつ第１閾値未満となる施設情報Ｄ１が存在しないと判定された場合（Ｓ２１：ＮＯ）、処理は終了する。
【００７８】
そして、図８に示すステップＳ２２において、制御部１１は、前記一致度が第２閾値以上かつ第１閾値未満となる施設情報Ｄ１に対応する所定の情報（第２検索情報）を検索及び抽出し、抽出した前記第２検索情報を登録情報Ｄ２に登録する。例えば、制御部１１は、前記撮像画像に含まれる施設の写真と、抽出した施設の名称（前記第２検索情報）とを関連付けて登録情報Ｄ２に登録する。提示処理部１１６は、互いに関連付けられた前記写真と前記第２検索情報とを含む提示情報を利用者端末２に送信する。これにより、撮像画像の表示内容に合致する情報が存在しない場合であっても、当該表示内容に関連する有益な情報を利用者に提供することが可能となる。なお、前記第１閾値及び前記第２閾値は、認識処理部１１２により認識される文字情報の種類に応じて設定されてもよい。
【００７９】
［変形例３］
上述の各実施形態では、検索処理部１１４は、表示媒体３に表示された文字情報に基づいて、表示媒体３の表示内容に関する所定の情報（施設情報Ｄ１）を検索している。他の実施形態として、文字情報に基づく施設情報Ｄ１が存在しない場合には、検索処理部１１４は、さらに、表示媒体３に表示された写真情報に基づいて、表示媒体３の表示内容に関する所定の情報（施設情報Ｄ１）を検索してもよい。
【００８０】
具体的には、例えば図９に示すように、制御部１１（算出処理部１１３）により算出される施設情報Ｄ１と前記文字情報との一致度が第１閾値以上となる施設情報Ｄ１が存在しないと判定された場合に（Ｓ１５：ＮＯ）、ステップＳ３１において、制御部１１（認識処理部１１２）は、さらに、前記撮像画像を画像解析して、表示媒体３に表示された写真情報を認識する。
【００８１】
次にステップＳ３２において、制御部１１（算出処理部１１３）は、記憶部１２に予め記憶された複数の施設のそれぞれに関する施設情報Ｄ１と、認識処理部１１２により認識される前記写真情報との一致度を算出する。例えば、算出処理部１１３は、施設情報Ｄ１に登録された写真（図２参照）の画像データと、認識処理部１１２により認識された写真の画像データとの差分を算出して前記一致度を算出する。
【００８２】
次にステップＳ３３において、制御部１１は、記憶部１２に、前記一致度が第２閾値以上となる施設情報Ｄ１が存在するか否かを判定する。
【００８３】
前記一致度が第２閾値以上となる施設情報Ｄ１が存在する場合（Ｓ３３：ＹＥＳ）、ステップＳ１６において、制御部１１（検索処理部１１４）は、前記施設情報Ｄ１に対応する所定の情報を検索し、制御部１１（登録処理部１１５）は、前記撮像画像に対応する少なくとも一部の情報と、前記所定の情報とを関連付けて登録する。
【００８４】
この構成によれば、表示媒体３に表示された文字情報では所定の情報が検索できない場合であっても、表示媒体３に表示された写真情報に基づいて所定の情報を検索することが可能となる。これにより、表示媒体３の表示内容に関する情報を確実に利用者に提供することが可能となる。
【００８５】
［変形例４］
他の実施形態として、変形例３に係る情報処理装置１において写真情報に基づく施設情報Ｄ１が存在しない場合には、検索処理部１１４は、さらに、前記撮像画像に関連付けられた撮像場所を示す位置情報に基づいて、表示媒体３の表示内容に関する所定の情報（検索情報）を検索してもよい。
【００８６】
具体的には、例えば図１０に示すように、制御部１１（算出処理部１１３）により算出される施設情報Ｄ１と前記写真情報との一致度が第２閾値以上となる施設情報Ｄ１が存在しないと判定された場合に（Ｓ３３：ＮＯ）、ステップＳ３４において、制御部１１（認識処理部１１２）は、さらに、前記撮像画像に関連付けられた位置情報を認識する。例えば、制御部１１は、前記撮像画像に関連付けられたＥＸＩＦ情報から前記位置情報を認識する。
【００８７】
次にステップＳ３５において、制御部１１（算出処理部１１３）は、記憶部１２に予め記憶された複数の施設のそれぞれに関する施設情報Ｄ１と、認識処理部１１２により認識される前記位置情報との一致度を算出する。例えば、算出処理部１１３は、施設情報Ｄ１に登録された住所情報（図２参照）と、認識処理部１１２により認識された前記位置情報との一致度を算出する。
【００８８】
次にステップＳ３６において、制御部１１は、記憶部１２に、前記一致度が第３閾値以上となる施設情報Ｄ１が存在するか否かを判定する。
【００８９】
前記一致度が第３閾値以上となる施設情報Ｄ１が存在する場合（Ｓ３６：ＹＥＳ）、ステップＳ１６において、制御部１１（検索処理部１１４）は、前記一致度が第３閾値以上となる施設情報Ｄ１に対応する所定の情報を検索し、制御部１１（登録処理部１１５）は、前記撮像画像に対応する少なくとも一部の情報と、前記所定の情報とを関連付けて登録する。
【００９０】
この構成によれば、表示媒体３に表示された文字情報及び写真情報では所定の情報が検索できない場合であっても、撮像画像に関連付けられた位置情報に基づいて所定の情報を検索することが可能となる。これにより、表示媒体３の表示内容に関する情報を確実に利用者に提供することが可能となる。また、利用者の現在位置に応じた情報を利用者に提供することが可能となる。例えば、利用者の現在位置に近い飲食店又はイベント会場の情報を利用者に提供することができる。なお、ＥＸＩＦ情報には、撮像日時の情報が含まれるため、検索処理部１１４は、位置情報及び日時情報に基づいて所定の情報を検索してもよい。これにより、例えば、利用者の現在位置に近い飲食店であって、現在日時に利用可能な飲食店の情報を利用者に提供することができる。
【００９１】
検索処理部１１４は、認識処理部１１２により認識される前記文字情報、前記写真情報、又は前記位置情報により特定される施設情報Ｄ１に対応する第１検索情報と、当該第１検索情報に関連する第２検索情報とを検索してもよい。そして、登録処理部１１５は、画像取得処理部１１１により取得される前記撮像画像に対応する少なくとも一部の情報と、検索処理部１１４により検索される前記第１検索情報及び前記第２検索情報とを関連付けて登録してもよい。
【００９２】
なお、本発明の情報処理システムは、情報処理装置１単体で構成されてもよいし、制御部１１の各処理部を備える利用者端末２単体で構成されてもよいし、情報処理装置１及び利用者端末２により構成されてもよい。
【符号の説明】
【００９３】
１      ：情報処理装置
２      ：利用者端末
３      ：表示媒体
１１    ：制御部
１２    ：記憶部
１３    ：通信Ｉ／Ｆ
２１    ：制御部
２２    ：記憶部
２３    ：操作表示部
２４    ：通信Ｉ／Ｆ
２５    ：カメラ
３１    ：コメント
３２    ：下端領域
１００  ：情報処理システム
１１１  ：画像取得処理部
１１２  ：認識処理部
１１３  ：算出処理部
１１４  ：検索処理部
１１５  ：登録処理部
１１６  ：提示処理部
２１１  ：画像処理部
２１２  ：表示処理部
２３１  ：表示部
２３２  ：操作部
【図１】
2020113184.tif 000003
【図２】
2020113184.tif 000004
【図３】
2020113184.tif 000005
【図４】
2020113184.tif 000006
【図５】
2020113184.tif 000007
【図６】
2020113184.tif 000008
【図７】
2020113184.tif 000009
【図８】
2020113184.tif 000010
【図９】
2020113184.tif 000011
【図１０】
2020113184.tif 000012