(57)【要約】【課題】施設の撮影画像に基づいて画像認識により当該施設を特定するときの処理時間を短縮する。【解決手段】サービス提供サーバ１０は、ユーザによる撮影画像および撮影位置の情報を取得する情報取得部１３１と、複数の施設の施設画像および施設位置の情報を記憶する記憶部１４と、取得された撮影画像の情報と記憶された施設画像の情報とを比較し、比較結果に基づいて施設を特定する施設特定部１３３と、特定された施設に関する情報を出力する情報出力部１３４とを備え、取得された撮影位置の情報と記憶された施設位置の情報とに基づいて、複数の施設の中から、撮影位置を基準とする所定範囲内の施設を候補施設として抽出する候補抽出部１３２をさらに備える。施設特定部１３３は、取得された撮影画像の情報と、抽出された候補施設に対応する記憶された施設画像の情報とを比較し、比較結果に基づいて施設を特定する。【選択図】図２
2020154388.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる撮影画像および撮影位置の情報を取得する情報取得部と、
複数の施設の施設画像および施設位置の情報を記憶する施設情報記憶部と、
前記情報取得部により取得された前記撮影画像の情報と、前記施設情報記憶部に記憶された前記施設画像の情報とを比較し、比較結果に基づいて施設を特定する施設特定部と、
前記施設特定部により特定された施設に関する情報を出力する情報出力部と、を備えるサービス提供サーバであって、
前記情報取得部により取得された前記撮影位置の情報と、前記施設情報記憶部に記憶された前記施設位置の情報と、に基づいて、前記複数の施設の中から、前記撮影位置を基準とする所定範囲内の施設を候補施設として抽出する候補抽出部をさらに備え、
前記施設特定部は、前記情報取得部により取得された前記撮影画像の情報と、前記候補抽出部により抽出された前記候補施設に対応する前記施設情報記憶部に記憶された前記施設画像の情報とを比較し、比較結果に基づいて施設を特定することを特徴とするサービス提供サーバ。
【請求項２】
請求項１に記載のサービス提供サーバにおいて、
前記情報取得部は、前記撮影位置の信頼度に関する情報をさらに取得し、
前記候補抽出部は、前記情報取得部により取得された前記信頼度に関する情報に基づいて前記所定範囲を変更することを特徴とするサービス提供サーバ。
【請求項３】
請求項１または２に記載のサービス提供サーバにおいて、
前記所定範囲は、第１範囲と、前記第１範囲よりも広域に設定された第２範囲との間で切り替え可能であり、
前記施設特定部は、前記情報取得部により取得された前記撮影画像の情報と、前記候補抽出部により抽出された前記候補施設に対応する前記施設情報記憶部に記憶された前記施設画像の情報とを比較して、前記撮影画像の撮影対象と前記施設画像の撮影対象とが一致するか否かを判定し、前記撮影画像の撮影対象と一致すると判定された前記施設画像に対応する施設を特定し、
前記候補抽出部は、前記撮影位置を基準とする前記第１範囲内の施設を候補施設として抽出した後、前記施設特定部により前記撮影画像の撮影対象と一致すると判定された前記施設画像が存在しない場合、前記撮影位置を基準とする前記第２範囲内の施設を候補施設として抽出することを特徴とするサービス提供サーバ。
【請求項４】
請求項１から３のいずれか一項に記載のサービス提供サーバにおいて、
前記情報取得部は、前記撮影画像が撮影された撮影時刻および前記撮影位置が測定された測位時刻の情報をさらに取得し、
前記候補抽出部は、前記撮影時刻と前記測位時刻との差に基づいて前記所定範囲を変更することを特徴とするサービス提供サーバ。
【請求項５】
請求項１から４のいずれか一項に記載のサービス提供サーバにおいて、
前記情報取得部は、前記撮影画像が撮影されたときの第１時刻の情報をさらに取得し、
前記施設情報記憶部は、前記施設画像が撮影されたときの第２時刻の情報をさらに記憶し、
前記施設特定部は、前記情報取得部により取得された前記撮影画像の情報と、前記候補抽出部により抽出された前記候補施設に対応する前記施設情報記憶部に記憶された前記施設画像のうち、前記第１時刻を基準とする所定範囲内の前記第２時刻に撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定することを特徴とするサービス提供サーバ。
【請求項６】
請求項１から５のいずれか一項に記載のサービス提供サーバにおいて、
前記情報取得部は、前記撮影画像が撮影されたときの第１気象条件の情報をさらに取得し、
前記施設情報記憶部は、前記施設画像が撮影されたときの第２気象条件の情報をさらに記憶し、
前記施設特定部は、前記情報取得部により取得された前記撮影画像の情報と、前記候補抽出部により抽出された前記候補施設に対応する前記施設情報記憶部に記憶された前記施設画像のうち、前記第１気象条件と類似する前記第２気象条件で撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定することを特徴とするサービス提供サーバ。
【請求項７】
請求項１から６のいずれか一項に記載のサービス提供サーバにおいて、
前記情報取得部は、前記撮影画像が撮影されたときの第１撮影方向の情報をさらに取得し、
前記施設情報記憶部は、前記施設画像が撮影されたときの第２撮影方向の情報をさらに記憶し、
前記施設特定部は、前記情報取得部により取得された前記撮影画像の情報と、前記候補抽出部により抽出された前記候補施設に対応する前記施設情報記憶部に記憶された前記施設画像のうち、前記第１撮影方向を基準とする所定範囲内の前記第２撮影方向から撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定することを特徴とするサービス提供サーバ。
【請求項８】
請求項１〜７のいずれか一項に記載のサービス提供サーバと、
カメラとＧＰＳ受信機とを有するユーザ端末と、を備えるサービス提供システムであって、
前記ユーザ端末は、前記カメラにより撮影された撮影画像の情報と、前記ＧＰＳ受信機により受信された撮影位置の情報とを、前記サービス提供サーバに送信し、
前記情報出力部は、前記施設特定部により特定された施設に関する情報を前記ユーザ端末に出力することを特徴とするサービス提供システム。
【請求項９】
コンピュータによりそれぞれ実行される、
ユーザによる撮影画像および撮影位置の情報を取得する情報取得ステップと、
前記情報取得ステップで取得された前記撮影画像の情報と、予め記憶された複数の施設の施設画像の情報とを比較し、比較結果に基づいて施設を特定する施設特定ステップと、
前記施設特定ステップで特定された施設に関する情報を出力する情報出力ステップと、を含むサービス提供方法であって、
前記情報取得ステップで取得された前記撮影位置の情報と、予め記憶された前記複数の施設の施設位置の情報と、に基づいて、前記複数の施設の中から、前記撮影位置を基準とする所定範囲内の施設を候補施設として抽出する候補抽出ステップをさらに含み、
前記施設特定ステップでは、前記情報取得ステップで取得された前記撮影画像の情報と、前記候補抽出ステップで抽出された前記候補施設に対応する予め記憶された前記複数の施設の施設画像の情報とを比較し、比較結果に基づいて施設を特定することを特徴とするサービス提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、施設に関する情報を提供するサービス提供サーバ、サービス提供システムおよびサービス提供方法に関する。
【背景技術】
【０００２】
この種の技術として、従来、目的地に関する情報を含む画像に基づいて当該目的地の位置情報を検索するようにしたシステムが知られている（例えば特許文献１参照）。この特許文献１記載のシステムでは、目的地の案内看板等の画像から文字や図形を抽出し、予め記憶された複数の施設の住所や名称、その施設で販売される商品の名称等の文字、商品の図や写真等の図形と比較することで、該当する目的地の位置情報を検索する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１００２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、撮影画像に基づいて撮影対象を特定する画像認識技術が普及している。画像認識では、撮影画像を膨大な数の画像と比較するため、処理時間を要する。このため、施設の外観を撮影した画像等、当該施設を示す文字や記号が含まれない画像に基づいて画像認識により当該施設を特定する場合は、実用的な時間内に処理を完了することが難しい。
【課題を解決するための手段】
【０００５】
本発明の一態様であるサービス提供サーバは、ユーザによる撮影画像および撮影位置の情報を取得する情報取得部と、複数の施設の施設画像および施設位置の情報を記憶する施設情報記憶部と、情報取得部により取得された撮影画像の情報と、施設情報記憶部に記憶された施設画像の情報とを比較し、比較結果に基づいて施設を特定する施設特定部と、施設特定部により特定された施設に関する情報を出力する情報出力部と、を備える。サービス提供サーバは、情報取得部により取得された撮影位置の情報と、施設情報記憶部に記憶された施設位置の情報と、に基づいて、複数の施設の中から、撮影位置を基準とする所定範囲内の施設を候補施設として抽出する候補抽出部をさらに備える。施設特定部は、情報取得部により取得された撮影画像の情報と、候補抽出部により抽出された候補施設に対応する施設情報記憶部に記憶された施設画像の情報とを比較し、比較結果に基づいて施設を特定する。
【０００６】
本発明の別の態様であるサービス提供システムは、サービス提供サーバと、カメラとＧＰＳ受信機とを有するユーザ端末と、を備える。ユーザ端末は、カメラにより撮影された撮影画像の情報と、ＧＰＳ受信機により受信された撮影位置の情報とを、サービス提供サーバに送信する。情報出力部は、施設特定部により特定された施設に関する情報をユーザ端末に出力する。
【０００７】
本発明のさらなる別の態様であるサービス提供方法は、コンピュータによりそれぞれ実行される、ユーザによる撮影画像および撮影位置の情報を取得する情報取得ステップと、情報取得ステップで取得された撮影画像の情報と、予め記憶された複数の施設の施設画像の情報とを比較し、比較結果に基づいて施設を特定する施設特定ステップと、施設特定ステップで特定された施設に関する情報を出力する情報出力ステップと、を含む。サービス提供方法は、コンピュータにより実行される、情報取得ステップで取得された撮影位置の情報と、予め記憶された複数の施設の施設位置の情報と、に基づいて、複数の施設の中から、撮影位置を基準とする所定範囲内の施設を候補施設として抽出する候補抽出ステップをさらに含む。施設特定ステップでは、情報取得ステップで取得された撮影画像の情報と、候補抽出ステップで抽出された候補施設に対応する予め記憶された複数の施設の施設画像の情報とを比較し、比較結果に基づいて施設を特定する。
【発明の効果】
【０００８】
本発明によれば、施設の撮影画像に基づいて画像認識により当該施設を特定するときの処理時間を短縮することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るサービス提供システムの適用例を概略的に示す図。
【図２】本発明の実施形態に係るサービス提供サーバを有するサービス提供システムの全体構成を示すブロック図。
【図３】図２のカメラにより施設を撮影するときの撮影方向について説明するための図。
【図４】図１においてユーザが大型屋内施設に入った場合について説明するための図。
【図５】図２のサービス提供サーバの演算部で実行される処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図１〜図５を参照して本発明の一実施形態について説明する。本発明の実施形態に係るサービス提供サーバは、ユーザが関心を寄せる特定の場所であるＰＯＩ（Point Of Interest）に関する情報を提供する。ＰＯＩには、建築物や公園等の人工の施設、河川や山等の天然の地物等あらゆる場所が含まれる。以下では、このようなＰＯＩのことを便宜的に「施設」と称する。
【００１１】
図１は、本発明の実施形態に係るサービス提供システムの適用例を概略的に示す図であり、スマートフォン等のユーザ端末２０を所持したユーザ２と、ユーザ２の現在地Ｐ１周辺の施設３ａ〜３ｃ（以下、施設３と総称することがある）とを示す。ユーザ２が施設３に興味をもつと、ユーザ端末２０を介して施設３に関する情報（施設情報）のインターネット検索（以下、施設検索）が行われる。施設情報には、施設３の名称やウェブサイトへのリンク、施設３の雰囲気や施設３で提供される商品、サービスに関する口コミ情報等、様々な情報が含まれ得る。
【００１２】
このような施設検索を行うには施設３の名称等をキーワードとして入力する必要があるため、施設３の名称等を表示する看板等がない、あるいはユーザ２の現在地Ｐ１から看板等が見えない等、施設３の名称等が不明である場合には施設検索を行うことが難しい。また、ユーザ２の現在地Ｐ１から看板等が見えたとしても、表示された情報を施設検索に必要なキーワードに置き換えて入力するには手間がかかるため、ユーザ２にとって煩雑である。
【００１３】
一方、近年普及している画像認識の技術を利用し、キーワードに代えて施設３の撮影画像による施設検索を行うこともできるが、画像認識では撮影画像と膨大な数の画像との比較が行われるため、施設検索に適した現実的な時間内に施設３を特定することが難しい。そこで、本実施形態では、比較対象とする画像を絞り込み、施設３の撮影画像に基づく画像認識により施設３を特定するときの処理時間を短縮できるよう、以下のようにサービス提供サーバを構成する。
【００１４】
図２は、本発明の実施形態に係るサービス提供サーバ（以下、サーバ）１０を有するサービス提供システム１００の全体構成を示すブロック図である。図２に示すように、サービス提供システム１００は、施設３に関する情報を提供するサーバ１０と、ユーザ２が所持するユーザ端末２０とを有する。
【００１５】
サーバ１０とユーザ端末２０とは、無線通信網、インターネット網、電話回線網などの通信ネットワーク４に接続される。図２には、便宜上、単一のユーザ端末２０が示されるが、複数のユーザ２のそれぞれのユーザ端末２０を含んでサービス提供システム１００が構成されてもよい。また、図２では、単一のサーバ１０が示されるが、図２のサーバ１０に示す機能を、複数のサーバ装置に分散させてもよい。
【００１６】
図２に示すように、ユーザ端末２０は、ユーザ２が所持するスマートフォンに代表される携帯無線端末により構成され、通信部２１と、入出力部２２と、演算部２３と、記憶部２４とを有し、さらに、カメラ２５と、ＧＰＳセンサ２６と、ジャイロセンサ２７とを有する。
【００１７】
通信部２１は、通信ネットワーク４を介してサーバ１０と無線通信可能に構成される。通信部２１は、ユーザ２からの指令に応じて、ユーザ端末２０を識別するＩＰアドレスとともに、施設情報を要求する信号と各種データとをサーバ１０に送信する。サーバ１０に送信される各種データには、カメラ２５により撮影された施設３の撮影画像の画像データ、解像度および撮影時刻ｔ１の情報、撮影時刻ｔ１における最新の測位時刻ｔ２のＧＰＳセンサ２６による検出データおよび検出データの信頼度に関する情報、撮影時刻ｔ１におけるジャイロセンサ２７による検出データ等が含まれる。
【００１８】
入出力部２２は、例えばキーボード、モニタ、タッチパネル等を有する。ユーザ２は、入出力部２２を介してカメラ２５を操作して施設３を撮影するとともに、撮影された施設３に関する施設情報を要求する指令を入力することができる。
【００１９】
演算部２３はＣＰＵを有し、入出力部２２を介して入力された信号、通信部２１を介してユーザ端末２０の外部から受信した信号、および記憶部２４に記憶されたデータに基づいて所定の処理を実行し、通信部２１と入出力部２２と記憶部２４とにそれぞれ制御信号を出力する。演算部２３での処理により、ユーザ２は入出力部２２を介してカメラ２５を操作して施設３を撮影し、施設情報を要求する指令を入力すること等ができる。
【００２０】
記憶部２４は、図示しない揮発性または不揮発性メモリを有する。記憶部２４には、演算部２３が実行する各種のプログラムや、各種データが記憶される。例えば、カメラ２５による撮影画像の画像データ、ＧＰＳセンサ２６による検出データ、ジャイロセンサ２７による検出データが一時的に記憶される。記憶された各種データは、演算部２３での処理により、ユーザ２からの指令に応じて通信部２１を介してサーバ１０に送信される。
【００２１】
カメラ２５は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラであり、施設３を撮影可能である。本実施形態では、ユーザ２がカメラ２５で現在地Ｐ１から施設３の外観を撮影し、通信部２１を介して撮影画像をサーバ１０に送信する。サーバ１０は、受信した撮影画像を複数の画像と比較して施設３を特定し、特定された施設３に関する施設情報をユーザ端末２０に送信する。サーバ１０の要部構成については後述する。
【００２２】
ＧＰＳセンサ２６は、複数のＧＰＳ衛星からの測位信号を所定時間毎に受信してユーザ端末２０（ユーザ２）の現在地Ｐ１の緯度、経度等の絶対位置を検出（測位）する。ＧＰＳセンサ２６は、大型の構造物や山などにより遮蔽される場合、一部または全てのＧＰＳ衛星を捕捉できず、一部または全ての測位信号を受信できないことがある。また、ＧＰＳ衛星の軌道の誤差、電離層や対流圏でのＧＰＳ信号の伝搬遅延、大型の構造物や山などによるＧＰＳ信号の反射（マルチパス現象）、ノイズなどに起因する誤差が生じることもある。ＧＰＳセンサ２６による検出データの信頼度に関する情報として、例えば、測位時刻ｔ２において捕捉されたＧＰＳ衛星の数が記憶部２４に記憶される。
【００２３】
図３は、カメラ２５により施設３を撮影するときの撮影方向について説明するための図である。ジャイロセンサ２７は、ユーザ端末２０の角速度を検出する。サーバ１０は、撮影時刻ｔ１におけるジャイロセンサ２７による検出データを受信することで、カメラ２５により施設３を撮影したときの撮影方向Ｄ１（例えば、図３の方向Ａ，Ｂ）を推定する。
【００２４】
図２に示すように、サーバ１０は、通信部１１と、入出力部１２と、演算部１３と、記憶部１４と、を有する。サーバ１０は、図２のサーバ１０に示す機能を有する単一のサーバ１０として構成してもよく、同様の機能を複数のサーバ装置に分散させてもよく、クラウド上で仮想サーバ機能を利用してサーバ１０を構成してもよい。
【００２５】
通信部１１は、通信ネットワーク４を介してユーザ端末２０と無線通信可能に構成される。入出力部１２は、例えばキーボード、マウス、モニタ、タッチパネル等を有する。演算部１３は、ＣＰＵを有し、入出力部１２を介して入力された信号、通信部１１を介してサーバ１０の外部から受信した信号、および記憶部１４に記憶されたデータに基づいて所定の処理を実行し、通信部１１と入出力部１２と記憶部１４とにそれぞれ制御信号を出力する。
【００２６】
記憶部１４は、図示しない揮発性または不揮発性メモリを有する。記憶部１４には、演算部１３が実行する各種のプログラムや各種データが記憶されるとともに、複数の施設３の画像（施設画像）の画像データ、各施設画像から抽出された特徴量のデータ、各施設３の位置（施設位置）の情報、および、各施設３の名称等の各施設３を特定するためのキーワードが、各施設３に対応付けて記憶される。記憶部１４には、各施設３の概要などの施設情報が記憶されてもよい。記憶部１４に記憶される各種情報は、随時更新される。
【００２７】
施設画像の画像データについては、施設３ごとに、異なる撮影条件で撮影された複数の施設画像の画像データが記憶される。例えば、日中や夜間等の異なる時間帯に撮影された複数の施設画像、晴天時や雨天時等の異なる気象条件で撮影された複数の施設画像、異なる撮影方向（例えば、図３の方向Ａ，Ｂ）から撮影された複数の施設画像の画像データが記憶される。各施設画像の撮影時の気象条件は、施設位置および各施設画像の撮影時刻ｔ３に対応する気象情報に基づいて推定される。各施設画像の撮影条件の情報は、各施設画像の画像データとともに記憶部１４に記憶される。また、各施設画像の解像度の情報も、各施設画像の画像データとともに記憶部１４に記憶される。
【００２８】
施設位置の情報については、施設３ごとに絶対位置の情報が記憶される。ショッピングモールや地下街等の大型屋内施設３Ｌに含まれる店舗等の施設３については、当該施設３を含む大型屋内施設３Ｌの絶対位置の情報を施設位置の情報として記憶してもよい。
【００２９】
演算部１３は、プロセッサが担う機能的構成として、各種情報を取得する情報取得部１３１と、施設情報を提供する施設３の候補を抽出する候補抽出部１３２と、施設情報を提供する施設３を特定する施設特定部１３３と、施設情報を出力する情報出力部１３４とを有する。
【００３０】
情報取得部１３１は、通信ネットワーク４を介して各種の情報を取得するように構成され、ユーザ端末２０から送信された施設情報を要求する信号と各種データとを対応するＩＰアドレスとともに取得する。各種データには、施設３の撮影画像の画像データ、その解像度、撮影時刻ｔ１の情報、撮影時刻ｔ１における最新の測位時刻ｔ２のＧＰＳセンサ２６による検出データ、その信頼度に関する情報、撮影時刻ｔ１におけるジャイロセンサ２７による検出データ等が含まれる。ユーザ端末２０から取得された画像データ等は、各施設３の画像データ等として記憶部１４に記憶（更新）されるため、サーバ１０の記憶部１４に様々なユーザ２により撮影された施設画像が蓄積され、画像認識の精度が高まる。
【００３１】
候補抽出部１３２は、情報取得部１３１により取得されたＧＰＳセンサ２６による検出データに基づく撮影位置および記憶部１４に記憶された複数の施設３の施設位置の情報に基づいて、複数の施設３の中から候補施設を抽出する。例えば、図１に示す３つの施設３ａ〜３ｃの中から、撮影位置である現在地Ｐ１から所定範囲ＡＲ１内の２つの施設３ａ，３ｂを候補施設として抽出する。
【００３２】
さらに候補抽出部１３２は、情報取得部１３１により取得されたＧＰＳセンサ２６による検出データの信頼度に関する情報に基づいて所定範囲を変更する。例えば、ＧＰＳセンサ２６による検出データの測位時刻ｔ２において全てのＧＰＳ衛星が捕捉されているような検出データの信頼度が高い場合には、狭い所定範囲ＡＲ１を用いて施設３の絞り込みを行う。一方、測位時刻ｔ２において捕捉されていたＧＰＳ衛星の数が少ないなど検出データの信頼度が低い場合には、広い所定範囲ＡＲ２を用いて施設３の絞り込みを行う。
【００３３】
図４は、ユーザ２が大型屋内施設３Ｌに入った場合について説明するための図である。図４の例では、ユーザ２の現在地Ｐ１が測位された後、ユーザ２が大型屋内施設３Ｌ内の現在地Ｐ２に移動したことで、ユーザ端末２０のＧＰＳセンサ２６による検出データの信頼度が低い状態、あるいは、測位が不能の状態となっている。このような場合は、広い所定範囲ＡＲ２を用いて施設３の絞り込みが行われる。
【００３４】
候補抽出部１３２による所定範囲の変更は、撮影時刻ｔ１と測位時刻ｔ２との差に基づいて行ってもよい。例えば、ユーザ２の現在地Ｐ１が測位時刻ｔ２において測位された後、ユーザ２が大型屋内施設３Ｌ内に入ったことでユーザ端末２０のＧＰＳセンサ２６による測位が不能の状態になったものとする。このような場合、ユーザ２が現在地Ｐ２から施設３ｃを撮影したときの撮影時刻ｔ１と測位時刻ｔ２との差が大きくなり、広い所定範囲ＡＲ２を用いて施設３の絞り込みが行われる。
【００３５】
施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像の情報とを比較し、比較結果に基づいて施設３を特定する。具体的には、撮影画像の特徴量を抽出し、複数の施設３の施設画像の特徴量と比較することで撮影画像の撮影対象と各施設画像の撮影対象とが一致するか否かを判定し、撮影対象が一致する施設３を特定する。
【００３６】
施設特定部１３３により施設３が特定されない場合は、候補抽出部１３２により抽出された候補施設の中に該当施設３が存在しないと考えられる。このような場合は、候補抽出部１３２により所定範囲を広域に変更し、施設特定部１３３により再度、施設３の特定を行う。例えば、図４に示すように、候補抽出部１３２により所定範囲ＡＲ１内の施設３ａ，３ｂが候補施設として抽出され、施設特定部１３３により施設３ａ，３ｂの施設画像と施設３ｃの撮影画像とが比較される場合は、撮影対象が一致しない。このような場合は、候補抽出部１３２により所定範囲ＡＲ２内（かつ所定範囲ＡＲ１外）の施設３ｃが新たな候補施設として抽出され、施設特定部１３３により施設３ｃの施設画像と施設３ｃの撮影画像とが比較され、撮影対象が一致する施設３ｃが特定される。
【００３７】
施設特定部１３３は、候補抽出部１３２により抽出された候補施設に対応する施設画像のうち、撮影画像の撮影時刻ｔ１を基準とする所定範囲内の時刻ｔ３に撮影された施設画像のみを撮影画像と比較することもできる。日中や夜間等の異なる時間帯に撮影された画像同士は、周囲の明るさや施設３の営業状況等の撮影条件が異なるため、撮影対象の施設３が同一であっても抽出される特徴量が異なる可能性がある。撮影時刻ｔ１，ｔ３の差が大きく、異なる時間帯に撮影されたと推定される施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００３８】
施設特定部１３３は、候補抽出部１３２により抽出された候補施設に対応する施設画像のうち、撮影画像の気象条件Ｃ１と類似する気象条件Ｃ２で撮影された施設画像のみを撮影画像と比較することもできる。晴天時や雨天時等の異なる気象条件で撮影された画像同士は、周囲の明るさや施設３の営業状況等の撮影条件が異なるため、撮影対象の施設３が同一であっても抽出される特徴量が異なる可能性がある。異なる気象条件で撮影されたと推定される施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。なお、撮影時の気象条件Ｃ１，Ｃ２は、撮影位置および撮影時刻に対応する気象情報に基づいて推定することができる。
【００３９】
施設特定部１３３は、候補抽出部１３２により抽出された候補施設に対応する施設画像のうち、撮影画像の撮影方向Ｄ１を基準とする所定範囲内の撮影方向Ｄ２から撮影された施設画像のみを撮影画像と比較することもできる。図３に示すような異なる方向Ａ，Ｂから撮影された画像同士は、撮影対象の施設３が同一であっても抽出される特徴量が異なる可能性がある。施設３を逆方向から撮影した画像など、撮影方向が大きく異なる施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００４０】
施設特定部１３３は、候補抽出部１３２により抽出された候補施設に対応する施設画像のうち、撮影画像と同等の解像度の施設画像のみを撮影画像と比較することもできる。解像度が大きく異なる画像同士は、撮影対象の施設３が同一であっても抽出される特徴量が異なる可能性があるため、このような施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００４１】
情報出力部１３４は、施設特定部１３３により特定された施設３に関する施設情報をユーザ端末２０に送信する。例えば、記憶部１４に記憶された各施設３を特定するためのキーワードを用いてインターネット検索を行い、その検索結果を施設３に関する施設情報としてユーザ端末２０に送信する。記憶部１４に記憶された各施設３の概要などの施設情報を施設情報としてユーザ端末２０に送信してもよい。
【００４２】
図５は、予め記憶されたプログラムに従いサーバ１０の演算部１３で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばユーザ端末２０（入出力部２２）を介して施設情報の提供を要求する指令が入力されると開始される。
【００４３】
まず、ステップＳ１で、情報取得部１３１での処理により、ユーザ端末２０から送信された撮影画像および撮影位置を含む各種情報を取得するとともに、複数の施設３の施設位置を含む各種情報を記憶部１４から読み込む。次いで、候補抽出部１３２での処理により、ステップＳ１で取得された撮影位置および施設位置に基づいて、複数の施設３から候補施設を抽出する。次いで、ステップＳ３で、施設特定部１３３での処理により、ステップＳ２で抽出された候補施設の施設画像および特徴量を記憶部１４から読み込み、ステップＳ１で取得された撮影画像の特徴量と比較して、一致するものがあるか否かを判定する。撮影画像の施設３を特定する。ステップＳ３で否定されると、候補施設の中に該当する施設３がないと判定され、ステップＳ４で候補抽出部１３２での処理により所定範囲を広域に変更し、ステップＳ２に戻る。一方、ステップＳ３で肯定されると、該当する施設３が特定され、ステップＳ５に進み、情報出力部１３４での処理により、ステップＳ４で特定された施設３に関する施設情報をユーザ端末２０に送信する。
【００４４】
本実施形態の動作をまとめると以下のようになる。図１に示すように、ユーザ２が自身の近くにある施設３ａをユーザ端末２０のカメラ２５で撮影し、入出力部２２を介して施設情報を要求する指令をサーバ１０に送信すると、サーバ１０からユーザ端末２０に施設３ａの施設情報が送信される（図５のステップＳ１〜Ｓ３，Ｓ５）。ユーザ２が施設３ａを撮影して送信するだけで施設情報が得られるため、施設３ａの外観から名称等がわからない場合でも簡易な操作で施設情報を検索することができる。
【００４５】
サーバ１０側では、ユーザ端末２０から送信された現在地Ｐ１を基準とする狭い所定範囲ＡＲ１内の施設３の施設画像に絞り込んで、ユーザ端末２０から送信された撮影画像との比較を行うため、画像認識の処理時間を短縮することができる。このため、ユーザ２が施設情報を要求後に長時間待たされることがない。
【００４６】
また、図４に示すように、ユーザ２が大型屋内施設３Ｌ内の施設３ｃを撮影して施設情報を要求すると、サーバ１０からユーザ端末２０に施設３ｃの施設情報が送信される（図５のステップＳ１〜Ｓ６）。ユーザ端末２０から送信された現在地Ｐ１を基準とする所定範囲ＡＲ１内に該当施設３がない場合は、より広域の所定範囲ＡＲ２に切り替えて施設画像を絞り込むことで（ステップＳ１〜Ｓ４）、各段階での画像認識の処理時間を短縮することができる。
【００４７】
本実施形態によれば以下のような作用効果を奏することができる。
（１）本実施形態に係るサービス提供サーバ１０は、ユーザ２による撮影画像および撮影位置（現在地）Ｐ１の情報を取得する情報取得部１３１と、複数の施設３の施設画像および施設位置の情報を記憶する記憶部１４と、情報取得部１３１により取得された撮影画像の情報と、記憶部１４に記憶された施設画像の情報とを比較し、比較結果に基づいて施設３を特定する施設特定部１３３と、施設特定部１３３により特定された施設３に関する情報を出力する情報出力部１３４と、を備える（図２）。
【００４８】
サーバ１０は、情報取得部１３１により取得された撮影位置Ｐ１の情報と、記憶部１４に記憶された施設位置の情報と、に基づいて、複数の施設３の中から、撮影位置Ｐ１を基準とする所定範囲ＡＲ１，ＡＲ２内の施設３を候補施設として抽出する候補抽出部１３２をさらに備える（図３）。施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像の情報とを比較し、比較結果に基づいて施設３を特定する。撮影位置Ｐ１を基準とする所定範囲ＡＲ１，ＡＲ２内の施設３の施設画像に絞り込んで撮影画像との比較を行うことで、画像認識の処理時間を短縮することができる。
【００４９】
情報取得部１３１は、撮影位置Ｐ１の信頼度に関する情報をさらに取得する。候補抽出部１３２は、情報取得部１３１により取得された信頼度に関する情報に基づいて所定範囲ＡＲ１，ＡＲ２を変更する。例えば、撮影位置Ｐ１の測位時刻ｔ２におけるＧＰＳ衛星の捕捉数が多く、測位情報の信頼度が高い場合には、より狭い所定範囲ＡＲ１を用いて施設３の絞り込みを行うことで、さらに画像認識の処理時間を短縮することができる（図１）。また、測位情報の信頼度が低い場合には、より広い所定範囲ＡＲ２を用いて施設３の絞り込みを行うことで、確実に施設３の特定を行うことができる（図４）。
【００５０】
所定範囲は、所定範囲ＡＲ１と、所定範囲ＡＲ１よりも広域に設定された所定範囲ＡＲ２との間で切り替え可能である。施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像の情報とを比較して、撮影画像の撮影対象と施設画像の撮影対象とが一致するか否かを判定し、撮影画像の撮影対象と一致すると判定された施設画像に対応する施設３を特定する。
【００５１】
候補抽出部１３２は、撮影位置Ｐ１を基準とする所定範囲ＡＲ１内の施設３ａ，３ｂを候補施設として抽出した後、施設特定部１３３により撮影画像の撮影対象と一致すると判定された施設画像が存在しない場合、撮影位置Ｐ１を基準とする所定範囲ＡＲ２内の施設３ｃを候補施設として抽出する（図４）。撮影位置Ｐ１を基準とする所定範囲ＡＲ１内に該当施設３がない場合は、より広域の所定範囲ＡＲ２に切り替えて施設画像を絞り込むことで、確実に施設３の特定を行うことができるとともに、各段階での画像認識の処理時間を短縮することができる。
【００５２】
情報取得部１３１は、撮影画像が撮影された撮影時刻ｔ１および撮影位置Ｐ１が測定された測位時刻ｔ２の情報をさらに取得する。候補抽出部１３２は、撮影時刻ｔ１と測位時刻ｔ２との差に基づいて所定範囲ＡＲ１，ＡＲ２を変更する。例えば、撮影時刻ｔ１と測位時刻ｔ２との差が小さい場合には、より狭い所定範囲ＡＲ１を用いて施設３の絞り込みを行うことで、さらに画像認識の処理時間を短縮することができる（図１）。また、撮影時刻ｔ１と測位時刻ｔ２との差が大きい場合には、より広い所定範囲ＡＲ２を用いて施設３の絞り込みを行うことで、確実に施設３の特定を行うことができる（図４）。
【００５３】
情報取得部１３１は、撮影画像が撮影されたときの撮影時刻ｔ１の情報をさらに取得する。記憶部１４は、施設画像が撮影されたときの撮影時刻ｔ３の情報をさらに記憶する。施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像のうち、撮影時刻ｔ１を基準とする所定範囲内の撮影時刻ｔ３に撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定する。撮影時刻ｔ１，ｔ３の差が大きく、日中や夜間等、周囲の明るさや施設３の営業状況等の撮影条件が異なる時間帯に撮影されたと推定される施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００５４】
情報取得部１３１は、撮影画像が撮影されたときの気象条件Ｃ１の情報をさらに取得する。記憶部１４は、施設画像が撮影されたときの気象条件Ｃ２の情報をさらに記憶する。施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像のうち、気象条件Ｃ１と類似する気象条件Ｃ２で撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定する。晴天時や雨天時等、周囲の明るさや施設３の営業状況等の撮影条件が異なる気象条件で撮影されたと推定される施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００５５】
情報取得部１３１は、撮影画像が撮影されたときの撮影方向Ｄ１の情報をさらに取得する。記憶部１４は、施設画像が撮影されたときの撮影方向Ｄ２の情報をさらに記憶する。施設特定部１３３は、情報取得部１３１により取得された撮影画像の情報と、候補抽出部１３２により抽出された候補施設に対応する記憶部１４に記憶された施設画像のうち、撮影方向Ｄ１を基準とする所定範囲内の撮影方向Ｄ２から撮影された施設画像の情報とを比較し、比較結果に基づいて施設を特定する。これにより、図３に示す方向Ａ，Ｂのように撮影方向が大きく異なる施設画像を比較対象から除外することで、誤った施設３を特定する可能性を低減することができる。
【００５６】
上記実施形態は、種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、図１および図４において撮影位置（現在地）Ｐ１を中心とする所定距離内の所定範囲ＡＲ１，ＡＲ２を例示したが、撮影位置を基準とする所定範囲はこのようなものに限らない。例えば、図４の現在地Ｐ１を基準として、その付近にある大型屋内施設３Ｌの全域を所定範囲ＡＲ２としてもよい。この場合、ＧＰＳによる測位が不能な大型屋内施設３Ｌ内の施設３についても迅速に特定し、施設情報を提供することができる。
【００５７】
上記実施形態では、所定範囲ＡＲ１，ＡＲ２を例示したが、第１範囲と第２範囲との間で切り替え可能な所定範囲は２つに限らず、３つ以上であってもよく、段階的に広域の範囲に切り替えてもよい。なお、この場合、所定範囲が広域になるほどサーバ１０の演算部１３で実行される処理の演算負荷が高くなるため、広域の範囲には演算部１３の処理能力や所定範囲に含まれる施設画像の数等を考慮して適当な上限値を設けることが望ましい。
【００５８】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
【符号の説明】
【００５９】
１０  サービス提供サーバ、１３  演算部、１４  記憶部、２０  ユーザ端末、２５  カメラ、２６  ＧＰＳセンサ、２７  ジャイロセンサ、１００  サービス提供システム、１３１  情報取得部、１３２  候補抽出部、１３３  施設特定部、１３４  情報出力部
【図１】
2020154388.tif 000003
【図２】
2020154388.tif 000004
【図３】
2020154388.tif 000005
【図４】
2020154388.tif 000006
【図５】
2020154388.tif 000007