(57)【要約】【課題】撮影画像により適切なオーバレイ情報を重ね合わせて表示できるようにする。【解決手段】  位置情報生成部３２は、撮影画像が撮影された実世界の撮影位置を認識する。検索部３３は、位置情報生成部３２により認識された撮影位置および撮影画像を検索する。オーバレイ情報取得部３５は、検索部３３により検索された情報を、撮影画像に重ね合わせて表示させるオーバレイ情報として取得する。通信部３１は、オーバレイ情報取得部３５により取得されたオーバレイ情報を携帯端末に提供する。本発明は、情報提供サーバに適用することができる。【選択図】図３
2011055250.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像が撮影された実世界の撮影位置を認識する認識ステップと、
前記認識ステップの処理により認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索する検索ステップと、
前記検索ステップの処理により検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として提供する提供ステップと
を含む情報提供方法。
【請求項２】
前記情報は、さらに、時間に対応付けられており、
前記検索ステップの処理では、前記撮影位置および前記撮影画像に加えてさらに、前記撮影画像が撮影された時間に基づいて、前記情報が検索される
請求項１に記載の情報提供方法。
【請求項３】
前記検索ステップは、
前記認識ステップの処理により認識された前記撮影位置に基づいて、実世界の各位置のそれぞれに対応する複数の画像の中から、前記撮影画像と比較する画像である検索画像を検索する画像検索ステップと、
前記撮影画像と前記検索画像とを比較する比較ステップと、
前記比較ステップの処理による比較の結果、前記撮影画像と一致した前記検索画像に対応付けられた前記情報を検索する情報検索ステップと
を含む
請求項１に記載の情報提供方法。
【請求項４】
前記認識ステップの処理では、前記撮影位置に加えてさらに、前記撮影画像が撮影されたときの撮影方向が認識され、
前記画像検索ステップの処理では、前記撮影位置に加えてさらに、前記撮影方向に基づいて、前記検索画像が検索される
請求項３に記載の情報提供方法。
【請求項５】
前記撮影画像は、前記実世界の前記撮影位置で撮影を行うことにより得られた画像であり、
前記画像検索ステップの処理では、前記撮影位置に加えてさらに、前記撮影画像が撮影されたときのズーム倍率毎に、前記検索画像が検索される
請求項４に記載の情報提供方法。
【請求項６】
撮影画像が撮影された実世界の撮影位置を認識する認識手段と、
前記認識手段により認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索する検索手段と、
前記検索手段により検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として提供する提供手段と
を備える情報提供装置。
【請求項７】
撮影画像が撮影された実世界の撮影位置を認識し、
認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索し、
検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として提供する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【請求項８】
実世界の撮影位置で行なわれた撮影による撮影画像を取得する画像取得ステップと、
前記撮影位置に対応する情報を取得する情報取得ステップと、
前記撮影画像と前記撮影位置に対応する情報を情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に応じたオーバレイ情報を前記情報提供装置から受信する通信ステップと、
前記撮影画像に対して、前記通信ステップの処理により受信された前記オーバレイ情報を重ね合わせて表示する表示ステップと
を含む情報表示方法。
【請求項９】
前記通信ステップの処理では、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記撮影画像が撮影された時間に関する時間情報を前記情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記時間情報に応じたオーバレイ情報を前記情報提供装置から受信する
請求項８に記載の情報表示方法。
【請求項１０】
前記通信ステップの処理では、前記撮影画像が撮影されたときの撮影方向に対応する方向情報がさらに前記情報提供装置に送信される
請求項８に記載の情報表示方法。
【請求項１１】
前記撮影画像が撮影された時のズーム倍率を取得するズーム倍率取得ステップ
をさらに含み、
前記通信ステップの処理では、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記ズーム倍率を前記情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記ズーム倍率に応じたオーバレイ情報を前記情報提供装置から受信する
請求項８に記載の情報表示方法。
【請求項１２】
実世界の撮影位置で行われた撮影による撮影画像を取得する画像取得手段と、
前記撮影位置に対応する情報を取得する情報取得手段と、
前記撮影画像と前記撮影位置に対応する情報を情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に応じたオーバレイ情報を前記情報提供装置から受信する通信手段と、
前記撮影画像に対して、前記通信手段により受信された前記オーバレイ情報を重ね合わせて表示する表示手段と
を備える携帯端末。
【請求項１３】
実世界の撮影位置で行われた撮影による撮影画像を取得し、
前記撮影位置に対応する情報を取得し、
前記撮影画像と前記撮影位置に対応する情報を情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に応じたオーバレイ情報を前記情報提供装置から受信し、
前記撮影画像に対して、受信された前記オーバレイ情報を重ね合わせて表示する
ステップを含む制御処理をコンピュータに実行させるプログラム。
【請求項１４】
撮影画像に合成するオーバレイ情報を携帯端末に提供する情報提供装置と、
前記撮影画像に前記オーバレイ情報を合成して表示する携帯端末と
を備える情報提供システムにおいて、
前記携帯端末は、
実世界の撮影位置で行われた撮影による撮影画像を取得する画像取得手段と、
前記撮影画像に対して前記オーバレイ情報を重ね合わせて表示する表示手段と、
前記情報提供装置に前記撮影画像と前記撮影位置に対応する情報を送信するとともに、前記オーバレイ情報を前記情報提供装置から受信する第１の通信手段と
を備え、
前記情報提供装置は、
前記携帯端末から受信した前記撮影位置に対応する情報に基づいて、前記撮影位置を認識する認識手段と、
前記認識手段により認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索する検索手段と、
前記検索手段により検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として前記携帯端末に送信する第２の通信手段と
を備える情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システムに関し、特に、より適切なオーバレイ情報を表示することができるようにした、情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システムに関する。
【背景技術】
【０００２】
近年、実世界の被写体をカメラ等で撮影し、その結果得られる撮影画像に対して、各種情報を重ね合わせて表示する技術が登場してきている。このような技術は、拡張現実感（augmented reality）やミックスドリアリティ（mixed reality）と称されている。なお、以下、撮影画像に対して重ね合わせて表示される情報を、オーバレイ情報と称する。拡張現実感をディスプレイ付きの電子機器に適用することで、ユーザは、撮影画像とともに表示されるオーバレイ情報を視認することができる（例えば特許文献１参照）。
【０００３】
このような拡張現実感を実現させるためには、カメラ等の存在位置（撮影位置）と撮影方向を認識する必要がある。その認識手法としては、従来、GPS（Global Positioning System）または無線LAN（Local Area Network）を用いて、カメラ等の存在位置（撮影位置）を認識し、地磁気センサを用いて撮影方向を認識する手法（以下、位置認識手法と称する）が広く知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３９２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、位置認識手法を採用した場合、例えば撮影画像に含まれる店舗の上に、その店舗に対応付けられたオーバレイ情報を正確に重ね合わせて表示させることができない場合があった。すなわち、ユーザが後方のビルディングを撮影したにも関わらず、前方のビルディングの情報がオーバレイ情報として表示されてしまう場合等である。位置認識手法では、カメラ等の存在位置と撮影方向を正確に認識することが困難であるからである。
【０００６】
具体的には例えば、GPSを用いた位置認識手法が採用された場合、人工衛星からの電波を受信し易い上方が開けた屋外での位置認識精度は高い。しかしながら、電波を受信し難いビルディング街のような上方が開けていない屋外や、屋内での位置認識精度は極端に低下してしまう。その結果、上方が開けていない屋外や屋内では、カメラ等の存在位置を正確に認識することが困難になる。
【０００７】
無線LANを用いた位置認識手法が採用された場合、上方が開けていない屋外や屋内での位置認識精度は、上方が開けている屋外での位置認識精度と同程度となる。しかしながら、無線LANを用いた位置認識手法は、GPSを用いる場合に較べて電波の受信感度は低く、位置認識精度そのものが３０ｍ程度と低い。したがって、無線LANを用いた位置認識手法では、上方が開けている屋外とそれ以外とを問わず、カメラ等の存在位置を正確に認識することが困難になる。
【０００８】
また、地磁気センサにより撮影方向を正確に検出することは困難である。その結果、位置認識手法では正確なオーバレイ情報をユーザに提供することが困難である。
【０００９】
さらにまた、オーバレイ情報は、拡張現実感以外の技術にも適用可能である。例えば、街頭に貼られているポスタが撮影された場合、そのポスタに関係する情報をオーバレイ情報として重ね合わせて表示することも可能である。ただし、この場合、ポスタとそれに重ね合わせて表示させる内容とは、１対１に対応している。従って、各場所に応じた適切なオーバレイ情報を提供することが困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、より適切なオーバレイ情報を表示することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の情報提供方法は、撮影画像が撮影された実世界の撮影位置を認識する認識ステップと、前記認識ステップの処理により認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索する検索ステップと、前記検索ステップの処理により検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として提供する提供ステップとを含む。
【００１２】
前記情報は、さらに、時間に対応付けられており、前記検索ステップの処理では、前記撮影位置および前記撮影画像に加えてさらに、前記撮影画像が撮影された時間に基づいて、前記情報が検索することができる。
【００１３】
前記検索ステップは、前記認識ステップの処理により認識された前記撮影位置に基づいて、実世界の各位置のそれぞれに対応する複数の画像の中から、前記撮影画像と比較する画像である検索画像を検索する画像検索ステップと、前記撮影画像と前記検索画像とを比較する比較ステップと、前記比較ステップの処理による比較の結果、前記撮影画像と一致した前記検索画像に対応付けられた前記情報を検索する情報検索ステップとを含むことができる。
【００１４】
前記認識ステップの処理では、前記撮影位置に加えてさらに、前記撮影画像が撮影されたときの撮影方向が認識され、前記画像検索ステップの処理では、前記撮影位置に加えてさらに、前記撮影方向に基づいて、前記検索画像が検索することができる。
【００１５】
前記撮影画像は、前記実世界の前記撮影位置で撮影を行うことにより得られた画像であり、前記画像検索ステップの処理では、前記撮影位置に加えてさらに、前記撮影画像が撮影されたときのズーム倍率毎に、前記検索画像が検索することができる。
【００１６】
本発明の一側面の情報提供装置およびプログラムは、上述した本発明の一側面の情報提供方法に対応する装置およびプログラムである。
【００１７】
本発明の一側面の情報提供方法および装置並びにプログラムにおいては、撮影画像が撮影された実世界の撮影位置が認識され、認識された前記撮影位置および前記撮影画像に対応付けられた情報が検索され、検索された前記情報が、前記撮影画像に重ね合わせて表示させるオーバレイ情報として提供される。
【００１８】
本発明の一側面の情報表示方法は、実世界の撮影位置で行なわれた撮影による撮影画像を取得する画像取得ステップと、前記撮影位置に対応する情報を取得する情報取得ステップと、前記撮影画像と前記撮影位置に対応する情報を情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に応じたオーバレイ情報を前記情報提供装置から受信する通信ステップと、前記撮影画像に対して、前記通信ステップの処理により受信された前記オーバレイ情報を重ね合わせて表示する表示ステップとを含む。
【００１９】
前記通信ステップの処理では、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記撮影画像が撮影された時間に関する時間情報を前記情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記時間情報に応じたオーバレイ情報を前記情報提供装置から受信することができる。
【００２０】
前記通信ステップの処理では、前記撮影画像が撮影されたときの撮影方向に対応する方向情報をさらに前記情報提供装置に送信することができる。
【００２１】
前記撮影画像が撮影された時のズーム倍率を取得するズーム倍率取得ステップをさらに含み、前記通信ステップの処理では、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記ズーム倍率を前記情報提供装置に送信するとともに、前記撮影画像と前記撮影位置に対応する情報に加えてさらに、前記ズーム倍率に応じたオーバレイ情報を前記情報提供装置から受信することができる。
【００２２】
本発明の一側面の携帯端末およびプログラムは、上述した本発明の一側面の情報表示方法に対応する携帯端末およびプログラムである。
【００２３】
本発明の一側面の情報表示方法および携帯端末並びにプログラムにおいては、実世界の撮影位置で行なわれた撮影による撮影画像が取得され、前記撮影位置に対応する情報が取得され、前記撮影画像と前記撮影位置に対応する情報が情報提供装置に送信されるとともに、前記撮影画像と前記撮影位置に対応する情報に応じたオーバレイ情報が前記情報提供装置から受信され、前記撮影画像に対して、受信された前記オーバレイ情報が重ね合わせて表示される。
【００２４】
本発明の一側面の情報提供システムは、撮影画像に合成するオーバレイ情報を携帯端末に提供する情報提供装置と、前記撮影画像に前記オーバレイ情報を合成して表示する携帯端末とを備え、前記携帯端末は、実世界の撮影位置で行われた撮影による撮影画像を取得する画像取得手段と、前記撮影画像に対して前記オーバレイ情報を重ね合わせて表示する表示手段と、前記情報提供装置に前記撮影画像と前記撮影位置に対応する情報を送信するとともに、前記オーバレイ情報を前記情報提供装置から受信する第１の通信手段とを備え、前記情報提供装置は、前記携帯端末から受信した前記撮影位置に対応する情報に基づいて、前記撮影位置を認識する認識手段と、前記認識手段により認識された前記撮影位置および前記撮影画像に対応付けられた情報を検索する検索手段と、前記検索手段により検索された前記情報を、前記撮影画像に重ね合わせて表示させるオーバレイ情報として前記携帯端末に送信する第２の通信手段とを備える。
【００２５】
本発明の一側面の情報提供システムにおいては、携帯端末により、実世界の撮影位置で行われた撮影による撮影画像が取得され、前記撮影画像に対して前記オーバレイ情報が重ね合わせて表示され、前記情報提供装置に前記撮影画像と前記撮影位置に対応する情報が送信されるとともに、前記オーバレイ情報が前記情報提供装置から受信され、前記情報提供装置により、前記携帯端末から受信した前記撮影位置に対応する情報に基づいて、前記撮影位置が認識され、認識された前記撮影位置および前記撮影画像に対応付けられた情報が検索され、検索された前記情報が、前記撮影画像に重ね合わせて表示させるオーバレイ情報として前記携帯端末に送信される。
【発明の効果】
【００２６】
以上のごとく、本発明によれば、より適切なオーバレイ情報を表示することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明が適用される情報提供システムの一実施の形態の構成を示すブロック図である。
【図２】第１実施形態に係る携帯端末の機能的構成例を示す機能ブロック図である。
【図３】第１実施形態に係る情報提供サーバの機能的構成例を示す機能ブロック図である。
【図４】携帯端末のオーバレイ情報表示処理の一例を説明するフローチャートである。
【図５】基地局情報の一例を示す図である。
【図６】撮影画像にオーバレイ情報が重ね合わされた表示例について説明する図である。
【図７】撮影画像にオーバレイ情報が重ね合わされた他の表示例について説明する図である。
【図８】情報提供サーバのオーバレイ情報提供処理の一例を説明するフローチャートである。
【図９】パノラマ画像に対応付けられたオーバレイ情報の具体例について説明する図である。
【図１０】ズーム倍率により異なるオーバレイ情報の表示例について説明する図である。
【図１１】第２実施形態に係る携帯端末の機能的構成例を示す機能ブロック図である。
【図１２】第２実施形態に係る情報提供サーバの機能的構成例を示す機能ブロック図である。
【図１３】携帯端末のオーバレイ情報表示処理の一例を説明するフローチャートである。
【図１４】撮影画像の一例を示す図である。
【図１５】撮影位置または撮影時間により異なるオーバレイ情報の表示例について示す図である。
【図１６】情報提供サーバのオーバレイ情報提供処理の一例を説明するフローチャートである。
【図１７】表示媒体に対応付けられた情報の一例を示す図である。
【図１８】本発明が適用される情報処理装置のハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
本発明の実施形態として、２つの実施形態（以下、それぞれ第１実施形態および第２実施形態と称する）について、以下の順序で説明する。
１．第１実施形態（パノラマ画像にオーバレイ情報が対応付けられた例）
２．第２実施形態（ポスタ等の画像にオーバレイ情報が対応付けられた例）
【００２９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３０】
＜１．第１実施形態＞
[本発明が適用される情報提供システム１の構成例]
図１は、本発明の第１実施形態が適用される情報提供システムの構成を示すブロック図である。
【００３１】
図１の情報提供システム１は、携帯端末１１、基地局１２−１乃至１２−Ｎ（Ｎは１以上の任意の整数値）、ネットワーク１３、および情報提供サーバ１４から構成されている。
【００３２】
なお、以下、基地局１２−１乃至１２−Ｎを個々に区別する必要がない場合、これらをまとめて基地局１２と称する。
【００３３】
携帯端末１１は、例えば携帯電話機に代表される、ユーザが自在に持ち運び可能な端末である。携帯端末１１は、屋外に存在する場合はもとより、屋内に存在する場合でも、情報提供サーバ１４等のネットワーク１３に接続された情報処理装置との間で各種情報を送受信することができる。
【００３４】
具体的には例えば、携帯端末１１から情報提供サーバ１４への送信情報は、無線LANを構成する基地局１２−１乃至１２−Ｎのうち、携帯端末１１に最も近い基地局１２−Ｋ（Ｋは、１乃至Ｎのうちの何れかの整数値）に無線送信される。基地局１２−Ｋに受信された送信情報は、ネットワーク１３を介して情報提供サーバ１４に送信される。
【００３５】
情報提供装置としての情報提供サーバ１４は、各種サービスを提供するサーバである。情報提供サーバ１４から携帯端末１１への送信情報は、ネットワーク１３を介して基地局１２−Ｋに送信される。基地局１２−Ｋに受信された送信情報は、携帯端末１１に無線送信される。
【００３６】
なお、ネットワーク１３は本実施の形態では、例えばインターネットで構成される。しかしながら、インターネットの形態は特に限定されない。また、基地局１２もネットワーク１３と接続可能な形態であれば特に限定されない。さらに、本実施の形態では携帯端末１１の位置認識に無線LANが採用されているため、携帯端末１１と無線通信できる基地局１２が存在する。しかしながら、携帯端末１１の位置認識に例えばGPSが採用されているような場合であって、携帯端末１１とネットワーク１３とが直接接続されるような場合、基地局１２は省略可能である。
【００３７】
[携帯端末１１の構成例]
図２は、図１の情報提供システム１のうちの携帯端末１１の機能的構成例を示す機能ブロック図である。
【００３８】
図２の携帯端末１１は、撮影部２１、撮影画像取得部２２、基地局情報取得部２３、ズーム倍率取得部２４、表示制御部２５、表示部２６、および通信部２７から構成される。
【００３９】
撮影部２１は、例えば実世界の所定位置で風景、その他の被写体を撮影する。
【００４０】
撮影画像取得部２２は、撮影部２１により撮影された撮影画像を取得する。
【００４１】
基地局情報取得部２３は、携帯端末１１に最も近い基地局１２−Ｋに関する情報（以下、基地局情報と称する）を取得する。
【００４２】
本実施の形態では、無線LANを用いて位置認識が行われる。すなわち、無線通信距離が長くなるほど受信側の電界強度が弱くなるという性質を利用して、設置位置が既知の送信側との間の距離を認識することで、現在位置が未知の受信側の位置が認識される。したがって、無線LANを用いて携帯端末１１との距離を認識するためには、基地局１２−Ｋの設置位置と、基地局１２−Ｋからの電界強度とが必要になる。例えば本実施の形態では、基地局１２−１乃至１２−Ｎには、それぞれを一意に特定する基地局ＩＤが付されている。すなわち、基地局ＩＤから、設置位置が既知の基地局１２を特定することができるので、基地局１２の設置位置を特定する情報として基地局ＩＤが採用される。そこで本実施の形態では、基地局１２−Ｋの基地局ＩＤと、基地局１２−Ｋからの電界強度を示す情報が、基地局情報として基地局情報取得部２３により取得される。
【００４３】
通信部２７は、撮影画像取得部２２により取得された撮影画像と、基地局情報取得部２３により取得された基地局情報を、情報提供サーバ１４に送信する。また、通信部２７は、情報提供サーバ１４からオーバレイ情報を受信する。
【００４４】
表示制御部２５は、撮影画像取得部２２により取得された撮影画像に対して、通信部２７により受信されたオーバレイ情報を重ね合わせ、その結果得られる合成画像を表示部２６に表示させる。すなわち、表示部２６は、撮影画像とともに、その上に重ね合わされたオーバレイ情報を表示する。
【００４５】
ズーム倍率取得部２４は、撮影部２１により被写体が撮影されたときのズーム倍率を取得する。このズーム倍率は、上述した撮影画像と基地局情報とともに、通信部２７から情報提供サーバ１４に提供される。
【００４６】
[情報提供サーバ１４の構成例]
図３は、図１の情報提供システム１のうちの情報提供サーバ１４の機能的構成例を示す機能ブロック図である。
【００４７】
図３の情報提供サーバ１４は、通信部３１、位置情報生成部３２、検索部３３、パノラマ画像格納部３４、およびオーバレイ情報取得部３５から構成される。
【００４８】
通信部３１は、携帯端末１１の通信部２７と通信し、携帯端末１１から送信されてきた情報、例えば、撮影画像、基地局情報、およびズーム倍率等を受信する。
【００４９】
位置情報生成部３２は、通信部３１により受信された携帯端末１１からの基地局情報に基づいて、携帯端末１１の存在位置を示す位置情報を生成する。すなわち、上述したように、基地局情報には、基地局１２−Ｋの設置位置に対応する基地局ＩＤと、携帯端末１１における基地局１２−Ｋからの電波の電界強度とが含まれている。そこで、位置情報生成部３２は、基地局ＩＤから対応する既知の設置位置を検出し、電界強度から設置位置からの距離を算出することで携帯端末１１の存在位置（現在位置）を認識し、その認識結果を位置情報として生成する。
【００５０】
検索部３３は、位置情報生成部３２により生成された位置情報に基づいて、実世界の各位置に対応する複数の画像の中から、通信部３１により受信された撮影画像と比較する検索画像を検索する。
【００５１】
検索画像は、後述するオーバレイ情報と対応付けが可能な画像である。例えば本実施の形態では、パノラマ画像格納部３４に格納されたパノラマ画像が検索画像とされる。パノラマ画像とは、撮影位置を中心として、周囲の全周囲（３６０度の範囲）を表せるよう撮影された撮影画像である。すなわち、パノラマ画像格納部３４には、実世界の複数の位置においてそれぞれ撮影した結果得られる複数のパノラマ画像が予め格納されている。さらに、パノラマ画像格納部３４には、各撮影位置において、複数のズーム倍率で撮影した結果得られる複数のパノラマ画像が格納されている。すなわち、パノラマ画像格納部３４には、実世界の複数の位置のそれぞれについて、ズーム倍率に応じた階層的な複数のパノラマ画像が格納されている。
【００５２】
検索部３３は、パノラマ画像格納部３４に格納されているパノラマ画像から、位置情報生成部３２により生成された位置情報に対応する位置、すなわちパノラマ画像の撮影位置と同一かその近傍の位置において、通信部３１により受信されたズーム倍率と同一かそれに近い倍率で撮影されたパノラマ画像を検索する。そして、検索部３３は、通信部３１により受信された撮影画像と、パノラマ画像格納部３４から検索されたパノラマ画像の各領域とのマッチング処理を行う。例えば、検索部３３は、撮影画像の画像特徴点とパノラマ画像の各領域の画像特徴点の一致点を検出し、パノラマ画像の中から、撮影画像と一致する領域（画像）を特定する。なお、以下、検索部３３のマッチング処理により撮影画像と一致するとして特定されたパノラマ画像（検索画像）を、マッチ画像と称する。マッチ画像自身またはそれを特定する情報がマッチング結果とされる。
【００５３】
オーバレイ情報取得部３５は、検索部３３のマッチング結果に基づいて、マッチ画像に対応付けられたオーバレイ情報を取得する。例えば本実施の形態では、パノラマ画像格納部３４に格納された各パノラマ画像の各領域のそれぞれに対しては、所定のオーバレイ情報が対応付けられている。そこで、オーバレイ情報取得部３５は、マッチ画像に対応付けられたオーバレイ情報をパノラマ画像格納部３４から取得する。
【００５４】
オーバレイ情報としては様々な情報を採用することができるので、多種多様なサービスをユーザに提供することができる。
【００５５】
例えば、ナビゲーション情報をオーバレイ情報として採用することができる。具体的には例えば、インターネットで検索可能なレストランのランキング情報を、オーバレイ情報とすることができる。この場合、ユーザが特定のレストランをカメラ等で撮影すると、そのカメラ等のディスプレイには、特定のレストランの画像のみならず、そのレストランのランキングがオーバレイ情報として重ね合わせて表示される。したがって、ユーザは、実世界のレストランにランキング情報が直接掲示されているかのような感覚で、そのランキング情報を視認することができる。
【００５６】
また例えば、ユーザ間のコミュニケーション情報を、オーバレイ情報として採用することができる。具体的には例えば、インターネットで検索可能なレストランの口コミ情報を、オーバレイ情報とすることができる。この場合、ユーザが特定のレストランをカメラ等で撮影すると、そのカメラ等のディスプレイには、特定のレストランの画像のみならず、そのレストランに対する口コミ情報がオーバレイ情報として重ね合わせて表示される。したがって、ユーザは、「このお店は味もサービスも最高」といったようなユーザレベルでの生の情報を視認することができる。
【００５７】
さらに例えば、実世界の各店舗のそれぞれに対してオーバレイ情報を１つずつ対応付けることもできる。このような場合、ユーザが視点を変えて撮影する毎に、撮影画像に含まれる店舗は変化する。すると、その変化に応じて、撮影画像上に表示されるオーバレイ情報も変化していくことになる。このように、撮影位置や、撮影画像に含まれるオブジェクトの変化に応じて、オーバレイ情報を変化させていくこともできる。
【００５８】
通信部３１は、オーバレイ情報取得部３５により取得されたオーバレイ情報を、携帯端末１１の通信部２７に送信する。上述したように、携帯端末１１は、撮影画像にこのオーバレイ情報を重ね合わせて表示する。
【００５９】
このように、情報提供サーバ１４は、位置認識により、撮影画像のマッチング対象となるパノラマ画像を絞り込んでから、画像のマッチングを行う。例えば、位置認識により、携帯端末１１の存在位置が渋谷ハチ公前交差点付近だと認識された場合には、撮影画像のマッチング対象は、渋谷ハチ公前交差点周辺のパノラマ画像のみに限定される。これにより、マッチングに要するデータ処理量を少なくし、処理時間を短くすることができる。
【００６０】
なお、図２に示される携帯端末１１と、図３に示される情報提供サーバ１４の機能ブロック図の各機能ブロックの存在場所は、携帯端末１１内であっても、情報提供サーバ１４内であっても、ネットワーク上の図示せぬ情報処理装置内であってもよい。
【００６１】
[携帯端末１１のオーバレイ情報表示処理]
次に、携帯端末１１が実行する処理（以下、オーバレイ情報表示処理と称する）について図４を参照して説明する。
【００６２】
図４は、携帯端末１１のオーバレイ情報表示処理の一例を説明するフローチャートである。
【００６３】
ステップＳ１において、ユーザにより所定の操作がなされると、携帯端末１１の基地局情報取得部２３は、基地局情報を取得する。すなわち、情報取得手段としての基地局情報取得部２３は、通信部２７が最寄りの基地局１２−Ｋと通信し、受信した信号から基地局情報を取得する。
【００６４】
図５は、基地局情報の一例を示す図である。
【００６５】
図５に示されるように、基地局情報には、基地局ＩＤと電界強度が含まれる。基地局ＩＤとは、基地局１２−１乃至１２−Ｎにそれぞれ固有に付与された基地局識別情報であり、基地局１２を一意に特定することができる。したがって、携帯端末１１が受信した基地局ＩＤに基づいて、その基地局ＩＤを送信した基地局１２−Ｋの設置位置を特定することができる。また、携帯端末１１が受信した基地局１２−Ｋからの電波の電界強度から、携帯端末１１とその基地局ＩＤを送信した基地局１２−Ｋの間の距離を算出することができる。したがって、携帯端末１１が受信した基地局情報に基づいて、設置位置が既知の基地局１２−Ｋからの携帯端末１１の距離を特定することができる。
【００６６】
ステップＳ２において、通信部２７は、基地局情報を送信する。すなわち、通信部２７は、ステップＳ１において基地局情報取得部２３により取得された基地局情報を、情報提供サーバ１４に送信する。
【００６７】
すると、図８を参照して後述するように、情報提供サーバ１４は、基地局情報を受信し、この基地局情報に基づいて携帯端末１１の位置情報を生成する（図８のステップＳ２１，Ｓ２２参照）。すなわち、この基地局情報は、被写体が撮影された所定位置に対応する情報である。
【００６８】
なお、ステップＳ１およびステップＳ２の処理は、後述するステップＳ３またはステップＳ４の処理の後に行われてもよい。また、基地局情報は、ステップＳ５で撮影画像およびズーム倍率と一緒に送信してもよい。
【００６９】
一方、携帯端末１１においては、ステップＳ３において、ユーザの操作に基づいて撮影部２１が所定位置の所定の被写体を撮影する。撮影画像取得部２２は、撮影部２１により撮影された撮影画像を取得する。
【００７０】
ステップＳ４において、ズーム倍率取得部２４は、ズーム倍率を取得する。すなわち、ズーム倍率取得部２４は、撮影部２１により撮影画像が撮影されたとき、ユーザにより指定されたズーム倍率を取得する。
【００７１】
ステップＳ５において、通信部２７は、撮影画像とズーム倍率を送信する。すなわち、通信部２７は、ステップＳ３とステップＳ４において、撮影画像取得部２２とズーム倍率取得部２４によりそれぞれ取得された、撮影画像とズーム倍率を、情報提供サーバ１４に送信する。
【００７２】
すると、図８を参照して後述するように、情報提供サーバ１４は、撮影画像とズーム倍率とを受信し、これらの情報と上述した位置情報とを用いてオーバレイ情報を取得して、携帯端末１１に送信してくる（図８のステップＳ２３乃至Ｓ２７参照）。
【００７３】
携帯端末１１では、ステップＳ６において、通信部２７は、情報提供サーバ１４から送信されてきたオーバレイ情報を受信する。なお、通信部２７が撮影画像送信後、一定時間内にオーバレイ情報を受信しなれば、何かしらのエラーが発生したとして、オーバレイ情報表示処理は強制終了する。
【００７４】
ステップＳ７において、表示制御部２５は、撮影画像にオーバレイ情報を合成する。
【００７５】
ステップＳ８において、表示部２６は、合成した画像を表示する。すなわち、表示部２６は、ステップＳ７において表示制御部２５により制御され、撮影画像にオーバレイ情報を重ね合わせた合成画像を表示する。
【００７６】
これにより、携帯端末１１のオーバレイ情報表示処理は終了する。
【００７７】
ここで、図６と図７を参照して、図４のステップＳ７，Ｓ８の処理の具体例について説明する。
【００７８】
図６は、撮影画像にオーバレイ情報が重ね合わされた表示例について説明する図である。
【００７９】
図６に示される例では、携帯端末１１を携帯するユーザは屋内（例えば会社内）にいる。また、オーバレイ情報としてナビゲーション情報が採用されている。具体的には例えば、会社内の案内情報が、オーバレイ情報とされている。この例の場合、ユーザが携帯端末１１で会社内を撮影した結果得られる撮影画像に、オーバレイ情報である「Printer Room」、「To Exit」、「Director's Office」の各案内情報５１が重ね合わされて表示されている。したがって、ユーザは、実世界の会社内に案内情報５１が直接掲示されているかのような感覚で、その案内情報５１を視認し、行動することができる。ユーザは、オーバレイ情報が表示されることにより、現在位置から見て突き当たりの部屋が重役室（Director's Office）であり、その手前にある部屋が印刷室(Printer Room)であり、現在位置から左に曲がったところに出口(To Exit)がある、という情報を取得することができる。
【００８０】
図７は、撮影画像にオーバレイ情報が重ね合わされた他の表示例について説明する図である。
【００８１】
図７に示される例では、ユーザは屋外の街中にいる。また、オーバレイ情報としてナビゲーション情報が採用されている。具体的には例えば、店舗情報や広告の詳細情報が、オーバレイ情報とされている。この例の場合、ユーザが携帯端末１１で街中の建物を撮影した結果得られる撮影画像に、オーバレイ情報である「SALE」の店舗情報６１や「SPECIAL MENU 320YEN」の広告の詳細情報６２が重ね合わされて表示される。したがって、ユーザは、実世界のビルディングや広告に店舗情報６１や広告の詳細情報６２が直接掲示されているかのような感覚で、その情報を視認し、行動することができる。ユーザは、オーバレイ情報が表示されることにより、目の前のビルディングの中の店舗がセール中（SALE）であること、ビルディングの壁面広告に掲載されている飲み物が３２０円である（SPECIAL MENU 320YEN）、という情報を取得することができる。
【００８２】
[情報提供サーバ１４のオーバレイ情報提供処理]
次に、情報提供サーバ１４が実行する処理（以下、オーバレイ情報提供処理と称する）について図８を参照して説明する。
【００８３】
図８は、情報提供サーバ１４のオーバレイ情報提供処理の一例を説明するフローチャートである。
【００８４】
上述した図４のステップＳ２の処理で、携帯端末１１から最寄りの基地局１２−Ｋの基地局情報が送信されてきた場合、ステップＳ２１において、通信部３１は、基地局情報を受信する。
【００８５】
ステップＳ２２において、認識手段としての位置情報生成部３２は、受信された基地局情報に基づいて、位置情報を生成する。すなわち、上述したように、受信された基地局ＩＤに対応する記憶されている設置位置が読み出され、受信された電界強度に基づき、設置位置からの距離が算出される。そして、算出された距離だけ設置位置から離れた位置が、携帯端末１１の現在位置（撮影が行われた所定位置）として算出される。
【００８６】
また、上述したように、図４のステップＳ５の処理で、携帯端末１１から撮影画像とズーム倍率が送信されてくる。
【００８７】
そこで、ステップＳ２３において、通信部３１は、撮影画像とズーム倍率を受信する。なお、通信部３１が一定時間内に撮影画像とズーム倍率を受信しなれば、何かしらのエラーが発生したとして、オーバレイ情報提供処理は強制終了する。
【００８８】
ステップＳ２４において、検索部３３は、現在位置の位置情報に対応するパノラマ画像の中から、受信されたズーム倍率の階層のパノラマ画像を、パノラマ画像格納部３４から検索することで、比較対象の検索画像であるパノラマ画像を取得する。
【００８９】
なお、携帯端末１１が、例えば地磁気センサを内蔵し、撮影方向を検出する機能を有している場合は、その方向情報を図４のステップＳ５で情報提供サーバ１４に送信させることができる。この場合、情報提供サーバ１４は、ステップＳ２３でこの情報を受信し、受信した方向情報に対応する方向のパノラマ画像だけを検索画像とする。これにより、３６０度の範囲から撮影方向の画像が絞り込まれるので、処理時間をより短縮することができる。
【００９０】
ステップＳ２５において、検索部３３は、撮影画像とパノラマ画像のマッチングを行う。すなわち、上述したように、特徴点を比較することで撮影画像に最も類似するパノラマ画像がマッチ画像として検出される。
【００９１】
ステップＳ２６において、通信部３１とともに提供手段を構成するオーバレイ情報取得部３５は、検索部３３のマッチング結果に基づいて、オーバレイ情報を取得する。すなわち、パノラマ画像格納部３４に格納されたパノラマ画像のうち、マッチ画像に対応付けられたオーバレイ情報が取得される。
【００９２】
ここで、図９を参照して、パノラマ画像に対応付けられたオーバレイ情報の具体例について説明する。
【００９３】
図９は、パノラマ画像に対応付けられたオーバレイ情報の具体例について説明する図である。
【００９４】
パノラマ画像格納部３４には、実世界の複数の位置において異なるズーム倍率で撮影して得られた複数のパノラマ画像ＰＶ１−１，ＰＶ１−２，ＰＶ１−３，・・・ＰＶ５−１，ＰＶ５−２，ＰＶ５−３，・・・と、そのパノラマ画像にそれぞれ対応付けられたオーバレイ情報が格納されている。この実施の形態では、第１の位置で、第１乃至第３の３つの異なるズーム倍率で撮影されたパノラマ画像ＰＶ１−１，ＰＶ１−２，ＰＶ１−３が、それぞれに対応付けられたオーバレイ情報とともに格納されている。また、第５の位置でも、第１乃至第３の３つの異なるズーム倍率で撮影されたパノラマ画像ＰＶ５−１，ＰＶ５−２，ＰＶ５−３が、それぞれに対応付けられたオーバレイ情報とともに格納されている。他の位置でも同様である。なお、各位置の第１乃至第３のズーム倍率はそれぞれ同じ値とされている。
【００９５】
図９の例では、第１の位置の第１のズーム倍率のパノラマ画像ＰＶ１−１には、「Ａ銀行  営業時間○○・・・」というオーバレイ情報が対応付けられている。第１の位置の第２のズーム倍率と第３のズーム倍率のパノラマ画像ＰＶ１−２，ＰＶ１−３にも、それぞれオーバレイ情報が対応付けられている。また、第１の位置とは異なる第５の位置の第１のズーム倍率のパノラマ画像ＰＶ５−１には、「営業時間○○  座席数××・・・」というオーバレイ情報が対応付けられている。さらに、第５の位置の第２のズーム倍率のパノラマ画像ＰＶ５−２には、「○○バーガー×円  ○×バーガー□円  ○△バーガー△円・・・」というオーバレイ情報が対応付けられている。
【００９６】
ステップＳ２７において、オーバレイ情報取得部３５とともに提供手段を構成する通信部３１は、オーバレイ情報を送信する。すなわち、通信部３１は、ステップＳ２６においてオーバレイ情報取得部３５により取得されたオーバレイ情報を、携帯端末１１に提供する。
【００９７】
これにより、上述したように、携帯端末１１は、オーバレイ情報を受信し、撮影画像にその提供されたオーバレイ情報を合成して表示する（図４のステップＳ６乃至Ｓ８参照）。
【００９８】
以上、情報提供サーバ１４のオーバレイ情報提供処理は終了する。
【００９９】
[オーバレイ情報の表示例]
図１０は、撮影画像にオーバレイ情報が重ね合わされた例であって、ズーム倍率により異なるオーバレイ情報の表示例について説明する図である。
【０１００】
図１０に示される例では、ユーザは街中にいる。また、オーバレイ情報としてナビゲーション情報が採用されている。具体的には例えば、店舗や店舗内の詳細情報が、オーバレイ情報とされている。
【０１０１】
図１０Ａに示される例では、ユーザが携帯端末１１で、街中の所定の位置からビルディング７１が含まれる被写体を撮影した結果得られる撮影画像に、オーバレイ情報としてビルディング７１の店舗の詳細情報７２が重ね合わされて表示されている。したがって、ユーザは、オーバレイ情報であるビルディング７１の店舗の詳細情報７２が表示されることにより、自身が撮影したビルディング７１が、Ａ銀行であり、営業時間はＯＯである、という情報等を取得することができる。
【０１０２】
図１０Ｂに示される例では、ユーザが携帯端末１１で、街中の所定の位置であって、図１０Ａに示される例とは異なる位置で、○△バーガー店７３が含まれる被写体が撮影され、表示されている。この例では、撮影された結果得られる撮影画像に、オーバレイ情報として店舗の詳細情報７４が重ね合わされて表示されている。したがって、ユーザは、オーバレイ情報である店舗の詳細情報７４が表示されることにより、自身が撮影した○△バーガー店７３が、営業時間はＯＯであり、座席数は××である、という情報等を取得することができる。
【０１０３】
さらにユーザが、図１０Ｂに示される○△バーガー店７３の詳細な情報の取得を希望する場合、ユーザは、○△バーガー店７３を、ズーム倍率を上げて撮影する。すると、携帯端末１１によって撮影された結果得られる撮影画像は、図１０Ｃに示されるように表示される。
【０１０４】
図１０Ｃに示される例では、○△バーガー店７３の窓越しに撮影された店内の様子が撮影画像として表示されている。そして、撮影画像の一部である店内にディスプレイされているバーガーの写真７５の詳細情報７６が、オーバレイ情報として撮影画像に重ね合わされて表示されている。したがって、ユーザは、撮影画像の一部であるバーガーの写真７５に対するオーバレイ情報である詳細情報７６が表示されることにより、自身が撮影した○△バーガー店７３のバーガーの値段として、○○バーガー×円、○△バーガー□円、○△バーガー△円、というメニュー情報等を取得することができる。
【０１０５】
このように、ユーザは、撮影画像の中でさらに詳細な情報の取得を希望する対象がある場合、その対象をズーム倍率を上げて撮影する。すると、その対象をズーム倍率を上げて撮影された結果得られる撮影画像には、ズーム倍率に応じて撮影画像に対応付けられたオーバレイ情報が重ね合わされて表示される。したがって、ユーザは、撮影画像の中でさらに詳細な情報の取得を希望する対象の、より詳細な情報を取得することができる。
【０１０６】
以上、説明したように、無線LANを用いた位置認識により撮影画像のマッチング対象となるパノラマ画像を絞り込むことで、次のような効果を奏することができる。すなわち、撮影画像と、複数の位置においてそれぞれ撮影された結果得られる複数のパノラマ画像のすべてとのマッチングを行う必要がなくなるので、マッチング処理に要する時間を短縮することができる。その結果、撮影画像にオーバレイ情報を重ね合わせて表示することができるまでの時間も短縮される。また、マッチングの精度が向上し、それに伴い、撮影画像に重ね合わされるオーバレイ情報の精度も向上する。
【０１０７】
さらに、無線LANを用いた位置認識により撮影画像のマッチング対象となるパノラマ画像を絞り込む場合、携帯端末１１に必要とされる各種の情報を検知し収集するセンシング手段は、カメラと無線LANのみである。近年利用されているスマートフォン等の携帯端末には、通常、カメラと無線通信機能が搭載されている。したがって、無線LANを用いた位置認識により撮影画像のマッチング対象となるパノラマ画像を絞り込む場合、携帯端末に新たに他のセンサ等のセンシング手段を追加する必要がない。また、位置認識には、屋内でも使用することができる無線LANを用いるので、利用範囲の限定が少ない。
【０１０８】
＜２．第２実施形態＞
以上の第１実施形態では、撮影画像に最も類似するパノラマ画像に対応付けられた情報がオーバレイ情報として表示された。第２実施形態では、撮影画像であるポスタ等の画像の全部または一部に対応付けられた情報がオーバレイ情報として表示される。
【０１０９】
第２実施形態に係る情報提供システムの構成は、図１の第１実施形態に係る情報提供システム１の構成と基本的に同様である。すなわち、第１実施形態の図１の構成と同様に、第２実施形態に係る情報提供システムにおいても、携帯端末１１と情報提供サーバ１４が、基地局１２およびネットワーク１３を介して相互に接続されている。
【０１１０】
[携帯端末１１の構成例]
図１１は、第２実施形態に係る情報提供システムのうちの携帯端末１１の機能的構成例を示す機能ブロック図である。
【０１１１】
図１１の携帯端末１１は、撮影部２１、撮影画像取得部２２、基地局情報取得部２３、表示制御部２５、表示部２６、通信部２７、および時間情報取得部１０１から構成される。
【０１１２】
図１１の携帯端末１１の撮影部２１乃至基地局情報取得部２３、および表示制御部２５乃至通信部２７のそれぞれの基本的な機能は、図２の携帯端末１１の撮影部２１乃至基地局情報取得部２３、および表示制御部２５乃至通信部２７のそれぞれの機能と同様である。したがって、以下、図１１の携帯端末１１について、図２の携帯端末１１との一致点の説明は省略し、その差異点のみを説明する。
【０１１３】
図２の携帯端末１１の撮影部２１の被写体は、携帯端末１１の存在位置における実世界の風景とされた。これに対して、図１１の携帯端末１１の被写体は、街頭に貼られるポスタや、ディスプレイに表示されるデジタルサイネージとされる。この場合、ポスタやデジタルサイネージ（以下、表示媒体と称する）の全体が被写体となることもあるし、表示媒体の一部が被写体となることもある。表示媒体の一部とは、例えば、表示媒体に含まれる２次元バーコードや、会社名のロゴ等である。なお、以下、会社名のロゴ等をまとめて、マーカと称する。
【０１１４】
すなわち、図２の携帯端末１１の撮影画像取得部２２により取得される撮影画像は、携帯端末１１の存在位置における実世界の風景を示す画像であった。これに対して、図１１の携帯端末１１の撮影画像取得部２２により取得される撮影画像は、表示媒体の全体または一部を示す画像である。
【０１１５】
図１１の携帯端末１１には、図２の携帯端末１１のズーム倍率取得部２４に対応する機能ブロックは設けられてない一方で、図２の携帯端末１１には存在しない時間情報取得部１０１が設けられている。
【０１１６】
時間情報取得部１０１は、表示媒体の撮影に関する時間情報、例えば、撮影開始時刻や撮影終了時刻等を取得する。この時間情報は、撮影画像と基地局情報とともに、通信部２７から情報提供サーバ１４に提供される。
【０１１７】
[情報提供サーバ１４の構成例]
図１２は、第２実施形態に係る情報提供システムのうちの情報提供サーバ１４の機能的構成例を示す機能ブロック図である。
【０１１８】
図１２の情報提供サーバ１４は、通信部３１、位置情報生成部３２、オーバレイ情報取得部３５、検索部１２１、およびコンテンツ格納部１２２から構成される。
【０１１９】
図１２の情報提供サーバ１４の通信部３１、位置情報取得部３２、およびオーバレイ情報取得部３５のそれぞれの基本的な機能は、図３の情報提供サーバ１４の通信部３１、位置情報取得部３２、およびオーバレイ情報取得部３５のそれぞれの機能と同様である。したがって、以下、図１２の情報提供サーバ１４について、図３の情報提供サーバ１４との一致点の説明は省略し、その差異点のみを説明する。
【０１２０】
検索部１２１は、通信部３１に受信された撮影画像に基づいて、その撮影画像は如何なる表示媒体を示しているのかを検索する。その検索手法は、特に限定されないが、例えば本実施の形態では、次のような幾つかの検索手法が単体または組み合わせて採用される。
【０１２１】
すなわち、例えば、複数種類の表示媒体全体の画像（表示媒体の図柄であって、以下ポスタ画像と称する）が予め用意・登録されている。この場合、複数の種類のポスタ画像の中から、撮影画像（ポスタやデジタルサイネージ全体が撮影された画像）と一致する種類を認識することで、認識した種類に対応する表示媒体を検索するという検索手法を採用することができる。なお、画像の一致の認識手法（マッチング手法）自体は特に限定されず、例えば、２つの画像の各領域の画像特徴点の一致点を検出し、その検出結果に基づいて２つの画像が一致するか否かを認識するという認識手法を採用することができる。
【０１２２】
また例えば、複数種類のマーカが予め用意・登録されている。この場合、複数の種類のマーカの中から、撮影画像に含まれるマーカと一致する種類を認識することで、認識した種類に対応するマーカを検索するという検索手法を採用することができる。この場合の認識手法自体は、特に限定されず、例えば直前の段落で説明した認識手法を採用することもできる。
【０１２３】
また例えば、複数種類の２次元バーコードのそれぞれには、所定の表示媒体自体、または、それらを特定可能な情報が予め対応付けられている。この場合、撮影画像に含まれる２次元バーコードを解析し、その解析結果に基づいて、対応する表示媒体を検索するという検索手法を採用することができる。
【０１２４】
コンテンツ格納部１２２には、複数のコンテンツが格納されている。各コンテンツには、表示媒体、位置情報、および時間情報が対応付けられている。
【０１２５】
そこで、オーバレイ情報取得部３５は、検索部１２１により検索された表示媒体、位置情報生成部３２により生成された位置情報、および通信部３１により受信された時間情報に対応付けられたコンテンツを、コンテンツ格納部１２２から取得する。すなわち、オーバレイ情報取得部３５は、このコンテンツを、オーバレイ情報として取得する。
【０１２６】
オーバレイ情報としてのコンテンツは、通信部３１を介して携帯端末１１に送信される。これにより、携帯端末１１においては、撮影画像に対してオーバレイ情報が重ね合わせて表示されたり、オーバレイ情報単体で表示される。
【０１２７】
オーバレイ情報としては様々な情報を採用することができるので、多種多様なサービスをユーザに提供することができる。
【０１２８】
例えば、ナビゲーション情報をオーバレイ情報として採用することができる。具体的には、表示媒体に示される観光地への交通手段の情報を、オーバレイ情報として採用することができる。この場合、特定の観光地の画像を含む表示媒体や、特定の観光地を認識可能なマーカや二次元バーコードを一部に含む表示媒体を、ユーザが携帯端末１１を操作して撮影することができる。すると、携帯端末１１の表示部２６には、特定の観光地の画像のみならず、例えば撮影位置（表示媒体の存在場所）からその特定の観光地までの交通手段を示す情報がオーバレイ情報として重ね合わせて表示される。または、交通手段を示す情報のみが表示される。したがって、ユーザは、撮影位置（自身の存在場所）からその特定の観光地までの情報を容易に視認することができる。
【０１２９】
なお、コンテンツは、上述した例では表示媒体に対応付けられているとしたが、上述した例に限定されず、マーカや二次元バーコード自体に対応付けられることも可能である。この場合、検索部１２１は、撮影画像に含まれるマーカや二次元バーコードを検索すればよい。
【０１３０】
また、図１１に示される携帯端末１１と、図１２に示される情報提供サーバ１４の機能ブロック図の各機能ブロックの存在場所は、携帯端末１１内であっても、情報提供サーバ１４内であっても、ネットワーク上の図示せぬ情報処理装置内であってもよい。
【０１３１】
[携帯端末１１のオーバレイ情報表示処理]
次に、携帯端末１１が実行するオーバレイ情報表示処理について図１３を参照して説明する。
【０１３２】
図１３は、携帯端末１１のオーバレイ情報表示処理の一例を説明するフローチャートである。
【０１３３】
ステップＳ４１乃至Ｓ４３の各処理は、図４のステップＳ１乃至Ｓ３の各処理と基本的に同様の処理である。よって、これらの各処理の説明は省略する。
【０１３４】
ステップＳ４３の処理の結果、上述のごとく、表示媒体の全体または一部が撮影画像として、撮影画像取得部２２により取得される。
【０１３５】
図１４は、撮影画像取得部２２により取得される撮影画像の一例を示す図である。
【０１３６】
図１４Ａは、ユーザが携帯端末１１を操作して、特定の温泉地を示すポスタ画像１４１が表示された表示媒体を撮影した結果得られる撮影画像の図であり、表示媒体には、２次元バーコード１５１が含まれている。図１４Ａは、表示媒体の全体が被写体となっているが、表示媒体の一部、すなわち２次元バーコード１５１のみが被写体となってもよい。２次元バーコード１５１として、例えば、本出願人によって開発されたCyberCode（登録商標）を採用することができる。
【０１３７】
図１４Ｂは、ユーザが携帯端末１１を操作して、特定の温泉地を示すポスタ画像１４１が表示された表示媒体を撮影した結果得られる撮影画像の図であり、表示媒体には、ＡＢＣ旅行会社のロゴ１６１が含まれている。図１４Ｂは、表示媒体の全体が被写体となっているが、表示媒体の一部、すなわちＡＢＣ旅行会社のロゴ１６１のみが被写体となってもよい。
【０１３８】
ステップＳ４４において、時間情報取得部１０１は、撮影部２１により撮影画像が撮影されたときの時間情報を取得する。例えば、年月日、時分秒が取得される。
【０１３９】
ステップＳ４５において、通信部２７は、ステップＳ４３で取得された撮影画像とステップＳ４４で取得された時間情報を情報提供サーバ１４に送信する。
【０１４０】
すると、情報提供サーバ１４は、撮影画像と時間情報とを受信し、これらの情報と上述した位置情報とを用いて、所定のコンテンツを取得する。そして、情報提供サーバ１４は、取得したコンテンツを、オーバレイ情報として携帯端末１１に送信してくる（後述する図１６のステップＳ６５，Ｓ６６参照）。
【０１４１】
携帯端末１１では、ステップＳ４６において、通信部２７は、情報提供サーバ１４から送信されてきたオーバレイ情報を受信する。なお、通信部２７が撮影画像送信後、一定時間内にオーバレイ情報を受信しなければ、何かしらのエラーが発生したとして、図１３のオーバレイ情報表示処理は強制終了する。
【０１４２】
ステップＳ４７およびステップＳ４８の各処理は、図４のステップＳ７およびステップＳ８の各処理と基本的に同様の処理である。すなわち、撮影画像にオーバレイ情報が合成され、表示される。
【０１４３】
これにより、図１３の携帯端末１１のオーバレイ情報表示処理は終了する。
【０１４４】
ここで、図１５を参照して、図１３のステップＳ４７，Ｓ４８の処理の具体例について説明する。
【０１４５】
図１５は、撮影位置または撮影時間により異なるオーバレイ情報の表示例について示す図である。
【０１４６】
図１５Ａと図１５Ｂには、ポスタ画像１４１が表示された表示媒体が、それぞれ撮影位置、撮影時間が異なる条件で撮影され、その結果得られる撮影画像にオーバレイ情報が重ね合わされて表示されている。図１５Ａに示される例では、撮影画像に、オーバレイ情報としてペンギンの画像１７１が重ね合わされて表示されている。また、図１５Ｂに示される例では、撮影画像に、オーバレイ情報としてサルの画像１８１が重ね合わされて表示されている。これは、撮影画像が同じでも、ユーザの撮影位置（表示媒体の存在場所）や、撮影時間が異なる場合には、それぞれ異なるコンテンツがオーバレイ情報として提供されることを示している。したがって、ユーザは、撮影画像が同じでも、その撮影位置や撮影時間によって、変化にとんだオーバレイ情報を取得することができる。換言すれば、位置や時間に応じた、より適切なオーバレイ情報が表示される。
【０１４７】
[情報提供サーバ１４のオーバレイ情報提供処理]
次に、情報提供サーバ１４が実行するオーバレイ情報提供処理について図１６を参照して説明する。
【０１４８】
図１６は、図１３の携帯端末１１の処理に対応して実行される、情報提供サーバ１４のオーバレイ情報提供処理の一例を説明するフローチャートである。
【０１４９】
ステップＳ６１およびステップＳ６２の各処理は、図８のステップＳ２１およびステップＳ２２の各処理と基本的に同様の処理である。すなわち、基地局情報が取得されるとともに、位置情報が生成される。
【０１５０】
上述したように、図１３のステップＳ４５の処理で、携帯端末１１から撮影画像と時間情報が送信されてくる。
【０１５１】
そこで、ステップＳ６３において、通信部３１は、撮影画像と時間情報を受信する。なお、通信部３１が一定時間内に撮影画像と時間情報を受信しなれば、何かしらのエラーが発生したとして、図１６のオーバレイ情報提供処理は強制終了する。
【０１５２】
ステップＳ６４において、検索部１２１は、撮影画像に含まれる表示媒体を検索する。
【０１５３】
ステップＳ６５において、通信部３１とともに提供手段を構成するオーバレイ情報取得部３５は、検索部１２１の検索結果である表示媒体、位置情報、および時間情報に対応付けられたコンテンツを、オーバレイ情報として取得する。
【０１５４】
ステップＳ６６において、オーバレイ情報取得部３５とともに提供手段を構成する通信部３１は、オーバレイ情報を携帯端末１１に送信する。
【０１５５】
これにより、上述したように、携帯端末１１は、オーバレイ情報を受信し、撮影画像にその提供されたオーバレイ情報を合成して表示する（図１３のステップＳ４６乃至Ｓ４８参照）。
【０１５６】
これにより、図１６の情報提供サーバ１４のオーバレイ情報提供処理は終了する。
【０１５７】
なお、表示媒体、位置情報、および時間情報に対応付けられるコンテンツは、オーバレイ情報でなく、例えば、URL（Uniform Resource Locator）等、携帯端末１１に提示できる情報であってもよい。
【０１５８】
[表示媒体に対応付けられた情報の一例]
図１７は、以上のようにして、携帯端末１１に表示される、表示媒体に対応付けられた情報の一例を示す図である。
【０１５９】
図１７に示される例では、携帯端末１１に、ＡＢＣ旅行会社のサイト１９１が表示されている。ユーザは、情報提供サーバ１４からオーバレイ情報としてＡＢＣ旅行会社のURLを取得し、取得したURLのサイトにアクセスすることができる。したがって、ユーザは、ＡＢＣ旅行会社のサイトから、撮影画像に含まれる特定の温泉地への旅行情報や、関連する情報を取得することができる。また、オーバレイ情報として企業等のURLを採用することにより、企業等は、販売促進情報をユーザに表示することができる。
【０１６０】
以上、第１および第２実施形態においては、位置情報を情報提供サーバ１４側で生成するようにしたが、携帯端末１１側で生成するようにしてもよい。この場合、情報提供サーバ１４は、携帯端末１１からの位置情報に基づいて、撮影位置を認識する。
【０１６１】
本発明は、携帯電話機、スマートフォンの他、電子手帳、PDA（Personal Digital Assistant）、ヘッドマウントディスプレイ、携帯型パーソナルコンピュータ等、カメラと無線LANとの通信機能を有する携帯端末にオーバレイ情報を提供する場合に適用することができる。
【０１６２】
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【０１６３】
この場合、上述した情報処理装置の少なくとも一部として、例えば、図１８に示されるパーソナルコンピュータを採用してもよい。
【０１６４】
図１８において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラムに従って各種の処理を実行する。または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６５】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１６６】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７が接続されている。また、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１６７】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１６８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６９】
このようなプログラムを含む記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１７０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０１７１】
１  情報提供システム  ，  １１  携帯端末  ，  １２  基地局，  １３  ネットワーク，  １４  情報提供サーバ，  ２１  撮影部  ，  ２２  撮影画像取得部，  ２３  基地局情報取得部，  ２４  ズーム倍率取得部，  ２５  表示制御部  ，  ２６  表示部，  ２７  通信部，  ３１  通信部，  ３２  位置情報生成部  ，  ３３  検索部，  ３４  パノラマ画像格納部，  ３５  オーバレイ情報取得部  ，  １０１  時間情報取得部，  １２１  検索部  ，  １２２  コンテンツ格納部
【図１】
2011055250.tif 000003
【図２】
2011055250.tif 000004
【図３】
2011055250.tif 000005
【図４】
2011055250.tif 000006
【図５】
2011055250.tif 000007
【図６】
2011055250.tif 000008
【図７】
2011055250.tif 000009
【図８】
2011055250.tif 000010
【図９】
2011055250.tif 000011
【図１０】
2011055250.tif 000012
【図１１】
2011055250.tif 000013
【図１２】
2011055250.tif 000014
【図１３】
2011055250.tif 000015
【図１４】
2011055250.tif 000016
【図１５】
2011055250.tif 000017
【図１６】
2011055250.tif 000018
【図１７】
2011055250.tif 000019
【図１８】
2011055250.tif 000020