(57)【特許請求の範囲】
【請求項１】
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだＡＲデータを、当該ＡＲデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するＡＲデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するＡＲデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第１のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第１のテーブルに追加して記録するキー情報記録手段と、
前記第１のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記ＡＲ表示に用いられるＡＲデータを取得するＡＲデータ取得手段と、
前記ＡＲデータ取得手段が取得したＡＲデータを用いて前記ＡＲ表示をおこなうＡＲ表示手段と、を備える、
ことを特徴とする情報表示システム。
【請求項２】
レコード数が規定されている第２のテーブルに、取得したＡＲデータを、前記第１のテーブルと対応づけて記録するＡＲデータ記録手段を、更に備え、
前記ＡＲ表示手段は、前記ＡＲデータ記録手段が記録したＡＲデータを用いて前記ＡＲ表示をおこなう、
ことを特徴とする請求項１に記載の情報表示システム。
【請求項３】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだＡＲデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第１のテーブルに記録するキー情報記録手段と、
前記第１のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ＡＲデータを取得するＡＲデータ取得手段と、
前記ＡＲデータ取得手段が取得したＡＲデータを、前記通知した識別情報と、当該ＡＲデータの利用日時とに対応づけて、レコード数が規定されている第２のテーブルに記録するＡＲデータ記録手段と、
前記第２のテーブルに記録されているＡＲデータを用いてＡＲ表示をおこなうＡＲ表示手段と、を備え、
前記識別情報通知手段は、前記第１のテーブルに記録されている識別情報が前記第２のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第１のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ＡＲデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第２のテーブルに空きレコードがない場合、既に記録されているＡＲデータの利用日時に基づいた削除をおこなう、
ことを特徴とする情報表示装置。
【請求項４】
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ＡＲデータを用いたＡＲ表示がおこなわれた際の日時で更新し、
前記ＡＲデータ記録手段は、当該ＡＲデータを取得した日時を利用日時として記録し、該ＡＲデータを用いたＡＲ表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ＡＲデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定する、
ことを特徴とする請求項３に記載の情報表示装置。
【請求項５】
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含み、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外する、
ことを特徴とする請求項４に記載の情報表示装置。
【請求項６】
前記ＡＲデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第１のテーブルに記録されており、かつ、該第１のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外する、
ことを特徴とする請求項５に記載の情報表示装置。
【請求項７】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだＡＲデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第１のテーブルに記録する機能と、
前記外部装置から取得した識別情報とＡＲデータとを対応づけて記録する第２のテーブルに、前記第１のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ＡＲデータを取得する機能と、
取得したＡＲデータを、前記通知した識別情報と、当該ＡＲデータの利用日時とに対応づけて、レコード数が規定されている前記第２のテーブルに記録する機能と、
前記第２のテーブルに記録されているＡＲデータを用いてＡＲ表示をおこなう機能と、
キー情報を取得した際に前記第１のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第２のテーブルに空きレコードがない場合、既に記録されているＡＲデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示システム、情報表示装置、および、プログラムに関し、特に、ＡＲ技術を用いた情報表示に好適な情報表示システム、情報表示装置、および、プログラムに関する。
【背景技術】
【０００２】
いわゆるスマートフォンなどのような、撮像機能を備える高性能な携帯通信端末が普及しつつあり、このような端末装置にＡＲ（Augmented Reality：拡張現実感）技術を適用したサービス（以下、「ＡＲサービス」とする）が実現されている。ＡＲサービスでは、端末で撮像している実写画像上に付加情報がリアルタイムで重畳されるので、撮影している場所における種々の情報を容易に得ることができる（例えば、特許文献１）。
【０００３】
実写画像上に情報を重畳する場合において、画像内に複数の被写体がある場合、各被写体と重畳すべき情報とを正確に対応させるための位置合わせが必要となる。位置合わせの方法として、撮影された実写画像上で画像認識をおこない、ネットワーク上のサーバやデータベースなどに蓄積されている種々の実写画像と照合することによって、被写体の特定をおこなうことも考えられている（例えば、特許文献２）。
【０００４】
この方法の場合、ＡＲサービスが充実するにつれ、様々なものがＡＲサービスの対象となり、サーバへの問い合わせ回数が増大する。また、膨大な照合画像がデータベースに蓄積されることになり、問い合わせに対して提供される情報の量も多くなり、ネットワークのトラフィック負荷を増大させてしまう。
【０００５】
また、提供された情報を利用する端末においても、取得する情報量が多くなるため、メモリ使用量が増大する他、照合対象の数も増えるので、照合に時間がかかってしまう。この結果、ＡＲサービス利用時のパフォーマンスが低下し、利便性が損なわれてしまう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００８−５１０２５４号公報
【特許文献２】特開２００９−２３０２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記実状を鑑みてなされたものであり、ＡＲサービスにおける利便性の向上を図ることができる情報表示システム、情報表示装置、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の観点にかかる情報表示システムは、
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだＡＲデータを、当該ＡＲデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するＡＲデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するＡＲデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第１のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第１のテーブルに追加して記録するキー情報記録手段と、
前記第１のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記ＡＲ表示に用いられるＡＲデータを取得するＡＲデータ取得手段と、
前記ＡＲデータ取得手段が取得したＡＲデータを用いて前記ＡＲ表示をおこなうＡＲ表示手段と、を備える、
ことを特徴とする。
上記情報表示システムにおいて、
レコード数が規定されている第２のテーブルに、取得したＡＲデータを、前記第１のテーブルと対応づけて記録するＡＲデータ記録手段を、更に備え、
前記ＡＲ表示手段は、前記ＡＲデータ記録手段が記録したＡＲデータを用いて前記ＡＲ表示をおこなうことが望ましい。
【０００９】
上記目的を達成するため、本発明の第２の観点にかかる情報表示装置は、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだＡＲデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第１のテーブルに記録するキー情報記録手段と、
前記第１のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ＡＲデータを取得するＡＲデータ取得手段と、
前記ＡＲデータ取得手段が取得したＡＲデータを、前記通知した識別情報と、当該ＡＲデータの利用日時とに対応づけて、レコード数が規定されている第２のテーブルに記録するＡＲデータ記録手段と、
前記第２のテーブルに記録されているＡＲデータを用いてＡＲ表示をおこなうＡＲ表示手段と、を備え、
前記識別情報通知手段は、前記第１のテーブルに記録されている識別情報が前記第２のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第１のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ＡＲデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第２のテーブルに空きレコードがない場合、既に記録されているＡＲデータの利用日時に基づいた削除をおこなう、
ことを特徴とする。
【００１０】
上記情報表示装置において、
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ＡＲデータを用いたＡＲ表示がおこなわれた際の日時で更新し、
前記ＡＲデータ記録手段は、当該ＡＲデータを取得した日時を利用日時として記録し、該ＡＲデータを用いたＡＲ表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ＡＲデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定することが望ましい。
【００１１】
上記情報表示装置において、
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含んでいることが望ましく、この場合、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外することが望ましい。
【００１２】
上記情報表示装置において、
前記ＡＲデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第１のテーブルに記録されており、かつ、該第１のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外することが望ましい。
【００１３】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示（ＡＲ表示）をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだＡＲデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第１のテーブルに記録する機能と、
前記外部装置から取得した識別情報とＡＲデータとを対応づけて記録する第２のテーブルに、前記第１のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ＡＲデータを取得する機能と、
取得したＡＲデータを、前記通知した識別情報と、当該ＡＲデータの利用日時とに対応づけて、レコード数が規定されている前記第２のテーブルに記録する機能と、
前記第２のテーブルに記録されているＡＲデータを用いてＡＲ表示をおこなう機能と、
キー情報を取得した際に前記第１のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第２のテーブルに空きレコードがない場合、既に記録されているＡＲデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ＡＲ技術を用いたサービスを利用する際の利便性を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態にかかる情報表示システムを示す模式図である。
【図２】図１に示す情報表示装置の外観構成を示す模式図であり、（ａ）は主面側の外観構成を示し、（ｂ）は背面側の外観構成を示す。
【図３】図１に示す情報表示装置の構成を示すブロック図である。
【図４】図３に示す制御部によって実現される機能を示す機能ブロック図である。
【図５】図１に示す情報提供装置の構成を示すブロック図である。
【図６】図５に示す制御部によって実現される機能を示す機能ブロック図である。
【図７】図５に示す記憶部に格納される「照合画像格納テーブル」の例を示す図である。
【図８】本発明の実施形態１にかかる「ＡＲ表示処理（１）」を説明するためのフローチャートである。
【図９】本発明の実施形態１にかかる「ＡＲ情報提供処理（１）」を説明するためのフローチャートである。
【図１０】本発明の実施形態１にかかる動作を説明するための図であり、（ａ）は想定される場面の例を示し、（ｂ）は用いられる照合画像の例を示す。
【図１１】図８に示した「ＡＲ表示処理（１）」にかかる画面表示例を示す図であり、（ａ）は分布表示の例を示し、（ｂ）は分布表示にガイドを表示した例を示す。
【図１２】図８に示した「ＡＲ表示処理（１）」にかかる画面表示例を示す図であり、（ａ）はガイドが移動した際の表示例を示し、（ｂ）は重畳情報を表示した例を示す。
【図１３】ガイド表示の他の例を示す図であり、（ａ）は被写体への接近を促すガイド表示の例を示し、（ｂ）は被写体から離れることを促すガイド表示の例を示し、（ｃ）は必要な画角を示すガイド表示の例を示す。
【図１４】本発明の実施形態２にかかる「ＡＲ表示処理（２）」を説明するためのフローチャートである。
【図１５】本発明の実施形態２かかる「照合画像格納テーブル」の例を示す図である。
【図１６】図１４に示した「ＡＲ表示処理（２）」で実行される「キー情報管理処理」を説明するためのフローチャートを示す。
【図１７】図１４に示した「ＡＲ表示処理（２）」で実行される「ＡＲデータ管理処理」を説明するためのフローチャートを示す。
【図１８】図１４に示した「ＡＲ表示処理（２）」で用いられるテーブルを説明するための図であり、（ａ）は「キー情報管理テーブル」の例を示し、（ｂ）は「ＡＲデータ管理テーブル」の例を示す。
【図１９】本発明の実施形態３にかかる「ＡＲ表示処理（３）」を説明するためのフローチャートである。
【図２０】図１９に示した「ＡＲ表示処理（３）」における照合画像と３Ｄモデリングデータを説明するための図であり、（ａ）は対象物に対する視線方向を模式的に示し、（ｂ）は照合画像の例を示し、（ｃ）は生成された３Ｄモデリングデータの例を示し、（ｄ）は視線を変更させた３Ｄモデリングデータの例を示す。
【発明を実施するための形態】
【００１６】
本発明にかかる実施形態を、図面を参照して以下に説明する。
【００１７】
（実施形態１）
本発明の実施形態にかかる情報表示システム１を、図１を参照して説明する。図１は、実施形態にかかる情報表示システム１の構成を示すブロック図である。
【００１８】
図示するように、本実施形態にかかる情報表示システム１は、通信ネットワークＮＷによって接続された、情報表示装置１００、情報提供装置２００、などから構成されている。
【００１９】
本実施形態にかかる通信ネットワークＮＷは、例えば、インターネットなどのＩＰ網や移動体通信用のセルラ網などを含んだＷＡＮ（Wide Area Network：広域通信網）である。
【００２０】
本実施形態にかかる情報表示装置１００は、少なくとも、通信機能と、撮像機能と、表示機能とを備えている携帯型端末装置であり、いわゆるスマートフォンが好適な形態である。本実施形態では、図１に示すようなスマートフォンであるものとする。本実施形態では、このような情報表示装置１００を含んだ情報表示システム１により、ＡＲ（Augmented Reality：拡張現実感）技術を適用したサービス（以下、「ＡＲサービス」とする）が実現されているものとする。すなわち、情報表示装置１００の撮像機能によって撮影された実写画像上に、当該画像内の被写体に関する情報をリアルタイムに重畳して表示する。
【００２１】
情報表示装置１００の構成を、図２および図３を参照して説明する。図２は、情報表示装置１００の外観構成を示す模式図であり、図２（ａ）は、情報表示装置１００の主面側を示し、図２（ｂ）は、情報表示装置１００の背面側を示している。また、図３は、情報表示装置１００の構成を示すブロック図である。
【００２２】
上記各図に示すように、本実施形態にかかる情報表示装置１００は、制御部１１０、通信部１２０、キー情報取得部１３０、撮像部１４０、入出力部１５０、記憶部１６０、などから構成されている。
【００２３】
制御部１１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）やＲＡＭ（Random Access Memory）などから構成され、情報表示装置１００の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【００２４】
通信部１２０は、通信ネットワークＮＷを介した通信をおこなうための構成であり、例えば、CDMA2000方式などのセルラ通信モジュールやIEEE 802.16e（いわゆる、モバイルWiMAX）用の通信モジュールなどといった、ＷＡＮに直接アクセスできる通信モジュール、及び／又は、例えば、ＷＡＮにアクセスできる外部通信装置（例えば、モバイルルータなど）や公衆無線ＬＡＮのアクセスポイントなどと通信するためのIEEE 802.11シリーズ（無線ＬＡＮ）用の通信モジュールなどから構成される。
【００２５】
キー情報取得部１３０は、ＡＲサービスを受ける際に必要となるキー情報を取得するための構成であり、例えば、ＧＰＳ（Global Positioning System：全地球測位システム）モジュール、ＲＦＩＤ（Radio Frequency IDentification）、ＩｒＤＡ（Infrared Data Association）、Bluetooth（商標）、などといった近距離ワイヤレス通信モジュール、可視光通信モジュールなどから構成され、外部から提供されるキー情報を取得する。
【００２６】
ここでの「キー情報」は、例えば、情報表示装置１００の現在位置を示す位置情報（緯度・経度情報）の他、ＡＲサービスで重畳される情報を情報提供装置２００に登録している店舗などの各種施設等に付与されているＩＤ情報などであり、情報表示装置１００が取得したキー情報を情報提供装置２００に送信することで、位置合わせに必要となる照合画像やＡＲサービスで提供される情報の選択がおこなわれる。
【００２７】
よって、情報表示装置１００の現在位置情報を取得するための構成としてＧＰＳモジュールなどが用いられる。その他、各種の施設等で取得可能なＩＤ情報を取得するための構成として、近距離ワイヤレス通信モジュールや可視光通信モジュールなどが用いられる。これらの構成は、例えば、図２（ｂ）に示すように、情報表示装置１００の外面上や内部などに適宜構成されている。なお、これらの構成のすべてが備えられていなくてもよいが、本実施形態では、少なくとも、位置情報を取得するための構成（ＧＰＳモジュールなど）が備えられているものとする。
【００２８】
本実施形態では、少なくとも現在位置を取得するための構成（ＧＰＳモジュールなど）がキー情報取得部１３０に含まれているものとし、ＩＤ情報を取得するための構成については任意に備えられているものとする。また、ＧＰＳ以外の方法によって現在位置情報を取得してもよく、例えば、セルラ通信によってアクセスした基地局や無線ＬＡＮによってアクセスしたアクセスポイントから位置情報を取得してもよい。この場合、キー情報取得部１３０にはこれらの通信をおこなうための通信部１２０が含まれることになる。
【００２９】
撮像部１４０は、情報表示装置１００の撮像機能を実現するための構成であり、例えば、固体撮像素子を用いたデジタルカメラモジュールなどから構成される。本実施形態では、撮像部１４０によって得られるライブビュー画像としての動画（実写画像）上にＡＲサービスによって提供される情報が重畳されることになる。
【００３０】
なお、上述したキー情報が、例えば、ＱＲコード（商標）のような２次元コードなどの視覚的なオブジェクトで提供される場合、撮像部１４０の撮像動作によってキー情報が取得されることになる。この場合、キー情報取得部１３０には撮像部１４０が含まれることになる。
【００３１】
また、撮像部１４０は、図２（ｂ）に示すような、２眼式のステレオカメラであることが望ましい。すなわち、視差に相当する間隔にて水平方向に並列した２つのレンズを有する撮像装置である。このようなステレオカメラとすることで、３角測量の原理による被写体までの測距や３Ｄモデリングデータの生成をおこなうことができる。
【００３２】
入出力部１５０は、少なくとも、撮像部１４０による撮像画像やＡＲサービスによって提供される情報などを表示出力する表示装置、情報表示装置１００のユーザによる入力操作を受け付ける入力装置を含むものであり、本実施形態では、表示機能と入力機能とが一体的に実現されるタッチパネル（タッチスクリーン）が入出力部１５０として構成される。また、スマートフォンにおける通話機能などの音声入出力に用いられるスピーカやマイクロフォンなども入出力部１５０に含まれるものとする。
【００３３】
記憶部１６０は、例えば、フラッシュメモリなどの半導体記憶装置などから構成され、制御部１１０が実行するプログラム、各種処理の際に用いられるデータ、各種処理によって生成されるデータ、通信部１２０やキー情報取得部１３０の動作によって取得されたデータ、などを格納する。
【００３４】
記憶部１６０に格納されているプログラムを制御部１１０が実行することで実現される機能を、図４を参照して説明する。図４は、制御部１１０によって実現される機能を示した機能ブロック図である。
【００３５】
本実施形態では、図示するように、ＡＲ処理部１１１、撮像処理部１１２、照合処理部１１３、などの機能が制御部１１０によって実現される。
【００３６】
ＡＲ処理部１１１は、ユーザ操作に基づく入出力部１５０からの入力信号などに基づいて、記憶部１６０に格納されているＡＲサービスにかかるアプリケーション（以下、「ＡＲアプリケーション」とする）を実行してその動作を制御し、ＡＲサービスにかかる表示動作（以下、「ＡＲ表示」とする）に必要となる画像処理をおこなって入出力部１５０に表示出力する。この場合、記憶部１６０に格納されている画像データなどを用いた画像処理をおこなうことでＡＲ表示をおこなう。
【００３７】
撮像処理部１１２は、撮像部１４０を制御することで、情報表示装置１００の撮像機能にかかる動作を制御する。本実施形態では、ＡＲ処理部１１１によって実行されたＡＲアプリケーションで必要となる撮像動作を制御する。
【００３８】
照合処理部１１３は、通信部１２０やキー情報取得部１３０を制御することで、情報提供装置２００や種々の外部装置から情報を取得することで、ＡＲ表示における位置合わせに必要となる照合動作をおこなう。ここでは、ＡＲアプリケーションの実行に応じて、キー情報を取得するようキー情報取得部１３０を制御し、取得したキー情報を記憶部１６０に格納するとともに、取得したキー情報を情報提供装置２００などに送信してＡＲアプリケーションの実行に必要となる照合画像や重畳情報を情報提供装置２００から取得するよう通信部１２０を制御する。そして、取得した照合画像や重畳画像を記憶部１６０に格納し、撮像処理部１１２によって取得された撮像画像と照合画像との照合をおこなう。
【００３９】
本実施形態では、これらの機能が制御部１１０によって論理的に実現されるものとするが、これらの一部もしくはすべてが、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって実現されていてもよい。
【００４０】
上述した情報表示装置１００の各構成は、本発明を実現するために必要な構成であり、スマートフォンとして機能するために必要なその他の構成については、適宜備えられているものとする。
【００４１】
次に、情報提供装置２００について説明する。情報提供装置２００は、例えば、ＡＳＰ（Application Service Provider）サーバなどのような情報処理装置であり、本実施形態では、通信ネットワークＮＷを介して接続される情報表示装置１００にＡＲサービスを提供する。このような情報提供装置２００の構成を、図５を参照して説明する。図５は、情報提供装置２００の構成を示すブロック図である。
【００４２】
図示するように、情報提供装置２００は、制御部２１０、通信部２２０、入出力部２３０、記憶部２４０、などから構成されている。
【００４３】
制御部２１０は、例えば、ＣＰＵやＲＡＭなどから構成され、情報提供装置２００の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【００４４】
通信部２２０は、通信ネットワークＮＷを介した通信をおこなうための構成であり、例えば、ＮＩＣ（Network Interface Card）やルータ、モデムなどの通信用デバイスから構成され、好適な通信プロトコルを用いたデータ送受信をおこなう。
【００４５】
入出力部２３０は、例えば、キーボードやマウスなどといった、情報提供装置２００のオペレータによる操作に応じた入力をおこなう入力装置と、ディスプレイ装置などのような、処理結果の出力をおこなう出力装置とから構成される。
【００４６】
記憶部２４０は、例えば、ハードディスク装置などといった記憶装置から構成され、制御部２１０が実行するプログラムを格納する他、プログラムの実行によりおこなわれる各処理に必要となるデータおよび処理によって生成されたデータなどを格納する。
【００４７】
記憶部２４０に格納されているプログラムを制御部２１０が実行することで実現される機能を、図６を参照して説明する。図６は、制御部２１０によって実現される機能を示した機能ブロック図である。
【００４８】
本実施形態では、図示するように、通信処理部２１１、情報登録部２１２、情報検索部２１３、などの機能が制御部２１０によって実現される。
【００４９】
通信処理部２１１は、通信部２２０を制御し、通信ネットワークＮＷを介した情報表示装置１００との通信をおこなう。本実施形態では、情報表示装置１００から送信されたキー情報の受信をおこなう他、後述する情報検索部２１３によって検索された情報を情報表示装置１００に送信する。
【００５０】
情報登録部２１２は、ＡＲサービスの提供に必要な情報を記憶部２４０に登録するための処理をおこなう。記憶部２４０に登録される情報の例を図７に示す。本実施形態では、図示するような「照合画像格納テーブル」が記憶部２４０に作成され、ＡＲサービスの提供に必要となる各種の情報が格納される。
【００５１】
この照合画像格納テーブルには、ＡＲサービスを利用する情報表示装置１００が撮像した実写画像に写っている被写体を照合するために用意されている複数の照合画像に、各照合画像のインデックスとなる情報（以下、「インデックス情報」とする）や、照合画像によって照合される被写体に重畳して表示させる情報（以下、「重畳情報」とする）などが対応づけられて格納される。
【００５２】
ここで、本実施形態における「照合画像」とは、ＡＲサービスによって情報が重畳されることになる対象が被写体として写っている画像であり、例えば、店舗などのような建築物の外観が被写体となっている画像や、商品などのような物品等が被写体となっている画像が照合画像として登録される。
【００５３】
このような照合画像に対応づけられるインデックス情報は、例えば、当該被写体が存在する場所を示す位置情報（緯度・経度情報）などである。これらの情報は、例えば、ＧＰＳ機能を備えた撮像装置による撮像画像を照合画像とすることで、Exif（Exchangeable Image File Format）の付加情報などとして得られる他、記憶部２４０への登録時に、情報提供装置２００のオペレータが入出力部２３０を操作することで入力される。
【００５４】
このようなインデックス情報の他に、図７に示すような「スケール情報」と「単位スケール」が照合画像格納テーブルに記録される。
【００５５】
スケール情報は、当該照合画像にかかる撮影データのうち、被写体のスケールを特定するために用いられる情報であり、ここでは、当該画像の画像サイズ（ピクセル数）、撮像素子のサイズ（センササイズ）、被写体までの距離、レンズの焦点距離、などがスケール情報として記録される。これらの情報は、照合画像にかかるExifデータなどの付加情報から取得される他、オペレータ操作による入力などによって記録される。
【００５６】
また、スケール情報には、画角を示す情報も含まれるものとする。画角については、上記のスケール情報から算出して記録されるものとする。この場合、例えば、数１を演算することで画角［度］が算出される。
【００５７】
（数１）
２×tan-1｛センササイズ［ｍｍ］／（２×焦点距離［ｍｍ］）｝
【００５８】
ここで、撮像素子のサイズは、縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける３５ミリ判でのレンズ焦点距離に換算した値とする。
【００５９】
単位スケールは、上記スケール情報に基づいて算出される、被写体のスケールを示す情報であり、本実施形態では、例えば、１ピクセル（画素）が相当する実寸のサイズを単位スケールとして記録する。このような単位スケールの計算は、照合画像の登録時に情報登録部２１２によっておこなわれる。もしくは、予め算出された値がオペレータによって入力されてもよい。
【００６０】
単位スケールの計算は、例えば、次のような手順でおこなう。まず、被写体までの距離、撮像素子のサイズ、レンズの焦点距離から数２を演算することで、照合画像内の被写体のサイズを算出する。
【００６１】
（数２）
（被写体までの距離［ｍｍ］×センササイズ［ｍｍ］）／焦点距離［ｍｍ］
【００６２】
ここで、撮像素子のサイズは縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける３５ミリ判でのレンズ焦点距離に換算した値とする。上記演算により、代入した撮像素子サイズの方向（縦または横）における被写体の実際のサイズ［ｍｍ］が特定される。
【００６３】
このように算出された被写体サイズを、演算に用いた撮像サイズの方向（縦または横）における画像サイズ（ピクセル数）で除することにより、１ピクセルが相当する実寸のサイズが算出される。
【００６４】
情報検索部２１３は、通信処理部２１１によって受信された情報表示装置１００からのキー情報に基づいて照合画像格納テーブルを検索し、該当するレコードを取得する。ここでは、情報表示装置１００の現在位置を示す位置情報などがキー情報として取得され、取得したキー情報がインデックス情報となっているレコードを特定する。特定されたレコードに記録されている情報のうち、少なくとも、照合画像の画像データ、重畳情報、スケール情報、単位スケール、など（以下、「ＡＲデータ」とする）が通信処理部２１１によって情報表示装置１００に送信される。
【００６５】
本実施形態では、上記各機能が制御部２１０によって論理的に実現されるものとするが、これらの機能の一部もしくはすべてが、例えば、ＡＳＩＣなどのハードウェアによって実現されていてもよい。
【００６６】
以上説明したような構成の情報表示装置１００および情報提供装置２００による動作例を以下に説明する。
【００６７】
まず、情報表示装置１００の動作を、図８に示すフローチャートを参照して説明する。図８は、本実施形態にかかる情報表示装置１００において実行される「ＡＲ表示処理（１）」を説明するためのフローチャートである。
【００６８】
ＡＲ処理部１１１によりＡＲアプリケーションが開始されると、ＡＲ処理部１１１は、その旨を撮像処理部１１２および照合処理部１１３に通知する。通知を受けた撮像処理部１１２は、撮像部１４０を制御し、撮像動作が開始される（ステップＳ１１０１）。
【００６９】
撮像動作が開始されると、照合処理部１１３はキー情報取得部１３０を制御することで、キー情報の取得動作がおこなわれる。ここでは、少なくともＧＰＳモジュールなどによる位置情報の取得がおこなわれ、位置情報の取得が成功した場合に、他のキー情報についての取得を試みるものとする。なお、位置情報の取得ができない場合は、ＡＲサービスを受けることができないので、取得できるまで待機するか本処理を終了するなどのエラー処理がおこなわれるものとする。
【００７０】
そして、少なくとも位置情報を含むキー情報が取得されると、照合処理部１１３は、取得したキー情報を記憶部１６０に記録する（ステップＳ１１０２）。ここで記録されたキー情報は、本処理の終了時に削除されるものとする。
【００７１】
ここで、照合処理部１１３は、記録したキー情報に変動があるか否かを判別する（ステップＳ１１０３）。処理開始直後にキー情報を取得した場合においては、前回の記録がないため、「変動あり」と判別する（ステップＳ１１０３：Ｙｅｓ）。
【００７２】
この場合、照合処理部１１３は、通信部１２０を制御することで、取得したキー情報を、通信ネットワークＮＷを介して情報提供装置２００に送信する（ステップＳ１１０４）。
【００７３】
このようにして情報表示装置１００から送信されたキー情報を情報提供装置２００が受信すると、ＡＲデータを情報表示装置１００に送信するための「ＡＲ情報提供処理（１）」が情報提供装置２００において実行される。本実施形態にかかる情報提供装置２００で実行される「ＡＲ情報提供処理（１）」を、図９に示すフローチャートを参照して説明する。
【００７４】
情報表示装置１００が送信したキー情報を通信処理部２１１が受信すると、情報検索部２１３は、照合画像格納テーブルにおけるインデックス情報に該当する情報を、受信したキー情報から取得する（ステップＳ１２０１）。ここでは、情報表示装置１００での撮影場所を示す位置情報がキー情報から取得される。
【００７５】
情報検索部２１３は、取得したインデックス情報（位置情報）を検索対象として記憶部２４０の照合画像格納テーブルを検索し（ステップＳ１２０２）、撮影場所に対応する位置情報が記録されているレコードがあるか判別する（ステップＳ１２０３）。なお、位置情報に基づく検索にあたっては、位置情報の完全一致ではなく、撮影場所付近が含まれるよう、所定範囲の近似値を示す位置情報が記録されたレコードを検索するものとする。
【００７６】
情報表示装置１００による撮影場所に対応する位置情報が記録されたレコードがある場合（ステップＳ１２０３：Ｙｅｓ）、情報検索部２１３は、当該レコードからＡＲデータを取得し（ステップＳ１２０４）、通信処理部２１１に引き渡す。
【００７７】
通信処理部２１１は、通信部２２０を制御し、情報検索部２１３が取得したＡＲデータを、通信ネットワークＮＷを介して情報表示装置１００に送信して（ステップＳ１２０５）、処理を終了する。
【００７８】
一方、撮影場所に対応する位置情報を記録したレコードが照合画像格納テーブルに存在しない場合（ステップＳ１２０３：Ｎｏ）、情報提供装置２００はＡＲデータを情報表示装置１００に送信せずに処理を終了する。この場合、情報提供装置２００は、現在位置ではＡＲサービスを提供できない旨を示す通知情報などを情報表示装置１００に送信してもよい。
【００７９】
以上のような情報表示装置１００との送受信動作は、例えば、ＣＧＩ（Common Gateway Interface）技術などを用いた既知のトランザクション技術を利用するなどして実現されているものとする。
【００８０】
図８のフローチャートに戻り、ＡＲデータが返送された情報表示装置１００の動作を説明する。
【００８１】
ＡＲデータが情報提供装置２００から送信されると、情報表示装置１００の通信部１２０が通信ネットワークＮＷを介して受信する。このような受信がなされると（ステップＳ１１０５：Ｙｅｓ）、照合処理部１１３は、受信したＡＲデータを記憶部１６０に格納するとともに、その旨をＡＲ処理部１１１に通知する。
【００８２】
ＡＲ処理部１１１は、入出力部１５０を制御することで、撮像部１４０が現在撮像しているライブビュー画像を表示出力するとともに、受信したＡＲデータの単位スケールに基づいて、受信した照合画像の分布を示す画像を生成して入出力部１５０に表示出力する（ステップＳ１１０６）。
【００８３】
ここで、想定されうる場面の例に基づいた図面を参照しながら処理内容を説明する。本実施形態では、図１０（ａ）に示すような、店舗Ａ〜店舗Ｅがある街においてＡＲサービスを利用する場面を想定することとする。ここで、店舗Ａについては、情報提供装置２００に照合画像等が登録されており、ＡＲサービスを提供できるものとするが、他の店舗Ｂ〜Ｅについては、情報提供装置２００に情報が登録されていないため、ＡＲサービスの対象外であるものとする。
【００８４】
そして、店舗Ａについては、図１０（ｂ）に示すような照合画像が情報提供装置２００に登録されているものとする。図示するように、ここでは、店舗Ａの外観を撮影した照合画像ＡＡの他、店舗Ａ内で販売されている商品を撮影した照合画像ＡＢ〜ＡＺが情報提供装置２００に登録されているものとする。これらの照合画像の画像サイズはすべて同一であるものとする。
【００８５】
そして、照合画像においては、対象となる被写体のみが画像サイズ内に収まるように撮影されているものとする。このように複数の被写体についての複数の照合画像が用意されている場合、被写体の大きさも一様ではないため、画像毎の被写体のスケールも異なる。つまり、照合画像ＡＡは建造物の外観が画角一杯に撮影されているのに対し、照合画像ＡＺは商品であるペンが画角一杯に撮影されているので、１ピクセルが相当する実寸サイズが大きく異なる。
【００８６】
この場合、実写画像の画角一杯に店舗Ａの外観を撮影すれば、照合画像ＡＡを使った照合をおこなうことができるが、そこに商品のペンが写り込んでいても、スケールが小さすぎてしまい、照合画像ＡＺとの照合はできないことになる。すなわち、対象とする被写体に応じて適切な画角で撮影しなければ、ＡＲサービスによって提供される情報を適切に得られないことになる。
【００８７】
このような不都合を解消するため、本実施形態では、情報提供装置２００の照合画像格納テーブルに照合画像とともに登録されている単位スケールを用いることで、ユーザが適切な画角で撮影できるようガイドする。
【００８８】
このために、本実施形態では、ステップＳ１１０６において、情報提供装置２００から受信した照合画像の単位スケールに基づいた分布表示をおこなう。この場合の表示例を図１１（ａ）に示す。図示するように、入出力部１５０に「撮像画像表示領域」と「ガイド表示領域」を設定し、撮像画像表示領域には、撮像部１４０によるライブビュー画像を表示する。そして、ガイド表示領域では、図１１（ａ）に示すような分布表示をおこなう。
【００８９】
この分布表示は、図示するように、例えば、上下方向の両矢印が表示され、その右側に単位スケールに基づいた照合画像の分布がグラフ状に表示されるものである。図１１（ａ）の例では、両矢印の上側が情報表示装置１００（＝カメラ）から被写体までの距離が遠いことを示し、下側が情報表示装置１００（＝カメラ）から被写体までの距離が近いことを示している。
【００９０】
すなわち、単位スケールは、１ピクセルが相当する実寸のサイズであるため、照合画像ＡＡ（図１０（ｂ））のような建造物の外観を撮影した画像では値が比較的大きくなり、照合画像ＡＺのようなペンを撮影した画像では値が比較的小さくなる。よって、単位スケールの値が大きい程、被写体から離れて撮影したことになり、単位スケールの値が小さいほど、被写体に近づいて撮影したことになる。
【００９１】
このため、図１１（ａ）に示す分布表示においては、単位スケールの値が大きい程、より遠いことを示している両矢印の上側に分布が表示され、値が小さい程、より近いことを示している下側に分布が表示される。そして、分布表示の横方向は、当該単位スケールの画像数を表している。図１１（ａ）の例においては、最も上側での分布に該当する照合画像が、店舗の外観を撮影した照合画像ＡＡ（図１０（ａ））であり、それよりも下における複数の分布は、商品を撮影した複数の照合画像ＡＢ〜ＡＺ（図１１（ｂ））となる。
【００９２】
ここで、図８のフローチャートに戻り、処理の説明を続ける。上述のようにして、ステップＳ１１０６で分布表示をおこなうと、ＡＲ処理部１１１は、撮像部１４０によって現在撮像されている画像についての単位スケールを算出する（ステップＳ１１０７）。ここでは、撮像部１４０の性能情報（センササイズなど）、そのときの撮影設定（画像サイズ、レンズ焦点距離、など）、および、測距動作によって得られた被写体までの距離、などを用い、上述した情報提供装置２００の情報登録部２１２と同様の方法で単位スケールを算出する。ここで、撮像部１４０がステレオカメラであれば、３角測量の原理を用いた測距をおこなうことができるので、被写体までの距離をより正確に求めることができる。
【００９３】
撮像画像についての単位スケールを算出すると、ＡＲ処理部１１１は、図１１（ｂ）に示すようなガイドを、ガイド表示領域に表示する（ステップＳ１１０８）。このガイドは、算出した撮像画像の単位スケールを反映したものであり、例えば、分布表示における両矢印の左側に表示される。
【００９４】
ここで、図１１（ｂ）の撮像画像表示領域に表示されているライブビュー画像では、ＡＲサービスの対象となっている店舗Ａだけではなく、サービス対象外の店舗Ｂ〜Ｅまでが写り込んだ広い画角となっている。このような場合、店舗Ａが画角内に含まれていても、画像全体におけるサイズが小さいため、照合画像ＡＡ（図１０（ｂ））のスケールと異なってしまい、適切に照合できないことがある。
【００９５】
この場合、図１１（ｂ）に示すように、撮像画像の単位スケールを反映したガイドは、照合画像ＡＡを表している分布表示よりも上側に位置するよう表示される。図１１（ｂ）の例においては、ガイドの位置に画像分布が存在しないので、ユーザは、被写体に近づくか、ズームによって望遠側の画角にしなければ、ＡＲ表示をおこなうための照合をおこなうことができないと認識することができる。
【００９６】
このように、現在の撮像画像では、情報提供装置２００から取得した照合画像を用いた照合ができない場合（ステップＳ１１０９：Ｎｏ）、ステップＳ１１０７に戻り、撮像画像の単位スケールを再度算出する。すなわち、ガイド表示によって照合不可であることを認識したユーザが、被写体に近づいたりズームを望遠側にしたりすることで、図１２（ａ）に示すように画角を狭めると、その撮像画像についての単位スケールが算出されることになる（ステップＳ１１０７）。
【００９７】
この場合、算出された単位スケールに応じてガイド表示がなされるが（ステップＳ１１０８）、図１２（ａ）に示すように、ガイドが下側に移動するように表示される。図示するように、照合画像ＡＡの分布に相当する位置に移動すると、現在の画角で照合画像ＡＡとの照合が可能ということになる（ステップＳ１１０９：Ｙｅｓ）。
【００９８】
この場合、照合処理部１１３は、ＡＲ表示における既知の画像処理をおこなうことで、対応する単位スケールの照合画像（この場合、照合画像ＡＡ）と撮像画像との照合をおこない（ステップＳ１１１０）、撮像画像内での店舗Ａの位置を認識する。このようにして照合がなされると、ＡＲ処理部１１１により、例えば、図１２（ｂ）に示すように、撮像画像が全画面表示されるとともに、照合画像ＡＡに対応づけられて情報提供装置２００から提供された重畳情報が、撮像画像内の店舗Ａの位置に重畳表示される（ステップＳ１１１１）。
【００９９】
そして、例えば、ＡＲアプリケーションの終了指示や情報表示装置１００の電源オフなどといった所定の終了イベントが発生しなければ（ステップＳ１１１２：Ｎｏ）、ステップＳ１１０２以降の処理が繰り返しおこなわれる。ここで、ステップＳ１１０２においてキー情報の取得動作がおこなわれるが、情報表示装置１００が大幅に移動するなどしなければ、前回取得されたキー情報から変動しない（ステップＳ１１０３：Ｎｏ）。このような場合は、ステップＳ１１０７に進み、現在の単位スケールに基づいたガイド表示（画角変化に応じたガイド位置の更新）がおこなわれることになる。
【０１００】
一方、新たに取得したキー情報に変動がある場合（ステップＳ１１０３：Ｙｅｓ）は、当該キー情報を改めて情報提供装置２００に送信し（ステップＳ１１０４）、当該キー情報に基づいて提供されたＡＲデータを用いて以降の処理がおこなわれる（ステップＳ１１０５〜）。
【０１０１】
なお、情報表示装置１００から送信したキー情報に該当する照合画像が情報提供装置２００にない場合は、上述したように、情報提供装置２００からＡＲデータが送信されないか、あるいは、ＡＲサービスを提供できない旨の通知情報が送信される。このような場合（ステップＳ１１０５：Ｎｏ）は、ステップＳ１１１２に進み、終了イベントの発生有無に応じた動作がおこなわれることになる。すなわち、終了イベントが発生しなければ（ステップＳ１１１２：Ｎｏ）、再度キー情報の取得動作から処理が繰り返される（ステップＳ１１０２〜）。
【０１０２】
ここで、終了イベントが発生した場合（ステップＳ１１１２：Ｙｅｓ）は、記憶部１６０に記録したキー情報を消去して、処理を終了する。
【０１０３】
以上説明したように、本実施形態によれば、端末装置でＡＲ表示をおこなう際に、その撮影場所において用意されている照合画像の被写体スケールに基づいた分布が表示されるとともに、撮像画像における被写体のスケールが当該分布表示上でガイド表示されるので、提供された照合画像を用いた照合に適した画角や撮影位置とすることが容易におこなうことができ、ＡＲ表示を利用する際の利便性を向上させることができる。
【０１０４】
なお、本実施形態では、図１１および図１２に示したようなガイド表示を例示したが、ガイド表示の方法や形態は任意であり、これらに限られるものではない。例えば、被写体から離れているために撮像画像内での被写体像が小さい場合は、被写体への接近もしくはズームインによる画角変更を促す、図１３（ａ）に示すような、上向きの矢印画像をガイドとして表示してもよい。
【０１０５】
逆に、被写体に接近しすぎているために被写体像が画角内に収まっていないような場合は、被写体を遠ざけるもしくはズームアウトによる画角変更を促す、図１３（ｂ）に示すような、下向きの矢印画像をガイドとして表示してもよい。
【０１０６】
あるいは、図１３（ｃ）に示すような、照合に必要な画角を示す矩形枠をガイドとして表示し、当該矩形枠一杯に被写体像が収まるよう画角変更を促すようにしてもよい。
【０１０７】
これらのガイド表示は、例えば、撮像画像と照合画像の単位スケールが近い場合において、より適切な画角に近づけさせる際に有効であり、より直感的なガイド表示とすることで、効率的な画角変更を促すことができる。よって、まず、図１１に例示したようなガイド表示をおこなって、ある程度単位スケールが近似した段階で図１３に示したようなガイド表示に切り替えるようにしてもよい。あるいは、照合画像の数が少ない場合などには、最初から図１３に示したようなガイド表示とするようにしてもよい。
【０１０８】
本実施形態においては、単位スケールを算出するために必要となる被写体までの距離をステレオカメラによる測距で得ることでより正確な距離情報を得るようにしたが、被写体までの距離が得られるのであれば、その方法は任意である。例えば、レンズの合焦距離を用いることとしてもよい。この場合、情報表示装置１００に備えられる撮像部１４０は、例示したようなステレオカメラでなくてもよく、一般的な単眼式のカメラモジュールにて撮像部１４０を構成してもよい。
【０１０９】
（実施形態２）
上記実施形態１では、ＧＰＳなどによって位置情報などのキー情報を情報表示装置１００が取得すると、そのキー情報に基づいて情報提供装置２００がＡＲデータを検索して情報表示装置１００に提供していたが、ＡＲサービスの対象が拡大すると、現在位置付近でのＡＲサービスの対象が増大するため、情報提供装置２００への問い合わせ回数が多くなる他、１度に提供されるＡＲデータの量も多くなり、トラフィック負荷や情報表示装置１００内でのメモリ使用量が増大し、パフォーマンスの低下を招くおそれがある。
【０１１０】
また、上述したように、情報表示装置１００が取得するキー情報は複数種類あるため、場合によっては、複数のキー情報に対応した大量の照合画像を交互に照合しなければならないことも考えられ、同様に情報表示装置１００のパフォーマンス低下の要因となる。
【０１１１】
また、同じ種類のキー情報を用いる場合であっても、例えば、ＧＰＳによる位置情報を用いる場合においては、ユーザが目的の場所にたどり着く前に、経路を戻るような行動をとる場合もある。このようなときに、位置情報の変動に応じて情報提供装置２００にアクセスしていては、情報表示装置１００のパフォーマンスが低下し、ユーザの利便性にとっても好ましくない。
【０１１２】
この場合、できるだけ多くのＡＲデータを情報表示装置１００内に蓄積しておけば、情報提供装置２００へのアクセス回数を低減させることができるが、情報表示装置１００内で照合をおこなう以上、蓄積しているＡＲデータが多いと照合処理に時間がかかってしまうので、パフォーマンスの低下は免れない。
【０１１３】
本実施形態では、取得したキー情報およびＡＲデータの管理により、情報提供装置２００への問い合わせ回数の低減と、情報表示装置１００におけるメモリ使用の効率化を図る。
【０１１４】
このために情報表示装置１００で実行される「ＡＲ表示処理（２）」を、図１４のフローチャートを参照して説明する。この処理は、実施形態１の「ＡＲ表示処理（１）」に代えて実行されるものとする。
【０１１５】
ここで、上記実施形態１では、ＧＰＳなどによって取得される位置情報をキー情報として必須であるものとしたが、本実施形態では、位置情報が取得されずに他の種類のキー情報が取得された場合であっても情報提供装置２００への問い合わせをおこなうものとする。
【０１１６】
上述したように、キー情報は店舗などの施設等から発信される場合もある。例えば、店舗の店頭などに近距離ワイヤレス通信や可視光通信による発信装置を設置し、当該店舗についてのＡＲデータにかかるキー情報を発信していれば、当該店舗に近づいた際にキー情報を取得することができる。この場合に発信されるキー情報は、例えば、ＧＰＳに相当する位置情報などとすることができる他、当該施設が情報提供装置２００にＡＲデータなどを登録している場合においては、当該施設を示す識別情報をキー情報として発信していてもよい。
【０１１７】
このような場合、情報提供装置２００の照合画像格納テーブルには、図１５に示すような「グループＩＤ」がインデックス情報として付加されているものとする。１つのグループＩＤに対して複数のＡＲデータを対応づけることで、情報提供装置２００における検索の効率を向上させることができる。
【０１１８】
また、本実施形態では、図１５に示すように、各ＡＲデータに一意の識別情報（ＡＲデータ識別情報）が付与されているものとする。この場合、本実施形態にかかる情報提供装置２００は、情報表示装置１００からキー情報が送信された際には、当該キー情報に対応する識別情報（ＡＲデータ識別情報）を情報表示装置１００に返信し、情報表示装置１００から識別情報（ＡＲデータ識別情報）が送信された際には、当該識別情報（ＡＲデータ識別情報）に対応するＡＲデータを情報表示装置１００に返信する。
【０１１９】
なお、情報表示装置１００が取得するキー情報には、例えば、店舗内で販売される商品などに付加されているプライスカードなどに付けられているＲＦＩＤチップから発信されるものや、表示されている２次元コードによって表されているものも含み、これらのキー情報は、当該商品についてのＡＲデータと対応づけられた識別情報となる。本実施形態では、このような識別情報は、上述したＡＲデータ識別情報と同じであることとする。
【０１２０】
以上のような想定において実行される「ＡＲ表示処理（２）」による動作を説明する。なお、実施形態１と同様、ユーザによるＡＲアプリケーションの実行指示を契機に処理が開始されるものとする。
【０１２１】
処理が開始されると、撮像処理部１１２は、撮像部１４０を制御し、撮像動作が開始されるとともに（ステップＳ２１０１）、照合処理部１１３がキー情報取得部１３０を制御することで、キー情報の取得動作がおこなわれる（ステップＳ２１０２）。取得されたキー情報は、例えば、ＲＡＭなどの記憶領域上に一時的に保持される。
【０１２２】
実施形態１の例と同様、取得したキー情報を記憶部１６０に記録することになるが、本実施形態では、図１８（ａ）に示すような「キー情報管理テーブル」が記憶部１６０に作成され、取得されたキー情報と付加情報がこのテーブルに格納される。
【０１２３】
このキー情報管理テーブルは、図１８（ａ）に示すように、レコードＮｏ．をキーとしたレコードによって構成される。ここで、テーブルを構成するレコード数は、例えば、記憶部１６０の容量のうちでＡＲアプリケーションに割り当てられている容量や情報表示装置１００の処理能力などによって規定されているものとする。すなわち、記録されるキー情報が、ＡＲアプリケーションの実行にかかるパフォーマンスが低下しない程度のデータ量となるようなレコード数が規定される。本実施形態では、例えば、ｎ個のレコードによってテーブルが構成されているものとする。
【０１２４】
また、ステップＳ２１０２で取得されたキー情報の数をＮ（個）とする。上述したように、複数の方法でキー情報が取得されるので、同じ場所でキー情報取得動作をおこなった場合に、例えば、ＧＰＳによって位置情報が取得されるとともに、近距離ワイヤレス通信によってグループＩＤが取得されるなどといった、複数のキー情報が同時に取得される場合もあるので、キー情報の数Ｎは、Ｎ≧１ということになる。
【０１２５】
このようなキー情報管理テーブルには、図１８（ａ）に示すように、取得されたキー情報（例えば、位置情報、グループＩＤ、識別情報、など）、当該キー情報を取得した方法の種類を示す情報（例えば、ＧＰＳ、可視光通信、ＲＦＩＤ、ＩｒＤＡ、Bluetooth（商標）、２次元コード、などの別）、利用日時、当該キー情報に対して情報提供装置２００から送信された識別情報（ＡＲデータ識別情報）、削除対象から除外すべきレコードであることを示すフラグ（「除外フラグ」）、などが記録されることになる。
【０１２６】
ここで、「利用日時」には、取得されたキー情報が記録されたときの日時が記録される。また、既にキー情報管理テーブルに記録されているキー情報が再度取得された際には、そのときの日時に更新されるものとする。
【０１２７】
このようなキー情報管理テーブルにキー情報を格納するための処理として、「キー情報管理処理」が実行される（ステップＳ２２００）。この「キー情報管理処理」を、図１６に示すフローチャートを参照して説明する。
【０１２８】
処理が開始されると、照合処理部１１３は、記憶部１６０のキー情報管理テーブルにアクセスし、ＲＡＭに保持しているキー情報と同じキー情報がキー情報管理テーブルに格納されている場合、当該キー情報についての「利用日時」を、現在日時に更新する（ステップＳ２２０１）。ここで、ＲＡＭに保持されている、今回取得したキー情報のうち、このようなキー情報管理テーブルに記録済のキー情報については、利用日時の更新後、ＲＡＭから削除する。
【０１２９】
既に記録済のキー情報をＲＡＭから削除した後にＲＡＭに残存しているキー情報は、キー情報管理テーブルに未記録のキー情報ということになる。今回取得したキー情報に、キー情報管理テーブルに未記録のものがない場合（ステップＳ２２０２：Ｎｏ）は、利用日時の更新をおこなうのみで処理を終了して、「ＡＲ表示処理（２）」（図１４）のフローに戻る。
【０１３０】
一方、キー情報管理テーブルに未記録のキー情報がある場合（ステップＳ２２０２：Ｙｅｓ）、照合処理部１１３は、このような未記録のキー情報を、キー情報管理テーブルに追加可能であるか否かを判別する（ステップＳ２２０３）。上述したように、本実施形態にかかるキー情報管理テーブルは、記憶部１６０の容量などに基づいて、レコード数がｎ個までに制限されている。このようなｎ個のレコードのうち、空きレコードが１以上あれば、キー情報を追加可能であると判別する（ステップＳ２２０３：Ｙｅｓ）。
【０１３１】
この場合、照合処理部１１３は、ＲＡＭに残存しているキー情報のうちの１つについて、当該キー情報とその取得方法を示す情報、および、取得日時として現在日時を示す情報を空きレコードの１つに記録する（ステップＳ２２０９）。この場合、照合処理部１１３は、ＲＡＭ上の当該キー情報を削除する。
【０１３２】
今回取得したキー情報の１つをキー情報管理テーブルに記録すると、照合処理部１１３は、通信部１２０を制御することで、当該キー情報を、通信ネットワークＮＷを介して情報提供装置２００に送信し、対応する識別情報（ＡＲデータ識別情報）を、通信ネットワークＮＷを介して情報提供装置２００から取得する（ステップＳ２２１０）。
【０１３３】
この場合、情報提供装置２００においては、情報表示装置１００から送信されたキー情報を通信部２２０が受信すると、情報検索部２１３が記憶部２４０にアクセスし、図１５に示した照合画像格納テーブルから、受信したキー情報に対応づけられている識別情報（ＡＲデータ識別情報）を検索し、通信部２２０がこれを情報表示装置１００に送信する。
【０１３４】
このようにして情報提供装置２００が識別情報（ＡＲデータ識別情報）を送信すると、情報表示装置１００の通信部１２０が受信する。照合処理部１１３は、受信された識別情報（ＡＲデータ識別情報）を、ステップＳ２２０９でキー情報管理テーブルに記録したキー情報のレコードに記録する（ステップＳ２２１１）。
【０１３５】
１つのレコードへのキー情報の記録が完了すると、照合処理部１１３は、今回取得したキー情報がＲＡＭ上に残存しているか否かを判別することで、キー管理情報テーブルに未記録であったキー情報がすべて記録されたか否かを判別する（ステップＳ２２１２）。
【０１３６】
今回取得したキー情報がまだＲＡＭに残存しているのであれば（ステップＳ２２１２：Ｎｏ）、ステップＳ２２０３に戻る。ここで、ｎ個のレコードすべてに情報が記録されている場合、照合処理部１１３は、キー情報が追加できないと判別し（ステップＳ２２０３：Ｎｏ）、いずれかのレコードの内容を削除することで空きレコードを用意する。
【０１３７】
この場合、照合処理部１１３は、キー情報管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する（ステップＳ２２０４）。そして、そのレコードに記録されているキー情報が、位置情報以外のもの（グループＩＤや識別情報など）であるか否かを判別する（ステップＳ２２０５）。
【０１３８】
位置情報以外のキー情報が記録されているレコードである場合（ステップＳ２２０５：Ｙｅｓ）、照合処理部１１３は、当該レコードの内容を削除する（ステップＳ２２０８）。これにより空きレコードが１つ用意できたので、ステップＳ２２０９以降の処理により、当該空きレコードに該当する情報が記録される。
【０１３９】
一方、最も古い利用日時が記録されているレコードのキー情報が、位置情報である場合（ステップＳ２２０５：Ｎｏ）、照合処理部１１３は、当該位置情報と現在位置から、当該レコードに記録されている位置情報が現在位置に近い位置であるか否かを判別する（ステップＳ２２０６）。
【０１４０】
ここで、今回取得したキー情報に位置情報が含まれているのであれば、当該位置情報が示す位置を現在位置とし、含まれていなければ、キー情報取得部１３０を制御することで現在位置情報の取得をおこなう。そして、各位置を示す緯度・経度から２点間の距離を演算し、算出された距離と所定の閾値とを比較することで、現在位置に近いか否かを判別する。この場合の閾値は任意であり、情報表示装置１００の製造者によって設定される他、使用者によって任意に設定できるものであってもよい。
【０１４１】
このような動作により、利用日時が最も古いレコードに記録されている位置情報が、現在位置に近い位置を示すものであれば（ステップＳ２２０６：Ｙｅｓ）、照合処理部１１３は、当該レコードを削除対象から除外し（ステップＳ２２０７）、ステップＳ２２０４に戻る。この場合、例えば、削除対象から除外すべきレコードであることを示すフラグ（除外フラグ）を当該レコードに立てるものとする。
【０１４２】
一方、現在位置から遠い位置を示す位置情報が記録されているレコードであれば（ステップＳ２２０６：Ｎｏ）、ステップＳ２２０８に進み、当該レコードの内容を削除する。そして、ステップＳ２２０９以降の処理をおこなうことで、当該レコードに各種情報が記録される。
【０１４３】
このようにして、今回取得されたキー情報のすべてがキー情報管理テーブルに記録されると（ステップＳ２２１２：Ｙｅｓ）、本処理を終了し、「ＡＲ表示処理（２）」（図１４）のフローに戻る。
【０１４４】
ここで、本実施形態では、情報提供装置２００から取得したＡＲデータが、記憶部１６０に作成された図１８（ｂ）に示すような「ＡＲデータ管理テーブル」に記録されるものとする。
【０１４５】
図示するように、「ＡＲデータ管理テーブル」においては、レコードＮｏ．をキーとしたレコードが作成され、各レコードには、キー情報に対応する識別情報（ＡＲデータ識別情報）が記録されるとともに、当該識別情報（ＡＲデータ識別情報）に対応するＡＲデータ（すなわち、照合画像、重畳情報、スケール情報、単位スケール情報、など）と、当該ＡＲデータの利用日時を示す情報、などが記録される。ここで、「利用日時」には、当該ＡＲデータを情報提供装置２００から取得したときの日時が記録される。
【０１４６】
なお、ＡＲデータ管理テーブルを構成するレコード数についても、ＡＲアプリケーションに割り当てられている記憶部１６０の容量や情報表示装置１００の処理能力などによって規定されているものとする。すなわち、ＡＲアプリケーションの実行にかかるパフォーマンスが低下しない情報量が記録されるようレコード数が規定されている。本実施形態では、ｍ個のレコードによってテーブルが構成されているものとする。
【０１４７】
上述した「キー情報管理処理」（ステップＳ２２００）の実行後、「ＡＲ表示処理（２）」では、このようなＡＲデータ管理テーブルにＡＲデータを記録するための「ＡＲデータ管理処理」が実行される（ステップＳ２３００）。このＡＲデータ管理処理を、図１７に示すフローチャートを参照して説明する。
【０１４８】
処理が開始されると、照合処理部１１３はまず、記憶部１６０のキー情報管理テーブル（図１８（ａ））にアクセスし、今回のキー情報取得動作に対応する日時が利用日時として記録されているレコードを特定し、当該レコードに記録されている識別情報（ＡＲデータ識別情報）を特定する。すなわち、今回取得したキー情報に対応づけられている識別情報（ＡＲデータ識別情報）を特定する。この場合、照合処理部１１３は、特定した識別情報（ＡＲデータ識別情報）をキー情報管理テーブルから取得し（ステップＳ２３０１）、ＲＡＭ上に一時的に保持する。
【０１４９】
次に照合処理部１１３は、記憶部１６０のＡＲデータ管理テーブル（図１８（ｂ））にアクセスし、ステップＳ２３０１で取得した識別情報（ＡＲデータ識別情報）がすでに記録されているレコードを特定し、当該レコードの「利用日時」を、現在日時に更新する（ステップＳ２３０２）。すなわち、今回取得したキー情報に対応づけられているＡＲデータが既にＡＲデータ管理テーブルに記録済である場合、このときに情報提供装置２００からＡＲデータが取得されたものとして、「利用日時」を更新する。
【０１５０】
このような、ＡＲデータ管理テーブルに記録済のＡＲデータを示す識別情報（ＡＲデータ識別情報）について「利用日時」を更新すると、当該識別情報をＲＡＭから削除する。このような削除をおこなった後にＲＡＭに識別情報が残存していれば、当該識別情報によって示されるＡＲデータは、ＡＲデータ管理テーブルに未記録であるということになる。
【０１５１】
また、ＲＡＭ上に識別情報が残存しなければ、今回取得したキー情報に対応するＡＲデータはすべてＡＲデータ管理テーブルに記録済ということになる。この場合（ステップＳ２３０３：Ｎｏ）は、今回取得したキー情報に対応するＡＲデータについての「利用日時」を更新するのみで処理を終了して、「ＡＲ表示処理（２）」（図１４）のフローに戻る。
【０１５２】
一方、ＡＲデータ管理テーブルに記録されていないＡＲデータがある場合（ステップＳ２３０３：Ｙｅｓ）、照合処理部１１３は、ＡＲデータ管理テーブルに追加可能であるか否かを判別する（ステップＳ２３０４）。上述したように、本実施形態にかかるＡＲデータ管理テーブルは、記憶部１６０の容量などに基づいて、レコード数がｍ個までに制限されている。このようなｍ個のレコードのうち、空きレコードが１以上あれば、ＡＲデータを追加可能であると判別する（ステップＳ２３０４：Ｙｅｓ）。
【０１５３】
この場合、照合処理部１１３は、ＲＡＭに保持されている識別情報（ＡＲデータ識別情報）のうちの１つを選択する。そして、通信部１２０を制御し、選択した識別情報（ＡＲデータ識別情報）を、通信ネットワークＮＷを介して情報提供装置２００に送信することで、当該識別情報（ＡＲデータ識別情報）に対応づけられているＡＲデータを情報提供装置２００から取得する（ステップＳ２３１０）。
【０１５４】
このとき、情報提供装置２００においては、情報表示装置１００から送信された識別情報（ＡＲデータ識別情報）を通信部２２０が受信すると、情報検索部２１３が記憶部２４０にアクセスし、図１５に示した照合画像格納テーブルから、受信した識別情報（ＡＲデータ識別情報）に対応づけられているＡＲデータを検索し、通信部２２０がこれを情報表示装置１００に送信する。
【０１５５】
このようにして情報提供装置２００がＡＲデータを送信すると、情報表示装置１００の通信部１２０が受信する。照合処理部１１３は、受信されたＡＲデータを、空きレコードの１つに記録する（ステップＳ２３１１）。照合処理部１１３はまた、このときの現在日時を示す情報を、当該ＡＲデータの利用日時として記録する。このとき照合処理部１１３は、ＲＡＭに保持されている識別情報（ＡＲデータ識別情報）のうち、ＡＲデータ管理テーブルに記録したＡＲデータについての識別情報（ＡＲデータ識別情報）を、ＲＡＭから削除する。
【０１５６】
照合処理部１１３は、ＲＡＭ上に識別情報（ＡＲデータ識別情報）が残存しているか否かを判別することで、ＡＲデータ管理テーブルに記録されていなかったＡＲデータのすべてがＡＲデータ管理テーブルに記録されたか否かを判別する（ステップＳ２３１２）。
【０１５７】
ＲＡＭ上に識別情報（ＡＲデータ識別情報）が残存している場合（ステップＳ２３１２：Ｎｏ）、ステップＳ２３０４に戻り、それらの識別情報（ＡＲデータ識別情報）について、ＡＲデータの取得と記録がおこなわれる。ここで、ＡＲデータ管理テーブルのｍ個のレコードすべてに情報が記録されている場合、照合処理部１１３は、ＡＲデータが追加できないと判別し（ステップＳ２３０４：Ｎｏ）、いずれかのレコードの内容を削除することで空きレコードを用意する。
【０１５８】
この場合、照合処理部１１３は、ＡＲデータ管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する（ステップＳ２３０５）。そして、そのレコードに記録されている識別情報（ＡＲデータ識別情報）を特定する。
【０１５９】
次に照合処理部１１３は、キー情報管理テーブルにアクセスし、特定した識別情報（ＡＲデータ識別情報）が記録されているレコードがないか判別する。すなわち、利用日時が最も古いＡＲデータに対応するキー情報が、現在のキー情報管理テーブルに残存しているか否かを判別する（ステップＳ２３０６）。
【０１６０】
キー情報管理テーブルに、対応するキー情報が残存していない場合（ステップＳ２３０６：Ｎｏ）、照合処理部１１３は、ＡＲデータ管理テーブルから、ステップＳ２３０５で特定したレコードの内容を削除する（ステップＳ２３０７）。これにより空きレコードが１つ用意できたので、ステップＳ２３１０以降の処理により、当該レコードに該当する情報が記録される。
【０１６１】
一方、利用日時が最も古いＡＲデータに対応するキー情報が、現在のキー情報管理テーブルに残存している場合（ステップＳ２３０６：Ｙｅｓ）、照合処理部１１３は、当該キー情報のレコードで「除外フラグ」が立てられているか否かを判別することで、当該キー情報が、「キー情報管理処理」（図１６）のステップＳ２２０７において、削除対象から除外されたものであるか否かを判別する（ステップＳ２３０８）。
【０１６２】
ここで、ステップＳ２３０５で特定したＡＲデータに対応するキー情報が、キー情報管理テーブルにおいて削除対象から除外されていた場合（ステップＳ２３０８：Ｙｅｓ）、照合処理部１１３は、ステップＳ２３０５で特定したレコードについても、削除対象から除外し（ステップＳ２３０９）、ステップＳ２３０５に戻る。この場合、例えば、対象除外であることを示すフラグを立てるなどして示すことができる他、当該レコードの利用日時を現在の日時に更新することで除外されるようにしてもよい。
【０１６３】
上述した「キー情報管理処理」（図１６）により、キー情報管理テーブルには、比較的最近に取得されたキー情報、もしくは、利用日時は古いが現在位置に近い位置を示すキー情報が残るように管理されている。よって、ステップＳ２３０５で特定されたＡＲデータに対応するキー情報がキー情報管理テーブルに残存し、かつ、削除対象から除外されていたのであれば、ＡＲデータの利用日時が古くても、今回取得されたキー情報を用いたＡＲ表示もしくは近い将来に取得されうるキー情報を用いたＡＲ表示に利用される可能性が高い。よって、このようなＡＲデータは、ＡＲデータ管理テーブルからの削除対象から除外することで、ＡＲ管理テーブルに残存させる。
【０１６４】
このような除外処理の後、ステップＳ２３０５に戻り、削除対象とできるレコードが検索され、その内容が削除される（ステップＳ２３０５〜ステップＳ２３０７）。そして、このようにして用意された空きレコードに、新たに取得されるＡＲデータが記録される（ステップＳ２３１０〜ステップＳ２３１１）。
【０１６５】
一方、対応するキー情報がキー情報管理テーブルに残存しているものであっても、削除対象から除外されたものでなければ（ステップＳ２３０８：Ｎｏ）、当該キー情報は、キー情報管理テーブルに残存しているものの中でも比較的利用日時が古く現在位置に近くないものであり、かつ、対応するＡＲデータについてはその利用日時が最も古いことになる。このため、ステップＳ２３０５で特定したレコードに記録されているＡＲデータが今回もしくは近い将来に用いられる可能性は低いとみなし、当該レコードの内容を削除して空きレコードを用意する（ステップＳ２３０７）。
【０１６６】
以上のような動作を、対象となっているすべてのＡＲデータが記録されるまで繰り返しおこなわれ（ステップＳ２３１２：Ｎｏ）、すべてのＡＲデータが記録されると（ステップＳ２３１２：Ｙｅｓ）、本処理を終了して、「ＡＲ表示処理（２）」（図１４）のフローに戻る。
【０１６７】
「ＡＲ表示処理（２）」では、ステップＳ２１０２で取得されたキー情報に対応するＡＲデータを用いたＡＲ表示をおこなう。ここでは、実施形態１で説明した「ＡＲ表示処理（１）」（図８）のステップＳ１１０６〜ステップＳ１１１１と同様の動作をおこなうことにより、取得済のＡＲデータを用いたＡＲ表示がおこなわれる（ステップＳ２１０３）。
【０１６８】
そして、所定の終了イベントが発生しなければ（ステップＳ２１０４：Ｎｏ）、ステップＳ２１０２以降の処理が繰り返し実行されることで、ＡＲ表示がおこなわれる。そして、終了イベントの発生により（ステップＳ２１０４：Ｙｅｓ）、本処理を終了する。
【０１６９】
以上のように、本実施形態によれば、情報表示装置１００で利用できるメモリ資源や処理能力などに応じて、情報表示装置１００にて保持するキー情報やＡＲデータが、効率的なＡＲ表示に寄与できるよう適切に管理されるとともに、情報提供装置２００から情報表示装置１００へＡＲデータを提供するためのデータ転送を効果的に低減させることができるので、トラフィック負荷を低減する他、情報表示装置１００のパフォーマンス低下を防止することができ、ＡＲサービスの利用にかかる利便性の向上を図ることができる。
【０１７０】
すなわち、情報表示装置１００でキー情報が取得された際には、当該キー情報に対応する識別情報のみを情報提供装置２００から取得するので、照合画像などのような比較的データサイズの大きいＡＲデータの転送を伴わない。そして、取得した識別情報に基づいて、情報表示装置１００が保持しているＡＲデータに該当するＡＲデータが含まれていない場合にのみ、情報提供装置２００からＡＲデータの提供を受ける。これにより、キー情報を取得する度にＡＲデータを情報提供装置２００から取得する場合に比べ、通信ネットワークＮＷ上でのデータ転送量を大幅に削減することができる。
【０１７１】
また、情報表示装置１００内には、比較的最近に取得されたキー情報と現在位置に近い位置情報を示すキー情報が優先的に残るように保持され、これらのキー情報に対応するＡＲデータは削除されないように管理されているので、現在もしくは直近の将来に利用される可能性の高いＡＲデータが優先的に情報表示装置１００内に保持されることになり、ＡＲデータを取得するための情報提供装置２００とのトランザクション回数をさらに低減させることができる。
【０１７２】
なお、本実施形態においては、そのとき取得したキー情報に対応するＡＲデータが既にＡＲデータ管理テーブルに記録済である場合に、当該ＡＲデータについての「利用日時」を更新するものとした（「ＡＲデータ管理処理」（図１７）のステップＳ２３０２）が、ＡＲデータ管理テーブルに記録されているＡＲデータをＡＲ表示に用いた際にも「利用日時」を更新するようにしてもよい。これにより、実際にＡＲ表示に用いられたＡＲデータを優先的に情報表示装置１００に保持させることができる。
【０１７３】
また、キー情報管理テーブルからキー情報を削除した際（「キー情報管理処理」（図１６）のステップＳ２２０８）に、当該キー情報に対応づけられているＡＲデータをＡＲデータ管理テーブルから削除してもよく、ＡＲデータ管理テーブルからＡＲデータを削除した際（「ＡＲデータ管理処理」（図１７）のステップＳ２３０７）に、当該ＡＲデータの識別情報（ＡＲデータ識別情報）が対応づけられているキー情報をキー情報管理テーブルから削除してもよい。これにより、キー情報もしくはＡＲデータのいずれかにおいて削除対象とされた際に、互いに対応するＡＲデータもしくはキー情報も併せて削除されるので、キー情報管理テーブルおよびＡＲデータ管理テーブルのいずれにおいても、空きレコードが予め用意されている可能性を高めることができる。
【０１７４】
（実施形態３）
上記実施形態２においては、店舗などの施設等から発信するキー情報として、グループＩＤを例示したが、このような方法によって、キー情報だけでなく、ＡＲデータ（照合画像）をその場で取得できるようにしてもよい。この場合、例えば、ＧＰＳによる位置情報の取得ができない場合でも、ＡＲサービスの利用に必要となるＡＲデータを取得することができる他、情報提供装置２００などにアクセスせずにＡＲデータを取得できるので、通信ネットワークＮＷにおけるトラフィック負荷の低減にも寄与することができる。
【０１７５】
この形態では、店舗などの施設等に設置された近距離ワイヤレス通信装置や可視光通信装置が情報提供装置２００として機能することになるが、上記各実施形態で例示した情報提供装置２００とは異なり、設置場所に関する情報のみを保持して発信すればよいため、小規模かつ簡易的に実現できる他、膨大なＡＲデータの提供を分散しておこなうことができる。
【０１７６】
このように提供される照合画像として、上記各実施形態では、写真画像などのいわゆる２Ｄ画像を用いるものとした。この場合、照合画像を撮影したカメラからの視線方向と一致する視線方向から撮影した場合でないと照合がうまくおこなえない場合がある。特に、店舗などの内部において多数の商品それぞれについてＡＲ表示をおこなうような場合、店舗内部が狭かったり、対象物が近接していたりすることがあると、必ずしも照合画像の視線方向と同じ視線方向で撮影できるとは限らない。また、照合動作はバックグラウンドでおこなわれるため、どのような照合画像が用いられているかユーザが認識することもないため、照合画像の視線方向に合わせた撮影を能動的におこなうことも通常はできない。
【０１７７】
ここで、撮像部１４０をステレオカメラで構成した情報表示装置１００の場合、撮像画像から３Ｄモデリングデータを生成することができるので、このような３Ｄモデリングデータを照合画像と照合させることで、上記のような問題の解消を図ることができる。本実施形態では、この場合の動作例を以下に説明する。
【０１７８】
情報表示装置１００が３Ｄモデリングデータを用いて照合をおこなう場合の「ＡＲ表示処理（３）」を、図１８に示すフローチャートを参照して説明する。なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置によってＡＲデータが情報表示装置１００に提供されるものとする。
【０１７９】
処理が開始されると、撮像処理部１１２によってステレオカメラである撮像部１４０が制御され、撮像動作が開始される（ステップＳ３１０１）。本実施形態では、例えば、ＶＲＡＭ（Video RAM）などのような、画像処理のために画像データが展開される記憶装置が記憶部１６０に含まれるものとする。この場合、照合処理部１１３は、記憶部１６０に展開された画像データに対し、３Ｄモデリングにおける既知の技術を用いて、撮像画像から被写体を抽出するとともに、奥行き推定をおこなうことで、抽出した被写体の３Ｄモデリングデータを生成する（ステップＳ３１０２）。
【０１８０】
３Ｄモデリングデータを生成すると、照合処理部１１３は、画像処理における既知の技術を用いて、撮像画像で３Ｄモデリングデータを生成した被写体について、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）などによって、特徴点の抽出や特徴量の算出をおこなう（ステップＳ３１０３）。
【０１８１】
また、照合処理部１１３は、キー情報取得部１３０などを制御することで、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から発信されているＡＲデータを取得して、記憶部１６０に記録する（ステップＳ３１０４）。ＡＲデータの記録にあたっては、実施形態２で例示したような、ＡＲデータ管理テーブルなどに記録する。
【０１８２】
取得したＡＲデータに含まれる照合画像が複数含まれる場合、照合処理部１１３は、生成した３Ｄモデリングデータとこれらの照合画像との照合を順次おこなうため、処理対象とする照合画像のインデックス番号ｉに初期値「０」を設定した後（ステップＳ３１０５）、ｉの値を＋１することで（ステップＳ３１０６）、１番目の照合画像を指定する。
【０１８３】
照合処理部１１３は、記憶部１６０に格納されている当該照合画像（ｉ番目の照合画像）について、ステップＳ３１０３での処理と同様の処理をおこなうことで、ＳＩＦＴやＳＵＲＦなどによって、特徴点の抽出や特徴量の算出をおこなう（ステップＳ３１０７）。
【０１８４】
ここで、現在撮像されている被写体が図１９（ａ）に示すような立体物である場合において、用意されている照合画像は、図１９（ａ）における「照合画像の視線」が示す方向から撮影された図１９（ｂ）に示すような写真画像（２Ｄ画像）であるものとする。ここで、情報表示装置１００による現在の撮像方向が、図１９（ａ）における「現在のカメラ視線」が示す方向であるとすると、ステップＳ３１０２で生成された３Ｄモデリングデータは、図１９（ｃ）に示すようなものとなる。
【０１８５】
この場合、照合画像の視線と現在の撮像における視線が異なるので、生成した３Ｄモデリングデータでは、照合画像を用いた照合をおこなうことができない。このため、照合処理部１１３は、撮像画像の特徴点・特徴量と、照合画像の特徴点・特徴量とを比較し、照合画像の視線となるよう、３Ｄモデリングデータの視線方向を変更する（ステップＳ３１０８）。このように視線変更した３Ｄモデリングデータは、図１９（ｄ）に示すように、照合画像と相似するので、照合画像を用いた照合をおこなうことができる。
【０１８６】
なお、現在比較している照合画像が、３Ｄモデリングデータを生成した被写体についてのものではない場合、３Ｄモデリングデータの視線を変更しても照合が成功しないことになる（ステップＳ３１０９：Ｎｏ）。この場合はステップＳ３１０６に戻り、対象とする照合画像のインデックス番号ｉを＋１することで、次の照合画像について上述した処理をおこなう。
【０１８７】
そして、照合が成功した場合（ステップＳ３１０９：Ｙｅｓ）には、実施形態１で例示した「ＡＲ表示処理（１）」（図８）のステップＳ１１０６〜ステップＳ１１１１と同様の処理をおこなうことにより、ＡＲ表示をおこなう（ステップＳ３１１０）。
【０１８８】
そして、上記各実施形態で例示したような所定の終了イベントが発生しなければ（ステップＳ３１１１：Ｎｏ）、ステップＳ３１０４に戻り、以降の処理を繰り返しおこない、終了イベントの発生により（ステップＳ３１１１：Ｙｅｓ）、本処理を終了する。
【０１８９】
以上のような本実施形態によれば、撮像画像と照合画像から抽出した特徴点や特徴量に基づいて、撮像画像から生成した３Ｄモデリングデータの視線方向を変更するので、照合画像の視線方向とは異なる方向から撮影している場合であっても適切に照合をおこなうことができ、アバウトな撮影であっても的確にＡＲ表示をおこなうことができる。すなわち、ＡＲサービスの拡大によって、あらゆるものがＡＲサービスの対象になった場合でも、正確なＡＲ表示をおこなうことができ、ユーザの利便性を向上させることができる。
【０１９０】
なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から、写真画像としての照合画像を取得するものとしたが、このように提供される照合画像自体を３Ｄモデリングデータとしてもよい。これは、実施形態１や実施形態２で例示した情報提供装置２００が照合画像を提供する場合も同様に３Ｄモデリングデータとすることができる。３Ｄモデリングデータ同士の照合であれば、画像処理をおこなわずに数値演算に基づいたより正確な照合動作をおこなうことができる。
【０１９１】
以上説明したように、本発明にかかる上記各実施形態によれば、ＡＲサービスを利用する場合において、対象が膨大となった場合であっても、ユーザの利便性を向上させることができる。
【０１９２】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１９３】
例えば、上記各実施形態で示した規格やフォーマットなどは一例であり、同様の効果が得られるものであれば、採用できる規格やフォーマットは任意である。
【０１９４】
また、上記各実施形態では、情報表示装置１００としてスマートフォンを例示したが、少なくとも、撮像機能と、キー情報及び／又はＡＲデータを取得できる構成を有しているのであれば、スマートフォンに限られず、任意の装置を情報表示装置１００として用いることができる。
【０１９５】
このような、情報表示装置１００として採用可能な任意の装置において、上述した制御部１１０が実現する機能を有していないものであっても、プログラムを適用することにより、図４に示したような機能構成を実現できるのであれば、既存の装置を本発明にかかる情報表示装置として機能させることができる。
【０１９６】
同様に、汎用のサーバ装置などにプログラムを適用することで、図６に示したような機能構成を実現できるのであれば、既存の情報処理装置などを本発明にかかる情報提供装置として機能させることができる。
【０１９７】
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【０１９８】
１…情報表示システム、ＮＷ…通信ネットワーク、１００…情報表示装置、１１０…制御部、１１１…ＡＲ処理部、１１２…撮像処理部、１１３…照合処理部、１２０…通信部、１３０…キー情報取得部、１４０…撮像部、１５０…入出力部、１６０…記憶部、２００…情報提供装置、２１０…制御部、２１１…通信処理部、２１２…情報登録部、２１３…情報検索部、２２０…通信部、２３０…入出力部、２４０…記憶部
【図１】
0005195885.tif 000002
【図２】
0005195885.tif 000003
【図３】
0005195885.tif 000004
【図４】
0005195885.tif 000005
【図５】
0005195885.tif 000006
【図６】
0005195885.tif 000007
【図７】
0005195885.tif 000008
【図８】
0005195885.tif 000009
【図９】
0005195885.tif 000010
【図１０】
0005195885.tif 000011
【図１１】
0005195885.tif 000012
【図１２】
0005195885.tif 000013
【図１３】
0005195885.tif 000014
【図１４】
0005195885.tif 000015
【図１５】
0005195885.tif 000016
【図１６】
0005195885.tif 000017
【図１７】
0005195885.tif 000018
【図１８】
0005195885.tif 000019
【図１９】
0005195885.tif 000020
【図２０】
0005195885.tif 000021