(57)【要約】【課題】ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上させる。【解決手段】情報表示端末１００において、撮影画像中で認識した第１オブジェクト４２〜４５に関して予め保持された情報等に応じて複数種類のうち所定種類の通信部１０８を選択し、該当通信部１０８を介してネットワーク１０上の所定装置３００から関連情報を取得する処理と、撮影画像中での第２オブジェクト４６の存在、又は第１オブジェクト４２〜４５と第２オブジェクト４６との所定の位置関係、を特定した場合に、該当第１オブジェクトの関連情報を表示部１０６により視野方向に表示する演算部１０４を備える構成とする。
2015155841.tif 000002
【特許請求の範囲】
【請求項１】
装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部とを備える情報表示端末が、
前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワークまたは前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、
前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、
を実行することを特徴とする情報表示方法。
【請求項２】
前記情報表示端末が、
前記情報表示処理において、前記撮像部による撮影画像中での前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係が一定時間以上継続された場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示することを特徴とする請求項１に記載の情報表示方法。
【請求項３】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
【請求項４】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
【請求項５】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択することを特徴とする請求項１に記載の情報表示方法。
【請求項６】
前記情報表示端末が、
当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部を更に備えて、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と、前記第１オブジェクトから認識されるオブジェクトの識別情報を前記地図情報に照合して特定した前記第１オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択することを特徴とする請求項１に記載の情報表示方法。
【請求項７】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択することを特徴とする請求項１に記載の情報表示方法。
【請求項８】
装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、を備える情報表示端末が、
前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、
前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、
を実行することを特徴とする情報表示方法。
【請求項９】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
【請求項１０】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
【請求項１１】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択することを特徴とする請求項８に記載の情報表示方法。
【請求項１２】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と前記第１オブジェクトの地図上位置との間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択することを特徴とする請求項８に記載の情報表示方法。
【請求項１３】
前記情報表示端末が、
前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択することを特徴とする請求項８に記載の情報表示方法。
【請求項１４】
装着者の視野方向を撮影する撮像部と、
前記視野方向に情報表示を行う表示部と、
ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、
前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、
前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、
を備えることを特徴とする情報表示端末。
【請求項１５】
装着者の視野方向に情報表示を行う表示部と、
ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、
当該情報表示端末の姿勢検出部と、
当該情報表示端末の現在位置を測定する測位部と、
地図情報を格納した記憶部と、
前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、
前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、
を備えることを特徴とする情報表示端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報表示方法および情報表示端末に関する。
【背景技術】
【０００２】
近年、ゴーグル型や眼鏡型などのヘッドマウントディスプレイを用いて所定の情報を表示する、いわゆるウェアラブルな情報表示端末が存在感を増しつつある。これに伴い、こうしたウェアラブルな情報表示端末の制御や各種活用に関する手法も種々提案されている。すなわち、使用者の行動状態に適した情報表示を行なうとの課題の下、表示素子を備える頭部装着型の情報表示装置において、センサ等で検出した使用者の行動状態に応じて表示素子に表示される情報の表示モード（要約モードと詳細モード）を自動切替えする技術（特許文献１参照）などが提案されている。【０００３】
また、現在位置又はオブジェクトに関連付けてユーザが付与した付与情報を、撮像手段により撮像された映像と合成して表示することを課題として、位置情報により特定された実世界の状況、又は識別されたオブジェクト情報により特定された実世界の状況に対し、利用者により付与される付与情報を映像と合成して表示する手段と、利用者により付与された付与情報を情報処理装置に送信してそのデータベースに格納させる手段とを有する情報処理端末（特許文献２参照）なども提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６３６３４号公報
【特許文献２】特開２０１１−２８７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ウェアラブルな情報表示端末は、スマートフォンやタブレット端末などと比べ、ウェアラブルという点で当然ながらユーザとの一体性が高く、そのユーザは移動や動作に関わらず安定的かつ容易に表示画面を見続けることが可能である。【０００６】
こうした情報表示端末に対して情報配信を行って情報表示をさせる場合、或いは、情報表示端末自身で撮影している画像等を表示させる場合、ユーザが積極的に表示制御操作を行わないと、表示の可否や頻度、或いはタイミング等がユーザの意思と無関係なものとなりやすい。【０００７】
そのような状況下のユーザは、ウェアラブルな情報表示端末の利点よりも、有為と言えない勝手な情報表示が継続される煩わしさの方を強く感じる恐れがある。また、表示用情報の取得に伴う外部との通信が高頻度かつ恒常的に行われる恐れもあり、バッテリー容量が端末サイズに制限されがちな情報表示端末において、利用可能時間が過度に低下する恐れもある。更に、そうした通信に伴う通信料金の増大も懸念される。【０００８】
そこで本発明の目的は、端末使用時におけるユーザの快適性及び／又は利便性を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決する本発明の情報表示方法は、装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部とを備える情報表示端末が、前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワークまたは前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、を実行することを特徴とする。【００１０】
また、本発明の情報表示方法は、装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、を備える情報表示端末が、前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する情報取得処理と、前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する情報表示処理と、を実行することを特徴とする。【００１１】
また、本発明の情報表示端末は、装着者の視野方向を撮影する撮像部と、前記視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、前記撮像部による撮影画像において、予め定めた所定基準に応じて第１オブジェクトを認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、前記撮像部による撮影画像中での第２オブジェクトの存在、又は前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係、を判定又は特定した場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部とを備えることを特徴とする。【００１２】
また、本発明の情報表示端末は、装着者の視野方向に情報表示を行う表示部と、ネットワークもしくは前記ネットワークにアクセス可能な他端末と通信する、複数種類の通信部と、当該情報表示端末の姿勢検出部と、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部と、前記測位部から得た当該情報表示端末の現在位置と、前記姿勢検出部から得た当該情報表示端末の向きと、前記地図情報とから、当該情報表示端末の装着者が地図上で向いているオブジェクトを第１オブジェクトとして認識し、当該第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記複数種類のうち所定種類の通信部を選択し、該当通信部を介して前記ネットワーク又は前記他端末にアクセスし、前記第１オブジェクトから認識される識別情報に基づいて該当第１オブジェクトの関連情報を前記ネットワークから取得する処理と、前記装着者が前記第１オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示する処理とを実行する演算部と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとすることができ、端末稼働時間及び／又は通信料金の改善を図ることができる。その結果、端末使用時におけるユーザの快適性及び／又は利便性を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態の情報表示端末を含むネットワーク構成例を示す図である。
【図２】第１実施形態の情報表示端末のハードウェア構成例を示す図である。
【図３】第１実施形態における情報表示端末の装着状況例を示す図である。
【図４】第１実施形態におけるオブジェクト情報テーブルの例を示す図である。
【図５】第１実施形態における通信ユニット情報テーブルの例を示す図である。
【図６】第１実施形態における基準情報テーブルの例を示す図である。
【図７】第１実施形態における情報表示方法の処理手順例を示すフロー図である。
【図８】第１実施形態における表示部での表示形態例１を示す図である。
【図９】第１実施形態における表示部での表示形態例２を示す図である。
【図１０】第２実施形態の情報表示端末のハードウェア構成例を示す図である。
【図１１】第２実施形態における情報表示方法の処理手順例を示すフロー図である。
【発明を実施するための形態】
【実施例１】
【００１５】
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は第１実施形態における情報表示端末１００を含むネットワーク構成例を示す図である。図１に示す情報表示端末１００は、ウェアラブルな情報表示端末であって、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上させるものである。【００１６】
こうした情報表示端末１００は、例えばユーザ１の頭部にヘッドマウントディスプレイ同様に装着されて当該ユーザ１の向く方向に直接的に追随し、その視線方向の各種物体すなわちオブジェクトを撮影可能な小型端末である。また情報表示端末１００は、上述のオブジェクトのうち所定基準で特定された候補オブジェクト（第１オブジェクト）の関連情報を、ユーザ１の視線前方にて透明材で構成されたディスプレイ上に、適宜なトリガーを契機に表示する。【００１７】
なお、情報表示端末１００は複数種類の通信部を備えており、情報表示端末１００が置かれた状況等に応じて選択的に通信部を使用し、情報配信元であるサーバ３００や、オブジェクトである施設５の施設端末４００等と通信して、上述の関連情報を取得可能である。【００１８】
図１にて例示するネットワーク構成において、上述のサーバ３００は各オブジェクトに関してストレージ３１０にて保持された情報、すなわち候補オブジェクトの関連情報を、インターネット１０を介して情報表示端末１００に提供する装置である。また、このサーバ３００に対して関連情報を提供する装置として、オブジェクトについて知見を有する者が操作するパーソナルコンピュータ５００、或いは店舗や公共施設等の各オブジェクトの担当者が操作する施設端末４００などが想定できる。勿論、上述のようにサーバ３００が関連情報を集約し保持しておく運用形態ではなく、インターネット１０に接続された不特定多数の装置が公開している情報が関連情報であるとしてもよい。【００１９】
サーバ３００に予め提供される関連情報とは、例えば、店舗でのセール情報、割引クーポン、公共施設での展示内容、入館優待券、など各オブジェクトに関して興味を持っているユーザ１にとって有為な情報、である。【００２０】
上述したように、情報表示端末１００は複数種類の通信部を備えているが、ユーザ１が置かれた通信環境に常に対応できるとは限らない。例えば近距離通信ユニットを備えているが携帯電話ユニットを備えていない情報表示端末１００の場合、そのままではインターネット１０など広域通信網に接続してサーバ３００から関連情報を取得することは出来ない。一方、該当ユーザ１が近距離通信ユニットを有した携帯電話機２００を所持していたとする。この場合、情報表示端末１００は、近距離通信１３により携帯電話機２００と接続し、この携帯電話機２００をルーターとして携帯電話網１１経由でインターネット１０に接続できる。【００２１】
或いは、該当ユーザ１が近距離通信ユニットと無線ＬＡＮユニットを有した携帯電話機２００を所持していたとする。また、関連情報を提供する装置が、インターネット１０など広域通信網に未接続の施設端末４００であったとする。この場合、情報表示端末１００は、近距離通信１３により携帯電話機２００と接続し、この携帯電話機２００を無線ＬＡＮユニットとして無線ＬＡＮ１１経由で施設端末５と接続できる。【００２２】
続いて、上述の情報表示端末１００のハードウェア構成について、図１および図２を用いて具体的に説明する。図２は、本実施形態における情報表示端末１００のハードウェア構成例を示す図である。情報表示端末１００は、記憶部１０１、メモリ１０３、演算部１０４、通信部１０８、撮像部１０５、表示部１０６、音声入出力部１０７、通信部１０８、姿勢センサ１０９（姿勢検出部）、ＧＰＳユニット１１０（測位部）、および電源管理ユニット１２０を少なくとも備える。なお、姿勢センサ１０９は第１実施形態の情報表示端末１００において必須構成ではない。【００２３】
このうち記憶部１０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）など適宜な不揮発性記憶素子で構成される記憶部であり、情報表示端末１００が必要な機能を実装するためのプログラム１０２や、各種処理に必要なテーブル類を少なくとも格納している。また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成されており、例えば記憶部１０１のプログラム１０２の読み出し先となる。【００２４】
また、演算部１０４は、記憶部１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し、端末自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。【００２５】
また、撮像部１０５は、ウェアラブルな情報表示端末１００に備わるものとして許容出来るサイズおよび重量の撮像部であり、メガネ等に付帯可能な程度のごく小型のデジタルカメラユニットを想定できる。この撮像部１０５は、ユーザ１が情報表示端末１００を装着中の視線方向を撮影するよう光学系が配置されている。また撮像部１０５で撮影された撮影画像のデータは、メモリ１０３及び／又は記憶部１０１の適宜な格納領域に送られ一旦格納された上で、候補オブジェクトの特定処理の対象となる。【００２６】
また、表示部１０６は、従来から存在するウェアラブル端末に備わる構成と同様の構成を備えた要素であって、メガネ同様の透明材で構成されたディスプレイと、演算部１０４から受け取った表示用データ（例：撮像部１０５で撮影された画像や候補オブジェクトに関する関連情報など）を上述のディスプレイ上に出力させる表示制御ユニット等を含んでいる。【００２７】
こうした表示部１０６による情報表示の形態について図３に例示する。図３にて例示するように、表示部１０６は、撮像部１０５によるユーザ１前方の撮像領域２０に対し、関連情報の表示領域として虚像面２１を投影可能である。【００２８】
この虚像面２１は、関連情報のイメージデータを虚像や実像もしくは網膜書き込みとして表示する領域である。なお図３で示す虚像面２１は撮像領域２０の一部のみ占める程度のサイズとなっているが、これに限定されるものではなく、撮像領域２０を広くカバーするサイズであってもよい。【００２９】
いずれにしても、こうしたウェアラブルな端末におけるヘッドマウントディスプレイの様な情報表示形態は、必要な構成も含めて既存技術を採用できる。また、図３で例示した情報表示端末１００の形態は、ユーザ１の頭部に装着され、該当ユーザ１の視野内に情報表示可能な表示部１０６と、ユーザ１の視野方向を撮像可能な撮像部１０５とが一体に備わるものであれば、眼鏡型、ゴーグル型、片目にかかるもの、両目にかかるもの等、その形態を限定しない。また、ディスプレイでの情報表示方式としては、ハーフミラーを用いた方式やユーザ１の網膜上に直接虚像を投影する方式等が採用できるが、少なくともヘッドマウントディスプレイとして透過型であり、虚像を表示しない場合にユーザ１の視野を隠蔽しない方式のものとする。【００３０】
また、情報表示端末１００が備える音声入出力部１０７は、ユーザ１の音声を感知するマイクと、演算部１０４から送られてきた音データを出力するイヤホンとを含む構成となっている。【００３１】
また、通信部１０８は、携帯電話網１１、無線ＬＡＮ１２、近距離通信１３など各種通信環境を利用してサーバ３００や施設端末４００、或いは携帯電話機２００などとの通信処理を担う装置である。この実施形態における通信部１０８は、複数種類の通信部の例として、無線ＬＡＮユニット１１１、携帯電話ユニット１１２、および近距離通信ユニット１１３を備えた構成となっている。近距離通信ユニット１１３としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）を採用できる。上述のユニットの他にも、ＵＨＦ、ＶＨＦなどの各波長の電波を搬送波とした無線通信ユニットを採用できる。【００３２】
また、姿勢センサ１０９は、情報表示端末１００又はこれを装着したユーザ１の姿勢を感知するセンサであり、所定軸からの傾きやその方向などを検知するジャイロ等の既存センサを採用できる。【００３３】
また、ＧＰＳユニット１１０は、地球周囲を周回する複数の測位衛星１５（図１参照）からの電波を受け、地球上での自身すなわち情報表示端末１００又はこれを装着したユーザ１の現在位置座標を特定する装置である。【００３４】
また、電源管理ユニット１２０は、情報表示端末１００を駆動するバッテリー１１５の管理を行う装置であり、バッテリー１１５の状態をモニタリングしてその残量を常に検知可能である。【００３５】
なお、記憶部１０１内には、本実施形態の情報表示端末１００として必要な機能を実装する為のプログラム１０２の他、オブジェクト情報テーブル１２５、通信ユニット情報テーブル１２６、地図情報１２７、および基準情報テーブル１２８が記憶されている。このテーブル類の詳細については後述する。こうしたコンピュータとして一般的な構成については、サーバ３００や施設端末４００に関しても同様とする。【００３６】
続いて、本実施形態の情報表示端末１００が備える機能について説明する。上述したように、以下に説明する機能は、例えば情報表示端末１００が備えるプログラム１０２を実行することで実装される機能と言える。【００３７】
情報表示端末１００は、撮像部１０５による撮影画像において、予め定めた所定基準（例：後述する基準情報テーブル１２８で予め保持された画像認識用のテンプレートなど）に応じて候補オブジェクトを認識し、当該候補オブジェクトに関して予め保持される情報（例：オブジェクト情報テーブル１２５で保持された情報）、及び所定要素から得られた所定の検知情報（例：姿勢センサ１０９やＧＰＳユニット１１０、通信部１０８の各ユニット１１１〜１１３）の少なくともいずれかに応じて、複数種類のユニット１１１〜１１３うち所定種類の通信ユニットを選択し、該当通信ユニットを介してサーバ３００などネットワーク上の所定装置にアクセスし、候補オブジェクトから認識される識別情報（例：画像認識で得られる施設名、商品名など）に基づいて該当候補オブジェクトの関連情報を取得する情報取得機能を有する。【００３８】
また、情報表示端末１００は、撮像部１０５による撮影画像中での所定オブジェクト（第２オブジェクト、例：候補オブジェクトを触るユーザ１の手指等）の存在、又は候補オブジェクトと所定オブジェクトとの所定の位置関係、を特定した場合に、上述のネットワーク上の所定装置から取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に表示する情報表示機能を有する。【００３９】
なお、情報表示端末１００における上述の情報表示機能は、撮像部１０５による撮影画像中での候補オブジェクトと所定オブジェクトとの所定の位置関係が例えば一定時間（例：基準情報テーブル１２８で保持されている値）以上継続された場合に、上述のネットワーク上の所定装置から取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に表示するものとしてもよい。【００４０】
また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１〜１１３のいずれかを選択するに際し、候補オブジェクトに関して予め保持された情報として、該当候補オブジェクトにおける通信環境の情報が示す、通信可能な通信種類を、詳細は後述する通信ユニット情報表示端末テーブル１２６に照合し、該当種類の通信ユニットを選択するものとしてもよい。【００４１】
また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１〜１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、各通信ユニット１１１〜１１３で感知される現在の電波強度が所定レベル以上の通信ユニットを選択するものとしてもよい。【００４２】
また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１〜１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、当該情報表示端末１００の電源管理ユニット１２０から得たバッテリ残量の値が所定レベル以下である時、通信ユニット情報テーブル１２６における各通信ユニットの電力消費レベルの情報を参照し、電力消費量最小の通信ユニットを選択するものとしてもよい。【００４３】
また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１〜１１３のいずれかを選択するに際し、所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報として、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置と、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７に照合して特定した候補オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を、通信ユニット情報テーブル１２６における各通信ユニットの通信距離の値と照合し、上述の算定した距離を通信可能距離に含む通信ユニットを選択するものとしてもよい。【００４４】
また、情報表示端末１００における上述の情報取得機能は、通信部１０８における通信ユニット１１１〜１１３のいずれかを選択するに際し、候補オブジェクトに関して予め保持された情報、または所定要素から、例えば候補オブジェクトを認識した時点或いはその前に得られた所定の検知情報の少なくともいずれかに応じて、通信ユニット情報テーブル１２６における各通信ユニットの優先順位の値順に通信ユニットを選択するものとしてもよい。【００４５】
次に、情報表示端末１００が記憶部１０１で保持するテーブル類の具体的な構成について説明する。図４は第１実施形態におけるオブジェクト情報テーブル１２５の例を示す図である。このオブジェクト情報テーブル１２５は、情報表示端末１００が、店舗や施設、商品等々の各オブジェクトに関して取得した情報を格納するテーブルである。そのデータ構造は、オブジェクトＩＤをキーに、該当オブジェクトの種類、名称、通信環境、および該当オブジェクトの画像認識用テンプレートといったデータを対応付けたレコードの集合体となっている。なお、オブジェクトの画像認識用のテンプレートとは、情報表示端末１００の撮像部１０５による撮影画像中から、候補オブジェクトを特定するためのテンプレートであり、該当オブジェクトの形状や色彩の組み合わせ等に関する特徴量等のデータが集約されたデータとなる。【００４６】
また、図５は第１実施形態における通信ユニット情報テーブル１２６の例を示す図である。この通信ユニット情報テーブル１２６は、通信部１０８を構成する各通信ユニット１１１〜１１３の仕様や使用すべき優先順位の各情報を格納するテーブルである。そのデータ構造は、ユニットＩＤをキーに、該当通信ユニットにおける通信種類、通信可能距離、電力消費量、および使用の優先順位といったデータを対応付けたレコードの集合体となっている。【００４７】
また、図６は第１実施形態における基準情報テーブル１２８の例を示す図である。この基準情報テーブル１２８は、情報表示端末１００が処理に伴う判断時に基準とする情報を格納したテーブルである。そのデータ構造は、基準ＩＤをキーに、基準種類、およびその基準値の各データを対応付けたレコードの集合体となっている。情報表示端末１００は、判断を伴う処理に関して識別情報を予め保持しており、この識別情報が基準情報テーブル１２８の基準ＩＤと紐付いている。従って情報表示端末１００は、判断を行う際に参照する基準値を該当判断の紐付いている基準ＩＤのレコードから読み取り、利用することになる。【００４８】
なお、情報表示端末１００における記憶部１０１は、他に地図情報１２７も格納する例を図２にて示したが、この地図情報１２７は、現在既に汎用されている一般的な電子地図のデータであるため、その具体的内容についての説明は省略する。【００４９】
続いて、第１実施形態における情報表示方法の実際手順について図に基づき説明する。以下で説明する情報表示方法に対応する各種動作は、情報表示端末１００がメモリ１０３に読み出して実行するプログラム１０２によって実現される。そして、このプログラム１０２は、以下に説明される各種の動作を行うためのコードから構成されている。【００５０】
図７は、第１実施形態における情報表示方法の処理手順例１を示すフロー図である。ここでは、想定される情報表示端末１００の使用状況として、情報表示端末１００を装着中のユーザ１が、ショッピングモールや商店街を歩き回っており、各店舗を眺めている状況を想定する。本フローは情報表示端末１００が稼働中は恒常的に実行されるものとして説明を行うが、所定の開始トリガーでのみ実行される運用形態も想定できる。例えば、フロー開始のトリガーとして、情報表示端末１００が音声入出力部１０７で感知した所定音声の入力事象や、感圧センサ等（不図示）におけるタッチ動作など、各種のユーザ指示を採用するとしてもよい。或いは、ＧＰＳユニット１１０で検出された位置情報、あるいは撮像部１０５により撮像された画像を基に、ユーザ１が特定の店舗に近接、もしくは所在することを確定した事象を採用するとしてもよい。【００５１】
ここで情報表示端末１００は、ユーザ１と一体になって上述のショッピングモール中を移動し、撮像部１０５によるモール内風景等の撮影画像に対し、オブジェクト情報テーブル１２５（または基準情報テーブル１２８）で予め保持する、店舗や商品等の各認識テンプレートを照合し、撮影画像に含まれる候補オブジェクトを認識し、当該候補オブジェクトに関して予め保持された情報をオブジェクト情報テーブル１２５から検索する（ｓ１００）。【００５２】
情報表示端末１００は上述の候補オブジェクトの認識に際し、具体的には、上述の撮影画像について、プログラム１０２が備える所定の画像処理機能による画像認識処理を行い、この画像認識処理で切り出された各オブジェクトと上述の認識テンプレートとのパターンマッチング処理を実行することで候補オブジェクトを認識する。【００５３】
情報表示端末１００は、上述のステップｓ１００での検索で、例えば店舗「○○ウェア」なる候補オブジェクトについて「店舗無線ＬＡＮ」といった通信環境の情報が取得できた場合（ｓ１０１：ｙ）、該当通信環境に対応した通信ユニット、すなわち無線ＬＡＮユニット１１１を、通信ユニット情報表示端末テーブル１２６で特定する（ｓ１０２）。【００５４】
他方、撮影画像中から何らかの候補オブジェクトを特定できたものの、オブジェクト情報テーブル１２５等で該当テンプレートに対して通信環境の情報が登録されていない場合もありうる。これは、該当テンプレートが個別特定のオブジェクトのみに紐付いたものでなく、例えば一般的概念としての「ファストフード店」を特定するためのテンプレートであった場合、どのファストフード店でも共通の通信環境が備わっていない限り、オブジェクト情報テーブル１２５にて通信環境の情報を設定しておくことは出来ない故である。【００５５】
こうした場合、情報表示端末１００は、上述のステップｓ１００の検索で、通信環境の情報を該当候補オブジェクトに関して取得できない（ｓ１０１：ｎ）。この時、情報表示端末１００は、自身の備える各要素の少なくとも一つから得られた所定の検知情報に応じて、通信ユニットの選択動作を行う（ｓ１０３）。この場合、情報表示端末１００は、予め定めた特定の要素か、或いは検知情報の取得可否又は取得順に応じて決定された要素から検知情報を取得し、これを通信ユニット情報テーブル１２６に照合して、対応する通信ユニットを特定することとなる。以下に、この場合の通信ユニット選択処理の例について各パターンを説明する。なお、情報表示端末１００は、以下に示す各パターン１〜３の処理を、通信ユニット選択が出来るまで順次行うか、または予め定めたいずれかのパターンのみ実行するとしてもよい。【００５６】
パターン１は、情報表示端末１００が各通信ユニット１１１〜１１３で感知される現在の電波強度に基づいて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、各通信ユニット１１１〜１１３より、感知中の電波強度の値を呼び出し、この電波強度の値が所定レベル以上の通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。例えば無線ＬＡＮユニット１１１、携帯電話ユニット１１２、近距離通信ユニット１１３のうち、携帯電話ユニット１１２で感知中の電波強度の値のみが通信可能な実用値（予め情報表示端末１００は認識済み）である時、情報表示端末１００は、この携帯電話ユニット１１２を選択する。【００５７】
いずれの通信ユニット１１１〜１１３とも電波強度の値が通信可能なレベルになかった場合（ｓ１０４：ｎ）、情報表示端末１００は、現状では通信自体が出来ない環境にあると認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて、関連情報未取得のステータス値をメモリ１０３及び／又は記憶部１０１に記録し（ｓ１０）、別の候補オブジェクトに関して実行する関連情報取得の処理開始、或いは一定時間の経過のいずれかの事象を検知するまで待機し（ｓ１１：ｎ）、上述のいずれかの事象を検知した場合（ｓ１１：ｙ）、上述した関連情報取得の為の一連の処理を再実行（ｓ１２）するとすれば好適である。【００５８】
次にパターン２は、情報表示端末１００が電源管理ユニット１２０から得たバッテリ残量の値に基づいて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、電源管理ユニット１２０より、バッテリ１１５におけるバッテリ残量の値を呼び出し、このバッテリ残量が所定レベル以下である時、通信ユニット情報テーブル１２６における各通信ユニット１１１〜１１３の電力消費レベルの情報を参照し、電力消費量最小の通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。図５で示した通信ユニット情報テーブル１２６の例であれば、電力消費量最少の通信ユニットとして、ユニットＩＤ「Ｔ００３」の近距離通信ユニット１１３が選択されることになる。【００５９】
次にパターン３は、情報表示端末１００と候補オブジェクトとの距離に応じて通信ユニット選択を行うパターンである。この場合、情報表示端末１００は、上述のステップｓ１０３において、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置（座標値）と、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７と照合して特定した候補オブジェクトの地図上位置（座標値）と、の間の距離を算定し、当該算定した距離を、通信ユニット情報テーブル１２６における各通信ユニットの通信可能距離の値と照合し、上述の算定した距離を通信可能距離に含まれる通信ユニットを選択する（ｓ１０４：ｙ、ｓ１０５）。【００６０】
例えば、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置座標が、（ａ、ｂ）であり、候補オブジェクトから認識されるオブジェクトの識別情報（例：施設名など）を地図情報１２７に照合して特定した候補オブジェクトの地図上位置座標が（ｃ、ｄ）であったとすれば、その間の距離ｘは、（（ａ−ｃ）２＋（ｂ−ｄ）２）１／２、と算定できる。この距離ｘが例えば「５ｍ」であったとすれば、図５で示した通信ユニット情報テーブル１２６からは、通信可能距離が「５ｍ」以上である、ユニットＩＤ「Ｔ００１」の無線ＬＡＮユニット１１１、およびユニットＩＤ「Ｔ００２」の携帯電話ユニット１１２が選択されることになる。このように複数の通信ユニットが選択された場合、情報表示端末１００は、例えば優先順位の高い方、または電力消費量が少ない方を選択すればよい。なお、いずれの通信ユニット１１１〜１１３とも、上述で算定した距離ｘが通信可能距離を越えていた場合（ｓ１０４：ｎ）、情報表示端末１００は、現状では通信自体が出来ない環境にあると認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお既に述べたように、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて適宜なタイミングで関連情報取得の為の一連の処理を再実行する（ｓ１０〜ｓ１２）とすれば好適である。【００６１】
以上のステップｓ１０３〜ｓ１０５で通信ユニットを選択した情報表示端末１００は、選択した該当通信ユニットが、インターネット１０に直接アクセスできるプロトコルか判定する（ｓ１０６）。該当通信ユニットが携帯電話ユニット１１２又は無線ＬＡＮユニット１１１であれば、情報表示端末１００は、そのままインターネット１０にアクセス可能と判定する（ｓ１０６：ｙ）。一方、該当通信ユニットが近距離通信ユニット１１３である場合、情報表示端末１００は、インターネット１０に直接アクセス出来ないと判定する（ｓ１０６：ｎ）。【００６２】
上述のステップｓ１０６において、該当通信ユニットがインターネット１０に直接アクセス出来るプロトコルであると判定した場合（ｓ１０６：ｙ）、情報表示端末１００は、該当通信ユニットを利用してインターネット１０上のサーバ３００又は施設端末４００にアクセスし、候補オブジェクトから認識される識別情報（例：画像認識で得られる施設名、商品名など）をキーとして、該当候補オブジェクトの関連情報の検索を実行し、クーポン券や特売情報、優待チケットといった各種の関連情報を取得する（ｓ１０７）。【００６３】
一方、上述のステップｓ１０６において、該当通信ユニットがインターネット１０に直接アクセス出来ないプロトコルであると判定した場合（ｓ１０６：ｎ）、情報表示端末１００は、ユーザ１が所持する携帯電話機２００に対し、近距離通信ユニット１１３による近距離通信１３のリンク確立処理を試行する（ｓ１０８）。当然、該当ユーザ１が近距離通信機能を保持した携帯電話機２００を所持していなかった場合、当然近距離通信１３のリンクを確立出来ないため当該処理を終了し、ｓ１００に戻る。【００６４】
こうした試行の結果、携帯電話機２００との間で近距離通信１３のリンク確立に成功した場合（ｓ１０９：ｙ）、情報表示端末１００は、携帯電話機２００をルーターとした所謂テザリングの処理を行い、インターネット１０上のサーバ３００及び／又は施設端末４００にアクセスし、上述同様に該当候補オブジェクトの関連情報の検索を実行し、関連情報を取得する（ｓ１０７）。なお、近距離通信１３のリンク確立処理は、リンク確立の対象となる携帯電話機２００が、予め情報表示端末１００とペアリング（対応付け）された特定の携帯電話機２００であるかどうかの確認或いは認証を最初に行うようにしている。【００６５】
他方、上述の試行の結果、携帯電話機２００との間で近距離通信１３のリンク確立に失敗した場合（ｓ１０９：ｎ）、情報表示端末１００は、関連情報を取得するための通信を確立することは出来ないと認識して関連情報の取得は一旦断念し、処理を上述のステップｓ１００に戻す。なお既に述べたように、情報表示端末１００は、この回の処理で関連情報の取得が出来なかった候補オブジェクトについて適宜なタイミングで関連情報取得の為の一連の処理を再実行する（ｓ１０〜ｓ１２）とすれば好適である。【００６６】
情報表示端末１００は、以上の各ステップを、予め定めた所定オブジェクト（以下では「表示トリガー」と呼ぶ）が撮影画像中で特定されるまで繰り返し実行することとなる（ｓ１０９：ｎ〜ｓ１００）。本実施形態では、上述のステップｓ１００で候補オブジェクトが検出され、なおかつステップｓ１０１で当該候補オブジェクトの関連情報が既に取得されているとしても、この表示トリガーが撮像部１０５で撮像され、該当候補オブジェクトが含まれる撮影画像中にて認識されない限り、表示部１０６での関連情報の虚像表示は行わない、とするものである。ここで、表示トリガーは、当該実施形態での具体例としてはユーザ１の身体の一部を想定している。以下では、この表示トリガーであるユーザ１の身体部位として、「指」を想定して説明を行う。【００６７】
例えば図８のように、ある衣料品店内での撮像領域２０に対応する撮影画像中で、服などの商品や広告板といった候補オブジェクト４２〜４５が検出されていたとする。またこの場合の情報表示端末１００は、既に述べた関連情報の取得処理を実行し、各候補オブジェクト４２〜４５に関して関連情報を得ていたとする。そこで情報表示端末１００は、候補オブジェクト４２〜４５を含む撮影画像中に表示トリガーであるユーザ１の指画像が含まれているか画像認識処理によって判定する（ｓ１１０）。この判定に伴う画像認識処理のため、情報表示端末１００は例えば上述の基準情報テーブル１２８にて、ユーザ１の指画像に関する特徴量等を示すテンプレートを予め保持し、適宜利用可能である。【００６８】
ところが図８にて示すように、撮像領域２０の撮影画像中には、表示トリガーであるユーザ１の指の画像が存在しない。そのため情報表示端末１００は、候補オブジェクト４２〜４５を含む撮影画像中に表示トリガーであるユーザ１の指画像が含まれていないと判定し（ｓ１１０：ｎ）、候補オブジェクト４２〜４５のいずれの関連情報の表示も実行せず、上述の各ステップｓ１００に処理を戻す。【００６９】
一方、ユーザ１が上述の候補オブジェクト４２〜４５のいずれかに興味を示し、自身の指を該当候補オブジェクトの実体に接近させたとする。すると、撮像部１０５による撮像領域２０の撮影画像中に、その指が該当候補オブジェクトに近接又は重複した画像が含まれるようになる。図９にて、表示トリガー４６であるユーザ１の指の画像が候補オブジェクト４２の画像に重ねられている状況を例示している。【００７０】
こうした状況において情報表示端末１００は、撮像領域２０の撮影画像中にて、表示トリガー４６が候補オブジェクト４２と少なくとも一部重複、或いは一定距離以内の位置関係にあることを判定又は特定し（ｓ１１０：ｙ）、上述までのステップで既に取得している該当候補オブジェクト４２の関連情報を、表示部１０６によりユーザ１の視野方向に虚像４７として表示する（ｓ１１１）。その後は、上述のステップｓ１００に戻るか、ユーザ１からの指示を受けて処理を終了する。なお、上述のステップｓ１１０において、撮像部１０５による撮影画像中での候補オブジェクトと表示トリガー４６との所定の位置関係が保たれている時間を計測し、その計測時間が一定時間（例：基準情報テーブル１２８で保持されている値）を越えた場合に、該当候補オブジェクトの関連情報を、表示部１０６で表示するようにしてもよい。【００７１】
以上のように情報表示端末１００にて関連情報の取得は恒常的に実行される一方、ユーザにとって興味がある、或いは主体的に情報が欲しいと感じるオブジェクトに関して、手を伸ばすなどの人間が取り得る自然な動作が行われる場合に、その関連情報を適宜表示することが可能となる。これにより、情報表示端末１００を装着中のユーザは、特段興味の無いオブジェクトに関して不必要な情報を高頻度に表示されてしまう状況に置かれることがなく、情報表示に伴う煩わしさを可能な限り回避できる一方、自然なユーザ意思とマッチしたタイミングや頻度で情報を閲覧出来るため、ユーザの快適性や利便性を向上可能となる。
【実施例２】
【００７２】
続いて第２実施形態について説明する。図１０は第２実施形態の情報表示端末のハードウェア構成例を示す図である。この第２実施形態における情報表示端末１００は、撮像部１０５は必須構成ではなく（勿論、備わっているとしてもよい）、姿勢センサ１０９、ＧＰＳユニット１１０、および地図情報１２７は必須の構成となる。なお、第１実施形態の情報表示端末１００と同様の構成や機能等についての説明は省略する。【００７３】
こうした第２実施形態における情報表示端末１００は、ＧＰＳユニット１１０から得た当該情報表示端末１００の現在位置座標と、姿勢センサ１０９から得た当該情報表示端末１００の向き、すなわちユーザ１が視線を向けている方向と、記憶部１０１に格納された地図情報１２７とから、上述の現在位置座標が示す地図上での位置と、その位置における地図上でのユーザ１の視線方向を特定する機能を備えている。【００７４】
また情報表示端末１００は、地図上における上述のユーザ１の位置から、上述の視線方向に存在するオブジェクトを地図情報１２７にて特定し、該当オブジェクトをユーザ１が興味を示している候補オブジェクトとして認識する機能を備えている。【００７５】
また情報表示端末１００は、上述の候補オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、複数種類の通信ユニット１１１〜１１３うち特定の通信ユニットを選択し、該当通信ユニットを介してインターネット１０上のサーバ３００や施設端末４００らにアクセスし、候補オブジェクトから認識される識別情報に基づいて該当候補オブジェクトの関連情報を取得する機能を備えている。【００７６】
また情報表示端末１００は、ユーザ１が上述の候補オブジェクトを向いている時間を計測し、当該計測時間が一定時間以上となった場合に、上述のように既に取得している該当候補オブジェクトの関連情報を表示部１０６によりユーザ１の視野方向に虚像表示する機能を備えている。【００７７】
続いて上述の第２実施形態における情報表示端末１００による処理について説明する。図１１は第２実施形態における情報表示方法の処理手順例を示すフロー図である。ここでも、第１実施形態におけるフローと異なる点について主に説明することとする。【００７８】
ここでは、情報表示端末１００を装着したユーザ１が街頭を歩きながら、途中にある店舗を興味に応じて眺める状況を想定する。この場合、情報表示端末１００は、一定時間毎にＧＰＳユニット１１０から当該情報表示端末１００の現在位置座標の値を取得し、また、姿勢センサ１０９から当該情報表示端末１００の向き、すなわちユーザ１が視線を向けている方向の値を取得する（ｓ２００）。【００７９】
次に情報表示端末１００は、上述のステップｓ２００で得た現在位置座標の値を、記憶部１０１の地図情報１２７に照合し、地図上でのユーザ１の所在位置を特定する（ｓ２０１）。また、情報表示端末１００は、上述のステップｓ２００で得たユーザ１の視線方向の値（東西南北の角度等）を、地図上でのユーザ１の所在位置に当てはめて、地図上でユーザ１がどの位置においてどの方向を向いているか特定する（ｓ２０２）。【００８０】
この場合の情報表示端末１００は、例えばＧＰＳユニット１１０から得ている現在位置座標の値（ｅ，ｆ）を、地図情報１２７が示すＧＰＳ座標値と住所情報との対応関係に基づき照合し、地図上で座標値（ｅ、ｆ）に対応する住所をユーザ１の所在位置として特定する。また情報表示端末１００は、姿勢センサ１０９から得ているユーザ１の視線方向の値（例えば、真北を０度、真東を９０度、真南を１８０度、真西を２７０度とした場合の、４５度であったとする）を、上述のように特定したユーザ１の所在住所に当てはめて、地図上でユーザ１が所在する住所から北東方向を向いている、などと特定する。【００８１】
続いて情報表示端末１００は、上述のように特定した地図上におけるユーザ１の所在住所（例：○○市○○町○丁目○番地）から、上述の視線方向（例：北東）の延長上に存在するオブジェクトのうち最も近い位置のものを地図情報１２７にて特定し、該当オブジェクトをユーザ１が興味を示している候補オブジェクトとして認識する（ｓ２０３）。【００８２】
この場合の情報表示端末１００は、例えば上述の地図上でのユーザ１の所在住所から、東北方向に線分を描画した場合に最初に到達する地図上の施設を候補オブジェクトであるなどと特定する。なお、情報表示端末１００は、上述のステップｓ２０３の実行後に、引き続きＧＰＳユニット１１０から得られる現在位置座標の値と、姿勢センサ１０９から得られるユーザ１の視線方向の値とをモニタリングし、それらが所定限度以上変化しないか継続判定している（ｓ２０４）。【００８３】
また情報表示端末１００は、上述の候補オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、複数種類の通信ユニット１１１〜１１３うち特定の通信ユニットを選択し、該当通信ユニットを介してインターネット１０上のサーバ３００や施設端末４００等にアクセスし、候補オブジェクトから認識される識別情報に基づいて該当候補オブジェクトの関連情報を取得する（ｓ２０５）。この関連情報の取得に伴う通信ユニットの選択動作と、それに続く関連情報の取得処理については第１実施形態と同様である。【００８４】
上述した関連情報の取得後、情報表示端末１００は、上述のステップｓ２０４で実行中の判定結果を確認し、現在位置座標の値と視線方向の値が所定限度以上変化しない状況が一定時間継続しているか判定する（ｓ２０６）。この判定の結果、ユーザ１が上述の候補オブジェクトを向いている時間が一定時間（例えば数秒）継続したことが判明した場合（ｓ２０６：ｙ）、情報表示端末１００は、上述のように既に取得している該当候補オブジェクトの関連情報を、表示部１０６によりユーザ１の視野方向に虚像表示する（ｓ２０７）。その後、処理を上述のステップｓ２００に戻すか、或いはユーザ１から所定指示を受けて処理を終了する。【００８５】
他方、上述の判定の結果、ユーザ１が上述の候補オブジェクトを向いている時間が一定時間継続しなかったことが判明した場合（ｓ２０６：ｎ）、情報表示端末１００は、該当候補オブジェクトに関してユーザ１はそれほどの興味を持たなかったと認識し、該当候補オブジェクトに関して得ている関連情報の表示処理を回避し、処理をステップｓ２００に戻す。【００８６】
このように情報表示端末１００が撮像部１０５を持たない構成であっても、情報表示端末１００にて関連情報の取得は恒常的に実行される一方、ユーザにとって興味がある、或いは主体的に情報が欲しいと感じるオブジェクトに関して、一定時間注視するなどの人間が取り得る自然な動作が行われる場合に、その関連情報を適宜表示することが可能となる。これにより、情報表示端末１００を装着中のユーザは、特段興味の無いオブジェクトに関して不必要な情報を高頻度に表示されてしまう状況に置かれることが抑制され、情報表示に伴う煩わしさを可能な限り回避できる一方、自然なユーザ意思とマッチしたタイミングや頻度で情報を閲覧出来るため、ユーザの快適性や利便性を向上可能となる。【００８７】
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。【００８８】
こうした本実施形態によれば、ウェアラブルな情報表示端末において、情報表示のタイミングや頻度をユーザ意思とマッチしたものとし、更には、端末稼働時間や通信料金の改善を図り、ひいては端末使用時におけるユーザの快適性や利便性を向上可能となる。【００８９】
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報表示処理において、前記撮像部による撮影画像中での前記第１オブジェクトと前記第２オブジェクトとの所定の位置関係が一定時間以上継続された場合に、前記取得している該当第１オブジェクトの関連情報を前記表示部により前記視野方向に表示するとしてもよい。【００９０】
これによれば、ウェアラブルな情報表示端末の装着者が、確かな興味を持って注視している或いは何らかの動作を行って該当第１オブジェクトに身体を接近させている、といった状況を的確に踏まえて、ユーザ意思と高精度にマッチした無駄の無い情報表示を行えることとなる。【００９１】
また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択するとしてもよい。【００９２】
これによれば、該当第１オブジェクトの周囲で利用できる公共無線ＬＡＮや、或いは該当第１オブジェクト自身が提供している通信リソース（無線ＬＡＮ等）、の存在を情報表示端末が確実かつ容易に認識し、該当関連情報の取得からその表示に至る一連の処理を円滑かつ低コストで実行できることにつながる。【００９３】
また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択するとしてもよい。【００９４】
これによれば、電波強度良好な状況下で該当通信部による効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【００９５】
また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択するとしてもよい。【００９６】
これによれば、通信部による電源消費を最低限に抑制できることになり、例えば、充電又は給電が難しい外出先等で情報表示端末が使用される状況下においても、第１オブジェクトの特定から関連情報の取得、更にはその表示に至る一連の処理を継続可能となる。そのため、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【００９７】
また、第１実施形態の情報表示方法において、前記情報表示端末が、当該情報表示端末の現在位置を測定する測位部と、地図情報を格納した記憶部を更に備えて、前記情報取得処理において通信部を選択するに際し、前記測位部から得た当該情報表示端末の現在位置と、前記第１オブジェクトから認識されるオブジェクトの識別情報を前記地図情報に照合して特定した前記第１オブジェクトの地図上位置と、の間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択するとしてもよい。【００９８】
これによれば、通信相手がオブジェクト又はそこに所在するものである場合、その距離に応じた通信部を的確に選択し、通信性能と実際の通信環境とに齟齬が無く、最も効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【００９９】
また、第１実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、又は所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択するとしてもよい。【０１００】
これによれば、例えば、優先度１位に該当するデフォルトの通信部と、優先度２位に該当する補助の通信部の２種の通信部が情報表示端末に備わっている場合、該当顧客オブジェクトに関する情報又は検知情報が所定の基準を満たす時にはデフォルトの通信部を選択し、それ以外の場合にのみ補助の通信部を選択する、といった制御が可能となる。従って、一般的に利用可能で低廉な通信方法が利用できる際にはデフォルトの通信部を常用し、それ以外の特別な状況下でのみ他の通信部を利用するといった運用が可能であり、通信部の稼働に伴う通信料金やバッテリ消費を抑制し、ひいては端末使用時におけるユーザ（装着者）の快適性や利便性を向上することができる。【０１０１】
また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報として、該当第１オブジェクトにおける通信環境の情報が示す、通信可能な通信種類に応じて、前記複数種類のうち該当種類の通信部を選択するとしてもよい。【０１０２】
これによれば、該当第１オブジェクトの周囲で利用できる公共無線ＬＡＮや、或いは該当第１オブジェクト自身が提供している通信リソース（無線ＬＡＮ等）、の存在を情報表示端末が確実かつ容易に認識し、該当関連情報の取得からその表示に至る一連の処理を円滑かつ低コストで実行できることにつながる。【０１０３】
また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、各通信部で感知される現在の電波強度が所定レベル以上の通信部を選択するとしてもよい。【０１０４】
これによれば、電波強度良好な状況下で該当通信部による効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【０１０５】
また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、当該情報表示端末の電源管理ユニットから得たバッテリ残量の値が所定レベル以下である時、電力消費量最小の通信部を選択するとしてもよい。【０１０６】
これによれば、通信部による電源消費を最低限に抑制できることになり、例えば、充電又は給電が難しい外出先等で情報表示端末が使用される状況下においても、第１オブジェクトの特定から関連情報の取得、更にはその表示に至る一連の処理を継続可能となる。そのため、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【０１０７】
また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、所定要素から得られた所定の検知情報として、前記測位部から得た当該情報表示端末の現在位置と前記第１オブジェクトの地図上位置との間の距離を算定し、当該算定した距離を通信可能距離に含む通信部を選択するとしてもよい。【０１０８】
これによれば、通信相手がオブジェクト又はそこに所在するものである場合、その距離に応じた通信部を的確に選択し、通信性能と実際の通信環境とに齟齬が無く、最も効率良い通信が可能となり、必要以上の通信時間やバッテリ消費を回避できることとなり、端末使用時におけるユーザ（装着者）の快適性や利便性が向上する。【０１０９】
また、第２実施形態の情報表示方法において、前記情報表示端末が、前記情報取得処理において通信部を選択するに際し、前記第１オブジェクトに関して予め保持された情報、及び所定要素から得られた所定の検知情報の少なくともいずれかに応じて、前記各種類の優先度順に通信部を選択するとしてもよい。【０１１０】
これによれば、例えば、優先度１位に該当するデフォルトの通信部と、優先度２位に該当する補助の通信部の２種の通信部が情報表示端末に備わっている場合、該当顧客オブジェクトに関する情報又は検知情報が所定の基準を満たす時にはデフォルトの通信部を選択し、それ以外の場合にのみ補助の通信部を選択する、といった制御が可能となる。従って、一般的に利用可能で低廉な通信方法が利用できる際にはデフォルトの通信部を常用し、それ以外の特別な状況下でのみ他の通信部を利用するといった運用が可能であり、通信部の稼働に伴う通信料金やバッテリ消費を抑制し、ひいては端末使用時におけるユーザ（装着者）の快適性や利便性を向上することができる。
【符号の説明】
【０１１１】
１  ユーザ（情報表示端末の装着者）
５  施設（オブジェクト）
１０  インターネット
１１  携帯電話網
１２  無線ＬＡＮ
１３  近距離通信
１５  測位衛星
２０  撮像領域
２１  虚像面
４２〜４５  候補オブジェクト（第１オブジェクト）
４６  表示トリガー（第２オブジェクト）
４７  関連情報の虚像
１００  情報表示端末
１０１  記憶部
１０２  プログラム
１０３  メモリ
１０４  演算部
１０５  撮像部
１０６  表示部
１０７  音声入出力部
１０８  通信部
１０９  姿勢センサ（姿勢検出部）
１１０  ＧＰＳユニット（測位部）
１１１  無線ＬＡＮユニット
１１２  携帯電話ユニット
１１３  近距離通信ユニット
１１５  バッテリー
１２０  電源管理ユニット
１２５  オブジェクト情報テーブル
１２６  通信ユニット情報テーブル
１２７  地図情報
１２８  基準情報テーブル
２００  携帯電話機
３００  サーバ
３１０  ストレージ
４００  施設端末
５００  パーソナルコンピュータ
【図２】
2015155841.tif 000003
【図３】
2015155841.tif 000004
【図４】
2015155841.tif 000005
【図５】
2015155841.tif 000006
【図６】
2015155841.tif 000007
【図７】
2015155841.tif 000008
【図８】
2015155841.tif 000009
【図１０】
2015155841.tif 000010
【図１１】
2015155841.tif 000011
【図１】
2015155841.tif 000012
【図９】
2015155841.tif 000013
【国際調査報告】
2015155841.tif 000014
2015155841.tif 000015
2015155841.tif 000016
2015155841.tif 000017