(57)【特許請求の範囲】
【請求項１】
有／無線通信網を通じてサーバと接続可能な端末での不可視客体についての拡張現実情報提供方法において、
現実世界の映像を取得し、
前記取得された映像に含まれる基準客体を設定し、
前記映像が撮影された位置情報及び前記映像からあらかじめ設定された前記基準客体の特徴についての情報を抽出することによって得られた前記基準客体の認識情報を取得し、
前記取得された撮影位置情報及び前記基準客体の認識情報を前記サーバに伝送し、
前記撮影位置から前記基準客体を眺める方向であって前記基準客体の後方に存在する不可視客体についての情報を前記サーバから受信し、
前記受信された不可視客体についての情報を出力すること、を含み，
前記受信された不可視客体についての情報のうち拡張現実情報を提供する関心客体情報を選択するために前記基準客体を基準として所定の順に前記不可視客体の各々に識別子が付与され表示されたユーザインターフェース情報を出力することを特徴とする不可視客体についての拡張現実情報提供方法。
【請求項２】
前記基準客体を設定することは、
ユーザが前記基準客体に関する選択情報を入力して設定することを特徴とする請求項１に記載の不可視客体についての拡張現実情報提供方法。
【請求項３】
前記基準客体を設定することは、
前記取得された映像が出力された画面に焦点を生成し、
焦点位置調整情報が入力されることによって、前記焦点が表示された部分に位置する客体を基準客体として設定することを含むことを特徴とする請求項１に記載の不可視客体についての拡張現実提供方法。
【請求項４】
前記不可視客体についての情報は、
前記基準客体を基準として指定された範囲内に位置する不可視客体情報であることを特徴とする請求項１に記載の不可視客体についての拡張現実提供方法。
【請求項５】
前記指定された範囲は、
前記撮影位置から前記基準客体を眺める方向に対する深さ及び画角によって決定されることを特徴とする請求項４に記載の不可視客体についての拡張現実提供方法。
【請求項６】
前記ユーザインターフェース情報は、
それぞれの前記不可視客体を異なる識別番号または異なる色によって表示することを特徴とする請求項５に記載の不可視客体についての拡張現実提供方法。
【請求項７】
ユーザから前記不可視客体のうち一つの関心客体選択情報が入力されることによって、前記関心客体に該当する拡張現実情報を取得し、
前記取得された拡張現実情報を出力すること、をさらに含むことを特徴とする請求項１に記載の不可視客体についての拡張現実提供方法。
【請求項８】
有／無線通信網を通じて少なくとも一つ以上の端末と接続されるサーバによる不可視客体についての拡張現実情報提供方法において、
前記端末から不可視客体情報が要請されることによって、前記端末から受信された前記映像からあらかじめ設定された前記基準客体の特徴についての情報を抽出することによって得られた基準客体認識情報及び撮影位置情報を分析し、
前記分析された結果によって、前記撮影位置から前記基準客体を眺める方向であって前記基準客体の後方に存在する少なくとも一つの不可視客体についての情報を検出し、
前記検出された不可視客体に関する情報を前記端末に伝送し，
前記受信された不可視客体についての情報のうち拡張現実情報を提供する関心客体情報を選択するために前記基準客体を基準として所定の順に前記不可視客体の各々に識別子が付与され表示されたユーザインターフェース情報を出力することを特徴とする不可視客体についての拡張現実情報提供方法。
【請求項９】
前記基準客体認識情報及び撮影位置情報を分析することは、
前記受信された撮影位置情報に該当するマップを検出し、
前記基準客体認識情報を分析して、前記基準客体の位置を前記マップ上で把握し、
前記把握された基準客体位置と前記撮影位置情報とを用いて撮影方向情報を算出すること、を含むことを特徴とする請求項８に記載の不可視客体についての拡張現実情報提供方法。
【請求項１０】
前記基準客体認識情報及び撮影位置情報を検出することは、
前記検出されたマップ上の前記基準客体の後方に存在する不可視客体のうち、前記算出された撮影方向に対してあらかじめ設定された深さ及び画角を変数として決定される領域に存在する不可視客体を検出することを特徴とする請求項８に記載の不可視客体についての拡張現実情報提供方法。
【請求項１１】
現実世界の映像を取得して出力する映像取得部と、
前記取得された映像及び不可視客体に関する情報を出力する表示部と、
サーバと接続して送受信信号を処理する通信部と、
前記映像取得部から出力された映像を前記表示部に出力し、前記取得された映像に含まれる基準客体を設定して、前記映像が撮影された位置情報及び前記映像からあらかじめ設定された前記基準客体の特徴についての情報を抽出することによって得られた前記基準客体の認識情報を取得し、前記取得された撮影位置情報及び基準客体の認識情報を前記通信部を通じて前記サーバに伝送し、前記サーバから前記撮影位置から前記基準客体を眺める方向における不可視客体に関する情報を受信して、前記表示部に出力する制御部と、を含み，
前記受信された不可視客体についての情報のうち拡張現実情報を提供する関心客体情報を選択するために前記基準客体を基準として所定の順に前記不可視客体の各々に識別子が付与され表示されたユーザインターフェース情報を出力することを特徴とする不可視客体についての拡張現実提供装置。
【請求項１２】
ユーザ情報が入力される操作部をさらに含み、
前記制御部は、
前記操作部を通じてユーザから前記基準客体についての選択情報が入力されて設定されることを特徴とする請求項１１に記載の不可視客体についての拡張現実情報提供装置。
【請求項１３】
前記制御部は、
前記表示部に出力された映像に焦点を生成し、前記操作部から焦点位置調整情報が入力されることによって、前記焦点が表示された部分に位置する客体を基準客体として設定することを特徴とする請求項１２に記載の不可視客体についての拡張現実提供装置。
【請求項１４】
前記不可視客体に関する情報は、
前記基準客体を基準として不可視客体の位置が表示されたユーザインターフェース情報であることを特徴とする請求項１１に記載の不可視客体についての拡張現実提供装置。
【請求項１５】
前記ユーザインターフェース情報は、
それぞれの不可視客体を異なる識別番号または異なる色で表示することを特徴とする請求項１４に記載の不可視客体についての拡張現実提供装置。
【請求項１６】
前記制御部は、
前記操作部を通じて不可視客体のうち一つの関心客体選択情報が入力されることによって、前記関心客体に該当する拡張現実情報を前記サーバから取得し、前記取得された拡張現実情報を前記表示部に出力することを特徴とする請求項１２に記載の不可視客体についての拡張現実提供装置。
【請求項１７】
有／無線通信網を通じて少なくとも一つ以上の端末との信号を送受信処理する通信部と、
前記通信部を通じて前記端末から不可視客体情報要請信号が受信されることによって、前記端末から受信された前記映像からあらかじめ設定された前記基準客体の特徴についての情報を抽出することによって得られた基準客体認識情報及び撮影位置情報を分析し、前記分析された結果によって、前記撮影位置から基準客体を眺める方向であって前記基準客体の後方に存在する少なくとも一つの不可視客体に関する情報を検出し、前記検出された不可視客体に関する情報を前記端末に伝送する制御部と、を含み，
前記端末に前記受信された不可視客体についての情報のうち拡張現実情報を提供する関心客体情報を選択するために前記基準客体を基準として所定の順に前記不可視客体の各々に識別子が付与され表示されたユーザインターフェース情報を出力させることを特徴とする不可視客体についての拡張現実情報提供サーバ。
【請求項１８】
マップ情報を保存するマップ情報保存部をさらに含み、
前記制御部は、
前記マップ情報保存部から受信された前記撮影位置情報に該当するマップを検出し、前記基準客体認識情報を分析して、前記基準客体の位置を前記マップ上で把握し、前記把握された基準客体位置と前記撮影位置情報とを用いて撮影方向情報を算出することを特徴とする請求項１７に記載の不可視客体についての拡張現実情報提供サーバ。
【請求項１９】
前記制御部は、
前記検出されたマップ上の基準客体の後方に存在する不可視客体のうち、前記算出された撮影方向に対してあらかじめ設定された深さ及び画角を変数として決定される領域に存在する不可視客体を検出することを特徴とする請求項１８に記載の不可視客体についての拡張現実情報提供サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実情報提供システムにかかり、より詳細には、取得された映像を利用した現実客体についての拡張現実情報提供装置及び方法に関する。
【背景技術】
【０００２】
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ；ＡＲ）とは、実際の環境に仮想の事物や情報を合成して、元の環境に存在する事物であるかのように見せるコンピュータグラフィックス技法をいう。
【０００３】
拡張現実は、仮想の空間と事物のみを対象とする既存の仮想現実とは異なり、現実世界の基盤上に仮想の事物を合成して、現実世界のみからは得にくい付加的な情報を補強して提供することができるという特徴を有する。このような特徴により、単純にゲームのような分野にのみ限定された適用が可能な既存の仮想現実とは異なり、多様な現実環境に応用することが可能であり、特に、ユビキタス環境に適した次世代ディスプレイ技術として脚光を浴びている。
【０００４】
例えば、観光客がロンドンの街でカメラやＧＰＳセンサなど多様な技術が搭載されている携帯電話のカメラなどを特定方向に向けると、現在移動中の街に位置する飲食店やセール中の商店に関する拡張現実情報が実際の街の映像に重ねてディスプレイされる方法が挙げられる。
【０００５】
ところが、従来技術ではカメラによって取得された映像に含まれている客体（ｏｂｊｅｃｔ；オブジェクト）に関する拡張現実情報を提供するので、ユーザの関心客体が他の客体によって遮られて、前記カメラ映像に含まれない場合には、関心客体に関する情報の取得が容易ではないという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、他の客体によって遮られている不可視客体（ｉｎｖｉｓｉｂｌｅ  ｏｂｊｅｃｔ  又は  ｃｏｎｃｅａｌｅｄ  ｏｂｊｅｃｔ；隠れている客体）についても、拡張現実情報を提供することができる装置及び方法を提供する。
【課題を解決するための手段】
【０００７】
本発明は、不可視客体についての拡張現実情報提供方法であって、有／無線通信網を通じてサーバと接続可能な端末での不可視客体についての拡張現実情報提供方法において、現実世界の映像を取得し、取得された映像に含まれる基準客体を設定し、映像が撮影された位置情報及び設定された基準客体の認識情報を取得し、取得された撮影位置情報及び基準客体の認識情報をサーバに伝送し、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する不可視客体に関する情報をサーバから受信し、受信された不可視客体に関する情報を出力すること、を含む。
【０００８】
本発明の一実施形態にかかる有／無線通信網を通じて少なくとも一つ以上の端末と接続されるサーバでの不可視客体についての拡張現実情報提供方法は、端末から不可視客体情報が要請されることによって、端末から受信された基準客体認識情報及び端末の位置情報を分析し、分析された結果によって、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する少なくとも一つの不可視客体に関する情報を検出し、検出された不可視客体に関する情報を端末に伝送すること、を含む。
【０００９】
本発明の一実施形態にかかる不可視客体についての拡張現実情報提供装置は、現実世界の映像を取得して出力する映像取得部と、取得された映像及び不可視客体についての情報を出力する表示部と、映像取得部から出力された映像を表示部に出力し、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する不可視客体に関する情報を取得し、取得された不可視客体に関する情報を表示部に出力する制御部と、を含む。
【００１０】
本発明の一実施形態にかかる不可視客体についての拡張現実情報提供サーバは、有／無線通信網を通じて少なくとも一つ以上の端末との信号を送受信処理する通信部と、通信部を通じて端末から不可視客体情報要請信号が受信されることによって、端末から受信された基準客体認識情報及び撮影位置情報を分析し、分析された結果によって、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する少なくとも一つの不可視客体についての情報を検出し、検出された不可視客体についての情報を端末に伝送する制御部と、を含む。
【発明の効果】
【００１１】
本発明は、他の客体によって遮られてカメラによって認識されない不可視客体についても、拡張現実情報を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態にかかる不可視客体についての拡張現実情報提供のための通信システムの構成図である。
【図２】本発明の一実施形態にかかる不可視客体についての拡張現実情報提供装置の内部構成図である。
【図３】本発明の一実施形態にかかる不可視客体についての拡張現実情報提供サーバの内部構成図である。
【図４】本発明の一実施形態にかかる不可視客体についての拡張現実情報提供方法を説明するためのフローチャートである。
【図５】本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図である。
【図６】本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図である。
【図７】本発明の一実施形態にかかる不可視客体情報を提供するためのユーザインターフェースの一例を示す図である。
【図８】本発明の一実施形態にかかる不可視客体情報を提供するためのユーザインターフェースの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して記述される実施形態を通じて、本発明を当業者が容易に理解して再現できるように詳しく記述する。
【００１４】
本発明を説明するに当たって、関連する公知の機能または構成に関する具体的な説明が、本発明の実施形態の要旨を不明瞭にする虞があると判断される場合には、その詳細な説明を省略する。
【００１５】
本発明を説明するに先立ち、明細書の全般に亘って使われる用語を定義する。本発明で「客体（ｏｂｊｅｃｔ）」とは、実世界に存在する事物、人またはマーカー（Ｍａｒｋｅｒ）であってもよい。また、可視客体（ｖｉｓｉｂｌｅ  ｏｂｊｅｃｔ）とは、現実世界を撮影して取得された映像で認識されうる客体を意味するものであって、建物、人、山などの現実に存在する客体を通称する。不可視客体（ｉｎｖｉｓｉｂｌｅ  ｏｂｊｅｃｔ  又は  ｃｏｎｃｅａｌｅｄ  ｏｂｊｅｃｔ；隠れている客体）とは、現実世界を撮影して取得された映像から認識されない客体を意味するものであって、可視客体によって遮られて認識されない現実の客体を意味する。これらの用語は、本発明の実施形態における機能を考慮して定義された用語であって、ユーザまたは実施する者の意図、慣例などによって十分に変更されうる事項であるので、これらの用語の定義は、本発明にかかる明細書の全般に亘った内容に基づいて理解されなければならない。
【００１６】
図１は、本発明の一実施形態にかかる不可視客体についての拡張現実情報提供のための通信システムの構成図である。
【００１７】
図１を参照すると、本発明が適用される通信システムは、一つ以上の拡張現実情報提供端末装置（以下、「端末」と称する。）１１０と、端末１１０に拡張現実サービスのための情報を提供する拡張現実情報提供サーバ装置（以下、「サーバ」と称する。）１３０とが有／無線通信網を通じて接続される形態を有する。また、付加的に端末１１０は、位置判別システム１２０から自身の位置情報を通信網を通じて提供されてもよい。
【００１８】
端末１１０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔｓ）、スマートフォン、ナビゲーション端末機などの移動通信端末機だけではなく、デスクトップコンピュータ、ノート型パソコンなどのような個人用コンピュータのような映像に含まれる客体を認識し、認識した客体に対応する拡張現実情報をディスプレイすることができるあらゆる装置に適用可能である。
【００１９】
図２は、本発明の一実施形態による端末の内部構成図である。
【００２０】
映像取得部２１０は、現実世界を撮影した映像を取得して制御部２６０に出力するものであって、例えば、カメラまたはイメージセンサーであってもよい。また、映像取得部２１０は、映像撮影時に制御部２６０の制御によって映像を拡大または縮小し、自動または手動で回転可能なカメラであってもよい。
【００２１】
表示部２２０は、外部から入力される映像を出力する手段であって、本発明の実施形態において、映像取得部２１０によって取得された現実世界を撮影した映像、焦点（ｆｏｃａｌ  ｐｏｉｎｔ）生成画面、不可視客体情報のユーザインターフェース情報、関心客体に関する拡張現実情報のうち少なくとも一つを出力する。
【００２２】
位置情報取得部２３０は、端末の位置情報を位置判別システム１２０から受信して出力するものであって、例えば、ＧＰＳ衛星が送信するカメラの位置情報信号を受信するＧＰＳ受信機が含まれてもよい。
【００２３】
ユーザインターフェース部である操作部２４０は、ユーザから情報を入力されることができる手段であって、一例として、キーボタン押圧時ごとにキー情報を発生させるキー入力部や、タッチセンサー、マウスなどが含まれてもよい。本発明の実施形態において、操作部２４０を通じて不可視客体情報要請信号、基準客体選択情報、関心客体選択情報のうち少なくとも一つを入力されてもよい。
【００２４】
通信部２５０は、有／無線通信網を通じて外部から受信された信号を処理して制御部２６０に出力し、制御部２６０からの内部出力信号を処理して有／無線通信網を通じて伝送されるように処理する周知の構成である。
【００２５】
制御部２６０は、前述したような各構成要素を制御して、本発明における不可視客体についての拡張現実情報を提供するものであって、そのためのハードウェアプロセッサまたはこのハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部２６０の動作説明は、後述する不可視客体についての拡張現実情報提供方法で詳しく説明する。
【００２６】
図３は、本発明の一実施形態におけるサーバの内部構成図である。
【００２７】
通信部３１０は、有／無線通信網を通じて外部から受信された信号を処理して制御部３５０に出力し、制御部３５０からの内部出力信号を処理して有／無線通信網を通じて伝送されるように処理する周知の構成である。
【００２８】
客体認識情報保存部３２０は、客体を認識するための認識情報を含み、例えば、客体のアウトライン、色のような属性値が含まれてもよく、制御部３５０は、端末から受信された客体認識情報と客体認識情報保存部３２０に含まれる客体認識情報との属性値を比較して、客体が何であるかを把握する。
【００２９】
拡張現実情報保存部３３０は、客体に関連する各種情報である拡張現実情報を保存するが、一例として、客体が木である場合、その木の名前、主要生息地、生態学的特徴などを所定のタグイメージ（ｔａｇ  ｉｍａｇｅ）を通じて表示するものであってもよい。
【００３０】
マップ情報保存部３４０は、位置によるマップ情報を保存するものであって、制御部３５０は、端末から位置情報を受信することによって、受信された位置情報に対応するマップ情報をマップ情報保存部３４０から検出する。
【００３１】
制御部３５０は、前述したような各構成要素を制御して、本発明における不可視客体についての拡張現実の提供を行うものであって、そのためのハードウェアプロセッサまたはこのハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部３５０の動作説明は、後述する不可視客体についての拡張現実情報提供方法で詳しく説明する。
【００３２】
次いで、前述したような構成を有するシステムで行われる不可視客体についての拡張現実情報提供方法を、図４ないし図８を参照して説明する。
【００３３】
図４は、本発明の一実施形態にかかる不可視客体についての拡張現実情報提供方法を説明するためのフローチャートであり、図５及び図６は、本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図であり、図７及び図８は、本発明の一実施形態にかかる不可視客体情報を提供するユーザインターフェースの一例を示す図である。また、説明の便宜上、以下では端末制御部２６０を「端末」、サーバの制御部３５０を「サーバ」と記載する。
【００３４】
図４を参照すると、端末は、操作部２４０を通じて行われるキー入力によってステップ４０５で映像取得部２１０を駆動させて現実世界の映像を取得して表示部２２０に出力する。端末は、ステップ４１０で表示部２２０に出力される映像に含まれる可視客体によって遮られて見えない不可視客体についての拡張現実情報要請が入力されることによって、ステップ４１５で映像に含まれる一つ以上の可視客体のうち一つを基準客体として設定する。
【００３５】
ステップ４１５で基準客体を設定する方法は、多様な形態で実施されてもよい。
【００３６】
一実施形態として、端末があらかじめ設定された基準によって自動的に基準客体を選択して設定してもよいが、例えば、映像に含まれる可視客体のうち認識が最も容易な可視客体を基準客体として設定してもよい。
【００３７】
他の実施形態として、ユーザから選択情報が入力されて基準客体を設定してもよい。例えば、図５に示すような十字形４１０または図６に示すような四角形４２０の焦点（ｆｏｃａｌ  ｐｏｉｎｔ）を画面に生成させ、ユーザが前記焦点を自身が選択した基準客体に合わせた焦点位置調整情報を入力することによって、前記焦点に位置した可視客体を基準客体として設定してもよい。また他の実施形態として、ユーザが直接タッチ入力を通じて基準客体選択情報を入力してもよい。
【００３８】
その後、端末は、ステップ４２０で基準客体についての認識情報を取得する。例えば、カメラを通じて取得された撮影映像から関心対象である現実客体の特徴情報（例えば、アウトライン、色）を認識情報として抽出する。
【００３９】
そして、端末は、ステップ４２５で取得された映像が撮影された位置情報を取得する。前記映像が端末によってリアルタイムで撮影される映像である場合、端末は、現在位置判別システムから自身の位置情報を取得する。しかし、前記映像が、以前に取得されたまたは外部から提供される映像である場合、端末は、撮影位置情報をユーザから入力されてもよい。ここで、ステップ４２０及びステップ４２５は、同時になされてもよく、その順序が入れ替わってもよい。
【００４０】
その後、端末は、ステップ４３０でサーバに不可視客体情報を要請する。この際、端末は、基準客体認識情報及び撮影位置情報を伝送する。また、不可視客体の範囲情報を伝送するが、例えば、図７を参照すると、撮影位置から基準客体を眺める撮影方向への深さ（Ｄ）と画角（ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）（θ）とが範囲情報に含まれてもよい。図面には図示していないが、このような不可視客体の範囲情報は、以前にユーザによってあらかじめ設定された情報であるか、リアルタイムで入力された情報であってもよい。または、サーバで前記範囲情報があらかじめ設定される場合、範囲情報の伝送は省略されてもよい。
【００４１】
その後、サーバは、端末から不可視客体情報が要請されることによって、ステップ４３５で端末から受信された基準客体認識情報及び撮影位置情報を分析する。具体的に説明すれば、サーバは、マップ情報保存部３４０を検索して、受信された撮影位置情報に該当するマップを検出し、基準客体認識情報を分析して、基準客体の位置をマップ上で把握する。その後、サーバは、把握された基準客体位置と撮影位置情報とを用いて撮影方向情報を算出する。例えば、撮影位置から基準客体位置に連結された線の方向が撮影方向であると決定される。
【００４２】
そして、サーバは、ステップ４３５で分析された結果によって、ステップ４４０で撮影位置から基準客体を眺める方向、すなわち、撮影方向であって基準客体の後方に存在する不可視客体に関する情報を検出する。具体的に説明すれば、サーバは、検出されたマップ上の基準客体の後方に存在する不可視客体のうち、前述したような深さ情報（Ｄ）、画角（θ）及びステップ４３５で算出された撮影方向を変数として決定される領域に存在する不可視客体を検出する。例えば、図６を参照すると、７つの不可視客体が検出されてもよい。
【００４３】
そして、サーバは、検出された不可視客体に関する情報をステップ４４５で端末に伝送する。この際、伝送される不可視客体情報の例としては、図６に示されたような基準客体を基準に不可視客体の位置と、追加的に大きさが表示されたユーザインターフェース情報７１０であってもよい。
【００４４】
このようなユーザインターフェースは、多様な形態により実施されてもよいが、それぞれの不可視客体を識別するために、図７に示されたように、各不可視客体に識別番号を付与してもよく、各客体をそれぞれ異なる色で表示し、各客体に別個の識別子を表示させてもよい。
【００４５】
識別番号が付与される場合、番号の順序を付与する方法も多様な形態により実施されてもよいが、一例として、図７に示されたように、撮影方向において基準客体から近い順に識別番号を付与してもよく、他の例として、図８に示されたように、時計回りに識別番号を付与してもよい。
【００４６】
その後、端末は、ステップ４４５で不可視客体情報を表示部２２０に出力する。例えば、表示部２２０に出力される不可視客体情報は、図６に示されたようなユーザインターフェース７１０を画面全体にディスプレイするものでもよく、プレビュー画面が表示されている状況で画面の一側に表示させ、ポップアップウィンドウを通じてディスプレイさせるものでもよい。また、このようなユーザインターフェース７１０は、ユーザの入力情報によって前述したような多様な実施形態において実現されるように設定してもよい。
【００４７】
その後、端末は、ステップ４５５で操作部２４０を通じてユーザからディスプレイされた不可視客体のうち、拡張現実情報を提供してほしい関心客体選択情報を入力される。関心客体選択情報を入力される方法は、多様な形態により実施してもよい。一例として、タッチ入力を通じて関心客体を選択してもよく、関心客体の識別情報である識別番号、識別子または識別色を直接入力してもよい。端末は、関心客体選択情報が入力されることによって、ステップ４６０で入力された関心客体選択情報をサーバに伝送する。すなわち、関心客体の識別情報を検出してサーバに伝送する。
【００４８】
その後、サーバは、ステップ４６５で伝送された関心客体選択情報に対応する客体に関連する拡張現実情報を検出する。
【００４９】
その後、端末は、ステップ４８０で伝送された拡張現実情報を関心客体に追加して端末に表示する。ところが、関心客体は、プレビュー画面では見えない客体であるので、関心客体をプレビュー画面上に重ねて表示させ、プレビュー画面が表示された一側に関心客体の情報を表示させてもよい。
【００５０】
一方、ここでは、説明の便宜上、本発明で提案することを拡張現実提供端末装置と拡張現実提供サーバとが通信網を通じて接続可能な形態で構成されたシステム上で具現する例として説明したが、これは、本発明の一実施形態であるだけであり、本発明の範囲がこれに限定されるものではない。すなわち、本発明を前記端末とサーバとを連動した動作方法が一体的に構成される装置に適用することが可能であるということはいうまでもない。
【産業上の利用可能性】
【００５１】
本発明は、不可視客体についての拡張現実情報提供装置及び方法関連の技術分野に適用可能である。
【符号の説明】
【００５２】
拡張現実情報提供端末装置    １１０
拡張現実情報提供サーバ装置    １３０
映像取得部    ２１０
表示部    ２２０
操作部    ２４０
通信部    ２５０
制御部    ２６０
【図１】
0005389111.tif 000002
【図２】
0005389111.tif 000003
【図３】
0005389111.tif 000004
【図４】
0005389111.tif 000005
【図５】
0005389111.tif 000006
【図６】
0005389111.tif 000007
【図７】
0005389111.tif 000008
【図８】
0005389111.tif 000009