(57)【特許請求の範囲】
【請求項１】
端末から受信した第１オブジェクト情報から第１関心オブジェクトを認識することと、
前記第１関心オブジェクトに関連する関連オブジェクトの認識情報及び拡張現実情報を検出することと、
前記関連オブジェクトの認識情報及び拡張現実情報を保存することと、
前記端末から第２オブジェクト情報を受信した場合、前記保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から第２関心オブジェクトを認識することと、
前記保存された前記関連オブジェクトの拡張現実情報から、前記第２関心オブジェクトに対応する拡張現実情報を検出することと、
前記端末に、前記検出された拡張現実情報を送信することと、
を含み、
前記関連オブジェクトは、前記第１関心オブジェクト、前記第１関心オブジェクトの上位オブジェクト、前記第１関心オブジェクトの下位オブジェクト、及びこれらの組み合わせの位置から所定の距離内に位置する少なくとも一つのオブジェクトであることを特徴とする拡張現実提供方法。
【請求項２】
前記第１関心オブジェクトを認識することは、
前記端末の位置情報を獲得することと、
前記端末の前記獲得された位置情報に基づいて前記第１関心オブジェクトを認識することと、
を含むことを特徴とする請求項１に記載の拡張現実提供方法。
【請求項３】
前記第１関心オブジェクトを認識することは、
前記端末から受信した前記第１オブジェクト情報に複数のオブジェクトが含まれる場合、前記複数のオブジェクのうち所定の基準に基づいたオブジェクトを優先的に認識することを特徴とする請求項１に記載の拡張現実提供方法。
【請求項４】
前記関連オブジェクトの認識情報及び拡張現実情報を検出することは、前記端末ごとに前記第１関心オブジェクトに関連した前記関連オブジェクトの認識情報及び拡張現実情報を分類することを含み、
前記関連オブジェクトの認識情報及び拡張現実情報を保存することは、前記分類の結果を保存することを含むことを特徴とする請求項１に記載の拡張現実提供方法。
【請求項５】
前記第１オブジェクト情報から認識された前記第１関心オブジェクトについての拡張現実情報を検出することと、
前記第１関心オブジェクトについての前記拡張現実情報を前記端末に送信することと、をさらに含むことを特徴とする請求項１に記載の拡張現実提供方法。
【請求項６】
前記第１関心オブジェクトについての前記拡張現実情報を送信することは、
前記第１関心オブジェクトに関連する前記関連オブジェクトの認識情報及び拡張現実情報を前記端末に送信することを含むことを特徴とする請求項５に記載の拡張現実提供方法。
【請求項７】
前記拡張現実情報は、コンテキスト情報を用いてフィルタリングされた情報であることを特徴とする請求項１に記載の拡張現実提供方法。
【請求項８】
端末との送受信信号を処理する通信部と、
オブジェクトの認識情報及び拡張現実情報を保存する全体情報保存部と、
前記オブジェクトに関連した関連オブジェクトの認識情報及び拡張現実情報を保存する関連オブジェクト情報保存部と、
前記端末から受信された第１オブジェクト情報から第１関心オブジェクトを認識し、前記第１関心オブジェクトに関連する前記関連オブジェクトの認識情報及び拡張現実情報を識別し、前記関連オブジェクト情報保存部に前記関連オブジェクトの認識情報及び拡張現実情報を保存し、前記端末から第２オブジェクト情報を受信した場合、前記保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から第２関心オブジェクトを認識し、前記第２関心オブジェクトに対応する拡張現実情報を検出して前記端末に送信する制御部と、を含み、
前記関連オブジェクトは、前記第１関心オブジェクト、前記第１関心オブジェクトの上位オブジェクト、前記第１関心オブジェクトの下位オブジェクト、及びこれらの組み合わせの位置から所定の距離内に位置する少なくとも一つのオブジェクトであることを特徴とする拡張現実提供サーバ装置。
【請求項９】
前記制御部は、前記端末の位置情報を獲得し、前記端末の位置情報に基づいて前記第１関心オブジェクトを識別することを特徴とする請求項８に記載の拡張現実提供サーバ装置。
【請求項１０】
前記制御部は、前記端末から受信したオブジェクト情報に複数のオブジェクトが含まれる場合、前記複数のオブジェクのうち所定の基準に基づいたオブジェクトを優先的に認識すること特徴とする請求項８に記載の拡張現実提供サーバ装置。
【請求項１１】
前記制御部は、前記第１関心オブジェクトに関連する前記関連オブジェクトの認識情報及び拡張現実情報を前記端末ごとに分類し、前記分類の結果を保存することを特徴とする請求項８に記載の拡張現実提供サーバ装置。
【請求項１２】
前記制御部は、前記第１関心オブジェクトに関連する前記関連オブジェクトの認識情報及び拡張現実情報を前記端末に送信することを特徴とする請求項８に記載の拡張現実提供サーバ装置。
【請求項１３】
前記拡張現実情報は、コンテキスト情報を用いてフィルタリングされた情報であることを特徴とする請求項８に記載の拡張現実提供サーバ装置。
【請求項１４】
第１オブジェクト情報を獲得してサーバに送信することと、
前記第１オブジェクト情報に関連する関連オブジェクトの認識情報及び拡張現実情報を前記サーバから受信することと、
前記関連オブジェクトの認識情報及び拡張現実情報を保存することと、
前記端末から第２オブジェクト情報を受信した場合、前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から関心オブジェクトを認識することと、
前記第２オブジェクト情報から認識された前記関心オブジェクトに対応する拡張現実情報を検出することと、
前記検出された拡張現実情報を出力することと、を含み、
前記関連オブジェクトは、前記関心オブジェクト、前記関心オブジェクトの上位オブジェクト、前記関心オブジェクトの下位オブジェクト、及びこれらの組み合わせの位置から所定の距離内に位置する少なくとも一つのオブジェクトであることを特徴とする拡張現実提供方法。
【請求項１５】
前記関心オブジェクトを認識することは、前記端末の位置情報を獲得することと、前記端末の前記位置情報に基づいて前記関心オブジェクトを識別することと、を含むことを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１６】
前記関心オブジェクトを認識することは、前記受信された前記第１オブジェクト情報に複数のオブジェクトが含まれる場合、前記複数のオブジェクのうち所定の基準に基づいたオブジェクトを優先的に認識することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１７】
前記拡張現実情報は、コンテキスト情報を用いてフィルタリングされた情報であることを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１８】
前記関心オブジェクトに対応する前記拡張現実情報を出力するとともに、前記関連オブジェクトの情報または前記関連オブジェクトへのアクセスパスを提供することをさらに含むことを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１９】
有線／無線通信網を通じたサーバとの送受信信号を処理する通信部と、
現実環境のイメージに含まれるオブジェクトの情報を獲得するオブジェクト情報獲得部と、
前記オブジェクトの情報と前記オブジェクトの拡張現実情報とを合成して得られる情報を出力する出力部と、
前記サーバから受信されたオブジェクトに対応する拡張現実情報を保存し、前記オブジェクトに関連した関連オブジェクトの認識情報及び拡張現実情報を保存する保存部と、
前記オブジェクト情報獲得部から受信した第１オブジェクト情報を前記サーバに送信し、前記第１オブジェクト情報に関連した関連オブジェクトの認識情報及び拡張現実情報を前記サーバから受信し、前記保存部に前記第１オブジェクト情報に関連した関連オブジェクトの認識情報及び拡張現実情報を保存し、前記オブジェクト情報獲得部から第２オブジェクト情報を受信した場合、前記保存部に保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から関心オブジェクトを認識し、前記関心オブジェクトに対応する拡張現実情報を検出し、前記関心オブジェクトに対応する拡張現実情報を検出し、前記出力部を通じて前記拡張現実情報を出力する制御部と、を含み、前記関連オブジェクトは、前記関心オブジェクト、前記関心オブジェクトの上位オブジェクト、前記関心オブジェクトの下位オブジェクト、及びこれらの組み合わせの位置から所定の距離内に位置する少なくとも一つのオブジェクトであることを特徴とする拡張現実提供端末装置。
【請求項２０】
前記制御部は、前記端末の位置情報を獲得し、前記端末の前記位置情報に基づいて前記関心オブジェクトを識別することを特徴とする請求項１９に記載の拡張現実提供端末装置。
【請求項２１】
前記制御部は、前記オブジェクト情報獲得部から受信したオブジェクト情報に複数のオブジェクトが含まれる場合、前記複数のオブジェクトのうち所定の基準に基づいたオブジェクトを優先的に認識することを特徴とする請求項１９に記載の拡張現実提供端末装置。
【請求項２２】
前記保存部は、コンテキスト情報をさらに保存し、
前記制御部は、前記拡張現実情報を前記コンテキスト情報を用いてフィルタリングすることを特徴とする請求項１９に記載の拡張現実提供端末装置。
【請求項２３】
前記制御部は、前記関心オブジェクトに対応する拡張現実情報を出力するとともに、前記関連オブジェクトの情報または前記関連オブジェクトへのアクセスパスを出力することを特徴とする請求項１９に記載の拡張現実提供端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実提供装置及び方法に係り、特に、オブジェクト間の関連性（ｒｅｌａｔｉｏｎｓｈｉｐ  ｂｅｔｗｅｅｎ  ｏｂｊｅｃｔｓ）を利用した拡張現実提供装置及び方法に関する。
【背景技術】
【０００２】
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ、ＡＲ）とは、実際の環境に仮想の事物（ｏｂｊｅｃｔ）や情報を合成（ｓｙｎｔｈｅｓｉｚｅ）して、現実の環境に存在する事物のように見せるコンピュータグラフィックス技術に関するものである。
【０００３】
拡張現実は、仮想の空間と事物のみを対象とする既存の仮想現実技術とは異なり、現実世界の基盤の上に仮想の事物を合成して、現実世界のみでは得にくい付加的な情報を提供することができるという特徴を有する。このような特徴を有することから、拡張現実は、多様な現実環境に適用して様々な応用が可能であり、例えば、ユビキタス環境に適した次世代ディスプレイ技術として脚光を浴びている。
【０００４】
このような拡張現実サービスをユーザに迅速に提供するために、オブジェクトの迅速かつ正確な認識だけではなく、関連機能及びサービスをどれほど迅速に検出するかが重要である。ところが、拡張現実サービスが一般化（ｃｏｍｍｏｎ）するにつれて、マーカーベース（ｍａｒｋｅｒ−ｂａｓｅｄ）のサービスとマーカーレスベース（ｍａｒｋｅｒｌｅｓｓ−ｂａｓｅｄ）のサービスとが混在して提供され、多様な拡張現実サービスアプリケーションと多様なサービスプロバイダから提供される拡張現実サービスとが共存していくことが予想される。すなわち、拡張現実サービスにより提供されるオブジェクトの数が多くなり、拡張現実サービスを保存するために大容量のデータベースが必要となる。
【０００５】
従って、大容量のデータベースからデータを検索する必要があるため、オブジェクトの認識や関連機能及びサービスの検出に要する時間が増加するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、迅速なオブジェクト認識を可能とする拡張現実提供装置及び方法を提供することを目的とするものである。
【０００７】
また、本発明は、オブジェクト認識率（ｒｅｃｏｇｎｉｔｉｏｎ  ｒａｔｅ）を改善する拡張現実提供装置及び方法を提供することを目的とするものである。
【０００８】
さらに、本発明は、オブジェクトに関連した拡張現実情報を迅速に検出して提供する拡張現実提供装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、少なくとも一つ以上の端末と有線／無線通信網を通じて接続可能なサーバとの間のオブジェクト間の関連性を利用した拡張現実提供方法であって、端末から受信した第１オブジェクト情報から第１関心オブジェクトを認識することと、前記第１関心オブジェクトに関連する関連オブジェクトの認識情報及び拡張現実情報を検出することと、前記関連オブジェクトの認識情報及び拡張現実情報を保存することと、前記端末から第２オブジェクト情報を受信した場合、前記保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から第２関心オブジェクトを認識することと、前記保存された前記関連オブジェクトの拡張現実情報から、前記第２関心オブジェクトに対応する拡張現実情報を検出することと、前記端末に、前記検出された拡張現実情報を送信することと、を含むことを特徴とする。
【００１０】
本発明は、有線／無線通信網を通じて接続可能な少なくとも一つ以上の端末にオブジェクト間の関連性を利用した拡張現実情報を提供するサーバ装置であって、端末との送受信信号を処理する通信部と、オブジェクトの認識情報及び拡張現実情報を保存する全体情報保存部と、前記オブジェクトに関連した関連オブジェクトの認識情報及び拡張現実情報を保存する関連オブジェクト情報保存部と、前記端末から受信された第１オブジェクト情報から第１関心オブジェクトを認識し、前記第１関心オブジェクトに関連する前記関連オブジェクトの認識情報及び拡張現実情報を識別し、前記関連オブジェクト情報保存部に前記関連オブジェクトの認識情報及び拡張現実情報を保存し、前記端末から第２オブジェクト情報を受信した場合、前記保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から第２関心オブジェクトを認識し、前記第２関心オブジェクトに対応する拡張現実情報を検出して前記端末に送信する制御部と、を含むことを特徴とする。
【００１１】
本発明は、サーバと有線／無線通信網を通じて接続可能な端末のオブジェクト間の関連性を利用した拡張現実提供方法であって、第１オブジェクト情報を獲得してサーバに送信することと、前記第１オブジェクト情報に関連する関連オブジェクトの認識情報及び拡張現実情報を前記サーバから受信することと、前記関連オブジェクトの認識情報及び拡張現実情報を保存することと、前記端末から第２オブジェクト情報を受信した場合、前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から関心オブジェクトを認識することと、前記第２オブジェクト情報から認識された前記関心オブジェクトに対応する拡張現実情報を検出することと、前記検出された拡張現実情報を出力することと、を含むことを特徴とする。
【００１２】
本発明は、オブジェクト間の関連性を利用した拡張現実提供端末装置であって、有線／無線通信網を通じたサーバとの送受信信号を処理する通信部と、現実環境のイメージに含まれるオブジェクトの情報を獲得するオブジェクト情報獲得部と、前記オブジェクトの情報と前記オブジェクトの拡張現実情報とを合成して得られる情報を出力する出力部と、前記サーバから受信されたオブジェクトに対応する拡張現実情報を保存し、前記オブジェクトに関連した関連オブジェクトの認識情報及び拡張現実情報を保存する保存部と、前記オブジェクト情報獲得部から受信した第１オブジェクト情報を前記サーバに送信し、前記第１オブジェクト情報に関連した関連オブジェクトの認識情報及び拡張現実情報を前記サーバから受信し、前記保存部に前記第１オブジェクト情報に関連した関連オブジェクトの認識情報及び拡張現実情報を保存し、前記オブジェクト情報獲得部から第２オブジェクト情報を受信した場合、前記保存部に保存された前記関連オブジェクトの認識情報を用いて、前記第２オブジェクト情報から関心オブジェクトを認識し、前記関心オブジェクトに対応する拡張現実情報を検出し、前記関心オブジェクトに対応する拡張現実情報を検出し、前記出力部を通じて前記拡張現実情報を出力する制御部と、を含むことを特徴とする。
【発明の効果】
【００１３】
本発明は、ユーザがリクエストすると予想されるオブジェクトの認識情報をあらかじめ保存しておくことにより、以後のオブジェクト認識を迅速に行うことができ、オブジェクト認識率を向上させることができる。
【００１４】
また、本発明は、ユーザがリクエストすると予想されるオブジェクトの拡張現実情報をあらかじめ保存しておくことにより、以後のオブジェクト認識において、拡張現実情報を迅速に検出して提供することができる。
【００１５】
本発明は、オブジェクトの間の関連性を用いて一度認識されたオブジェクトについての情報を他のオブジェクト認識に活用することができるため、オブジェクト認識率を改善することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供システムの構成図である。
【図２】本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供端末の構成図である。
【図３】本発明の一実施形態に係るオブジェクトについてのＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）を提供する例を示す図である。
【図４】本発明の一実施形態に係るコンテキスト情報に基づいてフィルタリングされたＳＮＳを提供する例を示す図である。
【図５】本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供サーバ装置の構成図である。
【図６】本発明の一実施形態に係るオブジェクト情報の構造を示す図である。
【図７】本発明の一実施形態に係るネイバーリスト（Ｎｅｉｇｈｂｏｒ  ｌｉｓｔ）を説明するための図である。
【図８】本発明の一実施形態に係る上位オブジェクトと下位オブジェクトとを説明するための図である。
【図９】本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供方法を説明するためのフローチャートである。
【図１０】本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供方法を説明するためフローチャートである。
【図１１】本発明によるオブジェクト間の関連性を利用した拡張現実提供の実施形態を示す図である。
【図１２】本発明によるオブジェクト間の関連性を利用した拡張現実提供の実施形態を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付した図面を参照して記述される望ましい実施形態を通じて、本発明を当業者が容易に理解して再現できるように詳細に説明する。しかし、本発明は、様々な異なる形態での具現が可能であり、ここで説明する実施例に限定されない。むしろ、これらの実施形態は、本発明の開示が完全になるように十分に提供されたものであって、本発明の属する技術分野における通常の知識を有する者に本発明の開示範囲を十分に示すであろう。図面において、その形状、サイズ及び領域等は、明確さのために誇張されることがある。図面において、同じ数字の参照符号は、同じ要素を示す。本発明を説明するにあたって、関連する公知の機能または構成についての具体的な説明が、本発明の実施形態の要旨を不明確にする虞があると判断される場合には、その詳細な説明を省略する。
【００１８】
また、本発明で使用される用語は、本発明の実施形態での機能を考慮して使用される用語であって、ユーザまたは運用者の意図、慣例などによって十分に変形されうるものであるので、この用語の定義は、本発明の明細書の全般に亘った内容に基づいて判断されなければならない。
【００１９】
従来の拡張現実技術は、オブジェクトの認識に長時間を要するものであった。例えば、カラーマーカー（ｃｏｌｏｒ  ｍａｒｋｅｒｓ）またはマーカーレスオブジェクトを認識するためには、その特徴を探し出し、それに対応するオブジェクトを認識する情報処理が多少複雑なものとなることから、認識までに長時間を要することがあった。また、多くのサービスプロバイダから提供される様々なオブジェクトが混在している場合、それぞれのサービスプロバイダによってオブジェクト認識方式が異なるということも、オブジェクト認識率を低下させる原因となっていた。このような状況において、さらに迅速にオブジェクトに関連した拡張現実情報を提供するために、本発明は、一度認識されたオブジェクトと関連したオブジェクトの認識情報及び拡張現実情報を含む関連オブジェクト情報を検出し、あらかじめ保存した後、他のオブジェクトの認識に応じてあらかじめ保存された関連オブジェクト情報を迅速に検出して提供する装置及び方法を提供する。また、本発明は、オブジェクト間の関連性を用いて、ユーザに必要であると予想される情報を提供する。例えば、オブジェクトの拡張現実情報を出力すると同時に、上位（ｐａｒｅｎｔ）オブジェクト、下位（ｃｈｉｌｄ）オブジェクトなどの関連オブジェクト情報または関連オブジェクトへのアクセスパス（ａｃｃｅｓｓ  ｐａｔｈｓ）を提供することができる。
【００２０】
図１は、本発明の一実施形態によるオブジェクト間の関連性を利用した拡張現実提供システムの概略的な構成を示す図である。
【００２１】
図１を参照すると、システムは、少なくとも一つの端末１１０と、位置判別システム（ｌｏｃａｔｉｏｎ  ｄｅｔｅｃｔｉｏｎ  ｓｙｓｔｅｍ）１２０と、サーバ１３０と、通信網とを含む。少なくとも一つの拡張現実情報を提供する端末１１０は、拡張現実サービスを提供するサーバ１３０と、有線／無線通信網（ｗｉｒｅｄ／ｗｉｒｅｌｅｓｓ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｎｅｔｗｏｒｋ）により接続されている。また、端末１１０は、位置判別システム（ｌｏｃａｔｉｏｎ  ｄｅｔｅｃｔｉｏｎ  ｓｙｓｔｅｍ）１２０から自身の位置情報を通信網を通じて提供されてもよい。サーバ１３０は、端末１１０が獲得した自身の位置情報を受信してもよく、また、位置判別システム１２０を通じて直接端末１１０の位置情報を獲得してもよい。
【００２２】
端末１１０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、スマートフォン、ナビゲーション端末などの移動通信端末だけではなく、デスクトップコンピュータ、ノート型パソコンなどの個人用コンピュータであってもよい。端末１１０は、現実のイメージに含まれるオブジェクトを認識し、認識したオブジェクトに対応する拡張現実情報を出力することができるあらゆる装置に適用可能である。
【００２３】
図２は、本発明の一実施形態に係るオブジェクト間の関連性を利用して拡張現実を提供する端末の構成図である。
【００２４】
拡張現実提供端末装置（ＡＲ  ｐｒｏｖｉｄｉｎｇ  ｔｅｒｍｉｎａｌ）は、オブジェクト情報獲得部２１０と、出力部２２０と、操作部（ｍａｎｉｐｕｌａｔｉｏｎ  ｕｎｉｔ）２３０と、保存部２４０と、通信部２５０と、制御部２６０とを含む。
【００２５】
オブジェクト情報獲得部２１０は、現実環境イメージ（すなわち、現実イメージ（ｒｅａｌ  ｉｍａｇｅ））に含まれるオブジェクトのうち関心対象であるオブジェクトについての情報を獲得し、制御部２６０に入力する。なお、本発明で用いられるオブジェクトとは、現実イメージに含まれるマーカー、マーカーレスベースの事物または状態、又は映像イメージ、音源データ、位置データ、方向データ、速度データなどのうち少なくとも一つを含む現実世界で定義することの可能な任意のあらゆるものを意味する。したがって、オブジェクト情報獲得部２１０は、オブジェクトを含む映像を獲得（ｃａｐｔｕｒｅ）して出力するカメラまたはイメージセンサ、音を受信（ａｃｑｕｉｒｅ）して出力するマイク、嗅覚センサ、ＧＰＳ位置センサ、地磁気センサ、速度感知センサなどのうち少なくとも一つを含みうる。
【００２６】
出力部２２０は、オブジェクト情報獲得部２１０によって獲得されたオブジェクト情報と、オブジェクト情報に関連した拡張現実情報とを合成（ｓｙｎｃｈｒｏｎｉｚｅ）した情報を出力する。ここで、拡張現実情報とは、認識されたオブジェクトに関するデータである。例えば、ルーヴル博物館が認識されたオブジェクトである場合、ルーヴル博物館についての建築情報、所蔵芸術作品を紹介する動画、観覧案内のアナウンス（ａｎｎｏｕｎｃｅｍｅｎｔ）などが、ルーブル博物館に関する拡張現実情報に該当しうる。また、本発明の実施形態において、拡張現実情報は、オブジェクトに関連したＳＮＳを含みうる。出力部２２０は、一例として、視覚的データを出力する表示部と、音源データを可聴音（ａｕｄｉｂｌｅ  ｓｏｕｎｄ）の形態で出力するスピーカーなどを含みうる。また、出力部２２０及び操作部２３０は、タッチスクリーンディスプレイとして組み合わされたものであってもよい。
【００２７】
操作部２３０は、ユーザ情報が入力されるインターフェースであって、例えば、キー入力パネル、タッチセンサー、マイクなどが含まれうる。
【００２８】
保存部２４０は、サーバ１３０（図１参照）から受信したオブジェクトに関連する拡張現実情報と、拡張現実情報を個人化するためのコンテキスト（ｃｏｎｔｅｘｔ）情報とを含む。ここで、コンテキスト情報は、例えば、ユーザの名前、年齢、性別などを含むユーザ情報、ユーザの送受信メッセージの中で頻繁に使われる単語、よく使われるアプリケーション、よく使われる検索語、接続サイトのランキング、現在時刻及び位置、ユーザの感情状態などを含むものである。制御部２６０は、このようなコンテキスト情報を用いてサーバ１３０から受信された拡張現実情報をフィルタリングして、出力部２２０を通じて出力する。
【００２９】
次に、図３及び図４を参照して、制御部２６０がコンテキスト情報を用いて拡張現実情報をフィルタリングする例を説明する。
【００３０】
図３は、本発明の一実施形態に係るオブジェクトについてのＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）を提供する例を示す図である。図４は、本発明の一実施形態に係るコンテキスト情報に基づいてフィルタリングされたＳＮＳを提供する例を示す図である。
【００３１】
図３を参照すると、オブジェクトである‘ＳＢＫコーヒー（ＳＢＫ  ＣＯＦＦＥＥ）’ロゴに関連した拡張現実情報が表示されており、「製品及び価格表示」、「追加情報」、「ミニブログ加入」、「チャットルーム接続」、「同好会ホームページ」などの複数のＳＮＳ情報が‘ＳＢＫコーヒー’ロゴとともに表示されている。制御部２６０は、保存部２４０に保存されているコンテキスト情報を用いて、図３に図示したような様々な拡張現実情報の中から、ユーザの年齢、趣向などに適合する拡張現実情報をフィルタリングし、図４に図示したようにフィルタリングされた拡張現実情報を出力する。図４に図示したように、拡張現実情報はフィルタリングされ、「チャットルーム接続」、「クーポン受け取り」、「情報表示」、「価格情報」が‘ＳＢＫコーヒー’ロゴと結びついて表示されている。また、制御部２６０は、フィルタリングされた拡張現実情報を、コンテキスト情報に基づいて差別化（ｄｉｆｆｅｒｅｎｔｉａｔｅ）することができる。例えば、拡張現実提供端末装置がユーザから操作部２３０を通じて‘チャットルーム接続’を選択する信号を受信した場合、制御部２６０は、コンテキスト情報に含まれる年齢情報を参照し、同じ年齢帯のチャットルームのメンバーとチャットできるようにサーバ１３０にリクエストすることができる。例えば、拡張現実情報検索モジュール５４２（図５参照）は、拡張現実情報がＳＮＳサービスである場合に、チャット／ミニブログ／同好会ホームページ／価格情報／ポストスクリプト（ｐｏｓｔｓｃｒｉｐt）などのＳＮＳサービスから提供されうるＳＮＳサービスのカテゴリを分析し、分析されたＳＮＳサービスのカテゴリ特性と、コンテキスト情報とを比較する。例えば、現在カテゴリ（ｃｕｒｒｅｎｔ  ｃａｔｅｇｏｒｙ）に製品価格情報及びポストスクリプト情報が存在し、「ショッピング」が、コンテキスト情報５２３に保存された端末に関連する選好度の順位（ｐｒｅｆｅｒｅｎｃｅ  ｒａｎｋｉｎｇ）として上位圏にランキングされていれば、価格情報及びポストスクリプト情報のＳＮＳサービスを、端末ＵＩ（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）上に上位サービス（ｔｏｐ−ｒａｎｋｅｄ  ｓｅｒｖｉｃｅｓ）として表示する。
【００３２】
また、再び図２を参照すると、本発明の実施形態において、保存部２４０は、関連オブジェクトの情報を含みうる。関連オブジェクトの情報とは、認識されたオブジェクトに関連する他のオブジェクトについての情報であり、これについては、図５を参照して後述する。制御部２６０は、保存部２４０に関連オブジェクトについての情報が保存されていることから、オブジェクト情報獲得部２１０から特定のオブジェクト情報を受信すると、サーバ１３０に特定のオブジェクトの情報を送信することなく、認識されたオブジェクトに関連する関連オブジェクトについての情報を用いて特定のオブジェクトを認識し、特定のオブジェクトに対応する拡張現実情報を迅速に提供することができる。また、制御部２６０は、サーバ１３０から特定のオブジェクト及び特定のオブジェクトに関連する関連オブジェクトの情報に関する拡張現実情報を受信した場合、特定オブジェクトについての拡張現実情報を出力するとともに、関連オブジェクトと特定のオブジェクトとの関連性に基づき、ユーザに必要であると予想される情報を提供する。例えば、制御部２６０は、特定のオブジェクトに関連する拡張現実情報を出力するとともに、特定のオブジェクトの上位オブジェクト及び下位オブジェクト、関連オブジェクトへのアクセスパスといった、特定のオブジェクトに関連する関連オブジェクトの情報を提供することができる。
【００３３】
通信部２５０は、有線／無線通信網を通じて外部から受信された信号を処理してその処理結果を制御部２６０に出力する。通信部２５０は、制御部２６０からの信号を処理して有線／無線通信網を通じてその処理結果を送信する。本発明の実施形態において、通信部２５０は、制御部２６０から出力されたオブジェクト情報をサーバ１３０に送信し、サーバ１３０から受信された拡張現実情報を制御部２６０に出力する。
【００３４】
制御部２６０は、上述したような各構成要素を制御し、オブジェクト間の関連性を利用した拡張現実情報を提供する。本発明の実施形態において、制御部２６０は、ハードウェアプロセッサまたはハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部２６０の操作は、後述するオブジェクト間の関連性を利用した拡張現実提供方法の説明において述べる。
【００３５】
図５は、本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供サーバ装置の構成図である。
【００３６】
拡張現実提供サーバ装置（ＡＲ  ｐｒｏｖｉｄｉｎｇ  ｓｅｒｖｅｒ）は、通信部５１０、全体情報保存部（ｆｕｌｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｔｏｒａｇｅ）５２０、関連オブジェクト情報保存部（ｒｅｌａｔｅｄ  ｏｂｊｅｃｔ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｔｏｒａｇｅ）５３０、及び制御部５４０を含む。
【００３７】
通信部５１０は、有線／無線通信網を通じて外部から受信された信号を処理して処理結果を制御部５４０に出力し、制御部５４０からの信号を処理して有線／無線通信網を通じて処理結果を送信する。また、本発明の実施形態において、通信部５１０は、少なくとも一つの端末１１０との送受信信号を処理する。また、通信部１５０は、有線／無線通信網を通じて接続可能な外部情報プロバイダ（ｅｘｔｅｒｎａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｖｉｄｅｒ）から、オブジェクトについての拡張現実情報として提供されるコンテンツまたはＳＮＳサービス情報などを受信してもよい。
【００３８】
拡張現実提供サーバ装置は、保存部（ｓｔｏｒａｇｅ）を含み、保存部は、全体情報保存部５２０と、関連オブジェクト情報保存部５３０とを含む。全体情報保存部５２０は、オブジェクト情報５２１と、オブジェクトに対応する拡張現実情報５２２と、拡張現実情報５２２を端末ごとに対応させて個人化するために用いられるコンテキスト情報５２３と、を含む。
【００３９】
オブジェクト情報５２１は、オブジェクトに関連した認識（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報及び関連情報を含む。本発明の一実施形態に係るオブジェクト情報５２１の構造の一例を、図６に示す。
【００４０】
図６を参照すると、ＩＤ６０１は、オブジェクトを認識するために割り当てられる識別子であり、オブジェクト認識情報６０３は、ＩＤ６０１に対応するオブジェクトを認識するための特徴情報である。例えば、オブジェクト認識情報６０３は、オブジェクトのアウトライン、色のような属性値を含む。制御部５４０は、端末１１０から受信されたオブジェクト情報から抽出した特徴と、オブジェクト認識情報の属性値とを比較して、オブジェクトが何であるかを判断する。オブジェクト位置情報６０５は、オブジェクトが存在する位置に関する情報である。オブジェクト位置情報６０５は、位置に応じて同じオブジェクトであっても異なる情報を提供するために用いられる。ネイバーリスト（ｎｅｉｇｈｂｏｒ  ｌｉｓｔ）６０７は、オブジェクトから一定距離内に位置するオブジェクトのリストである。上位オブジェクト６０９は、オブジェクトが属している上位オブジェクトについての情報である。下位オブジェクト６１１は、オブジェクトが含まれる下位オブジェクトについての情報である。関連オブジェクト６１３は、論理的な（ｌｏｇｉｃａｌ）関係によって結び付けられる他のオブジェクトに関する情報を保存する。
【００４１】
図５を参照すると、拡張現実情報５２２は、認識されたオブジェクトに関連した様々なデータを保存する。あるオブジェクトに対応する拡張現実情報５２２には、そのオブジェクトごとに同じ識別子が付与されてもよい。コンテキスト情報５２３は、拡張現実情報を個人化するために用いられ、例えば、ユーザの名前、年齢、性別などを含むユーザ情報、テキストメッセージ内で多く使われる単語、よく使うアプリケーション、よく使う検索語、接続サイトのランキング、現在時刻及び位置、感情状態などを含む。
【００４２】
関連オブジェクト情報保存部５３０は、認識されたオブジェクトに関連する一つ以上のオブジェクトについての情報を保存するものであって、オブジェクト情報５３１、関連オブジェクトの拡張現実情報５３２、及びコンテキスト情報５３３を保存する。このような関連オブジェクト情報保存部５３０は、図５に示したように、それぞれ端末ごとに対応し得る複数の関連オブジェクト情報保存部を含む。関連オブジェクト情報保存部５３０の各々は、対応する端末ごと同じ識別子が付与されてもよい。関連オブジェクトは、認識されたオブジェクトから一定距離内に位置するオブジェクトのリストであるネイバーリストに含まれるオブジェクトや、認識されたオブジェクトの上位オブジェクト及び下位オブジェクトを含んでもよい。
【００４３】
図７は、本発明の一実施形態に係るネイバーリストに含まれるオブジェクトを説明するための図である。
【００４４】
図５及び図７を参照すると、オブジェクト１、オブジェクト３、オブジェクト４は、オブジェクト２のネイバーリストに含まれ得る。オブジェクト２が認識される場合、制御部５４０は、オブジェクト１、オブジェクト３、オブジェクト４の認識情報及び拡張現実情報を全体情報保存部５２０から検索し、関連オブジェクト情報保存部５３０に保存する。したがって、オブジェクト２に関連する関連オブジェクトとしてオブジェクト１、オブジェクト３、オブジェクト４のうちいずれかが認識される場合、制御部５４０は、全体情報保存部５２０から対応するオブジェクトを検索する代わりに、関連オブジェクト情報保存部５３０に保存された対応するオブジェクトのオブジェクト情報５３１において認識されたオブジェクトに関連するオブジェクト認識情報を検索する。制御部５４０は、対応するオブジェクトと、検策されたオブジェクト認識情報とを比較する。これにより、制御部５４０がオブジェクト認識のために比較しなければならないオブジェクトの個数が減るので、オブジェクト認識時間を短縮させることができる。また、比較しなければならないオブジェクトの個数が減るので、認識率の改善に寄与することが可能となる。例えば、この方法は、３Ｄマーカーのようにマーカーの構成が複雑で見る角度によって変わりうる場合など、歪んだ形状を有するマーカーを認識する場合に、特に有用である。
【００４５】
図８は、本発明の一実施形態に係る上位オブジェクトまたは下位オブジェクトを説明するための図である。
【００４６】
図８を参照すると、‘ＳＢＫコーヒー’のロゴは、上位オブジェクトに該当し、メニューは、下位オブジェクトに該当する。したがって、図５及び図８を参照すると、上位オブジェクトに対応する‘ＳＢＫコーヒー’のロゴが認識されると、制御部５４０は、‘ＳＢＫコーヒー’ロゴの下位オブジェクトに対応するメニューについての認識情報及び拡張現実情報を、全体情報保存部５２０から獲得する。したがって、以後、再びメニューが認識されると、制御部５４０は、全体情報保存部５２０からメニュー情報を検索せずに、関連オブジェクト情報保存部５３０からメニュー情報を迅速に検索して獲得するため、これにより、認識率の改善に貢献することができる。
【００４７】
再び図５を参照すると、制御部５４０は、前述した各構成要素を制御し、オブジェクト間の関連性を利用した拡張現実提供の方法を実行する、ハードウェアプロセッサまたはこのハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。このような制御部５４０は、オブジェクト認識モジュール５４１と、拡張現実情報検索モジュール５４２と、関連オブジェクト検索モジュール５４３と、コンテキスト情報管理モジュール５４４とを含む。
【００４８】
オブジェクト認識モジュール５４１は、通信部５１０を通じて端末１１０から受信したオブジェクト情報から、関心オブジェクト（ｏｂｊｅｃｔ−ｏｆ−ｉｎｔｅｒｅｓｔ）を検出する。すなわち、オブジェクト認識モジュール５４１は、端末１１０から受信したオブジェクト情報から抽出された特徴と、オブジェクト情報５２１、５３１に含まれるオブジェクト認識情報との比較により、受信したオブジェクト情報に含まれるオブジェクトのＩＤを検出する。本発明の実施形態において、オブジェクト認識モジュール５４１が、端末１１０に対応する関連オブジェクト情報保存部５３０に含まれるオブジェクト情報５３１を用いてオブジェクトを認識した場合、制御部は端末１１０から受信したオブジェクト情報が以前に受信したものであると判断する。また、本発明の実施形態において、オブジェクト認識モジュール５４１は、複数のオブジェクトが含まれる情報を端末１１０から受信する場合、認識が容易なオブジェクトを優先的に検索しうる。例えば、図８を参照すると、上位オブジェクトである‘ＳＢＫコーヒー’ロゴと、下位オブジェクトである‘メニュー’とを比較すると、相対的に複雑な構成を有することから、‘メニュー’を認識する方が、より多くの時間がかかりうる。したがって、オブジェクト認識モジュール５４１は、上位オブジェクトである‘ＳＢＫコーヒー’ロゴを先に認識した後、それと関連した下位オブジェクトの認識情報を獲得する。‘ＳＢＫコーヒー’ロゴの下位オブジェクト情報としてメニューについての情報を先に獲得することにより、メニューについての認識率を改善させることができる。また、本発明の実施形態において、オブジェクト認識モジュール５４１は、オブジェクト認識を順次に行うことができ、例えば、同じ‘ＳＢＫコーヒー’ロゴを認識しても、‘ＳＢＫコーヒー’ロゴが付着（ａｔｔａｃｈｅｄ）されている位置又は検出される位置によって、異なる結果値（ｄｉｆｆｅｒｅｎｔ  ｒｅｓｕｌｔ  ｖａｌｕｅ）を出力することもできる。オブジェクト認識モジュール５４１は、１次的に‘ＳＢＫコーヒー’ロゴを認識し、２次的にロゴが付着されている位置又は配置されている位置を認識してもよい。例えば、“大学路”に位置するＳＢＫコーヒー店のメニューと、“江南”に位置するＳＢＫコーヒー店のメニューとが異なる場合、ＳＢＫコーヒー店の位置に応じて、オブジェクト認識モジュール５４１は、異なる識別子を出力することができる。
【００４９】
拡張現実情報検索モジュール５４２は、オブジェクト認識モジュール５４１によって認識されたオブジェクトに対応する拡張現実情報５２２、５３２を検索する。すなわち、拡張現実検索モジュール５４２は、認識されたオブジェクトの識別子と同じ識別子が付与された拡張現実情報を検索する。本発明の実施形態において、拡張現実検索モジュール５４２は、認識されたオブジェクトが、ある端末に対応し、以前にも認識されたオブジェクトである場合、当該端末に対応する関連オブジェクト情報保存部５３０から拡張現実情報５３２を検索する。
【００５０】
関連オブジェクト検索モジュール５４３は、オブジェクト認識モジュール５４１から認識されたオブジェクト識別子に対応するオブジェクトと関連した関連オブジェクトの認識情報及び拡張現実情報を、全体情報保存部５２０から検出し、検索された関連オブジェクトの認識情報及び拡張現実情報を、関連オブジェクト情報保存部５３０に保存する。関連オブジェクトは、図６に図示したようなオブジェクト情報構造のネイバーリストに含まれてもよく、オブジェクト情報構造の上位オブジェクト及び下位オブジェクトであってもよい。このとき、関連オブジェクト検索モジュール５４３は、１次的な関連性を有する関連オブジェクトの情報を検索して保存し、２次的なまたはそれ以上の関連性を有する関連オブジェクトの情報を検索して保存してもよい。例えば、関連オブジェクト検索モジュール５４３は、対応するオブジェクトのネイバーリストに属するオブジェクトを検索して保存してもよく、対応するオブジェクトのネイバーリストに属するオブジェクトのうち、上位オブジェクト及び下位オブジェクトを検索して保存しても良い。また、関連オブジェクト検索モジュール５４３は、検出された関連オブジェクトを、関連オブジェクト情報保存部５３０に保存するとともに、対応する端末１１０に送信してもよく、関連オブジェクト情報保存部５３０に保存せずに、対応する端末１１０に送信してもよい。
【００５１】
コンテキスト情報管理モジュール５４４は、各端末ユーザの個人化情報を管理する。コンテキスト情報管理モジュール５４４は、通信使用履歴（ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｕｓｅ  ｈｉｓｔｏｒｙ）、ユーザ情報、各端末ユーザによって登録された記号情報（ｓｙｍｂｏｌ  ｉｎｆｏｒｍａｔｉｏｎ）に基づき推定される各端末ユーザの好み（ｐｒｅｆｅｒｅｎｃｅ）を、コンテキスト情報として生成してもよい。このようなコンテキスト情報の例としては、ユーザの性別、年齢、頻出検索語、接続サイト、感情状態、及び時間情報などが含まれうる。
【００５２】
拡張現実情報検索モジュール５４２及び関連オブジェクト検索モジュール５４３は、コンテキスト情報管理モジュール５４４によって管理されるコンテキスト情報５２３を用いて、各端末に対応する個人化された情報を検索してもよい。すなわち、あるオブジェクトに付与された識別子に基づいて複数の拡張現実情報が検索されると、検索された拡張現実情報のうち、コンテキスト情報を用いてフィルタリングされた拡張現実情報が対応する端末に送信され得る。
【００５３】
また、コンテキスト情報管理モジュール５４４は、コンテキスト情報を点数化して管理してもよい。もし、Ａというユーザが、午後２時〜３時頃に、「コーヒー」を検索したならば、点数として、「午後２時」に１点、「午後３時」に１点、「コーヒー」に１点を付加してもよい。したがって、Ａというユーザが、午後２時に端末に接続した場合、ユーザＡに、インターネット、ウェブサイト、例えば検索サイトのウィンドウ、及びコーヒー関連情報を、優先的に提供してもよい。そして、図面には図示されていないが、図５に示したサーバ構成のうち、一部または全部の機能が、端末によって提供されてもよい。
【００５４】
以下、上述した拡張現実を提供するシステムにより実行される、本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供方法について、図９及び図１０を参照して説明する。また、説明の便宜上、下記では、図２に図示された端末の制御部２６０を端末といい、図５に図示されたサーバの制御部５４０をサーバという。
【００５５】
図９及び図１０は、本発明の一実施形態に係るオブジェクト間の関連性を利用した拡張現実提供方法を説明するためのフローチャートである。
【００５６】
図９は、端末が第１のオブジェクトを認識する場合のフローチャートであり、図１０は、端末が、最初に認識した第１のオブジェクトに関連する情報を用いて、第２のオブジェクトを認識する場合のフローチャートである。図９及び図１０に図示された例は、図５を参照して説明され得る。
【００５７】
図９を参照すると、端末は、操作（ｏｐｅｒａｔｉｏｎ）８１０でオブジェクト情報を獲得する。例えば、オブジェクト情報は、カメラを通じて獲得された撮影イメージ、音データ、位置データのうち一つ以上であり得る。例えば、端末は、第１オブジェクトの撮影イメージを獲得するとともに、第１オブジェクトの位置する位置情報を獲得してもよい。そして、端末は、操作８２０において、前記獲得されたオブジェクト情報をサーバに送信し、第１オブジェクトに対応する拡張現実情報を送信するようにサーバにリクエストする。そうすると、サーバは、操作８３０において、前記送信されたオブジェクト情報から関心オブジェクトを認識する。すなわち、サーバは、オブジェクト情報が関心オブジェクトの撮影イメージである場合、関心オブジェクトのアウトラインなどの特徴を抽出し、前記抽出した特徴を全体情報保存部５２０（図５参照）に保存された認識情報と比較し、関心オブジェクトの特徴に適合する認識情報があるかを判断する。これにより、関心オブジェクトの識別子を検出できる。
【００５８】
本発明の実施形態において、オブジェクト認識率を高めるために、サーバは、オブジェクトの認識にあたり、複数のオブジェクトが存在する場合、比較的認識が容易なオブジェクトを優先的に認識する。サーバは、もっとも簡単に認識できるオブジェクトを最初に認識してもよい。例えば、サーバーは、バーコードまたは数字形態のマーカーの認識は、複雑な（ｃｏｍｐｌｅｘ）オブジェクトよりも比較的容易に認識することができるため、これを関心オブジェクトとして、第１に認識する方法を用いてもよい。例えば、複雑なオブジェクトは、絵、文字、数字の組み合わせから構成されるものであってもよい。例えば、最大サイズを有する複雑なオブジェクトの第１特徴を分析し、１次カテゴリを検出した後、次に大きなサイズを有する複雑なオブジェクトの第２特徴を分析し、１次カテゴリの下位カテゴリである２次カテゴリを検出することにより、複雑なオブジェクトを認識してもよい。
【００５９】
また、本発明の一実施形態において、サーバは、一つの特徴を用いてオブジェクト識別子を認識するのではなく、複数のオブジェクトを用いてオブジェクト識別子を検出してもよい。例えば、オブジェクトとして同じ形を有する複数のオブジェクトまたはマーカーが、複数の異なる位置に存在する場合、オブジェクトまたはマーカーのイメージを撮影することにより取得されたイメージ情報及びオブジェクトまたはマーカーの位置情報を、オブジェクト情報として受信することができる。このとき、サーバは、オブジェクトが撮影されたイメージに対応するオブジェクトの識別子と同様に、オブジェクトの位置に応じて認識されたオブジェクトの識別子を検出してもよい。例えば、撮影されたオブジェクトのイメージが特定の自動車メーカのロゴである場合、同じロゴが複数の位置に付着され、また検出され得る。第１位置は、年齢層の高い人の往来が頻繁な場所であるかもしれないし、第２位置は、若い人が集まる場所かもしれない。このような場合、サーバは、ユーザからその場所の位置情報またはロゴを受信し、ロゴに対応する識別子と、年齢層別に区分される識別子を検出してもよい。したがって、年齢層の高い人々の往来の多い場所に対応する拡張現実情報は、中型車情報であり、年齢層の若い人が集まる場所に対応する拡張現実情報は、スポーツカー情報であってもよい。
【００６０】
サーバは、操作８４０において、検出されたオブジェクト識別子に対応する拡張現実情報を検出し、オブジェクト識別子と関連した関連オブジェクトの情報を全体情報保存部５２０から検出し、検出された関連オブジェクトの情報を関連オブジェクト情報保存部５３０に保存する。例えば、サーバは、認識されたオブジェクトまたは情報のネイバーリストに含まれるオブジェクト情報、若しくは上位オブジェクトまたは下位オブジェクトについての情報を検出し、保存する。このとき、操作８５０において、サーバは、端末ごとに対応する関連オブジェクト情報を分類（ｃｌａｓｓｉｆｙ）し、保存する。操作８５０において、サーバは、関連オブジェクトに関する情報を個別の操作で、または順次、検出して保存してもよい。
【００６１】
サーバは、操作８６０において、検出された拡張現実情報を端末に送信する。このとき、サーバは、対応するオブジェクトについての情報だけではなく、それと関連する関連オブジェクトについての情報も共に送信してもよい。また、サーバは、コンテキスト情報に基づいて拡張現実情報または関連オブジェクト情報をフィルタリングし、フィルタリングされた情報を端末に送信してもよい。
【００６２】
端末は、操作８７０において、受信された拡張現実情報を出力部２２０（図２参照）を通じて出力する。このとき、端末は、認識されたオブジェクトについての拡張現実情報だけではなく、認識されたオブジェクトと関連した情報をも出力してもよい。すなわち、端末は、獲得されたオブジェクト情報についての拡張現実情報とともに、ユーザに有益であると予想されるオブジェクトについての情報をも提供することが可能となる。例えば、端末は、認識されたオブジェクトの関連オブジェクトについての拡張現実情報を出力すると同時に、認識されたオブジェクトの上位オブジェクト及び下位オブジェクト、関連オブジェクトへのアクセスパスといった関連オブジェクトの情報を提供することができる。本発明の一実施形態として、関連オブジェクト情報保存部５３０に保存されている関連オブジェクトをハイライト（Ｈｉｇｈｌｉｇｈｔ）されるように表示部に出力して、関連されていない他のオブジェクトと区分されるように表示してもよい。
【００６３】
また、端末は、本発明の一実施形態において、コンテキスト情報に基づいてフィルタリングされた情報を出力してもよい。
【００６４】
次に、図１０を参照して、以前に認識されたオブジェクトを認識する、関連オブジェクトを利用したオブジェクト認識方法を、図１０を参照して説明する。
【００６５】
図１０に図示した端末においては、オブジェクトの認識が以前に実行された状態にある。端末は、操作９１０においてオブジェクト情報を獲得し、操作９２０において獲得されたオブジェクト情報をサーバに送信する。操作９３０において、サーバは、全体情報保存部５２０にオブジェクトを検索せず、関連オブジェクト情報保存部５３０を検索してオブジェクト認識を実行し、対応するオブジェクトを検索する。そして、操作９４０において、サーバは、関連オブジェクト情報保存部５３０から、オブジェクトの認識が可能であるかを判断する。
【００６６】
操作９４０の判断の結果、関連オブジェクト情報保存部５３０からオブジェクトが認識されると判断された場合、サーバは、操作９５０において、関連オブジェクト情報保存部５３０から認識されたオブジェクトについての拡張現実情報を検出する。
【００６７】
操作９４０の判断の結果、関連オブジェクト情報保存部５３０からオブジェクトが認識されないと判断された場合、サーバは、操作９６０において、全体情報保存部５２０からオブジェクトの拡張現実情報を検索する。操作９７０で、全体情報保存部５２０からオブジェクトの認識が可能であるかを判断する。オブジェクトが全体情報保存部５２０から検出されると判断された場合、サーバは、操作９８０において、認識されたオブジェクトについての拡張現実情報を全体情報保存部５２０から検出する。しかし、操作９７０において、全体情報保存部５２０からオブジェクトが認識されないと判断された場合、サーバはオブジェクト認識が失敗したと判断し、操作９２０の処理に進む。
【００６８】
操作９９０において、関連オブジェクト情報保存部５３０又は全体情報保存部５２０によりオブジェクトが認識された場合、サーバは、全体情報保存部５２０を検索して、認識されたオブジェクトに関連する関連オブジェクトを検索して関連オブジェクト情報保存部５３０を更新（ｕｐｄａｔｅ）する。
【００６９】
操作１０００において、サーバは検索された拡張現実情報を端末に送信する。このとき、オブジェクトについての拡張現実情報だけではなく、関連オブジェクト情報も共に送信しうる。そうすると、端末は、操作１０１０において、受信された拡張現実情報を出力する。このとき、操作９１０で獲得された関連オブジェクト情報についての拡張現実情報だけではなく、受信された関連オブジェクト情報のうちユーザに有益であると予想されるオブジェクトについての情報を提供することができる。例えば、端末は、対応するオブジェクトについての拡張現実情報を出力するとともに、上位オブジェクト及び下位オブジェクトの関連オブジェクトの情報または関連オブジェクトへのアクセスパスといった関連オブジェクトの情報を提供することができる。
【００７０】
図１１は、本発明の一実施形態に係るオブジェクト間の関連性を用いて提供される拡張現実を示した図である。図１１は、複数の拡張現実サービスプロバイダが提供するオブジェクトが共存する（ｃｏｅｘｉｓｔ）場合の拡張現実提供方法を説明するための図である。
【００７１】
図１１には、獲得されたイメージに共存する異なるイメージ認識方法（ｉｍａｇｅ  ｒｅｃｏｇｎｉｔｏｎ  ｍｅｔｈｏｄｓ）を用いる複数の拡張現実サービスプロバイダによって提供されたオブジェクトが図示されている。このとき、最初に認識されたオブジェクトを提供した拡張現実サービスプロバイダの提供するオブジェクト認識は、他の拡張現実サービスプロバイダの提供するオブジェクト認識より、迅速に実行されうる。したがって、本発明を適用すれば、最初に認識されたオブジェクトと関連するネイバーリストのうち、最初に認識されたオブジェクトを提供した拡張現実サービスプロバイダの提供するオブジェクトを、例えばオブジェクトにグラデーションを付けるといったハイライトで示してもよい。
【００７２】
図１２は、本発明の一実施形態に係るオブジェクト間の関連性を用いて提供される拡張現実を示した図である。図１２は、マーカーレスオブジェクトに対応させてマーカーを用いた拡張現実提供方法を説明するための図である。
【００７３】
図１２を参照すると、特定のマーカーが認識されると、マーカーと「Ｎソウルタワー」というオブジェクトとの間の関連性の情報が確保される。例えば、「ザ・プレイス」というレストランで、「ザ・プレイス」というレストランに対応するマーカーに基づいてユーザがあるサービスを利用する場合、マーカーは、「Ｎソウルタワー」の２階の「ザ・プレイス」というレストラン内で用いられるという情報を含む。その情報は、端末またはサーバに保存される。ユーザが、以後、マーカーに基づきサービスの提供を希望する場合、端末に保存された情報を利用するか、「Ｎソウルタワー」というオブジェクトのイメージを撮影することによって、オブジェクトに含まれるマーカーを受信し、対応するマーカーに基づきサービスを利用することができるようになる。「ザ・プレイス」というレストランで使用されたマーカーの上位オブジェクト情報は、「Ｎソウルタワー」を含み、「Ｎソウルタワー」のオブジェクトの下位オブジェクト情報は、「ザ・プレイス」というレストランに位置したマーカーについての情報を含む。
【００７４】
このように、本発明によれば、ユーザからリクエストされることが予想されるオブジェクトの認識情報を事前に保存しておくことができるため、迅速なオブジェクト認識が可能となり、オブジェクト認識率を改善させることができる。また、認識されたオブジェクトに対応する拡張現実情報を迅速に検出し、提供できる。
【００７５】
さらに、一度認識されたオブジェクトの情報を、オブジェクト間の関連性に基づき他のオブジェクトの認識に用いることができるため、オブジェクト認識率をさらに向上させることができる。
【００７６】
以上において説明した本発明は、本発明が属する技術分野における通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲において、様々な変更及び変形が可能であると理解される。すなわち、本発明は、特許請求の範囲及びその等価物に含まれる限り、かかる修正及び変形された発明を含み得る。
【産業上の利用可能性】
【００７７】
本発明は、オブジェクト間の関連性を利用した拡張現実提供装置及び方法に関連する技術分野に適用可能である。
【図１】
0005468585.tif 000002
【図２】
0005468585.tif 000003
【図３】
0005468585.tif 000004
【図４】
0005468585.tif 000005
【図５】
0005468585.tif 000006
【図６】
0005468585.tif 000007
【図７】
0005468585.tif 000008
【図８】
0005468585.tif 000009
【図９】
0005468585.tif 000010
【図１０】
0005468585.tif 000011
【図１１】
0005468585.tif 000012
【図１２】
0005468585.tif 000013