(57)【特許請求の範囲】
【請求項１】
オフラインサービスサイトにおいてオフラインサービスラベルを、第1のユーザの拡張現実(AR)クライアント端末によってスキャンするステップと、
前記オフラインサービスラベルの情報およびユーザの識別情報をサーバ端末に送信するステップであって、前記サーバ端末が、前記オフラインサービスラベルの情報に基づいて、前記第1のユーザと、前記オフラインサービスラベルをスキャンした第2のユーザとを含むサービスグループを確立する、ステップと、
前記オフラインサービスラベルの前記情報を送信することに応答して、前記サーバ端末から前記オフラインサービスサイトに関連するサービスデータと前記オフラインサービスラベルとを受信するステップであって、前記サービスデータが前記第1のユーザに関連する情報および前記第2のユーザに関連する情報を含む、ステップと、
前記オフラインサービスラベルの画像と、前記第1のユーザのための予め決定されたオブジェクトとを含むARシーンを、前記第1のユーザのARクライアント端末によって表示するステップであって、前記第1のユーザに対する前記予め決定されたオブジェクトが、ユーザのソーシャルな連絡先である別のユーザによって予め決定されるとともに、前記別のユーザが、前記別のユーザのARクライアント端末を介して前記オフラインサービスサイトのオフラインサービスインタラクションを実行したときに予め決定され、前記別のユーザのARクライアント端末が、前記予め決定されたオブジェクトに対する情報および指定した連絡先である前記第1のユーザのための識別情報を、記憶するために前記サーバ端末に提供する、ステップと、
前記サービスデータに基づいて、前記第1のユーザのARクライアント端末においてサービス・インタラクティブ・インターフェースを出力するステップであって、前記サービス・インタラクティブ・インターフェースが、前記オフラインサービスラベルの前記情報、前記第1のユーザに関連する前記情報、および前記第2のユーザに関連する前記情報を表示し、前記サービス・インタラクティブ・インターフェースが、前記ARシーン内の前記オフラインサービスラベルに対応する位置に表示される、ステップと
を含むコンピュータ実施方法。
【請求項２】
前記スキャンされたオフラインサービスラベルの前記情報およびユーザの識別情報を前記サーバ端末に送信するために、前記第1のユーザのARクライアント端末および前記サーバ端末の間に接続を確立するステップと、
前記受信したユーザ識別情報に基づいて、前記サーバ端末において前記ユーザを識別するステップと、
前記スキャンされたオフラインサービスラベルに基づいて前記オフラインサービスサイトを識別するステップと、
をさらに含む、請求項１に記載のコンピュータ実施方法。
【請求項３】
オフラインサービスサイトのサイトラベルと、前記オフラインサービスラベルの各々に関連する仮想データを格納するデータベースを、前記サーバ端末によって維持するステップと、
前記オフラインサービスラベルを識別するための画像認識を、前記サーバ端末によって実行し、識別されたオフラインサービスラベルが前記データベースにおける第1のオフラインサービスラベルに一致するか否かを判定するステップと、
前記識別されたオフラインサービスラベルが前記データベースにおける前記第1のオフラインサービスラベルに一致する場合、前記第1のオフラインサービスラベルに関連する仮想データを前記第1のユーザのARクライアント端末に、前記サーバ端末によってプッシュするステップと
をさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項４】
前記サービス・インタラクティブ・インターフェースを使用して、前記ユーザによって選択された第1のオブジェクトの情報を、前記サーバ端末に送るステップと、
前記サービス・インタラクティブ・インターフェースを使用して、前記第2のユーザによって選択された第2のオブジェクトの情報を、前記サーバ端末から受信するステップと、
前記サービス・インタラクティブ・インターフェース内の前記第1のオブジェクトの情報および前記第2のオブジェクトの情報を、前記ARシーン内に表示するステップと
をさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項５】
前記サービス・インタラクティブ・インターフェースを使用して、前記ユーザの指定されたソーシャルな連絡先のための第3のオブジェクトを選択するステップと、
前記第3のオブジェクトの情報、前記指定されたソーシャルな連絡先の識別情報、および前記オフラインサービスサイトの識別情報を前記サーバ端末にアップロードするステップと
をさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項６】
前記ユーザの位置を前記サーバ端末にリアルタイムにアップロードするステップと、
第2のオフラインサービスサイトにおいて前記ユーザのための第4のオブジェクトを第3のユーザが選択したとき、通知メッセージを前記サーバ端末から受信するステップであって、前記ユーザの位置と前記第2のオフラインサービスサイトの位置の間の距離が予め定義されたしきい値より小さく、前記通知メッセージは、前記第3のユーザが前記第2のオフラインサービスサイトにおいて前記ユーザのための前記第4のオブジェクトを選択していたことを示す、ステップと
をさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項７】
前記オフラインサービスサイトにおいてサイトラベルを、前記第1のユーザのARクライアント端末によってスキャンするステップと、
前記サイトラベルの情報を、前記サーバ端末に送信するステップと、
前記サイトラベルの前記情報を送信することに応答して、前記オフラインサービスサイトのラベルデータを、前記サーバ端末から受信するステップであって、前記ラベルデータが、前記オフラインサービスサイトに関連する情報を含む、ステップと、
前記オフラインサービスサイトに関連する前記情報を、前記ARシーン内の前記サイトラベルに対応する位置に表示するステップと
をさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項８】
前記サイトラベルの前記情報を送信することに応答して、前記ユーザのソーシャルな連絡先の情報を、前記サーバ端末から受信するステップと、
前記ソーシャルな連絡先の前記情報を、前記ARシーン内の前記サイトラベルに対応する位置に表示するステップと
をさらに含む、請求項7に記載のコンピュータ実施方法。
【請求項９】
前記サイトラベルの前記情報を送信することに応答して、
前記ユーザのための、第4のユーザによって選択された第5のオブジェクトの情報を、前記サーバ端末から受信するステップと、
前記第5のオブジェクトの前記情報を、前記ARシーン内の前記サイトラベルに対応する位置に表示するステップと
をさらに含む、請求項7に記載のコンピュータ実施方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の方法を実行するようにコンピュータシステムによって実行可能な1つまたは複数の命令を格納したコンピュータ可読記憶媒体。
【請求項１１】
1つまたは複数のコンピュータと、
前記1つまたは複数のコンピュータに相互運用可能に結合され、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備し、前記1つまたは複数の命令が、前記1つまたは複数のコンピュータによって実行されるとき、請求項１〜９のいずれか一項に記載の方法を実行する、コンピュータ実施システム。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権主張
本出願は、2016年10月27日に出願された中国特許出願201610896495.Xおよび2017年10月24日に出願された米国特許出願15/792,594の優先権を主張するものであり、参照によりその内容全体が本明細書に組み込まれる。
【背景技術】
【０００２】
拡張現実(AR)技術は、補足情報(例えば、写真、ビデオ、3次元(3D)モデル、および他の感覚増強など)を現実世界の環境に重ね合わせることにより、現実世界の環境(リアリティ)のイメージを拡張するものである。AR技術は、仮想オブジェクトを現実の世界のイメージにオーバーレイし、ユーザの現実感を高め、没入型のインタラクティブな体験をユーザに提供する。
【発明の概要】
【課題を解決するための手段】
【０００３】
本出願は、拡張現実(AR)に基づくオフラインサービス・マルチユーザ・インタラクションについて説明する。
【０００４】
ある実施形態では、ユーザのARクライアント端末は、オフラインサービスサイトでオフラインサービスラベルをスキャンする。オフラインサービスラベルの情報は、サーバ端末に送信される。オフラインサービスラベルの情報に基づいて、サーバ端末は、ユーザと、オフラインサービスラベルをスキャンした第2のユーザとを含むサービスグループを確立する。オフラインサービスラベルの情報を送信することに応答して、サービスデータがサーバ端末から受信される。サービスデータは、ユーザに関連する情報および第2のユーザに関連する情報を含む。サービスデータに基づいて、サービスインタラクティブインターフェースが出力される。サービスインタラクティブインターフェースは、ユーザに関連する情報と第2のユーザに関連する情報を、ARシーンのオフラインサービスラベルに対応する位置に表示する。
【０００５】
説明される主題の実施形態は、以前に説明された実施形態を含めて、コンピュータ実施方法、コンピュータ実施方法を実行するコンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体、および、1つまたは複数のコンピュータに相互運用可能に結合された1つまたは複数のコンピュータメモリと、1つまたは複数のコンピュータによって実行されたとき、非一時的なコンピュータ可読媒体に記憶されたコンピュータ実施方法/コンピュータ可読命令を実行する、有形の、非一時的な、機械可読媒体とを有するコンピュータ実施システム、を使用して実装され得る。
【０００６】
本明細書に説明される主題は、1つまたは複数の以下の利点を実現するために、特定の実施形態において実装され得る。第一に、説明されるアプローチは、オンラインソーシャルサービスを、AR技術を使用してオフラインサービスに統合する。例えば、ユーザがオフラインサービスサイト（レストランまたは物理的な店舗など）にいるとき、ユーザのAR端末は、オフラインサービスサイトに関連するユーザのソーシャルな連絡先の情報（ユーザのソーシャルな連絡先からのレストランのレビューなど）を含むARシーンを表示できる。第二に、説明されるアプローチは、ユーザのためのマルチユーザインタラクティブインターフェースがAR技術を使用して互いに通信することを可能し、ユーザに新しいオフラインサービス経験を提供する。例えば、同じレストランのテーブルで食事するユーザは、個々のAR端末によって提供されたマルチユーザインタラクティブインターフェースを使用して、共同で食べ物を注文できる。他の利点も当業者には明らかであろう。
【０００７】
本明細書の主題の1つまたは複数の実施形態の詳細は、発明の詳細な説明、特許請求の範囲、および添付の図面に記載される。主題の他の特徴、態様、および利点は、発明の詳細な説明、特許請求の範囲、および添付の図面から明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】本願の実施形態による、拡張現実(AR)に基づくオフラインサービス・マルチユーザ・インタラクションのためのコンピュータ実施方法の例を示すフローチャートである。
【図２】本開示の実施形態による、サービスインターフェースの例を示す概略図である。
【図３】本開示の実施形態による、複数の食べ物注文ラベルを使用したサービスインターフェースの例を示す概略図である。
【図４】本開示の実施形態による、唯一の食べ物注文ラベルを使用したサービスインターフェースの例を示す概略図である。
【図５】本開示の実施形態による、ARベースのオフラインサービス・マルチユーザ・インタラクション・システムの例を示すブロック図である。
【図６】本開示の実施形態による、ARベースのオフラインサービス・マルチユーザ・インタラクション・システムを含むハードウェアアーキテクチャの例を示すブロック図である。
【図７】本開示の実施形態による、アルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システムの例を示すブロック図である。
【発明を実施するための形態】
【０００９】
様々な図面における同様の参照番号および参照符号は同様の要素を示す。
【００１０】
以下の詳細な説明は、拡張現実(AR)に基づくオフラインサービス・マルチユーザ・インタラクションを説明し、任意の当業者が1つまたは複数の特定の実施形態の文脈において開示された主題を作成および使用できるようにするために提示される。本開示の範囲から逸脱することなく、開示された実施形態の様々な修正、変更、および置換を行うことができ、それらは当業者には容易に明らかであり、定義された一般原理は他の実施形態および用途に適用できる。いくつかの事例では、説明される主題の理解を得るのに不必要な詳細は、不必要な詳細により1つまたは複数の説明される実装形態を曖昧にしないように、およびそのような詳細が当業者の技術の範囲内である限り、省略され得る。本開示は、説明または図示された実施態様に限定されることを意図しないが、説明される原理および特徴と矛盾しない最も広い範囲を与えるように意図されている。
【００１１】
AR技術は、補足情報(例えば、写真、ビデオ、3次元(3D)モデル、および他の感覚増強など)を現実世界の環境に重ね合わせることにより、現実世界の環境(リアリティ)のイメージを拡張するものである。AR技術は、仮想オブジェクトを現実の世界のイメージにオーバーレイし、ユーザの現実感を高め、没入型のインタラクティブな体験をユーザに提供する。
【００１２】
高いレベルでは、説明されるアプローチは、AR技術に基づいてオンラインマルチユーザソーシャルサービスをオフラインサービスに統合することによって、ユーザインタラクションモードを可能にする。オフラインサービスは、コンピュータによって直接実行されないサービス、例えば物理的なレストラン(オフラインのレストランとも呼ばれる)で食事をすること、またはオンライン店舗ではなく物理的な店舗でショッピングすることを指す。オンラインサービスとオフラインサービスの統合のために、オフラインサービスサイト(物理的な店舗またはレストランなど)は、オフラインサービス・マルチユーザ・インターラクティブ・インターフェース(サービスインターフェースとも呼ばれる)をトリガするために、オフラインサービスラベル(クイックレスポンス(QR)コードなど)を提示できる。各ユーザはAR端末を有することができる。複数のユーザが個々のAR端末を介してオフラインサービスラベルをスキャンした後、各AR端末は、ARシーン(シーンはAR端末を介してユーザが見るものであり、仮想オブジェクトによってオーバーレイされた環境シーンである)に、サービスインターフェースを表示できる。複数のユーザは、ARシーンに表示されたサービスインターフェースを使用して互いに対話することができる。説明されるアプローチは、新しいオフラインサービス・インタラクション・モードをユーザに提供し、AR技術に基づくオンライン・マルチユーザ・ソーシャル・モードとオフラインサービスとのシームレスな統合を達成する。
【００１３】
例えば、説明されるアプローチは、レストランにおけるオフラインの食べ物注文に適用され得る。レストランは、食べ物注文インターフェースをトリガするために食べ物注文ラベル(例えば、特定のQRコード(登録商標)またはレストラン識別情報)を提示できる。テーブルについた複数のユーザが個々のAR端末を介して食べ物注文ラベルをスキャンした後、各AR端末はAR技術ベースの食べ物注文インターフェースを出力することができ、それによって複数のユーザは食べ物注文インターフェースを使用して共同で食べ物を注文できる。
【００１４】
いくつかの実施形態では、ユーザは、AR端末(AR眼鏡、ハンドセット、あるいはヘルメットなど)を装着でき、AR端末はARクライアント端末を含むことができる。ARクライアント端末は、AR技術に基づいて開発されたソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせであってよい。ARクライアント端末は、環境シーンの(例えば、AR端末の視点における画像)の画像スキャンを実行でき、スキャンした画像をサーバ端末にリアルタイムで送信できる。場合によっては、AR端末は、ユーザのモバイル端末(スマートフォンまたはタブレット型のコンピュータなど)であってよく、ARクライアント端末がそのモバイル端末にインストールされている。
【００１５】
サーバ端末は、サーバ、サーバクラスタ、またはサーバクラスタに基づくクラウドプラットフォームであってよい。サーバ端末は、ARクライアント端末にサービスを提供できる。例えば、サーバ端末(または、サーバ端末のバックエンドARエンジン)は、ARクライアント端末によってスキャンされた画像について画像認識を実行でき、画像内のコンテンツを認識できる。サーバ端末はまた、オフラインサービスに関連する仮想データを管理できる。仮想データは、ARクライアント端末によって画像スキャンされた環境シーン上にオーバーレイされるべき仮想オブジェクトの情報を含むことができる。画像認識の結果に基づき、サーバ端末は、関連する仮想データ(例えば、画像内のコンテンツに関連する仮想データ)をARクライアント端末にプッシュできる。
【００１６】
サーバ端末から仮想データを受信した後、ARクライアント端末(または、ARクライアント端末のフロントエンドARエンジン)は、仮想データに基づいて仮想オブジェクトを表示でき、ARクライアント端末によって画像スキャンされた環境シーン上に仮想オブジェクトを重ね合わせることができる。例えば、ユーザはARクライアント端末を使用して、環境シーン内の特定の識別情報(例えば、レストランのフロントドア上のQRコード(登録商標))をスキャンできる。スキャンが完了すると、ARクライアント端末は、サーバ端末にスキャンした画像の情報をアップロードすることができ、サーバ端末は画像認識を実行できる。特定の識別情報の認識が成功した後、サーバ端末は特定の識別情報に関連する仮想データをARクライアント端末にプッシュできる。サーバ端末からの特定の識別情報の仮想データを受信すると、ARクライアント端末は、ARシーンモデルを作成し、ARシーンモデルにおける特定の識別情報に対応する位置に仮想データを表示し、従ってサーバ端末からの仮想データと環境シーンを重ね合わせることができる。
【００１７】
いくつかの実施形態では、ARクライアント端末が、サーバ端末の代わりに画像認識を実行できる。例えば、環境シーンにおける特定の識別情報のスキャンが完了すると、ARクライアント端末は、スキャンした画像に対して画像認識を実行し、特定の識別情報を識別できる。ARクライアント端末は、サーバ端末が特定の識別情報に関連する仮想データをARクライアント端末にプッシュできるように、識別した特定の識別情報の情報をサーバ端末に送信できる。
【００１８】
図1は、本開示の実施形態による、ARベースのオフラインサービス・マルチユーザ・インタラクションのためのコンピュータ実施方法100の例を示すフローチャートである。明確に提示するために、続く説明は、本明細書の他の図面の文脈において方法100を概して説明するものである。しかしながら、方法100は、必要に応じて、例えば、任意のシステム、環境、ソフトウェア、ハードウェア、あるいは、システム、環境、ソフトウェア、ハードウェアの組み合わせによって実行できることが理解されよう。いくつかの実施形態では、方法100のそれぞれのステップは、並列に、組み合わせて、ループして、あるいは任意の順序で実行できる。
【００１９】
102において、ユーザのARクライアント端末は、オフラインサービスサイトでサイトラベルをスキャンする。オフラインサービスサイトは、例えば、物理的な店舗またはレストランなどのオフラインサービスを提供するサイトであってよい。サイトラベルは、ロゴ、オフラインサービスサイトの画像識別情報、または本開示に矛盾しない他のラベルであってよい。例えば、サイトラベルは、レストランのフロントドア上のQRコード(登録商標)であってよい。
【００２０】
いくつかの実施形態では、ARクライアント端末は、位置決め機能および推奨機能を提供するロケーションベースサービス(LBS)アプリケーションを含むことができる。例えば、ARクライアント端末は、店舗の場所、またはユーザの現在の場所に近い推奨店舗を決定できる。ユーザは、ARクライアント端末によって提供される位置決めサービスを介して、オフラインサービスサイトを探すことができる。場合によっては、ユーザは、LBSサービスに基づいてARクライアント端末によって推奨された複数のオフラインサービスサイトからオフラインサービスサイトを選択できる。ユーザがオフラインサービスサイトに到着した後、ユーザはARクライアント端末を使用して、オフラインサービスサイトのサイトラベルをスキャンできる。方法100は、102から104に進む。
【００２１】
104において、ARクライアント端末は、スキャンしたサイトラベルの情報をリアルタイムでサーバ端末に送信する。いくつかの実施形態では、ARクライアント端末はまた、ユーザ識別情報をサーバ端末に送信する。ユーザ識別情報は、ユーザを一意に特定するために使用され得る。例えば、ユーザ識別情報は、ARクライアント端末にログインするためにユーザによって使用されるアカウント情報、ソーシャルアプリケーション(例えば、ARクライアント端末によって使用されるソーシャルアプリケーション)のユーザのソーシャルアカウント情報、またはユーザの携帯電話番号であってよい。
【００２２】
いくつかの実施形態では、ARクライアント端末は、サーバ端末と接続(送信制御プロトコル(TCP)コネクションなど)を確立することができ、スキャンしたサイトラベルの情報およびユーザ識別情報をサーバ端末に送信するために、確立した接続を使用できる。方法100は、104から106に進む。
【００２３】
106において、ARクライアント端末は、オフラインサービスサイトに関連する仮想データを受信する。例えば、サーバ端末は、受信したユーザ識別情報に基づいてユーザを特定することができ、スキャンしたサイトラベルに基づいてオフラインサービスサイトを特定できる。サーバ端末は、多数のオフラインサービスサイトのサイトラベルならびに個々のサイトラベルに関連する仮想データを記憶するデータベースを保持できる。サーバ端末(またはサーバ端末におけるバックエンドARエンジン)は、画像認識を実行して、スキャンした画像におけるサイトラベルを特定するとともに、特定したサイトラベルがデータベース内の任意のサイトラベルに一致するかどうかを判定できる。特定したサイトラベルがデータベース内のサイトラベルに一致する場合、サーバ端末は、一致したサイトラベルに関連する仮想データをARクライアント端末にプッシュできる。サイトラベルに関連するプッシュされた仮想データは、様々な情報を含むことができる。例えば、以下の3タイプの情報が、ARクライアント端末にプッシュされてよい。
【００２４】
プッシュされたデータの第1のタイプは、サイトラベルに関連するラベルデータであってよい。ラベルデータは、サイトラベルに対応するオフラインサービスサイトによって自己定義される、またはオフラインサービスサイトの訪問者によって提出され得る。ラベルデータは、サイトラベルの説明情報、オフラインサービスサイトの情報(サービスの特徴、価格、特別オファー、またはオフラインサービスサイトの客層など)、および本明細書に矛盾しない他の情報を含むことができる。例えば、レストランのラベルデータは、メニュー、食べ物風味(food flavor)、価格、客層、特別オファー、またはレストランの割引クーポンなどを含むことができる。
【００２５】
いくつかの実施形態では、ユーザのARクライアント端末がサイトラベルをスキャンした後、ARクライアント端末は、ARシーン内のサイトラベルを認識および表示できる。サーバ端末からサイトラベルのラベルデータを受信した後、ARクライアント端末は受信したラベルデータを視覚的にレンダリングするとともに、ARシーン内のサイトラベルに対応する位置にラベルデータを表示できる。例えば、オフラインサービスサイトがオフラインのレストランであり、サイトラベルがレストランのフロントドアに存在するレストランのロゴであると仮定する。ユーザがレストランに入ると、ユーザのAR端末はフロントドア上のロゴをスキャンし、スキャンしたロゴをサーバ端末に送り、ラベルデータを受信する。ユーザがレストランに入った後、物理的なロゴがもはやAR端末の視野にないが、AR端末はARシーンに仮想ロゴを表示し、仮装ロゴの近くまたは上にラベルデータを表示する。
【００２６】
プッシュされたデータの第2のタイプは、ユーザの連絡先の情報を含むことができる。例えば、ユーザに関連付けられた連絡先の情報は、ソーシャルアプリケーションにおいてユーザとの社会的関係(social relationship)を有する友人に関連付けられた情報であってよい。ユーザとの社会的関係を有する友人は、ユーザとの直接的または間接的な社会的関係を有する友人であってよい。ユーザとの間接的な社会的関係を有する友人は、ユーザの友人との社会的関係を有する友人であってよい。例えば、ユーザAがユーザBの友人であり、ユーザCがユーザBの友人である場合、ユーザCはユーザAとの間接的な社会的関係を有する友人である。ARクライアント端末によってアップロードされた画像情報からサイトラベルを特定し、受信したユーザ識別情報に基づいてユーザを特定した後、サーバ端末は、データベースを検索し、ユーザに関連付けられた連絡先の情報を見つけ出し、見つけた情報をARクライアント端末にプッシュできる。
【００２７】
例えば、受信したユーザ識別情報は、ソーシャルアプリケーションのユーザのアカウント情報である。ユーザのソーシャルアカウント情報に基づいて、サーバ端末は、ソーシャルデータベース(例えば、ソーシャルアプリケーションのデータベース)を検索し、ユーザの直接的および間接的な友人を見つける。スキャンされたサイトラベルに基づいてオフラインサービスサイトを特定した後、サーバ端末は、オフラインサービスサイトの訪問者データベースを検索し、例えば、このオフラインサービスサイトを訪れたことのあるユーザの直接的および間接的な友人およびこれらの友人からのカスタマーレビューを決定する。次いで、サーバ端末は友人情報をARクライアント端末にプッシュする。ARクライアント端末は、受信した友人情報を視覚的にレンダリングし、ARシーン内のサイトラベルに対応する位置に友人情報を表示する。例えば、ユーザの連絡先の情報はARシーンのレストランのロゴの位置に表示されてよい。
【００２８】
プッシュされたデータの第3のタイプは、別のユーザがオフラインサービスサイトでオフラインサービスインタラクションを実行したときにその別のユーザによってユーザに対して予め決定または予め選択されたオブジェクトの情報を含むことができる。ステップ114において議論するように、マルチユーザオンラインソーシャルモードをオフラインサービスインタラクションに統合するために、ユーザがユーザのARクライアント端末を介してオフラインサービスサイトでオフラインサービスインタラクションを実行するとき、ユーザはユーザの社会的関係に基づいて、別のユーザ(例えば、ユーザの友人)のためのオブジェクト(例えば、ギフト券)を予め決定できる。ARクライアント端末は、指定した連絡先のためにユーザによって予め決定されたオブジェクトの情報、および指定した連絡先の識別情報を、記憶するためにサーバ端末にアップロードできる。
【００２９】
ユーザの識別情報を受信した後、サーバ端末は、このユーザのために別のユーザによって予め決定された任意のオブジェクトをサーバ端末が記憶しているか否かを判定できる。オブジェクトがユーザのために記憶されていた場合、サーバ端末はオブジェクトの情報をユーザのARクライアント端末にプッシュできる。サーバ端末からオブジェクト情報を受信した後、ARクライアント端末は、オブジェクトを視覚的にレンダリングし、ARシーン内のサイトラベルに対応する位置にオブジェクトを表示できる。
【００３０】
例えば、ユーザAがレストランで食事をしていたときに、ユーザAは、ユーザAのARクライアント端末を介して指定した連絡先であるユーザBのためのギフト券を購入した。次に、ユーザBがレストランに到着し、ユーザBのARクライアント端末を介してレストランのロゴ(レストランのサイトラベル)をスキャンすると、ユーザBのARクライアント端末は、ARシーン内のレストランに対応する位置に、ユーザAによって購入されたギフト券を表示できる。
【００３１】
要するに、ユーザがオフラインサービスサイトに到着したとき、ユーザのAR端末を使用してオフラインサービスサイトのサイトラベルをスキャンすることによって、AR端末は、ARシーンをリアルタイムにユーザに表示でき、ここで、ARシーンは、例えば、サイトラベルの画像、このオフラインサービスサイトを訪問したことのあるユーザの連絡先の情報、およびユーザの連絡先によってユーザのために予め決定されたオブジェクトを含む。そうすることにより、ユーザのオンラインのソーシャルな連絡先がオフラインサービスに統合され、ユーザのオンラインの社会的関係が、オフラインサービスサイトでのユーザ体験を向上するために利用されることができる。方法100は、106から108に進む。
【００３２】
108において、ARクライアント端末は、オフラインサービスサイトでオフラインサービスラベルをスキャンする。オフラインサービスラベルは、オフラインサービスマルチユーザインターラクティブインターフェースをトリガするために使用されるオフラインサービスサイトに提示される識別情報(グラフィカル識別情報など)であってよい。例えば、オフラインサービスラベルはロゴまたはQRコード(登録商標)であってよい。オフラインサービスラベルは、サイトラベルと同じまたは異なっていてよい。方法100は、108から110に進む。
【００３３】
110において、ARクライアント端末は、スキャンしたオフラインサービスラベルの情報をサーバ端末に送信し、ステップ112および114でより詳細に議論するが、サーバ端末は、マルチユーザサービスグループを確立するとともに、そのサービスグループのためのオフラインサービス・マルチユーザ・インタラクティブ・インターフェースをトリガする。オフラインサービス・マルチユーザ・インタラクティブ・インターフェースは、複数のユーザ間でオフラインサービスインタラクションを実行し、複数のユーザ間で相互通信およびサービスデータの共有を可能にするためのサービスインターフェースである。サービスインターフェースは、各ユーザのARクライアント端末によって表示される。いくつかの実施形態では、サービスインターフェースは、サーバ端末がスキャンされたサイトラベルを受信した後にステップ104においてトリガされ、ステップ106においてARクライアント端末がサービスインターフェースのサイトラベルに関連する仮想データを表示する。
【００３４】
例えば、複数のユーザがオフラインサービスサイトに到着した後、各ユーザのARクライアント端末がオフラインサービスラベルをスキャンする。各ARクライアント端末は、スキャンしたオフラインサービスラベルの情報をサーバ端末に送信できる。スキャンされた画像からオフラインサービスラベルを認識した後、サーバ端末は、認識したオフラインサービスラベルに基づいて複数のユーザのためのサービスグループを確立できる(例えば、同じオフラインサービスラベルをスキャンしたユーザが、サービスグループに割り当てられる)。
【００３５】
オフラインのレストランの例では、オフラインサービスラベルは、マルチユーザ食べ物注文インターフェースをトリガするための食べ物注文ラベルであってよい。例えば、レストランの各テーブルは、唯一の食べ物注文ラベル（1つの食べ物注文ラベルまたは複数の同一の食べ物注文ラベル）を有し、異なるテーブルは異なる食べ物注文ラベルを有し、1つのテーブルに座った複数のユーザは、同じ食べ物注文ラベルをスキャンする。サーバ端末は、同じ食べ物注文ラベルをスキャンしたユーザをグループ化することによって食べ物注文グループを確立でき、同じテーブルのユーザのためのサービスインターフェースをトリガできる。食べ物注文インターフェースは、各ユーザのARクライアント端末を介してARシーンに表示され、グループ内のユーザは、食べ物注文インターフェースを使用して共同で食べ物を注文できる。方法100は、110から112に進む。
【００３６】
112では、サービスグループ内の各ARクライアント端末は、サーバ端末からサービスグループに関連するサービスデータを受信する。サービスデータは、サービスグループのためのサービスインターフェースに関連するデータを含むことができる。ステップ114においてより詳細に議論するように、サービスデータは、サービスインターフェースをレンダリングするために、サービスグループ内のARクライアント端末によって使用され得る。例えば、サービスデータは、サービスグループ内の各ユーザによってサービスインターフェース上で実行されるアクションを示すことができる。いくつかの実施形態では、サービスデータはまた、レストランメニュー、食べ物の価格、および特別オファーなどの、オフラインサービスラベルに関連する情報を含むことができる。例えば、サーバ端末は、多数のオフラインサービスラベルおよび各オフラインサービスラベルの情報データを記憶するデータベースを保持できる。オフラインサービスラベルの情報を記憶するためのデータベースは、サイトラベルの情報を記憶するデータベースと同じでもよいし、異なっていてもよい。サーバ端末は、ユーザのAR端末によってスキャンされたオフラインサービスラベルがデータベース内に記憶された任意のオフラインサービスラベルに一致するかどうかを判定できる。一致したサービスラベルがデータベース内で見つかった場合、サーバ端末は、一致したサービスラベルの情報データをサービスグループ内のユーザにプッシュできる。方法100は、112から114に進む。
【００３７】
114において、サーバ端末から受信されたサービスデータに基づいて、サービスグループ内の各ARクライアント端末は、サービスインターフェースをそれぞれのユーザに表示する。ARクライアント端末は、ARシーンにおけるオフラインサービスラベルに対応する位置にサービスインターフェースを表示できる。例えば、AR端末がレストランのテーブル上のオフラインサービスラベルをスキャンした後、AR端末がオフラインサービスラベルから離れたため、オフラインサービスラベルがもはやAR端末の視野にないことがある。しかしながら、AR端末はARシーン内に仮想サービスラベルを表示するとともに、仮想サービスラベルの近くまたは上にサービスインターフェースを表示できる。いくつかの実施形態では、AR端末はARシーンのサイトラベルの位置にサービスインターフェースを表示できる。
【００３８】
各ユーザはそれぞれのAR端末によって提供されるサービスインターフェース上でアクションを行うことができる。例えば、サービスグループ内の特定のユーザが特定のユーザのARクライアント端末によって表示されるサービスインターフェース上でアクションを実行するとき、特定のユーザのARクライアント端末は、自身のサービスインターフェースを更新して、特定のユーザによって実行されたアクションを反映できる。特定のユーザのARクライアント端末はまた、特定のユーザによって実行されるアクションの情報をサーバ端末に送信する。サーバ端末は、特定のユーザによって実行されたアクションを示すサービスデータをサービスグループ内の他のユーザに送信でき、それにより、他のユーザのARクライアント端末は、それぞれのサービスインターフェースを更新して、特定のユーザによって実行されたアクションを反映できる。同様に、特定のユーザのAR端末は、グループ内の他のユーザによって実行されたアクションを示すサービスデータ、ならびに対応するユーザ識別情報を受信でき、それにより、特定のユーザのAR端末はそのサービスインターフェースを更新できる。
【００３９】
サービスインターフェースは、食べ物アイテムなど、いくつかのオブジェクトを表示できる。各ユーザは、それぞれのARクライアント端末によって表示されるサービスインターフェースを使用して食べ物アイテムを選択できる。各ユーザによって選択された食べ物アイテムの情報は、サーバ端末にアップロードされる。サーバ端末からのサービスデータに基づいて、各ユーザのARクライアント端末は、それぞれのサービスインターフェースをリアルタイムに更新し、サービスグループ内のユーザによって選択された食べ物アイテムを示すことができる。そうすることにより、同じテーブルにつくユーザは、共同で食べ物を注文でき、食べ物アイテムの重複を避けることができる。
【００４０】
AR端末によって提供されるサービスインターフェース内でアクションを実行するために、ユーザは、クリック、ドラッグ、またはスワイプなどの、様々なジェスチャを使用できる。例えば、AR端末がユーザのモバイル端末である場合、サービスインターフェースは、モバイル端末のスクリーン上に表示され得る。ユーザは、スクリーン上で選択ジェスチャを使用してサービスインターフェース内のオブジェクトを選択できる。場合によっては、AR端末がAR眼鏡またはヘルメットなどの装着可能な端末である場合、センサがユーザのジェスチャを感知するためにAR端末に接続され得る。AR端末は、ユーザのジェスチャを認識し、ジェスチャに対応するアクションを特定し、サービスインターフェースを更新できる。AR端末は、グループ内の他のユーザが各自のサービスインターフェースを更新できるように、アクションの情報をサーバ端末に送信できる。
【００４１】
上述したように、同じサービスグループのユーザは、同じオフラインサービスラベルをスキャンして、サービスインターフェースをトリガできる(例えば、各レストランのテーブルは、図4に示すように、1つの食べ物注文ラベルまたは複数の同一の食べ物注文ラベルを有する)。いくつかの実施形態では、各テーブルは、(図3に示されるように)テーブルの異なる座席位置に対応する異なる食べ物注文ラベルを有する。各ユーザは、ユーザが座ったところに対応する食べ物注文ラベルをスキャンできる。サーバ端末は、これらの異なる食べ物注文ラベルが同じテーブルからのものであるという事前の知識を有することができる。これらの異なる食べ物注文ラベルを受信すると、サーバ端末は、対応するユーザをグループ化し、これらのユーザのためにサービスインターフェースを可能にする。異なる座席位置に対して異なる食べ物注文ラベルを使用することによって、各ユーザが座席位置に関連付けられるとともに、各ARクライアント端末によって表示されるサービスインターフェースは、異なる座席位置に異なる食べ物注文ラベルを示すことができる。
【００４２】
例えば、各ユーザは、ユーザの前方の食べ物注文ラベルのみをスキャンする。テーブルにつくユーザから食べ物注文ラベルを受信した後、各ARクライアント端末がサービスインターフェース内で対応する座席位置に各ユーザを表示できるように、サーバ端末は、グループ内の他のユーザ(他のユーザの識別情報など)および対応する座席位置について各ユーザに通知できる。サービスインターフェースは、ユーザによって注文された食べ物アイテムをそのユーザの対応する座席位置にリストアップできる。いくつかの実施形態では、各ARクライアント端末が、ARクライアント端末自体が座席位置にユーザを関連付けることができるように、テーブル上の異なる食べ物注文ラベルをスキャンできる。
【００４３】
いくつかの実施形態では、各食べ物注文ラベルが、ラベル自体の位置情報(例えば、食べ物注文ラベルの座標情報)を含むことができる。各ユーザがユーザの前方の食べ物注文ラベルをスキャンするとき、ユーザのARクライアント端末は、食べ物注文ラベルの位置を決定でき、決定した位置情報をサーバ端末に送信できる。いくつかの実施形態では、ARクライアント端末が位置情報を決定する代わりに、ARクライアント端末は、食べ物注文ラベルのスキャンされた画像をサーバ端末に送信でき、サーバ端末は食べ物注文ラベルの位置を決定できる。各ユーザは、位置情報とともにユーザ識別情報をサーバ端末に送信できる。結果として、サーバ端末は、各ユーザの識別情報および対応する位置を知り、この知識をグループ内のユーザに共有し、それにより、各クライアント端末は、ARシーン内の対応する位置に異なるユーザを位置付けることができる。サーバ端末がグループ内の別のユーザによって選択された食べ物アイテムを示すサービスデータをプッシュするとき、ARクライアント端末がそのユーザに対応する食べ物注文ラベルの近くまたは上に選択された食べ物アイテムを表示できるように、サービスデータはその別のユーザの識別情報を含むこともできる。
【００４４】
サービスグループ内のユーザが同じオフラインサービスラベルをスキャンする場合、環境シーンのスキャンされた画像上の顔認識および位置決め技術を使用して、ARクライアント端末は、各ユーザの顔の位置(例えば、ARシーン内のユーザの顔の座標情報)を決定できる。いくつかの実施形態では、サーバ端末は、顔の画像とユーザ識別情報の間のマッピングを有する。ARクライアント端末は、認識された顔の画像をサーバ端末に送り、対応するユーザ識別情報を受信できる。言い換えると、各ユーザの顔に対して、ARクライアント端末は、対応するユーザの識別情報および座席位置を知る。場合によっては、ARクライアント端末は、環境シーンのスキャンされた画像をサーバ端末に送ることができ、サーバ端末は顔認証を実行するとともに、各ユーザの顔の位置および対応するユーザの識別情報を決定できる。サーバ端末がグループ内の別のユーザによって選択された食べ物アイテムを示すサービスデータをプッシュするとき、サービスデータはその別のユーザの識別情報も含むことができる。ユーザの識別情報とユーザの顔の間の関係に基づいて、ARクライアント端末は、ARシーン内のその別のユーザの顔の近くに選択した食べ物アイテムを表示できる。
【００４５】
いくつかの実施形態では、共同で食べ物を注文するためにサービスインターフェースを使用することに加えて、ユーザはまた、サービスインターフェースを使用して、ユーザのソーシャルな連絡先の情報に基づいて指定した連絡先のためにオブジェクト(例えば、食べ物アイテムまたはギフト券など)を選択することができる。例えば、サービスインターフェースは連絡先を選択するためにドロップダウンメニューを出力できる。ユーザとの社会的関係を有する連絡先の情報は、ドロップダウンメニューに予めロードされてよい。ユーザは、ドロップダウンメニュー内で連絡先を指定でき、指定した連絡先のためにオブジェクトを選択できる。ユーザのARクライアント端末は、選択されたオブジェクトの情報、ユーザの識別情報、指定した連絡先の識別情報、およびオフラインサービスサイトの識別情報をサーバ端末にアップロードでき、サーバ端末はアップロードされた情報を記憶できる。サーバ端末は、ユーザがオフラインサービスサイトで指定した連絡先のためにオブジェクトを選択した(予め決定した)ことを示す通知メッセージを、指定した連絡先にプッシュできる。通知メッセージ(例えば、モバイル端末へのショートメッセージ)は、指定した連絡先のARクライアント端末に送られ得る。場合によっては、予め決定したオブジェクトは、有効な期間に関連付けられる。指定した連絡先がオフラインサービスサイトに到着して、有効な期間内にオブジェクトを使用しない場合、オブジェクトは自動的に無効になる。
【００４６】
いくつかの実施形態では、ARクライアント端末は、ユーザの位置をリアルタイムに決定し、ユーザの位置をサーバ端末にリアルタイムにアップロードしてよい。ユーザの位置を受信した後かつユーザの識別情報に基づいて、サーバ端末は、別のユーザがオフラインサービスサイトでユーザのためにオブジェクトを予め決定しているかどうかを判定できる。オフラインサービスサイトとユーザの場所の間の距離がしきい値(100ｍなど)より小さい場合、サーバ端末は、別のユーザがオフラインサービスサイトでユーザのためにオブジェクトを予め決定していることを示す通知メッセージをユーザにプッシュできる。
【００４７】
例えば、ユーザAがレストランで食事しているとき、レストランは、感謝のしるしとして、ユーザに、クーポン、ギフト、または無料の食べ物アイテムを与えることがある。例えば、ユーザAは、サービスインターフェースを使用して、友人のユーザBにクーポンを与えることができる。ユーザAは、ユーザAの識別情報、ユーザBの識別情報、クーポン情報、およびレストラン識別情報をサーバ端末に送る。サーバ端末は、ユーザAがユーザBにクーポンを与えたことを示す通知をユーザBに送ることができる。次に、ユーザBがレストランの近くにいるとき(例えば、しきい値の距離内)、サーバ端末はクーポンを通知するために、ユーザBのモバイル端末にショートメッセージを送ることができる。代替として、ユーザBのAR端末は、クーポンならびにクーポンの期限日を示すARシーンを表示できる。場合によっては、ユーザBのAR端末は、ユーザBをレストランに道案内できる。方法100は、114の後に停止する。
【００４８】
図2は、本開示の実施形態によるサービスインターフェースの例200を示す概略図である。例200は、ユーザのAR端末202がARシーン204をユーザに表示することを示す。「HongKongStyleHotpot」という名称のオフラインのレストランのロゴ(サイトラベル)をスキャンした後、ユーザのAR端末202は、スキャンした画像の情報およびユーザの識別情報(例えば、AR端末202にログインするためにユーザによって使用されるソーシャルアカウント情報)をリアルタイムでサーバ端末に送信できる。スキャンされた画像からレストランのロゴを認証することに成功した後、サーバ端末は、レストランのロゴに関連付けられたデータをAR端末202にプッシュできる。ステップ106において説明したように、プッシュされたデータは、レストランのラベルデータ、ユーザの連絡先の情報、および別のユーザによってユーザのために予め決定されたオブジェクトを含むことができる。
【００４９】
AR端末202は、ARシーン204にレストランのロゴ206を表示する。プッシュされたデータに基づいて、AR端末202はまた、レストランの風味ラベル208「風味：手軽および健康的」およびレストランのソーシャルオファーラベル210「割引：4人に対して15%割引」を表示する。テキストプロンプト212「あなたのN人の友人がレストランに来たことがある」が、ソーシャルアプリケーションからのこれらの友人の写真またはアイコンとともに、ARシーン204に表示される。AR端末202はまた、ユーザの友人からの予め決定されたオブジェクトを示すために、テキストプロンプト214「あなたの友人XXがXX料理をあなたに与える」を表示する。
【００５０】
図3は、本開示の実施形態による、複数の食べ物注文ラベルを使用したサービスインターフェースの例300を示す概略図である。例300は、ユーザAのAR端末302がユーザAにARシーン304を表示することを示し、ここでARシーン304は、ユーザA〜Dが注文した食べ物アイテムを含む。ユーザA〜Dの座席位置に対応する複数の食べ物注文ラベル306a〜dは、レストランのテーブルの上に提示される。AR端末302は、ARシーン304のそれぞれの位置に食べ物注文ラベル306a〜dを表示する。AR端末302は、それぞれの食べ物注文ラベル306a〜dの近くにユーザA〜Dによって選択された食べ物アイテムを表示する(ユーザAが「細切り豚肉のガーリックソース」を選択し、ユーザBが「グリルチキンチョップ」を選択し、ユーザCが「コーヒー」を選択し、ユーザDが「さいの目に切ったチキンチリソース」を選択した)。
【００５１】
図4は、本開示の実施形態による、唯一の食べ物注文ラベルを使用したサービスインターフェースの例400を示す概略図である。ユーザケース400は、ユーザAのAR端末402がARシーン404をユーザAに表示し、ここでARシーン404は、ユーザB〜Dが注文した食べ物アイテムを含む。唯一の食べ物注文ラベル406がレストランのテーブル上に提示される。AR端末402は、ARシーン404にユーザB〜Dの顔を表示する。AR端末402はまた、ユーザB〜Dのそれぞれの顔の近くにユーザB〜Dによって選択された食べ物アイテムを表示する。
【００５２】
図5は、本開示の実施形態による、ARベースのオフラインサービス・マルチユーザ・インタラクション・システムの例500を示すブロック図である。システム500は、ユーザのARクライアント端末に含まれてよい。システム500は、スキャニングモジュール501、送信モジュール502、および出力モジュール503を含むことができる。システム500は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで実装できる。
【００５３】
スキャニングモジュール501は、オフラインサービスサイトで提示されるオフラインサービスラベルをスキャンするように構成され、オフラインサービスラベルは、オフラインサービス・マルチユーザ・インタラクティブ・インターフェースをトリガするために使用される。送信モジュール502は、スキャンされたオフラインサービスラベルの情報を、ユーザの識別情報とともに、サーバ端末に送信するように構成され、それにより、サーバ端末は、オフラインサービスラベルの情報に基づいて、ユーザと、オフラインサービスラベルをスキャンした別のユーザとを含むサービスグループを確立する。出力モジュール503は、サーバ端末によってプッシュされたサービスデータを受信し、サービスデータに基づいて、ARシーンのオフラインサービスラベルに対応する位置にサービスインターフェースを出力するように構成される。
【００５４】
いくつかの実施形態では、システム500は、アップロードモジュール、受信モジュール、および表示モジュール(図5には図示せず)を含むこともできる。アップロードモジュールは、ユーザがサービスインターフェースでオフラインサービスインタラクションを実行するとき、ユーザによって選択されたオブジェクトの情報をサーバ端末にアップロードするように構成される。受信モジュールは、別のユーザがサービスインターフェースでオフラインサービスインタラクションを実行するときにその別ユーザによって選択され、かつサーバ端末によってプッシュされたオブジェクトの情報を受信するように構成される。表示モジュールは、ARシーンに、サービスインターフェース内で、ユーザおよび別のユーザによって選択されたオブジェクトを、同調して表示するように構成される。
【００５５】
いつかの実施形態では、システム500は、取得モジュール(図5に図示せず)を含むこともできる。取得モジュールは、サービスインターフェース内の指定された連絡先のために、ユーザによって予め決定されたオブジェクトの情報を取得するように構成される。アップロードモジュールはさらに、指定された連絡先のためにユーザによって予め決定されたオブジェクト、指定された連絡先の識別情報、および予め決定されたオブジェクトに対応するオフラインサービスサイトの識別情報を、サーバ端末にアップロードするように構成され、それにより、サーバ端末は、指定された連絡先の識別情報、指定された連絡先のために予め決定されたオブジェクト、およびオフラインサービスサイトの識別情報の間に対応関係を確立する。
【００５６】
いくつかの実施形態では、アップロードモジュールはさらに、ユーザの位置をリアルタイムにサーバ端末にアップロードするように構成される。受信モジュールはさらに、別のユーザがオフラインサービスサイトでユーザのためにオブジェクトを予め決定するとともに、サーバ端末がユーザの位置に基づいて、ユーザとオフラインサービスサイトの間の距離が予め設定されたしきい値よりも小さいことを決定するとき、サーバ端末によってプッシュされた通知メッセージを受信するように構成される。通知メッセージは、別のユーザがオフラインサービスサイトでユーザのためのオブジェクトを予め決定したことをプロンプトするために使用される。
【００５７】
いくつかの実施形態では、スキャニングモジュール501はさらに、オフラインサービスサイトで提示されるサイトラベルをスキャンするように構成される。送信モジュール502はさらに、スキャンされたサイトラベルの情報をサーバ端末に送信するように構成され、それにより、サーバ端末はサイトラベルに対応するラベルデータを問い合わせる。受信モジュールはさらに、サーバ端末によってプッシュされたサイトラベルに対応するラベルデータを受信するように構成される。表示モジュールはさらに、ARシーン内のサイトラベルに対応する位置にラベルデータを表示するように構成される。
【００５８】
いくつかの実施形態では、サーバ端末は、ユーザの識別情報に基づいて、ユーザに関連付けられた連絡先の情報のためにオフラインサービスサイトの訪問者データベースを検索する。受信モジュールはさらに、サーバ端末によってプッシュされたユーザに関連付けられた連絡先の情報を受信するように構成される。表示モジュールはさらに、ARシーン内でサイトラベルに対応する位置にユーザに関連付けられた連絡先の情報を表示するように構成される。
【００５９】
いくつかの実施形態では、サーバ端末は、ユーザの識別情報に基づいて、ユーザのための別のユーザによって予め決定されたオブジェクトについて問い合わせる。受信モジュールはさらに、ユーザのための別のユーザによって予め決定され、サーバ端末によってプッシュされたオブジェクトを受信するように構成される。表示モジュールはさらに、ARシーン内でサイトラベルに対応する位置にユーザのための別のユーザによって予め決定されたオブジェクトを表示するように構成される。
【００６０】
いくつかの実施形態では、複数のオフラインサービスラベルは、サービスインターフェースをトリガするために使用される。表示モジュールは、ARシーンでユーザおよび別のユーザがスキャンしたオフラインサービスラベルを位置決めするように構成される。表示モジュールは、ユーザおよび別のユーザに対応するオフラインサービスラベルの位置に、サービスインターフェース内にユーザおよび別のユーザによって選択されたオブジェクトを同調して表示するように構成される。
【００６１】
いくつかの実施形態では、表示モジュールは、ARシーン内でユーザおよび別のユーザの顔を位置決めするように構成される。表示モジュールは、ARシーン内のユーザおよび別のユーザの顔に対応する位置に、サービスインターフェース内でユーザおよび別のユーザによって選択されたオブジェクトを、同調して表示するように構成される。
【００６２】
図6は、本開示の実施形態による、ARベースのオフラインサービス・マルチユーザ・インタラクション・システムを含むハードウェアアーキテクチャ600の例を示すブロック図である。ハードウェアアーキテクチャ600は、図5のARベースのオフラインサービス・マルチユーザ・インタラクション・システム500を含むことができる。ハードウェアアーキテクチャ600は、CPU601、ネットワークインターフェース603、メモリ604、および不揮発性記憶デバイス606を含むことができる。ハードウェアアーキテクチャ600はまた、CPU601、ネットワークインターフェース603、メモリ604、および、不揮発性記憶デバイス606に接続する内部バス602を含む。メモリ604は、ARベースのオフラインサービス・マルチユーザ・インタラクション・システム605を含むことができる。ARベースのオフラインサービス・マルチユーザ・インタラクション・システム605は、ARベースのオフラインサービス・マルチユーザ・インタラクション・システム500がソフトウェアで実装されている場合、ARベースのオフラインサービス・マルチユーザ・インタラクション・システム500であってよく、CPU601は、メモリ604にロードされたARベースのオフラインサービス・マルチユーザ・インタラクション・システム605のコードを実行できる。
【００６３】
図7は、本開示の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システム700の例を示すブロック図である。図示された実施形態では、システム700はコンピュータ702とネットワーク730を含む。
【００６４】
図示されたコンピュータ702は、コンピューティングデバイスの物理的インスタンスまたは仮想インスタンス、またはコンピューティングデバイスの物理インスタンスまたは仮想インスタンスの組み合わせを含むサーバ、デスクトップコンピュータ、ラップトップ/ノートブックコンピュータ、ワイヤレスデータポート、スマートフォン、携帯情報端末(PDA)、タブレットコンピューティングデバイス、これらのデバイス内の一つまたは複数のプロセッサ、別のコンピューティングデバイス、あるいはコンピューティングデバイスの組み合わせなどの、任意のコンピューティングデバイスを包含することを意図している。加えて、コンピュータ702は、キーパッド、キーボード、タッチスクリーン、別の入力デバイス、またはユーザ情報を受け入れることのできる入力デバイスの組み合わせなどの、入力デバイスと、デジタルデータ、視覚情報、聴覚情報、別のタイプの情報、あるいはいくつかのタイプの情報の組み合わせを含む、コンピュータ702の動作に関連付けられた情報をグラフィカルタイプユーザインターフェース(UI)(またはGUI)または他のUIに伝達する出力デバイスとを含むことができる。
【００６５】
コンピュータ702は、クライアント、ネットワークコンポーネント、サーバ、データベース、または別の永続的機能、別の役割、または本開示に説明された主題を実行するための役割の組み合わせとして、分散されたコンピューティングシステムにおいて役割で機能できる。図示されたコンピュータ702は、ネットワーク730に通信可能に結合される。いくつかの実施形態では、コンピュータ702の一つまたは複数の構成要素が、クラウドコンピューティングベースの環境、ローカル環境、グローバル環境、別の環境、または環境の組み合わせを含む、環境の中で動作するように構成され得る。
【００６６】
高いレベルでは、コンピュータ702は、説明された主題に関連付けられたデータおよび情報を、受信、送信、処理、記憶、または管理するように動作可能な電子コンピューティングデバイスである。いくつかの実施形態によれば、コンピュータ702はまた、アプリケーションサーバ、電子メールサーバ、Webサーバ、キャッシュサーバ、データストリーミングサーバ、別のサーバ、またはサーバの組み合わせを含むサーバを含むことができ、あるいはサーバに通信可能に結合され得る。
【００６７】
コンピュータ702は、ネットワーク730を介して(例えば、別のコンピュータ702上で実行されているクライアントソフトウェアアプリケーションから)要求を受信することができ、ソフトウェアアプリケーションまたはソフトウェアアプリケーションの組み合わせを使用して受信した要求を処理することによって受信した要求に応答できる。加えて、要求はまた、内部ユーザ(例えば、コマンドコンソールから、または別の内部アクセス方法によって)、外部またはサードパーティ、あるいは他のエンティティ、個人、システム、またはコンピュータから、コンピュータ702に送られ得る。
【００６８】
コンピュータ702の各構成要素は、システムバス703を使用して通信できる。いくつかの実施形態では、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含むコンピュータ702の構成要素のいくつかまたはすべては、アプリケーションプログラミングインターフェース(API)712、サービスレイヤ713、またはAPI712とサービスレイヤ713の組み合わせを使用して、システムバス703を介して相互作用できる。API712は、ルーチン、データ構造、およびオブジェクトクラスのための仕様を含むことができる。API712は、コンピュータ言語に依存しないものでも依存するものでもよく、完全なインターフェース、単一の機能、またはAPIのセットさえも指すものであってよい。サービスレイヤ713は、コンピュータ702またはコンピュータ702に通信可能に結合される他の構成要素(図示されているかどうかにかかわらず)に、ソフトウェアサービスを提供する。コンピュータ702の機能は、このサービスレイヤを使用するすべてのサービス消費者にとってアクセス可能であり得る。サービスレイヤ713によって提供されるものなどのソフトウェアサービスは、規定のインターフェースを通じて、再使用可能な、定義された機能を提供する。例えば、インターフェースは、JAVA(登録商標)、C++、別のコンピューティング言語、または拡張マークアップ言語(XML)フォーマット、別のフォーマット、またはフォーマットの組み合わせでデータを提供するいくつかのコンピューティング言語の組み合わせで書かれたソフトウェアであり得る。コンピュータ702の統合された構成要素として示されているが、代替の実施形態では、API712またはサービスレイヤ713は、コンピュータ702の他の構成要素またはコンピュータ702に通信可能に結合される他の構成要素(図示されているかどうかにかかわらず)に対してスタンドアロン構成要素として示されてよい。さらに、API712またはサービスレイヤ713の一部または全部は、本開示の範囲から逸脱することなく、別のソフトウェアモジュール、企業アプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装され得る。
【００６９】
コンピュータ702は、インターフェース704を含む。図7に単一のインターフェース704として示されているが、コンピュータ702の特定のニーズ、要望、または特定の実装に従って、2つ以上のインターフェース704が使用され得る。インターフェース704は、分散環境におけるネットワーク730に通信可能にリンクされている別のコンピューティングシステム(図示されているかどうかにかかわらず)と通信するためにコンピュータ702によって使用される。一般に、インターフェース704は、ネットワーク730と通信するように動作可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで符号化されたロジックを含む。より具体的には、インターフェース704は、ネットワーク730またはインターフェースのハードウェアが図示されたコンピュータ702の内外で物理信号を通信するように動作可能であるように、通信に関連付けられた1つまたは複数の通信プロトコルをサポートするソフトウェアを含み得る。
【００７０】
コンピュータ702は、プロセッサ705を含む。図7に単一のプロセッサ705として示されているが、コンピュータ702の特定のニーズ、要望、または特定の実装に従って、2つ以上のプロセッサが使用され得る。一般に、プロセッサ705は命令を実行し、データを操作するとともに、コンピュータ702の動作、および本開示に説明されているような任意のアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャを実行する。
【００７１】
コンピュータ702はまた、コンピュータ702、ネットワーク730に通信可能にリンクされた別の構成要素(図示されているかどうかにかかわらず)、またはコンピュータ702と別の構成要素との組み合わせのために、データを保持できるデータベース706を含む。例えば、データベース706は、本開示に矛盾しないデータを記憶するインメモリの、従来の、または別のタイプのデータベースであってよい。いくつかの実装形態では、データベース706は、コンピュータ702の特定のニーズ、要望、または特定の実装、および説明された機能に従って、2つ以上の異なるデータベースのタイプ(例えば、ハイブリッドインメモリデータベースおよび従来のデータベース)の組み合わせであり得る。図7に単一のデータベース706として示されているが、コンピュータ702の特定のニーズ、要望、または特定の実装、および説明された機能に従って、類似するタイプまたは異なるタイプの2つ以上のデータベースが使用され得る。データベース706はコンピュータ702の統合された構成要素として示されているが、代替の実施形態では、データベース706はコンピュータ702の外部にあってよい。
【００７２】
コンピュータ702はまた、コンピュータ702、ネットワーク730に通信可能にリンクされた別の構成要素(図示されているかどうかにかかわらず)、またはコンピュータ702と別の構成要素との組み合わせのために、データを保持できるメモリ707を含む。メモリ707は、本開示に矛盾しない任意のデータを記憶できる。いくつかの実装形態では、メモリ707は、コンピュータ702の特定のニーズ、要望、または特定の実装、および説明された機能に従って、2つ以上の異なるタイプのメモリの組合せ(例えば、半導体ストレージと磁気ストレージの組合せ)であり得る。図7に単一のメモリ707として示されているが、コンピュータ702の特定のニーズ、要望、または特定の実装、および説明された機能に従って、2つ以上のメモリ707あるいは類似または異なるタイプが使用され得る。メモリ707はコンピュータ702の統合された構成要素として示されているが、代替の実装形態では、メモリ707はコンピュータ702の外部にあってよい。
【００７３】
アプリケーション708は、特に本開示で説明されている機能に関して、特定のニーズ、要望、またはコンピュータ702の特定の実装に従って、機能を提供するアルゴリズムソフトウェアエンジンである。例えば、アプリケーション708は、1つまたは複数の構成要素、モジュール、またはアプリケーションとして機能することができる。さらに、単一のアプリケーション708として図示されているが、アプリケーション708は、コンピュータ702上で複数のアプリケーション708として実装できる。加えて、コンピュータ702に統合されるように図示されているが、代替の実装において、アプリケーション708はコンピュータ702の外部にあってよい。
【００７４】
コンピュータ702はまた、電源714を含むことができる。電源714は、ユーザ交換可能にあるいはユーザが交換できないように構成され得る充電式または非充電式のバッテリを含むことができる。いくつかの実施形態では、電源714は、電力変換または管理回路(再充電、スタンバイ、または別の電力管理機能を含む)を含むことができる。いくつかの実装形態では、電源714は、例えばコンピュータ702に電力を供給するため、または充電式バッテリを充電するために、コンピュータ702を壁のコンセントまたは別の電力源に差し込むことを可能にするための電源プラグを含むことができる。
【００７５】
コンピュータ702を含むコンピュータシステムに付随して、またはコンピュータシステムの外部に、任意の数のコンピュータ702が存在することができ、各コンピュータ702はネットワーク730を介して通信する。さらに、「クライアント」、「ユーザ」という用語、または他の適切な用語は、本開示の範囲から逸脱することなく、必要に応じて交換可能に使用され得る。さらに、本開示は、多数のユーザが1つのコンピュータ702を使用できること、または1人のユーザが複数のコンピュータ702を使用できることを企図する。
【００７６】
主題の説明された実施形態は、単独または組み合わせて、1つまたは複数の特徴を含み得る。
【００７７】
例えば、第1の実装形態では、コンピュータ実施方法は、オフラインサービスサイトにおいてオフラインサービスラベルを、ユーザのARクライアントによってスキャンするステップと、オフラインサービスラベルの情報をサーバ端末に送信するステップであって、サーバ端末が、オフラインサービスラベルの情報に基づいて、ユーザと、オフラインサービスラベルをスキャンした第2のユーザとを含むサービスグループを確立する、ステップと、オフラインサービスラベルの情報を送信することに応答して、サーバ端末からサービスデータを受信するステップであって、サービスデータがユーザに関連する情報および第2のユーザに関連する情報を含む、ステップと、サービスデータに基づいてサービス・インタラクティブ・インターフェースを出力するステップであって、サービス・インタラクティブ・インターフェースが、ユーザに関連する情報および第2のユーザに関連する情報をARシーン内のオフラインサービスラベルに対応する位置に表示する、ステップとを含む。
【００７８】
前述のおよび他の説明された実装形態はそれぞれ、任意で以下の特徴のうちの1つまたは複数を含むことができる。
【００７９】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、サービス・インタラクティブ・インターフェースを使用して、ユーザによって選択された第1のオブジェクトの情報を、サーバ端末に送るステップと、サービス・インタラクティブ・インターフェースを使用して、第2のユーザによって選択された第2のオブジェクトの情報を、サーバ端末から受信するステップと、サービス・インタラクティブ・インターフェース内の第1のオブジェクトの情報および第2のオブジェクトの情報を、ARシーン内に表示するステップとをさらに含む。
【００８０】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、サービス・インタラクティブ・インターフェースを使用して、ユーザの指定されたソーシャルな連絡先のための第3のオブジェクトを選択するステップと、第3のオブジェクトの情報、指定されたソーシャルな連絡先の識別情報、およびオフラインサービスサイトの識別情報をサーバ端末にアップロードするステップとをさらに含む。
【００８１】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、ユーザの位置をサーバ端末にリアルタイムにアップロードするステップと、第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを第3のユーザが選択したとき、通知メッセージをサーバ端末から受信するステップであって、ユーザの位置と第2のオフラインサービスサイトの位置の間の距離が予め定義されたしきい値より小さく、通知メッセージは、第3のユーザが第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを選択していたことを示す、ステップとをさらに含む。
【００８２】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、オフラインサービスサイトにおいてサイトラベルを、ARクライアント端末によってスキャンするステップと、サイトラベルの情報を、サーバ端末に送信するステップと、サイトラベルの情報を送信することに応答して、オフラインサービスサイトのラベルデータを、サーバ端末から受信するステップであって、ラベルデータが、オフラインサービスサイトに関連する情報を含む、ステップと、オフラインサービスサイトに関連する情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００８３】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、サイトラベルの情報を送信することに応答して、ユーザのソーシャルな連絡先の情報を、サーバ端末から受信するステップと、ソーシャルな連絡先の情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００８４】
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、サイトラベルの情報を送信することに応答して、ユーザのための第4のユーザによって選択された第5のオブジェクトの情報を、サーバ端末から受信するステップと、第5のオブジェクトの情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００８５】
第2の実施形態では、コンピュータシステムによって動作を実行可能な1つまたは複数の命令を記憶した非一時的コンピュータ可読記憶媒体であり、動作は、オフラインサービスサイトにおいてオフラインサービスラベルを、ユーザの拡張現実(AR)クライアントによってスキャンするステップと、オフラインサービスラベルの情報をサーバ端末に送信するステップであって、サーバ端末が、オフラインサービスラベルの情報に基づいて、ユーザと、オフラインサービスラベルをスキャンした第2のユーザとを含むサービスグループを確立する、ステップと、オフラインサービスラベルの情報を送信することに応答して、サーバ端末からサービスデータを受信するステップであって、サービスデータがユーザに関連する情報および第2のユーザに関連する情報を含む、ステップと、サービスデータに基づいてサービス・インタラクティブ・インターフェースを出力するステップであって、サービス・インタラクティブ・インターフェースが、ユーザに関連する情報および第2のユーザに関連する情報をARシーン内のオフラインサービスラベルに対応する位置に表示する、ステップとを含む。
【００８６】
前述のおよび他の説明された実装形態はそれぞれ、任意で以下の特徴のうちの1つまたは複数を含むことができる。
【００８７】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、動作は、サービス・インタラクティブ・インターフェースを使用して、ユーザによって選択された第1のオブジェクトの情報を、サーバ端末に送るステップと、サービス・インタラクティブ・インターフェースを使用して、第2のユーザによって選択された第2のオブジェクトの情報を、サーバ端末から受信するステップと、サービス・インタラクティブ・インターフェース内の第1のオブジェクトの情報および第2のオブジェクトの情報を、ARシーン内に表示するステップとをさらに含む。
【００８８】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作が、サービス・インタラクティブ・インターフェースを使用して、ユーザの指定されたソーシャルな連絡先のための第3のオブジェクトを選択するステップと、第3のオブジェクトの情報、指定されたソーシャルな連絡先の識別情報、およびオフラインサービスサイトの識別情報をサーバ端末にアップロードするステップとをさらに含む。
【００８９】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作が、ユーザの位置をサーバ端末にリアルタイムにアップロードするステップと、第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを第3のユーザが選択したとき、通知メッセージをサーバ端末から受信するステップであって、ユーザの位置と第2のオフラインサービスサイトの位置の間の距離が予め定義されたしきい値より小さく、通知メッセージは、第3のユーザが第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを選択していたことを示す、ステップとをさらに含む。
【００９０】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作が、オフラインサービスサイトにおいてサイトラベルを、ARクライアント端末によってスキャンするステップと、サイトラベルの情報を、サーバ端末に送信するステップと、サイトラベルの情報を送信することに応答して、オフラインサービスサイトのラベルデータを、サーバ端末から受信するステップであって、ラベルデータが、オフラインサービスサイトに関連する情報を含む、ステップと、オフラインサービスサイトに関連する情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００９１】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作が、サイトラベルの情報を送信することに応答して、ユーザのソーシャルな連絡先の情報を、サーバ端末から受信するステップと、ソーシャルな連絡先の情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００９２】
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作が、サイトラベルの情報を送信することに応答して、ユーザのための第4のユーザによって選択された第5のオブジェクトの情報を、サーバ端末から受信するステップと、第5のオブジェクトの情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００９３】
第3の実装形態では、1つまたは複数のコンピュータと、1つまたは複数のコンピュータに相互運用可能に結合され、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備するコンピュータ実施システムであり、1つまたは複数の命令が、1つまたは複数のコンピュータによって実行されるとき、オフラインサービスサイトにおいてオフラインサービスラベルを、ユーザの拡張現実(AR)クライアントによってスキャンするステップと、オフラインサービスラベルの情報をサーバ端末に送信するステップであって、サーバ端末が、オフラインサービスラベルの情報に基づいて、ユーザと、オフラインサービスラベルをスキャンした第2のユーザとを含むサービスグループを確立する、ステップと、オフラインサービスラベルの情報を送信することに応答して、サーバ端末からサービスデータを受信するステップであって、サービスデータがユーザに関連する情報および第2のユーザに関連する情報を含む、ステップと、サービスデータに基づいてサービス・インタラクティブ・インターフェースを出力するステップであって、サービス・インタラクティブ・インターフェースが、ユーザに関連する情報および第2のユーザに関連する情報をARシーン内のオフラインサービスラベルに対応する位置に表示する、ステップとを含む。
【００９４】
前述の実施形態および他の説明される実施形態はそれぞれ、任意で以下の特徴のうちの1つまたは複数を含むことができる。
【００９５】
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、1つまたは複数の動作が、サービス・インタラクティブ・インターフェースを使用して、ユーザによって選択された第1のオブジェクトの情報を、サーバ端末に送るステップと、サービス・インタラクティブ・インターフェースを使用して、第2のユーザによって選択された第2のオブジェクトの情報を、サーバ端末から受信するステップと、サービス・インタラクティブ・インターフェース内の第1のオブジェクトの情報および第2のオブジェクトの情報を、ARシーン内に表示するステップとをさらに含む。
【００９６】
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数の動作が、サービス・インタラクティブ・インターフェースを使用して、ユーザの指定されたソーシャルな連絡先のための第3のオブジェクトを選択するステップと、第3のオブジェクトの情報、指定されたソーシャルな連絡先の識別情報、およびオフラインサービスサイトの識別情報をサーバ端末にアップロードするステップとをさらに含む。
【００９７】
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数の動作が、ユーザの位置をサーバ端末にリアルタイムにアップロードするステップと、第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを第3のユーザが選択したとき、通知メッセージをサーバ端末から受信するステップであって、ユーザの位置と第2のオフラインサービスサイトの位置の間の距離が予め定義されたしきい値より小さく、通知メッセージは、第3のユーザが第2のオフラインサービスサイトにおいてユーザのための第4のオブジェクトを選択していたことを示す、ステップとをさらに含む。
【００９８】
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数の動作が、オフラインサービスサイトにおいてサイトラベルを、ARクライアント端末によってスキャンするステップと、サイトラベルの情報を、サーバ端末に送信するステップと、サイトラベルの情報を送信することに応答して、オフラインサービスサイトのラベルデータを、サーバ端末から受信するステップであって、ラベルデータが、オフラインサービスサイトに関連する情報を含む、ステップと、オフラインサービスサイトに関連する情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【００９９】
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数の動作が、サイトラベルの情報を送信することに応答して、ユーザのソーシャルな連絡先の情報を、サーバ端末から受信するステップと、ソーシャルな連絡先の情報を、ARシーン内のサイトラベルに対応する位置に表示するステップとをさらに含む。
【０１００】
本明細書に説明された主題の実施形態および機能的動作は、本明細書に開示された構造およびそれらの構造上の均等物を含む、デジタル電子回路、有形の具現化されたコンピュータソフトウェアまたはファームウェア、コンピュータハードウェア、またはそれらの1つまたは複数の組み合わせで実装され得る。説明された主題のソフトウェア実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるための、あるいはデータ処理装置の動作を制御するための、有形の非一時的コンピュータ可読なコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。代替または追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために受信装置に送信するための情報を符号化するように生成された、機械生成された電気信号、光信号、または電磁信号の中に/上に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはコンピュータ記憶媒体の組み合わせであってよい。1つまたは複数のコンピュータを構成することは、ソフトウェアが1つまたは複数のコンピュータによって実行されるときに特定の計算動作が実行されるように、1つまたは複数のコンピュータがハードウェア、ファームウェア、またはソフトウェア(またはハードウェア、ファームウェア、およびソフトウェアの組合せ)をインストールしていることを意味する。
【０１０１】
「リアルタイム(real-time)」、「リアルタイム(real time)」、「リアルタイム(realtime)」、「リアル(ファスト)タイム(real (fast) time (RFT))」、「ほぼリアルタイム(near(ly) real-time (NRT))」、「準リアルタイム（quasi real-time）」という用語、または(当業者には理解されるような)同様の用語は、アクションおよび応答が実質的に同時に起こることを個人が知覚するように、アクションおよび応答が時間的に近いことを意味する。例えば、データへのアクセスに対する個人のアクションに続いてデータを表示するための応答(または表示の開始)にかかる時間差は、1ミリ秒(ms)未満、1秒(s)未満、または5秒未満であり得る。要求されたデータは瞬時に表示される（または表示を開始される）必要はないが、説明されたコンピューティングシステムの処理限界と、例えばデータを収集、正確に測定、分析、処理、保存、または送信するのに必要な時間とを考慮して、意図的な遅延なしに表示（または表示のために開始）される。
【０１０２】
用語「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(または当業者によって理解されるような同等のもの)は、データ処理ハードウェアを指すとともに、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含め、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、例えば、中央処理装置(CPU)、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)などの特殊用途論理回路でもよく、またはさらに特殊用途論理回路を含んでもよい。いくつかの実装形態では、データ処理装置または専用論理回路(またはデータ処理装置または専用論理回路の組み合わせ)は、ハードウェアベースまたはソフトウェアベース(またはハードウェアベースとソフトウェアベースの両方の組み合わせ)とすることができる。装置は、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または実行環境の組み合わせを構成するコードを任意に含むことができる。本開示は、あるタイプのオペレーティングシステム、例えば、LINUX、UNIX(登録商標)、WINDOWS(登録商標)、MAC OS、ANDROID(登録商標)、IOS、別のオペレーティングシステム、またはオペレーティングシステムの組み合わせによってデータ処理装置を使用することを企図する。
【０１０３】
プログラム、ソフトウェア、ソフトウェアアプリケーション、ユニット、モジュール、ソフトウェアモジュール、スクリプト、コード、または他の構成要素などと呼ばれるまたは説明され得るコンピュータプログラムは、プログラム言語の任意の形式で書くことができ、プログラム言語は、コンパイル言語またはインタプリタ言語、あるいは宣言型言語または手続き型言語を含み、コンピュータプログラムは、例えば、コンピューティング環境で使用するためのスタンドアロンプログラム、モジュール、コンポーネント、またはサブルーチンとしてなど、任意の形式で展開され得る。コンピュータプログラムは、必ずしもそうである必要はないが、ファイルシステム内のファイルに対応できる。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語文書に記憶された1つまたは複数のスクリプトは、対象のプログラム専用の単一ファイル、または複数の協調ファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を保持するファイルなどに記憶できる。コンピュータプログラムは、1つのサイトに配置されているかまたは複数のサイトにわたって分散され、通信ネットワークによって相互接続されている1つのコンピュータまたは複数のコンピュータ上で実行されるように展開され得る。
【０１０４】
様々な図に示されたプログラムの部分は、様々なオブジェクト、方法、または他のプロセスを使用して説明された特徴および機能を実装する、ユニットまたはモジュールなどの個々の構成要素として示すことができ、プログラムは代わりに、必要に応じて、サブユニット、サブモジュール、サードパーティのサービス、コンポーネント、ライブラリ、およびその他の構成要素を含むことができる。対照的に、様々な構成要素の特徴および機能を組み合わせて、必要に応じて単一の構成要素にすることができる。コンピュータでの判定を行うために使用されるしきい値は、静的に、動的に、または静的かつ動的に決定できる。
【０１０５】
説明された方法、プロセス、または論理フローは、本開示に矛盾しない機能の1つまたは複数の例を表しており、説明されたまたは図示された実装形態に開示内容を限定することを意図しておらず、説明された原理や特徴に矛盾しない最も広い範囲が与えられることを意図していると認められるべきである。説明された方法、プロセス、または論理フローは、入力データに基づき動作して出力データを生成することによって機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実行され得る。方法、プロセス、または論理フローは、特殊用途論理回路、例えば、CPU、FPGA、またはASICによって実行することができ、特殊用途論理回路として装置が実装されてよい。
【０１０６】
コンピュータプログラムを実行するためのコンピュータは、汎用または特殊用途のマイクロプロセッサ、その両方、または別のタイプのCPUに基づくことができる。一般に、CPUはメモリから命令およびデータを受信し、メモリに書き込む。コンピュータの必須要素は、命令を行うまたは実行するためのCPU、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、または光ディスクなど、データを記憶するための1つまたは複数の大容量記憶デバイスを含む、または1つまたは複数の大容量記憶デバイスに動作可能に結合され、1つまたは複数の大容量記憶デバイスからデータを受信するか、または1つまたは複数の大容量記憶デバイスにデータを転送するか、またはその両方を行う。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルメモリストレージデバイスに組み込まれ得る。
【０１０７】
コンピュータプログラム命令およびデータを記憶するための非一時的コンピュータ可読媒体は、例として半導体メモリデバイス、磁気デバイス、光磁気ディスクおよび光メモリデバイスを含む、あらゆる形態の永久的/非永久的または揮発性/不揮発性メモリ、媒体、およびメモリデバイスを含むことができ、半導体メモリデバイスは、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、およびフラッシュメモリデバイスであり、磁気デバイスは、例えば、テープ、カートリッジ、カセット、内蔵/取り外し可能ディスクであり、光メモリデバイスは、例えば、デジタルビデオディスク(DVD)、CD ROM、DVD+/-R、DVD-RAM、DVD-ROM、HD-DVD、およびBLURAY、ならびに他の光メモリ技術である。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、モジュール、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データ構造、データベーステーブル、動的情報を記憶するリポジトリ、または任意のパラメータ、変数、アルゴリズム、命令、規則、制約、または参照を含む他の適切な情報を含む様々なオブジェクトまたはデータを記憶できる。さらに、メモリは、ログ、ポリシー、セキュリティデータまたはアクセスデータ、あるいは報告ファイルなどの他の適切なデータを含むことができる。プロセッサおよびメモリは、特殊用途論理回路によって補完されるか、またはその中に組み込まれることができる。
【０１０８】
ユーザとの対話を提供にするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための、例えば、CRT(陰極線管)、LCD(液晶ディスプレイ)、LED(発光ダイオード)、またはプラズマモニタなどの表示デバイスと、ユーザがそれによってコンピュータに入力を提供できるマウス、トラックボール、またはトラックパッドなどのキーボードおよびポインティングデバイスとを具備するコンピュータ上に実装され得る。圧力感知のタブレットコンピュータ表面、静電容量式または電気式感知を使用したマルチタッチスクリーン、または別のタイプのタッチスクリーンなどのタッチスクリーンを使用してコンピュータに入力を提供してもよい。他の種類のデバイスがユーザと対話するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック(視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック、またはいくつかのフィードバックタイプの組み合わせなど)であり得る。ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受け取ることができる。さらに、コンピュータは、ユーザによって使用されるクライアントコンピューティングデバイスとドキュメントを送受信することによって(例えば、ウェブブラウザから受信した要求に応答してユーザのモバイルコンピューティングデバイス上のウェブブラウザにウェブページを送信することによって)、ユーザと対話できる。
【０１０９】
「グラフィカルユーザインターフェース」または「GUI」という用語は、単数形または複数形で使用され、1つまたは複数のグラフィカルユーザインターフェースおよび特定のグラフィカルユーザインターフェースの各ディスプレイを記述する。従って、GUIは、限定ではないが、情報を処理するとともに情報結果を効率的にユーザに提示するウェブブラウザ、タッチスクリーン、またはコマンドラインインターフェース(CLI)を含む任意のグラフィカルユーザインターフェースを表すことができる。一般に、GUIは、インタラクティブフィールド、プルダウンリスト、およびボタンなど、ウェブブラウザに関連付けられたいくつかまたはすべてのユーザインターフェース(UI)要素をいくつか含むことができる。これらのUI要素および他のUI要素は、ウェブブラウザの機能に関連するかまたはそれを表すことができる。
【０１１０】
本明細書に記載の主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または例えばアプリケーションサーバなどのミドルウェア構成要素を含む、または例えばグラフィカルユーザインターフェースを有するクライアントコンピュータ、またはユーザがそれを介して本明細書に記載の主題の実施形態と対話できるウェブブラウザなどのフロントエンド構成要素を含む、またはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の1つまたは複数の組み合わせを含むコンピューティングシステムで実装され得る。システムの構成要素は、例えば通信ネットワークなどの有線または無線デジタルデータ通信(またはデータ通信の組み合わせ)の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、WIMAX(Worldwide Interoperability for Microwave Access)、例えば、802．11a/b/g/nまたは802．20(または802.11xと802.20の組み合わせ、または本開示に矛盾しない他のプロトコル)を使用する無線ローカルエリアネットワーク(WLAN)、インターネットの全部または一部、別の通信ネットワーク、または通信ネットワークの組み合わせを含む。通信ネットワークは、例えば、インターネットプロトコル(IP)パケット、フレームリレーフレーム、非同期転送モード(ATM)セル、音声、ビデオ、データ、またはネットワークノード間の他の情報と通信できる。
【０１１１】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いに離れており、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【０１１２】
本明細書は多くの具体的な実施形態の詳細を含むが、これらはいかなる発明の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に説明されているいくつかの特徴は、組み合わせて、単一の実施形態で実装されてよい。対照的に、単一の実施形態の文脈で説明されている様々な特徴は、複数の実施形態で別々に、または任意のサブコンビネーションで実装されてよい。さらに、前述の特徴は特定の組み合わせで作用するものとして説明され、最初はそのように請求することさえされ得るが、場合によっては、請求する組み合わせからの1つまたは複数の特徴をその組み合わせから切り取ることができ、請求する組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてよい。
【０１１３】
主題の特定の実施形態が説明された。説明された実施形態の他の実施形態、変形、および置換は、添付の特許請求の範囲の範囲内であり、このことは、当業者には明らかであろう。動作は図面または特許請求の範囲に特定の順序で描かれているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序またはシーケンシャルな順序に実行されること、または図示されたすべての動作（いくつかの動作は任意とされ得る）が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスク処理または並列処理(またはマルチタスク処理と並列処理の組み合わせ)が有利であり、必要に応じて実行され得る。
【０１１４】
さらに、前述の実装形態における様々なシステムモジュールおよび構成要素の分離または統合は、すべての実装形態においてそのような分離または統合を必要とすると理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して単一のソフトウェア製品に統合され得る、または複数のソフトウェア製品にパッケージ化され得ると理解すべきである。
【０１１５】
従って、前述の例示的な実装形態は、本開示を定義または制限するものではない。本開示の精神および範囲から逸脱することなく、他の変更、置換、および変形もまた可能である。
【０１１６】
さらに、特許請求の範囲に記載された実施形態は、少なくともコンピュータ実施方法、コンピュータ実施方法を実行するためのコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体、およびコンピュータ実施方法または非一時的コンピュータ可読媒体に記憶された命令を実行するように構成されたハードウェアプロセッサと相互運用可能に結合されたコンピュータメモリを備えるコンピュータシステムに適用可能であると考えられる。
【符号の説明】
【０１１７】
500  拡張現実ベースのマルチユーザ・オフラインサービス・インタラクション・システム
501  スキャニングモジュール
502  送信モジュール
503  出力モジュール
602  内部バス
603  ネットワークインターフェース
604  メモリ
605  拡張現実ベースのマルチユーザ・オフラインサービス・インタラクション・システム
606  不揮発性メモリ
702  コンピュータ
704  インターフェース
705  プロセッサ
706  データベース
707  メモリ
708  アプリケーション
713  サービスレイヤ
714  電源
730  ネットワーク
【図１】
0006869341.tif 000002
【図２】
0006869341.tif 000003
【図３】
0006869341.tif 000004
【図４】
0006869341.tif 000005
【図５】
0006869341.tif 000006
【図６】
0006869341.tif 000007
【図７】
0006869341.tif 000008