(57)【要約】  リモートエキスパートアプリケーションが、第１のウェアラブルデバイス内に表示された仮想オブジェクトの操作を識別する。仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされる。仮想オブジェクトの操作は、第１のウェアラブルデバイスから受信される。仮想オブジェクトの操作を可視化したものが、第２のウェアラブルデバイスのディスプレイ用に生成される。仮想オブジェクトの操作を可視化したものは、第２のウェアラブルデバイスに通信される。
2017531848.tif 000002
【特許請求の範囲】
【請求項１】
マシンのハードウェアプロセッサを使用して実装され、エキスパート操作ディテクタ、アニメーションエンジン、およびウェアラブルデバイス通信モジュールを備えるリモートエキスパートアプリケーションを備え、
前記エキスパート操作ディテクタは、第１のウェアラブルデバイス内に表示された仮想オブジェクトの操作を識別するように構成され、前記仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされ、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示され、
前記アニメーションエンジンは、前記仮想オブジェクトの前記操作を可視化したものを前記第２のウェアラブルデバイスのディスプレイ用に生成するように構成され、
前記ウェアラブルデバイス通信モジュールは、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を受信し、前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するように構成される、リモートサーバ。
【請求項２】
前記リモートエキスパートアプリケーションが、
前記第２のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信し、前記ビデオフィードから前記物理オブジェクトを識別し、前記物理オブジェクトの前記識別に基づいて前記仮想オブジェクトの３次元モデルを生成するように構成されたコンテンツジェネレータをさらに備え、
前記ウェアラブルデバイス通信モジュールは、前記仮想オブジェクトの前記３次元モデルを前記第２のウェアラブルデバイスに通信するように構成され、前記第２のウェアラブルデバイスは、前記仮想オブジェクトの前記３次元モデルを前記物理オブジェクトに対してレンダリングするように構成される、請求項１に記載のリモートサーバ。
【請求項３】
前記ウェアラブルデバイス通信モジュールは、前記第２のウェアラブルデバイスからの援助を求める要求を受信するように構成され、援助を求める前記要求は、前記物理オブジェクトに関係するものであり、
前記リモートエキスパートアプリケーションは、前期第１のウェアラブルデバイスのユーザを、前期物理オブジェクトに関係するエキスパートとして識別するように構成される、請求項１に記載のリモートサーバ。
【請求項４】
前記エキスパート操作ディテクタは、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を記録するように構成される、請求項１に記載のリモートサーバ。
【請求項５】
前記エキスパート操作ディテクタは、仮想ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するように構成され、前記仮想ジェスチャモジュールは、前記第１のウェアラブルデバイスのディスプレイ内の焦点領域、および前記仮想オブジェクトの特徴部を決定し、前記特徴部が前記第１のウェアラブルデバイスの前記ディスプレイの前記焦点領域内にあることに応答して前記特徴部の状態を変更するように構成される、請求項１に記載のリモートサーバ。
【請求項６】
前記エキスパート操作ディテクタは、物理ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するように構成され、前記物理ジェスチャモジュールは、前記第１のウェアラブルデバイス内に表示された前記仮想オブジェクトに対して前記第１のウェアラブルデバイスのユーザの指の物理的な動きを決定するように構成される、請求項１に記載のリモートサーバ。
【請求項７】
前記可視化したものは、前記仮想オブジェクトの前記操作のアニメーションを含む、請求項１に記載のリモートサーバ。
【請求項８】
前記第１のウェアラブルデバイスは、前記物理オブジェクトに関係するエキスパートによって操作され、前記第２のウェアラブルデバイスは、ユーザによって操作される、請求項１に記載のリモートサーバ。
【請求項９】
前記仮想オブジェクトは、前記第１のウェアラブルデバイスの前記エキスパートによっても、前記第２のウェアラブルデバイスの前記ユーザによっても操作されるように構成され、
前記ウェアラブルデバイス通信モジュールは、前記第１のウェアラブルデバイスの前記エキスパートから前記仮想オブジェクトの前記操作を受信し、前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスの前記ユーザに通信するように構成され、
前記ウェアラブルデバイス通信モジュールは、前記第２のウェアラブルデバイスの前記ユーザから前記仮想オブジェクトの前記操作を受信し、前記仮想オブジェクトの前記操作を前記可視化したものを前記第１のウェアラブルデバイスの前記エキスパートに通信するように構成される、請求項８に記載のリモートサーバ。
【請求項１０】
前記リモートエキスパートアプリケーションが、
複数のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信し、前記複数のウェアラブルデバイスから受信された前記ビデオフィード、位置情報、および向き情報に基づいて前記仮想オブジェクトの３次元モデルを生成し、前記物理オブジェクトの操作を識別するために前記ビデオフィードに対して解析を実施し、前記物理オブジェクトの前記操作に基づいて前記仮想オブジェクトの前記３次元モデルを更新し、前記物理オブジェクトに関係する基準データに対して前記物理オブジェクトの前記操作に関係する動的ステータスを生成するように構成された調査エンジンをさらに備える、請求項１に記載のリモートサーバ。
【請求項１１】
マシンのハードウェアプロセッサを使用して、第１のウェアラブルデバイス内に表示された仮想オブジェクトの操作を識別するステップであって、前記仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされ、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される、ステップと、
前記仮想オブジェクトの前記操作を可視化したものを前記第２のウェアラブルデバイスのディスプレイ用に生成するステップと、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を受信するステップと、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するステップと
を含む方法。
【請求項１２】
前記第２のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信するステップと、
前記ビデオフィードから前記物理オブジェクトを識別するステップと、
前記物理オブジェクトの前記識別に基づいて前記仮想オブジェクトの３次元モデルを生成するステップと、
前記仮想オブジェクトの前記３次元モデルを前記第２のウェアラブルデバイスに通信するステップであって、前記第２のウェアラブルデバイスが、前記仮想オブジェクトの前記３次元モデルを前記物理オブジェクトに対してレンダリングするように構成される、ステップと
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記第２のウェアラブルデバイスからの援助を求める要求を受信するステップであって、援助を求める前記要求は、前記物理オブジェクトに関係する、ステップと、
前期第１のウェアラブルデバイスのユーザを、前期物理オブジェクトに関係するエキスパートとして識別するステップと
をさらに含む、請求項１１に記載の方法。
【請求項１４】
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を記録するステップ
をさらに含む、請求項１１に記載の方法。
【請求項１５】
仮想ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するステップをさらに含み、前記仮想ジェスチャモジュールは、前記第１のウェアラブルデバイスのディスプレイ内の焦点領域、および前記仮想オブジェクトの特徴部を決定し、前記特徴部が前記第１のウェアラブルデバイスの前記ディスプレイの前記焦点領域内にあることに応答して前記特徴部の状態を変更するように構成される、請求項１１に記載の方法。
【請求項１６】
物理ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するステップをさらに備え、前記物理ジェスチャモジュールは、前記第１のウェアラブルデバイス内に表示された前記仮想オブジェクトに対して前記第１のウェアラブルデバイスのユーザの指の物理的な動きを決定するように構成される、請求項１１に記載の方法。
【請求項１７】
前記可視化したものは、前記仮想オブジェクトの前記操作のアニメーションを含み、
前記第１のウェアラブルデバイスは、前記物理オブジェクトに関係するエキスパートによって操作され、
前記第２のウェアラブルデバイスは、ユーザによって操作される、請求項１１に記載の方法。
【請求項１８】
前記仮想オブジェクトは、前記第１のウェアラブルデバイスの前記エキスパートによっても、前記第２のウェアラブルデバイスの前記ユーザによっても操作されるように構成され、前記方法は、
前記第１のウェアラブルデバイスの前記エキスパートから前記仮想オブジェクトの前記操作を受信するステップと、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスの前記ユーザに通信するステップと、
前記第２のウェアラブルデバイスの前記ユーザから前記仮想オブジェクトの前記操作を受信するステップと、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第１のウェアラブルデバイスの前記エキスパートに通信するステップと
をさらに含む、請求項１７に記載の方法。
【請求項１９】
複数のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信するステップと、
前記複数のウェアラブルデバイスから受信された前記ビデオフィード、位置情報、および向き情報に基づいて前記仮想オブジェクトの３次元モデルを生成するステップと、
前記物理オブジェクトの操作を識別するために前記ビデオフィードに対して解析を実施するステップと、
前記物理オブジェクトの前記操作に基づいて前記仮想オブジェクトの前記３次元モデルを更新するステップと、
前記物理オブジェクトに関係する基準データに対して前記物理オブジェクトの前記操作に関係する動的ステータスを生成するステップと
をさらに含む、請求項１１に記載の方法。
【請求項２０】
命令を含む非一時的なマシン可読媒体であって、前記命令は、マシンの１つ以上のプロセッサによって実行されたとき、前記マシンに、
第１のウェアラブルデバイス内に表示された仮想オブジェクトの操作を識別するステップであって、前記仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされ、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される、ステップと、
前記仮想オブジェクトの前記操作を可視化したものを前記第２のウェアラブルデバイスのディスプレイ用に生成するステップと、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を受信するステップと、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するステップと
を含む動作を実施させる、マシン可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１４年８月１５日に出願された米国特許出願第１４／４６１，２５２号の利益を主張し、その全体を参照により本明細書に組み込む。
【０００２】
本明細書に開示されている主題は、一般に、データの処理に関する。詳細には、本開示は、仮想モデルに対するコンポーネントの動的調査を使用してリモートエキスパートシステムを生成するためのシステムおよび方法に対処する。
【背景技術】
【０００３】
デバイスを使用し、そのデバイスで取り込まれた画像に加えて、データを生成し表示することができる。たとえば、拡張現実（ＡＲ）は、物理的な実世界環境の生の、直接的または間接的なビューであり、その環境の要素が、音声、ビデオ、グラフィック、またはＧＰＳデータなど、コンピュータによって生成される感覚入力によって拡張される。先進のＡＲ技術（たとえば、コンピュータビジョンの追加、オブジェクト認識、および他の補足技術）の助けを借りて、ユーザの周囲の実世界についての情報がインタラクティブになる。環境、およびそのオブジェクトについての、デバイスによって生成される（たとえば、人工）情報を実世界に被せることができる。
【発明の概要】
【０００４】
いくつかの実施形態が、添付の図面の図に、限定するものではなく例として示されている。
【図面の簡単な説明】
【０００５】
【図１】いくつかの実施形態に係るリモートエキスパートシステムに適したネットワークの一例を示すブロック図である。
【図２】ユーザウェアラブルデバイスのモジュール（たとえば、コンポーネント）の例示的な実施形態を示すブロック図である。
【図３】エキスパートウェアラブルデバイスのモジュール（たとえば、コンポーネント）の例示的な実施形態を示すブロック図である。
【図４】リモートエキスパートサーバの例示的な実施形態を示すブロック図である。
【図５】調査エンジンの例示的な実施形態を示すブロック図である。
【図６】リモートエキスパートサーバの動作の例示的な実施形態を示すラダー図である。
【図７】リモートエキスパートサーバの動作の例示的な実施形態を示す流れ図である。
【図８】マシン可読媒体から命令を読み取り、本明細書で論じられている方法の１つ以上を実施することができる、いくつかの例示的な実施形態によるマシンのコンポーネントを示すブロック図である。
【図９】例示的な実施形態に係るモバイルデバイスを示すブロック図である。
【発明を実施するための形態】
【０００６】
例示的な方法およびシステムは、拡張現実アプリケーションのためのリモートエキスパートシステムを対象とする。例は、可能な変形形態を代表するにすぎない。別段明示的に述べられていない限り、コンポーネントおよび機能は任意選択であり、組み合わされても細分されてもよく、動作は、順序が変わることがあり、または組み合わされても細分されてもよい。以下の説明では、説明のために、多数の特定の詳細について述べ、例示的な実施形態の完全な理解をもたらす。しかし、本主題は、これらの特定の詳細なしでも実施され得ることが当業者には明らかであろう。
【０００７】
拡張現実アプリケーションは、ウェアラブルデバイスのカメラによって取り込まれた物理オブジェクトの画像上に被せられた３次元仮想オブジェクトの形態でなど、ユーザが情報を体験することを可能にする。物理オブジェクトは、拡張現実アプリケーションが識別することができる目視基準を含むことができる。物理オブジェクトの画像に被せられた、またはかみ合わされた３次元仮想オブジェクトなど追加の情報を可視化したものが、デバイスのディスプレイ内で生成される。３次元仮想オブジェクトは、認識された目視基準、または物理オブジェクトの取り込まれた画像に基づいて選択され得る。３次元仮想オブジェクトを可視化したもののレンダリングは、目視基準に対するディスプレイの位置に基づいてもよい。他の拡張現実アプリケーションは、現実の物理的な世界における任意のオブジェクトのビューまたは画像の上部に被せられた追加の情報を可視化したものをユーザが体験することを可能にする。仮想オブジェクトは、３次元仮想オブジェクトまたは２次元仮想オブジェクトを含んでもよい。たとえば、３次元仮想オブジェクトは、椅子またはアニメーションの恐竜の３次元ビューを含んでもよい。２次元仮想オブジェクトは、ダイアログボックス、メニュー、または野球選手についての統計情報など文書化された情報の２次元ビューを含んでもよい。仮想オブジェクトの画像は、ウェアラブルデバイスにてレンダリングされ得る。
【０００８】
リモートエキスパートサーバのリモートエキスパートアプリケーションは、第１のウェアラブルデバイス内に表示された仮想オブジェクトの操作を識別する。仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされる。仮想オブジェクトは、第１のウェアラブルデバイス内で、第１のウェアラブルデバイスによって視認される基準オブジェクトに対して表示される。仮想オブジェクトの操作は、第１のウェアラブルデバイスから受信される。仮想オブジェクトの操作を可視化したものが、第２のウェアラブルデバイスのディスプレイ用に生成される。仮想オブジェクトの操作を可視化したものは、第２のウェアラブルデバイスに通信される。ユーザは第１のウェアラブルデバイスを着用してもよい。エキスパートは第２のウェアラブルデバイスを着用してもよい。別の例では、ユーザは、ウェアラブルデバイスを使用し、エキスパートのモバイルデバイス（たとえば、タブレット）と通信する。別の例では、ユーザは、モバイルデバイス（たとえば、タブレット）を使用し、ウェアラブルデバイスを有するエキスパートと通信してもよい。別の例では、ユーザのモバイルデバイス（たとえば、タブレット）は、エキスパートの別のモバイルデバイス（たとえば、タブレット）と通信してもよい。
【０００９】
例示的な一実施形態では、リモートエキスパートアプリケーションは、第２のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信する。リモートエキスパートアプリケーションは、ビデオフィードから物理オブジェクトを識別する。リモートエキスパートアプリケーションは、物理オブジェクトの識別に基づいて仮想オブジェクトの３次元モデルを生成する。リモートエキスパートアプリケーションは、仮想オブジェクトの３次元モデルを第２のウェアラブルデバイスに通信する。第２のウェアラブルデバイスは、仮想オブジェクトの３次元モデルを物理オブジェクトに対してレンダリングする。
【００１０】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、第２のウェアラブルデバイスからの援助を求める要求を受信する。援助を求める要求は、物理オブジェクトに関係する。リモートエキスパートアプリケーションは、第１のウェアラブルデバイスのユーザを、物理オブジェクトに関係するエキスパートとして識別する。
【００１１】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、第１のウェアラブルデバイスからの、仮想オブジェクトの操作、を記録する。
【００１２】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、仮想ジェスチャモジュールを使用して、第１のウェアラブルデバイスからの、仮想オブジェクトの操作、を識別する。仮想ジェスチャモジュールは、第１のウェアラブルデバイスのディスプレイ内の焦点領域、および仮想オブジェクトの特徴部を決定し、特徴部が第１のウェアラブルデバイスのディスプレイの焦点領域内にあることに応答して特徴部の状態を変更する。
【００１３】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、物理ジェスチャモジュールを使用して第１のウェアラブルデバイスからの仮想オブジェクトの操作を識別する。物理ジェスチャモジュールは、第１のウェアラブルデバイス内に表示された仮想オブジェクトに対して第１のウェアラブルデバイスのユーザの指の物理的な動きを決定する。
【００１４】
別の例示的な実施形態では、可視化したものは、仮想オブジェクトの操作のアニメーションを含む。第１のウェアラブルデバイスは、物理オブジェクトに関係するエキスパートによって操作される。第２のウェアラブルデバイスは、ユーザによって操作される。
【００１５】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、第１のウェアラブルデバイスのエキスパートから仮想オブジェクトの操作を受信する。リモートエキスパートアプリケーションは、仮想オブジェクトの操作を可視化したものを第２のウェアラブルデバイスのユーザに通信する。リモートエキスパートアプリケーションは、第２のウェアラブルデバイスのユーザから仮想オブジェクトの操作を受信する。リモートエキスパートアプリケーションは、仮想オブジェクトの操作を可視化したものを第１のウェアラブルデバイスのエキスパートに通信する。仮想オブジェクトは、第１のウェアラブルデバイスのエキスパートによっても、第２のウェアラブルデバイスのユーザによっても操作され得る。
【００１６】
別の例示的な実施形態では、リモートエキスパートアプリケーションは、複数のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信する。リモートエキスパートアプリケーションは、複数のウェアラブルデバイスから受信されたビデオフィード、位置情報、および向き情報に基づいて仮想オブジェクトの３次元モデルを生成する。これらのウェアラブルデバイスは、同じ物理オブジェクトに合焦される。リモートエキスパートアプリケーションは、物理オブジェクトの操作を識別するためにビデオフィード／位置情報／向き情報に対して解析を実施し、物理オブジェクトの操作に基づいて仮想オブジェクトの３次元モデルを更新し、物理オブジェクトに関係する基準データに対して物理オブジェクトの操作に関係する動的ステータスを生成する。
【００１７】
異なる角度および場所から同じ物理オブジェクトを見る複数のウェアラブルデバイス（たとえば、カメラおよびディスプレイを含むモバイルデバイス）をさらに使用し、物理オブジェクトの３次元モデルを生成および再構築してもよい。複数のウェアラブルデバイスを利用する調査システムのためのシステムおよび方法について述べる。調査アプリケーションは、物理オブジェクトの３次元モデルに関連付けられたコンポーネントの調査結果を生成する。たとえば、コンポーネントは、ドライウォール上の釘、ダッシュボード上のスイッチ、工場機械上のボタン、または任意の産業物理オブジェクトを含み得る。調査アプリケーションは、ウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信する。ウェアラブルデバイスから受信されたビデオフィード、位置情報、および向き情報に基づいて、オブジェクトの３次元モデルが生成される。オブジェクトの操作（たとえば、釘が壁に打ち込まれつつある、ダッシュボード上でスイッチが操作される）を識別するためにビデオフィードに対して解析が実施される。オブジェクトの３次元モデルが、オブジェクトの操作に基づいて更新される。オブジェクトの操作に関係する動的ステータスが、オブジェクトに関係する基準データに対して生成される。オブジェクトの３次元モデルに関連付けられたコンポーネントの調査結果が生成される。
【００１８】
例示的な一実施形態では、オブジェクトの操作は、オブジェクトの既存のコンポーネントの修正（たとえば、壁上のスイッチ）、オブジェクトへの新しいコンポーネントの追加（たとえば、壁内の釘）、またはオブジェクトの既存のコンポーネントの除去（たとえば、ドアからのハンドル）を含む。
【００１９】
オブジェクト上のコンポーネント（たとえば、壁上の釘）を識別するために、オブジェクト認識がビデオフィードに対して実施される。動的ステータスは、鍵となる状態または特性を使用したオブジェクトに対する操作またはアクションのタイプの識別（たとえば、打ち込まれていない釘、塗装された表面、接着段階、打ち込み段階など）、オブジェクトの操作で使用される工具の識別（たとえば、ハンマー、のこぎりなど）、オブジェクトの３次元モデルに対する操作の場所（たとえば、ボートのサイドパネル上に打ち込まれた釘）、およびオブジェクトの操作に関連付けられたウェアラブルデバイスの識別（たとえば、ウェアラブルデバイスＡのユーザがハンマーを使用する人である）を含み得る。
【００２０】
基準データは、基準オブジェクトの３次元モデル（たとえば、ボート、車、建築物）、基準オブジェクト（たとえば、家）を完成させるための基準プロセス（たとえば、段階３はフレームを構築すること、段階４は配管を接地すること）、基準プロセスに関係する基準の準拠（たとえば、梁１本当たり４つの腕木または筋交いがあるべきである、１カ所またはドライウォール１つ当たり１つの出口があるはずである）を含み得る。
【００２１】
別の例示的な実施形態では、非一時的なマシン可読記憶デバイスが命令のセットを記憶することができ、命令は、少なくとも１つのプロセッサによって実行されたとき、本開示内で論じられている方法操作を少なくとも１つのプロセッサに実施させる。
【００２２】
図１は、いくつかの例示的な実施形態に係る、ウェアラブルデバイス１０６、１０８と通信するリモートエキスパートサーバ１１２を動作させるのに適したネットワーク環境１００を示すネットワーク図である。ネットワーク環境１００は、コンピュータネットワーク１１０を介して互いに通信可能に結合されたウェアラブルデバイス１０６、１０８、モニタリングクライアント１１４、およびリモートエキスパートサーバ１１２を含む。ウェアラブルデバイス１０６、１０８、モニタリングクライアント１１４、およびリモートエキスパートサーバ１１２は、図８および図９に関連して下記で述べるように、コンピュータシステム内に全体が、または一部が実装されてよい。リモートエキスパートサーバ１１２は、ネットワークベースのシステムの一部であってよい。たとえば、ネットワークベースのシステムは、３次元モデル、およびそれらの３次元モデルに対するコンポーネントまたは物品の場所など追加の情報をウェアラブルデバイス１０６、１０８およびモニタリングクライアント１１４に提供するクラウドベースのサーバシステムであっても、それを含んでもよい。
【００２３】
ユーザウェアラブルデバイス１０６は、物理オブジェクト１０２を視認するユーザまたはエキスパートによって着用または保持されてもよい。たとえば、ユーザは、建築物の建設作業者であってもよい。ユーザは、ネットワーク環境１００の一部ではなく、対応するウェアラブルデバイス１０６に関連付けられる。たとえば、ウェアラブルデバイスは、ディスプレイおよびカメラを有するヘッドマウントコンピューティングデバイスなど、ディスプレイを有するコンピューティングデバイスであってよい。ディスプレイおよびカメラは、別個のデバイス上に配置されてもよいが、通信可能に接続され得る。コンピューティングデバイスは、手持ちであっても、ユーザの頭部に一時的に装着されてもよい。一例では、ディスプレイは、ウェアラブルデバイスのカメラで何が取り込まれるかを表示する画面であってもよい。別の例では、デバイスのディスプレイは、ウェアラブルコンピューティンググラスのレンズなど、透明であってもよい。他の例では、ディスプレイは、車、飛行機、またはトラックの風防など、透明ディスプレイであってもよい。ディスプレイは、不透明なものとし、ユーザの視野を覆うようにユーザによって着用可能であってもよい。
【００２４】
各ユーザウェアラブルデバイス１０６は、物理オブジェクト１０２周りで異なる場所に位置する複数のユーザによって着用されてもよい。たとえば、物理オブジェクト１０２は、建造中のボートであってもよく、各ウェアラブルデバイスは、造船所においてボート上で作業する建設作業者のヘルメットに装着されてもよい。複数の建設作業者がボート周りで異なる場所に位置してもよい。したがって、複数の建設作業者は、同時にボートの異なる部分を視認することがある。建設作業者は、完成後のボートの仮想３次元モデルで建設作業者がボートの各自のビューを拡張することができる、対応するウェアラブルデバイス内のアプリケーションのユーザとすることができる。たとえば、アプリケーションは、ボートの一部、２次元物理オブジェクト（たとえば、ドア上のマーキング）、３次元物理オブジェクト（たとえば、入口に位置する彫像）、場所（たとえば、主甲板、左舷、右舷）、または実世界物理環境における任意の目視基準もしくは非目視基準（たとえば、壁または家具の知覚された隅部）によってトリガされる体験を建設作業者にもたらすように構成された拡張現実アプリケーションを含んでもよい。たとえば、建設作業者は、２次元物理オブジェクトの画像を取り込むために、対応するウェアラブルデバイスのカメラを向けてもよい。画像は、ウェアラブルデバイスの拡張現実アプリケーションのコンテキスト認識データセットモジュールなどローカルデータベースを使用してウェアラブルデバイス内でローカルに追跡および認識される。ローカルのコンテキスト認識データセットモジュールは、実世界物理オブジェクトまたは基準に関連付けられた仮想オブジェクトのライブラリを含んでもよい。次いで、拡張現実アプリケーションは、画像に対応する追加の情報（たとえば、３次元モデル）を生成し、認識された画像を識別したことに応答して、この追加の情報をウェアラブルデバイスのディスプレイ内で提示する。取り込まれた画像がウェアラブルデバイスにてローカルで認識されない場合、ウェアラブルデバイスは、取り込まれた画像に対応する追加の情報（たとえば、３次元モデル）を、コンピュータネットワーク１１０を介してリモートエキスパートサーバ１１２のデータベースからダウンロードする。
【００２５】
ユーザウェアラブルデバイス１０６を使用し、物理オブジェクト１０２の異なる角度からビデオおよび画像を取り込んでもよい。構造化光によって生成されたデータなど、他のセンサデータが取り込まれてもよい。例示的な一実施形態では、ユーザウェアラブルデバイス１０６は、対応するユーザが何を見ているかについてビデオフィードをリモートエキスパートサーバ１１２にブロードキャストしてもよい。別の例では、ユーザウェアラブルデバイス１０６は、定期的な間隔でフレームまたは画像を取り込み、それらをリモートエキスパートサーバ１１２にブロードキャストする。別の例では、ユーザウェアラブルデバイス１０６は、規則的な間隔で、および／または互いに対する、また物理オブジェクト１０２に対するそれらの地理的場所に基づいて、画像をブロードキャストする。たとえば、物理オブジェクト１０２周りで、時計回りまたは反時計回りなど順次パターンで取り込まれてもよい。他の例は、画像取込みと他のユーザウェアラブルデバイスからのビデオフィードの組合せを含む。ビデオ／画像取込みのパターンは、各ウェアラブルデバイスの動き、場所、および向きに基づいて交互してもよい。たとえば、ウェアラブルデバイスが物理オブジェクト１０２から目を離している場合、取込みの率が低下することがあり、または画像が取り込まれないことがある。別の例では、ウェアラブルデバイスのいくつかが残りのウェアラブルデバイス間の近接度に対して互いに近くに位置する場合、互いに近いことを検出したウェアラブルデバイス同士は、ビデオ／画像をより低い率で取り込み、ブロードキャストすることがある。同様に、他のウェアラブルデバイスから比較的遠いウェアラブルデバイスは、ビデオ／画像をより高い率で取り込み、ブロードキャストすることがある。
【００２６】
ユーザウェアラブルデバイス１０６から受信されたデータ（たとえば、カメラを使用して取り込まれた画像データ、ＧＰＳまたはＷｉＦｉを使用して取り込まれた位置データ、加速度計を使用して取り込まれた向きデータ）を使用し、物理オブジェクト１０２の３次元モデルを再構築および生成してもよい。たとえば、造船所にて建設作業者によって着用されたウェアラブルデバイスは、建造されているボートに近接したとき直ちに、または距離または半径閾値が横断されたとき画像／ビデオを取り込み始めてもよい。ボート周りの異なる角度および場所からの２次元画像を使用し、３次元オブジェクト認識アルゴリズムを有する一般的なコンピュータビジョンシステムを使用して建造されているボートの３次元モデルを再構築してもよい。３次元再構築モデルは、自動の処理後ステップとして、または元のデータ取込みが行われてからかなり後にシステム内に導入される新しいクエリまたは方程式に関係してオンデマンドで生成されてもよい。
【００２７】
さらに、ユーザウェアラブルデバイス１０６から受信されるデータは、画像またはビデオフレーム内のオブジェクトをファイルし識別するためにコンピュータビジョンオブジェクト認識システムに提供されてもよい。一実施形態では、オブジェクト認識システムは、リモートエキスパートサーバ１１２の一部であってもよい。したがって、ユーザウェアラブルデバイス１０６からのデータを使用し、物理オブジェクト１０２の３次元モデルを再構築してもよいが、認識されたオブジェクトの調査結果またはインベントリを維持してもよい。たとえば、リモートエキスパートサーバ１１２は、何本の釘がボートの東側に平行に打たれたか、誰が最後にハンマーを使用したか、いつハンマーが使用されたか、およびどこでハンマーが使用されたかについて追跡してもよい。また、調査システム（図示せず）を使用し、構築または作業されている物理オブジェクト１０２の３次元モデルを、物理オブジェクト１０２の３次元完成モデルと比較してもよい。別の例では、調査システムを使用し、ウェアラブルデバイスから受信されたデータ、および基準データに基づいて検出された問題を識別し、それについてウェアラブルデバイスのユーザに警告してもよい。たとえば、リモートエキスパートサーバ１１２は、基準データに基づいて釘が間違った場所に打ち込まれたことを検出し、対応するウェアラブルデバイスのユーザに通知してもよい。
【００２８】
ユーザウェアラブルデバイス１０６は、認識された物理オブジェクト１０２に基づいて、仮想オブジェクトを可視化したものを生成してもよい。たとえば、ユーザウェアラブルデバイス１０６は、空調ユニットを見ていることがある。ユーザウェアラブルデバイス１０６を使用して視認するために、空調ユニットのコンポーネントなど仮想オブジェクトをレンダリングしてもよい。したがって、ユーザは、物理オブジェクト１０２の周り、その上、またはそれに対する任意の他の予め定義された位置に浮かぶ仮想カバー、仮想回路ボックス、および仮想制御スイッチの３次元モデルなど異なるコンポーネントを見ることができる。
【００２９】
ユーザウェアラブルデバイス１０６のユーザは、空調ユニットを修理しようと試みることがあり、ユーザウェアラブルデバイス１０６によって識別される空調ユニットのブランドまたはタイプに基づいて、空調ユニットの分野におけるエキスパートに援助を要求してもよい。ユーザウェアラブルデバイス１０６のユーザは、援助を求めてリモートエキスパートサーバ１１２に要求してもよい。リモートエキスパートサーバ１１２は、物理オブジェクト１０２に関係するエキスパートを識別し、仮想オブジェクトのモデルなど、データを対応するエキスパートウェアラブルデバイス１０８に通信してもよい。
【００３０】
したがって、エキスパートウェアラブルデバイス１０８は、ユーザウェアラブルデバイス１０６によって視認された仮想オブジェクトの表示を生成し得る。エキスパートウェアラブルデバイス１０８は、基準オブジェクト１０４に対して仮想オブジェクトを視認してもよい。たとえば、エキスパートウェアラブルデバイス１０８は、同様の物理的な空調ユニットまたは任意の他の物理的な基準オブジェクトを視認してもよい。仮想オブジェクトの３次元モデルは、エキスパートが同様の物理的な空調ユニットまたは物理的な基準オブジェクト周りを移動するにつれて異なる遠近感から視認されてもよい。エキスパートウェアラブルデバイス１０８は、エキスパートが仮想オブジェクトを操作するところを検出し、それらの操作をリモートエキスパートサーバ１１２に通信してもよい。たとえば、エキスパートウェアラブルデバイス１０８は、エキスパートが仮想スイッチをオフにし、次いで仮想カバーを空調ユニットから離すところを取り込むことがあり得る。
【００３１】
例示的な一実施形態では、ウェアラブルデバイスは、追跡センサ、およびリモートエキスパートサーバ１１２のコンピューティングリソースを使用して、いくつかの処理（たとえば、ウェアラブルデバイス内に表示されることになる仮想オブジェクトの追跡およびレンダリング）をオフロードしてもよい。追跡センサを使用し、ウェアラブルデバイスの内部のセンサに依拠する必要なしに、外部からウェアラブルデバイスの場所および向きを追跡してもよい。追跡センサは、追加として、またはフェールセーフ／冗長として、または微調整のために使用されてもよい。追跡センサは、光学センサ（たとえば、デプス対応の３Ｄカメラ）、無線センサ（たとえば、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ）、ＧＰＳセンサ、生体計測センサ、および音声センサを含み、ウェアラブルデバイスを有するユーザの場所、ユーザと物理環境内の追跡センサ（たとえば、行為地または部屋の隅部に配置されたセンサ）との間の距離、またはユーザが何を見ているか追跡するためにウェアラブルデバイスの向き（たとえば、ウェアラブルデバイスが向けられている方向。ウェアラブルデバイスはテニスコート上の選手に向けられている、ウェアラブルデバイスは、室内の人に向けられている）を決定してもよい。
【００３２】
リモートエキスパートサーバ１１２のコンピューティングリソースを使用し、（ウェアラブルデバイスを用いて内部で、または追跡センサを用いて外部で生成された）追跡データに基づいて仮想オブジェクトを決定しレンダリングしてもよい。したがって、拡張現実レンダリングは、リモートエキスパートサーバ１１２上で実施され、対応するウェアラブルデバイスにストリーミングで戻される。したがって、ウェアラブルデバイスは、仮想オブジェクトを計算しレンダリングすることを必要とせず、すでにレンダリングされた仮想オブジェクトをウェアラブルデバイスのディスプレイ内で表示してもよい。たとえば、拡張現実レンダリングは、建築仕様または地方自治体規則に従ってハンドルがどこに設置されるべきであるかという場所を含んでもよい。
【００３３】
別の実施形態では、追跡センサからのデータは、ユーザが物理環境とどのようにインタラクションしているか解析するために、リモートエキスパートサーバ１１２での解析データ処理のために使用されてもよい。たとえば、解析データは、物理オブジェクトまたは仮想オブジェクト上のどの場所（たとえば、点または特徴部）をユーザが見ていたか、物理オブジェクトまたは仮想オブジェクト上の各場所をユーザがどの位の時間見ていたか、物理オブジェクトまたは仮想オブジェクトを見るときユーザがウェアラブルデバイスをどのように保持していたか、仮想オブジェクトのどの特徴部とユーザがインタラクションしたか（たとえば、ユーザが仮想オブジェクト内のリンク上でタップしたかどうか）、およびそれらの任意の好適な組合せを追跡してもよい。ユーザウェアラブルデバイス１０６は、解析データに関係する可視化コンテンツデータセットを受信する。次いで、ユーザウェアラブルデバイス１０６は、可視化コンテンツデータセットに基づいて、追加のもしくは可視化特徴部、または新しい体験を有する仮想オブジェクトを生成する。
【００３４】
図１に示されているマシン、データベース、またはデバイスのいずれかは、ソフトウェアによって修正された（たとえば、構成またはプログラムされた）汎用コンピュータ内で、そのマシン、データベース、またはデバイスのために本明細書に記載の機能の１つ以上を実施するための専用コンピュータになるように実装してもよい。たとえば、本明細書に記載の方法のいずれか１つ以上を実装することが可能なコンピュータシステムについては、図８および図９を参照して下記で論じられている。本明細書では、「データベース」は、データ記憶リソースであり、テキストファイル、表、スプレッドシート、リレーショナルデータベース（たとえば、オブジェクトリレーショナルデータベース）、トリプレットストア、階層データストア、またはそれらの任意の好適な組合せとして構造化されたデータを記憶することができる。さらに、図１に示されているマシン、データベース、またはデバイスの任意の２つ以上を単一のマシンに組み合わせてもよく、任意の単一のマシン、データベース、またはデバイスのための本明細書に記載の機能を、複数のマシン、データベース、またはデバイスの間で細分してもよい。
【００３５】
コンピュータネットワーク１１０は、マシン（たとえば、リモートエキスパートサーバ１１２）、データベース、およびウェアラブルデバイス間、またはそれらの中で通信を可能にする任意のネットワークとすることができる。したがって、コンピュータネットワーク１１０は、有線ネットワーク、無線ネットワーク（たとえば、モバイルネットワークまたはセルラネットワーク）、またはそれらの任意の好適な組合せであってよい。コンピュータネットワーク１１０は、プライベートネットワーク、パブリックネットワーク（たとえば、インターネット）、またはそれらの任意の好適な組合せを構成する１つ以上の部分を含んでもよい。
【００３６】
図２は、いくつかの例示的な実施形態による、ユーザウェアラブルデバイス１０６のモジュール（たとえば、コンポーネント）を示すブロック図である。ユーザウェアラブルデバイス１０６は、センサ２０２、ディスプレイ２０４、プロセッサ２０６、および記憶デバイス２０８を含み得る。たとえば、ユーザウェアラブルデバイス１０６は、ユーザのウェアラブルコンピューティングデバイス、車載コンピュータ、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、またはスマートフォンとすることができる。ユーザは、人であるユーザ（たとえば、人間）、マシンユーザ（たとえば、ユーザウェアラブルデバイス１０６とインタラクションするようにソフトウェアプログラムによって構成されたコンピュータ）、またはそれらの任意の好適な組合せ（たとえば、マシンによる援助を受ける人または人に指示されるマシン）とすることができる。
【００３７】
センサ２０２は、たとえば、近接センサもしくは位置センサ（たとえば、近接場通信、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ）、光学センサ（たとえば、カメラ）、姿勢センサ（たとえば、ジャイロスコープ）、音声センサ（たとえば、マイクロフォン）、またはそれらの任意の好適な組合せを含み得る。たとえば、センサ２０２は、ユーザウェアラブルデバイス１０６の後ろ向きカメラおよび前向きカメラを含んでもよい。本明細書に記載のセンサは、例示のためのものにすぎず、したがってセンサ２０２は記載のものに限定されないことに留意されたい。センサ２０２は、ビデオおよび音声を取り込むように構成されてもよい。
【００３８】
ディスプレイ２０４は、たとえば、タッチスクリーンディスプレイ上での接触を介してユーザ入力を受け取るように構成されたタッチスクリーンディスプレイを含み得る。一例では、ディスプレイ２０４は、プロセッサ２０６によって生成される画像を表示するように構成された画面またはモニタを含んでもよい。別の例では、ディスプレイ２０４は、ユーザがディスプレイ２０４を通して見ることができるように透明または半透明であってもよい（たとえば、ヘッドアップディスプレイ）。
【００３９】
プロセッサ２０６は、ブロードキャストアプリケーション２１０、およびディスプレイアプリケーション２１２を含み得る。ブロードキャストアプリケーション２１０は、ユーザウェアラブルデバイス１０６からリモートエキスパートサーバ１１２にデータを通信するように構成され得る。たとえば、ブロードキャストアプリケーション２１０は、ビデオフレームフィードモジュール２１４、および位置／向きモジュール２１６を含み得る。ビデオフレームフィードモジュール２１４は、カメラを使用して取り込まれた画像および／またはビデオフレームをセンサ２０２から送るように構成され得る。別の例では、ビデオフレームフィードモジュール２１４を使用し、センサ２０２を使用して取り込まれたビデオに基づいてビデオフィードを送ってもよい。位置／向きモジュール２１６は、ユーザウェアラブルデバイス１０６の地理的場所および向きを決定するように構成され得る。地理的場所は、ＧＰＳ、ＷｉＦｉ、オーディオトーン、光読み取り、および他の手段を使用して決定されてもよい。向きは、ユーザウェアラブルデバイス１０６内の内部コンパスおよび加速度計を使用して決定され、ユーザウェアラブルデバイス１０６がどこに位置するか、またユーザウェアラブルデバイス１０６がどの方向に向けられているか決定し得る。
【００４０】
ディスプレイアプリケーション２１２は、ディスプレイ２０４内で拡張データを生成するように構成され得る。拡張データは、たとえば仮想オブジェクトレンダリングを含み得る。一実施形態では、ディスプレイアプリケーション２１２は、拡張現実（ＡＲ）レンダリングモジュール２１８、およびリモートエキスパートモジュール２２４を含み得る。
【００４１】
ＡＲレンダリングモジュール２１８は、ディスプレイ２０４内で仮想オブジェクトを生成するように構成され得る。ＡＲレンダリングモジュール２１８は、ユーザウェアラブルデバイス１０６のカメラによって取り込まれた物理オブジェクトの画像上に被せられた（たとえば、重ね合わされた、または他の形で画像と並行して表示された）３次元仮想オブジェクトを可視化したものを、ユーザウェアラブルデバイス１０６のディスプレイ２０４内で生成するローカルレンダリングエンジンを含み得る。たとえば、仮想オブジェクトは、ノブがどこに設置されるべきか示すために、物理的なドア上に位置する仮想ノブを含んでもよい。別の例では、仮想オブジェクトは、色付きの配線図を含んでもよい。３次元仮想オブジェクトを可視化したものは、物理オブジェクトの位置（たとえば、物理的な場所、向き、または両方）を、ユーザウェアラブルデバイス１０６のカメラに対して調整することによって操作され得る。同様に、３次元仮想オブジェクトを可視化したものは、ユーザウェアラブルデバイス１０６のカメラの位置を物理オブジェクトに対して調整することによって操作され得る。
【００４２】
例示的な一実施形態では、ＡＲレンダリングモジュール２１８は、取り込まれた実世界物理オブジェクトに関連付けられた仮想オブジェクトの３次元モデルを取り出すことができる。たとえば、取り込まれた画像は、識別可能な画像、記号、文字、数字、またはマシン可読コードからなる目視基準（マーカとも称される）を含んでもよい。たとえば、目視基準は、バーコード、クイックレスポンス（ＱＲ）コード、または３次元仮想オブジェクトに前もって関連付けられている画像（たとえば、３次元仮想オブジェクトに対応するように前もって決定されている画像）を含み得る。
【００４３】
例示的な一実施形態では、ＡＲレンダリングモジュール２１８は、物理オブジェクト（たとえば、物理的な電話）を識別し、物理オブジェクトの物理的な操作（たとえば、物理的な電話の受話器をとること）に関連付けられた仮想機能（たとえば、近くのテレビの音量を上げる、または下げること）にアクセスし、物理オブジェクトの物理的な操作に対応する仮想機能を生成する操作モジュールを含み得る。
【００４４】
リモートエキスパートモジュール２２４は、ユーザウェアラブルデバイス１０６のユーザが物理オブジェクト１０２に関係する援助を要求することを可能にし得る。たとえば、ユーザが物理オブジェクト１０２を修理する、または物理オブジェクト１０２について勉強する助けを必要とする場合、リモートエキスパートモジュール２２４は、リモートエキスパートサーバ１１２と通信し、物理オブジェクト１０２に関係するエキスパートに援助を求めてもよい。リモートエキスパートモジュール２２４は、物理オブジェクト１０２のビデオフィードおよびＡＲレンダリングモジュール２１８によってレンダリングされた仮想オブジェクトを含むデータをリモートエキスパートサーバ１１２に通信してもよい。リモートエキスパートサーバ１１２は、その情報を対応するエキスパートウェアラブルデバイス１０８に中継してもよい。さらに、リモートエキスパートモジュール２２４は、エキスパートウェアラブルデバイス１０８からの仮想オブジェクトの識別された操作に基づいて仮想オブジェクトを可視化したものを修正してもよい。たとえば、エキスパートは、物理オブジェクト１０２の特定の領域を強調するように仮想オブジェクトを修正または追加してもよい。エキスパートウェアラブルデバイス１０８は、修正または追加された仮想オブジェクトを、リモートエキスパートサーバ１１２を介してリモートエキスパートモジュール２２４に通信してもよい。
【００４５】
別の例では、ＡＲレンダリングモジュール２１８によって生成された仮想オブジェクトが共有され、仮想オブジェクトの任意の修正がユーザウェアラブルデバイス１０６とエキスパートウェアラブルデバイス１０８との間で同期および共有されてもよい。
【００４６】
記憶デバイス２０８は、目視基準（たとえば、画像）、および対応する体験（たとえば、３次元仮想オブジェクト、３次元仮想オブジェクトのインタラクティブな特徴部）のデータベースを記憶するように構成され得る。たとえば、目視基準は、マシン可読コードまたは前もって識別されている画像（たとえば、靴の写真）を含んでもよい。靴の前もって識別されている画像は、ユーザウェアラブルデバイス１０６の位置を靴の写真に対して操作することによって異なる角度から視認することができる靴の３次元仮想モデルに対応してもよい。３次元仮想靴の特徴部は、靴の３次元仮想モデル上の選択可能なアイコンを含んでもよい。アイコンは、ユーザウェアラブルデバイス１０６上でタップまたは移動することによって選択または起動することができる。
【００４７】
例示的な一実施形態では、記憶デバイス２０８は、物理オブジェクト１０２の３次元仮想モデルを記憶してもよい。たとえば、３次元モデルは、仕上げ後のボートの３次元モデルを含むことがある。ウェアラブルデバイスは、ウェアラブルデバイスによって取り込まれた物理オブジェクト１０２の画像上に重ね合わされた最終製品のビューをユーザに提示することができる。
【００４８】
別の例示的な実施形態では、記憶デバイス２０８は、１次コンテンツデータセット、コンテキストコンテンツデータセット、および可視化コンテンツデータセットを含む。１次コンテンツデータセットは、たとえば、画像および対応する体験（たとえば、３次元仮想モデルとのインタラクション）の第１のセットを含む。たとえば、画像は、１つ以上の仮想オブジェクトモデルに関連付けられてもよい。１次コンテンツデータセットは、リモートエキスパートサーバ１１２によって決定される最も人気のある画像のコアセットを含んでもよい。たとえば、画像のコアセットは、１０の最も人気のある雑誌のカバーを示す画像、およびそれらの対応する体験（１０の最も人気のある雑誌を表す仮想オブジェクト）を含んでもよい。別の例では、リモートエキスパートサーバ１１２は、リモートエキスパートサーバ１１２によって受信された最も人気のある、またはしばしばスキャンされる画像に基づいて画像のコアセットを生成してもよい。したがって、１次コンテンツデータセットは、ユーザウェアラブルデバイス１０６のセンサ２０２によってスキャンされたオブジェクトまたは画像に依存しない。
【００４９】
コンテキストコンテンツデータセットは、たとえば、リモートエキスパートサーバ１１２から取り出された画像および対応する体験（たとえば、３次元仮想オブジェクトモデル）の第２のセットを含む。たとえば、１次コンテンツデータセット内で認識されないユーザウェアラブルデバイス１０６で取り込まれた画像が、認識のためにリモートエキスパートサーバ１１２にサブミットされる。取り込まれた画像がリモートエキスパートサーバ１１２によって認識された場合、対応する体験は、ユーザウェアラブルデバイス１０６によってダウンロードされ、コンテキストコンテンツデータセット内で記憶されてもよい。したがって、コンテキストコンテンツデータセットは、ユーザウェアラブルデバイス１０６が使用されたコンテキストに依拠する。したがって、コンテキストコンテンツデータセットは、ユーザウェアラブルデバイス１０６のＡＲレンダリングモジュール２１８によってスキャンされたオブジェクトまたは画像に依存する。
【００５０】
本明細書に記載のモジュールのいずれか１つ以上は、ハードウェア（たとえば、マシンのプロセッサ）またはハードウェアとソフトウェアの組合せを使用して実装されてもよい。たとえば、本明細書に記載の任意のモジュールは、そのモジュールのための本明細書に記載の動作を実施するようにプロセッサを構成してもよい。さらに、これらのモジュールの任意の２つ以上が単一のモジュールに組み合わされてもよく、単一のモジュールのための本明細書に記載の機能は、複数のモジュールの間で細分されてもよい。さらに、様々な例示的な実施形態によれば、単一のマシン、データベース、またはデバイス内で実装されるものとして本明細書に記載のモジュールは、複数のマシン、データベース、またはデバイスにわたって分散されてもよい。
【００５１】
図３は、いくつかの例示的な実施形態による、エキスパートウェアラブルデバイス１０８のモジュール（たとえば、コンポーネント）を示すブロック図である。エキスパートウェアラブルデバイス１０８は、センサ３０２、ディスプレイ３０４、プロセッサ３０６、および記憶デバイス３０８を含み得る。たとえば、エキスパートウェアラブルデバイス１０８は、は、ユーザのウェアラブルコンピューティングデバイス、車載コンピュータ、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、またはスマートフォンとすることができる。ユーザは、人であるユーザ（たとえば、人間）、マシンユーザ（たとえば、エキスパートウェアラブルデバイス１０８とインタラクションするようにソフトウェアプログラムによって構成されたコンピュータ）、またはそれらの任意の好適な組合せ（たとえば、マシンによる援助を受ける人または人に指示されるマシン）とすることができる。
【００５２】
センサ３０２は、図２のセンサ２０２と同様のものとすることができる。ディスプレイ３０４は、図２のディスプレイ２０４と同様のものとすることができる。
【００５３】
プロセッサ３０６は、ＡＲ操作アプリケーション３１０、およびディスプレイアプリケーション３１２を含み得る。ＡＲ操作アプリケーション３１０は、エキスパートウェアラブルデバイス１０８のユーザによるジェスチャを識別するように構成され得る。たとえば、ジェスチャは、ユーザの四肢（腕、指）の予め定義された運動、またはエキスパートウェアラブルデバイス１０８の予め定義された運動（左右に振ること、傾けること、上がること、見下ろすことなど）を含み得る。仮想オブジェクトを移動すること、回転させること、またはその向きを変更することなど、ジェスチャを使用し、仮想オブジェクトの操作を表明することができる。ＡＲ操作アプリケーション３１０は、仮想オブジェクトの操作を記録してもよい。ＡＲ操作アプリケーション３１０は、目視ジェスチャモジュール３１４、および物理ジェスチャモジュール３１６を含み得る。目視ジェスチャモジュール３１４を使用し、ディスプレイ３０４の焦点領域を使用してジェスチャを解釈することができる。一実施形態では、目視ジェスチャモジュール３１４は、ディスプレイ３０４内の焦点領域および仮想オブジェクトの特徴部を決定し、特徴部がエキスパートウェアラブルデバイス１０８のディスプレイの焦点領域内にあることに応答して特徴部の状態を変更する。たとえば、仮想ボックスの上部が、ディスプレイ３０４の中央に配置されるように視認されてもよく、この場合、中央が焦点領域として定義されてもよい。エキスパートウェアラブルデバイス１０８のユーザが５秒より長い間仮想ボックスの上部を見つめていた場合、仮想ボックスの上部が予め定義された時間より長い間焦点領域内にあった結果として仮想ボックスが開いてもよい。
【００５４】
物理ジェスチャモジュール３１６は、たとえば、エキスパートウェアラブルデバイス１０８内に表示された仮想オブジェクトに対するエキスパートウェアラブルデバイス１０８のユーザの指の物理的な動きを識別する。たとえば、ユーザは、仮想オブジェクトを視認しているとき、自分の指を使用し、仮想オブジェクトの「上部に」自分の指／手を置くことによって仮想オブジェクトを操作し動かすことができる。物理ジェスチャモジュール３１６は、たとえばユーザの指の配置に基づいて、ユーザが移動、変更、または回転させたいと望んでいる可能性があると決定してもよい。他の物理ジェスチャは、手を振ること、または手を特定のパターンもしくは方向に動かすことを含んでもよい。
【００５５】
ディスプレイアプリケーション３１２は、ディスプレイ２０４内で拡張データを生成するように構成され得る。拡張データは、ユーザウェアラブルデバイス１０６によって視認される仮想オブジェクトを含み得る。一実施形態では、ディスプレイアプリケーション３１２は、図２の拡張現実（ＡＲ）レンダリングモジュール２１８と同様のＡＲレンダリングモジュール３１８を含んでもよい。
【００５６】
例示的な一実施形態では、ＡＲレンダリングモジュール３１８は、物理オブジェクト１０２とは異なり得る基準オブジェクト１０４に対する仮想オブジェクトの３次元モデルを取り出すことができる。たとえば、基準オブジェクト１０４は、物理オブジェクト１０２に関連付けられてもよく、識別可能な画像、記号、文字、数字、またはマシン可読コードからなる目視基準（マーカとも称される）を含んでもよい。たとえば、目視基準は、バーコード、クイックレスポンス（ＱＲ）コード、または３次元仮想オブジェクトに前もって関連付けられている画像（たとえば、３次元仮想オブジェクトに対応するように前もって決定されている画像）を含み得る。
【００５７】
記憶デバイス３０８は、図２の記憶デバイス２０８と同様のものとすることができる。記憶デバイス３０８は、ＡＲ操作アプリケーション３１０を使用して識別された仮想オブジェクトの操作の記録を記憶してもよい。
【００５８】
図４は、リモートエキスパートサーバ１１２のモジュール（たとえば、コンポーネント）を示すブロック図である。リモートエキスパートサーバ１１２は、リモートエキスパートアプリケーション４０２およびデータベース４０６を含む。
【００５９】
リモートエキスパートアプリケーション４０２は、ＡＲコンテンツジェネレータ４０８、エキスパートＡＲ操作ディテクタ４１０、調査エンジン４１２、ＡＲアニメーションエンジン４１４、およびウェアラブルデバイス通信モジュール４１６を含み得る。
【００６０】
ＡＲコンテンツジェネレータ４０８は、ユーザウェアラブルデバイス１０６によって視認された物理オブジェクト１０２に基づいて仮想オブジェクトの３次元モデルを生成する。ＡＲコンテンツジェネレータ４０８は、物理オブジェクト１０２に対するユーザウェアラブルデバイス１０６の位置に基づいてユーザウェアラブルデバイス１０６のディスプレイ２０４内にレンダリングされることになる仮想オブジェクトのモデルを生成し得る。物理オブジェクト１０２の物理的な動きが、ユーザウェアラブルデバイス１０６によって取り込まれた画像から識別される。また、ＡＲコンテンツジェネレータ４０８は、追跡データ（ユーザウェアラブルデバイス１０６から受け取られた、またはユーザウェアラブルデバイス１０６の外部で生成されたもの）に対応する仮想オブジェクトを決定し、仮想オブジェクトをレンダリングしてもよい。さらに、追跡データは、ユーザウェアラブルデバイス１０６のユーザによって見られている実世界オブジェクトを識別し得る。仮想オブジェクトは、操作可能な仮想オブジェクト、またはそのようなものに関連付けられた、表示された拡張情報を含んでもよい。仮想オブジェクトは、物理オブジェクト１０２とのユーザのインタラクションに基づいて操作可能とすることができる。たとえば、ユーザは、物理オブジェクトおよび仮想オブジェクトを視認デバイス（たとえば、タブレット、ヘルメット、眼鏡）から視認し、視認デバイスを物理オブジェクト１０２の周り、その近く、またはそこから離すように動かすことによって仮想オブジェクトを操作することができる。別の例では、ユーザは、視認デバイスのタッチスクリーンを介して仮想オブジェクトを操作してもよい。たとえば、ユーザは、タッチスクリーンをスワイプすることによって仮想オブジェクトのビューを回転させてもよい。
【００６１】
エキスパートＡＲ操作ディテクタ４１０は、エキスパートウェアラブルデバイス１０８による仮想オブジェクトの操作を識別し、エキスパートウェアラブルデバイス１０８のＡＲ操作アプリケーション３１０と通信する。
【００６２】
調査エンジン４１２は、物理オブジェクト１０２に関係する動的な、またはリアルタイムのステータスを提供するように物理オブジェクト１０２をマッピングし調査するように構成され得る。たとえば、造船所で各自がユーザウェアラブルデバイス１０６を有する建設作業者からの組み合わされたデータを使用し、建設作業者が建造している船またはボートの３次元モデルを再構築することができる。３次元モデルは、リモートエキスパートサーバ１１２にてレンダリングされ、モニタリングクライアント１１４に提供され得る。したがって、設計者は、建造されている船の動的な３Ｄモデルを見ることができる。３Ｄモデルは、拡張情報としてウェアラブルデバイスに対してレンダリングおよび提供されてもよい。さらに、ウェアラブルデバイスからのデータは、誰が船のどの部分で作業しているか、どこに彼らがいるか、どこに工具があるか、いつそれらが最後に使用されたか、および建設作業者が仕様または規則に準拠したかどうかについての動的なステータスを生成するようにオブジェクト認識およびオブジェクト追跡のために使用されてもよい。
【００６３】
ＡＲアニメーションエンジン４１４は、エキスパートＡＲ操作ディテクタ４１０によって検出されたＡＲコンテンツ操作のアニメーションを生成する。ＡＲアニメーションエンジン４１４は、別のウェアラブルデバイス内で表示するために、仮想オブジェクトの操作を可視化したものを生成する。たとえば、エキスパートは、空調ユニットの一部をどのように分解するかを示すために、仮想オブジェクトを動かすことができる。ＡＲアニメーションエンジン４１４は、仮想オブジェクトの動きを記録し、仮想オブジェクトの動きに基づいてアニメーションを生成してもよい。
【００６４】
ウェアラブルデバイス通信モジュール４１６は、ユーザウェアラブルデバイス１０６のＡＲレンダリングモジュール２１８およびエキスパートウェアラブルデバイス１０８のＡＲ操作アプリケーション３１０のどちらとも通信する。一実施形態では、ウェアラブルデバイス通信モジュール４１６は、レンダリングされた仮想オブジェクトの一部分をストリーミングし、リモートエキスパートサーバ１１２によってレンダリングされず送られない仮想オブジェクトの残りの部分をユーザウェアラブルデバイス１０６にレンダリングさせてもよい。
【００６５】
データベース４０６は、基準３Ｄモデルデータセット４２４、基準データセット４２６、コンテンツデータセット４２８、および仮想コンテンツデータセット４３０を記憶し得る。基準データセット４２６は、物理オブジェクト１０２に関係する基準を含み得る。基準３Ｄモデルデータセット４２４は、完成後の物理オブジェクト１０２、および物理オブジェクト１０２に関係する他のオブジェクトの３Ｄモデルを含み得る。たとえば、基準３Ｄモデルデータセット４２４は、完成後の船、マシン、または建築物の３Ｄモデルを含んでもよい。基準データセット４２６は、たとえば、建築法規、概略図、地図、配線図、建築工程、材料の在庫リスト、建築材料の仕様、建築物の工事に関係する工程で使用される工具の説明、各建設作業者の専門知識についての情報を含んでもよい。
【００６６】
コンテンツデータセット４２８は、１次コンテンツデータセット、およびコンテキストコンテンツデータセットを記憶し得る。１次コンテンツデータセットは、画像および対応する仮想オブジェクトモデルの第１のセットを含む。調査エンジン４１２は、ユーザウェアラブルデバイス１０６から受信された、取り込まれた画像がコンテンツデータセット４２８内で認識されないと決定し、ユーザウェアラブルデバイス１０６のためのコンテキストコンテンツデータセットを生成する。コンテキストコンテンツデータセットは、画像および対応する仮想オブジェクトモデルの第２のセットを含み得る。仮想コンテンツデータセット４３０は、対応する物理オブジェクトの画像に関連付けられた通知を受信したとき生成されることになる仮想オブジェクトのモデルを含む。
【００６７】
図５は、調査エンジン４１２の例示的な実施形態を示す。調査エンジン４１２は、動的進捗ステータスモジュール５０２、異常検出モジュール５０４、オブジェクト認識モジュール５１０、動的インベントリモジュール５０６、ピアデバイスサポートモジュール５０８、およびオブジェクト追跡モジュール５１２を含み得る。
【００６８】
動的進捗ステータスモジュール５０２は、１つ以上のウェアラブルデバイスに関係する活動のステータスを決定するように構成され得る。たとえば、動的進捗ステータスモジュール５０２は、すべての釘が対応する領域内に配置されたことがウェアラブルデバイスによって検出されたことに基づいてプロジェクトのフェーズ２が完了したと決定してもよい。動的進捗ステータスモジュール５０２は、オブジェクトまたは活動検出以外の他のパラメータを使用し、プロジェクトのフェーズを決定することができる。たとえば、すべてのウェアラブルデバイスが建築物発破からの保護のために指定された鍵となる場所に位置する場合、動的進捗ステータスモジュール５０２は、その工事フェーズが建築物取り壊しに関係すると推測することができる。
【００６９】
異常検出モジュール５０４は、ウェアラブルデバイスからのデータおよび基準データに基づいて異常を検出するように構成され得る。異常検出モジュール５０４は、ウェアラブルデバイスによって検出されたアクションおよびオブジェクトの準拠をモニタしてもよい。たとえば、異常検出モジュール５０４は、一部の配線がないこと、または壁にアウトレットがなく、したがって施工は建築仕様または建築法規に従っていないことを検出し得る。別の例では、ジャックハンマーが現場Ａで使用されるべきであり、認識されたジャックハンマーが現場Ｂで使用されていると異常検出モジュール５０４が決定した場合、異常検出モジュール５０４は、ウェアラブルデバイスに対して警告を生成し発行してもよい。別の例では、異常検出モジュール５０４は、建築法規または建築計画に指定されている所定の１０本の釘ではなく５本の釘しか使用されていないことを検出する。異常が検出され識別された後で、異常検出モジュール５０４は、壁内の５本の釘に対応するウェアラブルデバイスに対して警告を生成する。
【００７０】
オブジェクト認識モジュール５１０は、ウェアラブルデバイスによって取り込まれたオブジェクトを識別するためにビデオフィードおよび画像フィードに対してオブジェクト認識アルゴリズムを実施する。オブジェクト追跡モジュール５１２は、認識されたオブジェクトを追跡するように構成され得る。たとえば、オブジェクト認識モジュール５１０がハンマーを識別し、オブジェクト追跡モジュール５１２は、たとえばパネルを打ち付ける際に使用されるハンマーの動きを追跡する。
【００７１】
動的インベントリモジュール５０６は、ビデオフィードから認識されたオブジェクトおよび認識されたオブジェクトの操作のリアルタイムの、または動的なインベントリを生成する。さらに、動的インベントリモジュール５０６は、ウェアラブルデバイスを認識されたオブジェクトおよび操作に関連付ける。たとえば、動的インベントリモジュール５０６は、どこにハンマーが位置するか、誰がハンマーを使用したか、およびいつハンマーが使用されたかについて追跡してもよい。動的インベントリモジュール５０６は、モニタリングクライアント１１４がハンマーまたはウェアラブルデバイスの履歴ステータスを調べることができるようにインベントリの履歴を含んでもよい。たとえば、ユーザは、ある特定の時点で誰が何をしたか識別するために動的インベントリモジュール５０６に照会することができる。
【００７２】
ピアデバイスサポートモジュール５０８は、ウェアラブルデバイス間で通信を可能にするように構成され得る。たとえば、ピアデバイスサポートモジュール５０８は、ウェアラブルデバイスを別のウェアラブルデバイスに、それらのユーザの課業の類似性または専門知識に基づいて接続してもよい。
【００７３】
図６は、リモートエキスパートサーバ１１２を動作させるための例示的な実施形態を示すラダー図である。動作６０２で、ユーザウェアラブルデバイス１０６は、ビデオフィード、場所、および向きを含むデータをリモートエキスパートサーバ１１２に通信する。動作６０４で、リモートエキスパートサーバ１１２は、ユーザウェアラブルデバイス１０６から受信したデータに基づいてＡＲコンテンツを生成する。動作６０６で、リモートエキスパートサーバ１１２は、ＡＲコンテンツをユーザウェアラブルデバイス１０６に送る。動作６０８で、ユーザウェアラブルデバイス１０６は、リモートエキスパートを求める要求をリモートエキスパートサーバ１１２に送る。動作６１０で、リモートエキスパートサーバ１１２は、同じＡＲコンテンツをエキスパートウェアラブルデバイス１０８に送る。動作６１２で、エキスパートウェアラブルデバイス１０８は、ＡＲコンテンツを操作する。動作６１４で、エキスパートウェアラブルデバイス１０８は、ＡＲコンテンツ操作をリモートエキスパートサーバ１１２に送る。動作６１６で、リモートエキスパートサーバ１１２は、ＡＲコンテンツ操作のアニメーションを生成し、動作６１８で、リモートエキスパートサーバ１１２は、ＡＲコンテンツ操作のアニメーションをユーザウェアラブルデバイス１０６に送る。
【００７４】
図７は、リモートエキスパートサーバ１１２を動作させるための例示的な実施形態を示す流れ図である。動作７０２で、リモートエキスパートサーバ１１２は、ユーザウェアラブルデバイス１０６から、ビデオフィード、場所、および向きを含むデータと、リモートエキスパートを求める要求とを受信する。リモートエキスパートサーバ１１２は、物理オブジェクトの異常に関係する、知られている技術的専門知識を有するユーザを識別する。たとえば、異常が誤配置された電気配線である場合、電気の専門知識を有するユーザが、検出された電気的異常に基づいて識別され得る。リモートエキスパートサーバ１１２は、識別されたエキスパートのウェアラブルデバイスと、異常の識別されたユーザのウェアラブルデバイスとの間で通信を可能にする。動作７０４で、リモートエキスパートサーバ１１２は、ＡＲコンテンツをエキスパートウェアラブルデバイス１０８に提供する。動作７０６で、リモートエキスパートサーバ１１２は、エキスパートウェアラブルデバイス１０８からＡＲコンテンツ操作を受信する。動作７０８で、リモートエキスパートサーバ１１２は、ＡＲコンテンツ操作のアニメーションを生成し、動作７１０で、リモートエキスパートサーバ１１２は、アニメーションをユーザウェアラブルデバイス１０６に送る。
【００７５】
モジュール、コンポーネント、および論理
本明細書には、いくつかの実施形態が、論理、またはいくつかのコンポーネント、モジュール、もしくは機構を含むものとして記載されている。モジュールは、ソフトウェアモジュール（たとえば、マシン可読媒体上に、または伝送信号内に含まれるコード）またはハードウェアモジュールを構成し得る。ハードウェアモジュールは、いくつかの動作を実施することが可能な有形のユニットであり、ある種の形で構成または配置され得る。例示的な実施形態では、１つ以上のコンピュータシステム（たとえば、スタンドアロン、クライアント、またはサーバコンピュータシステム）またはコンピュータシステムの１つ以上のハードウェアモジュール（たとえば、プロセッサまたはプロセッサのグループ）は、ソフトウェア（たとえば、アプリケーションまたはアプリケーション部分）によって、本明細書に記載のいくつかの動作を実施するように動作するハードウェアモジュールとして構成され得る。
【００７６】
様々な実施形態では、ハードウェアモジュールは、マシン的または電子的に実装されてよい。たとえば、ハードウェアモジュールは、いくつかの動作を実施するように（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）など専用プロセッサとして）永続的に構成される専用回路または論理を含んでもよい。また、ハードウェアモジュールは、ソフトウェアによっていくつかの動作を実施するように（たとえば、汎用プロセッサまたは他のプログラム可能なプロセッサ内に包含されて）一時的に構成されるプログラム可能な論理または回路を含んでもよい。専用の永続的に構成された回路内で、または一時的に構成される（たとえば、ソフトウェアによって構成される）回路内でハードウェアモジュールをマシン的に実装しようとする判断は、コストおよび時間的な考慮すべき点が動因になり得る。
【００７７】
したがって、「ハードウェアモジュール」という用語は、有形のエンティティ、すなわち、ある種の形で動作するように、および／または本明細書に記載のいくつかの動作を実施するように物理的に構築され、永続的に構成され（たとえば、ハードワイヤードされ）、または一時的に構成され（たとえば、プログラムされ）るエンティティを包含すると理解するべきである。ハードウェアモジュールが一時的に構成される（たとえば、プログラムされる）実施形態を考えると、ハードウェアモジュールのそれぞれがどの一時期にも構成またはインスタンス化されることを必ずしも必要としない。たとえば、ハードウェアモジュールがソフトウェアを使用して構成された汎用プロセッサを含む場合、その汎用プロセッサは、異なる時点でそれぞれの異なるハードウェアモジュールとして構成されてもよい。したがって、ソフトウェアは、たとえば一時期に特定のハードウェアモジュールを構成するように、また異なる時期に異なるハードウェアモジュールを構成するようにプロセッサを構成してもよい。
【００７８】
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、そこから情報を受信することができる。したがって、記載のハードウェアモジュールは、通信可能に結合されるものとみなしてもよい。そのようなハードウェアモジュールの複数は同時に存在するが、通信は、信号伝送を通じて（たとえば、ハードウェアモジュール同士を接続する適切な回路およびバスを介して）行われ得る。複数のハードウェアモジュールが異なる時点で構成またはインスタンス化される実施形態では、そのようなハードウェアモジュール間の通信は、たとえば複数のハードウェアモジュールがアクセスすることができるメモリ構造内での情報の記憶および取り出しを通じて行われ得る。たとえば、１つのハードウェアモジュールが、ある動作を実施し、通信可能に結合されるメモリデバイス内にその動作の出力を記憶してもよい。次いで、他のハードウェアモジュールが、後からそのメモリデバイスにアクセスし、記憶された出力を取り出し、処理してもよい。また、ハードウェアモジュールは、入力デバイスまたは出力デバイスと通信を開始してもよく、リソース（たとえば、情報の集まり）に対して働きかけることができる。
【００７９】
本明細書に記載の例示的な方法の様々な動作は、少なくとも部分的には、関連の動作を実施するように（たとえば、ソフトウェアによって）一時的に構成される、または永続的に構成される１つ以上のプロセッサによって実施され得る。一時的に構成されるか、それとも永続的かにかかわらず、そのようなプロセッサは、１つ以上の動作または機能を実施するように動作する、プロセッサによって実装されるモジュールを構成し得る。本明細書で参照されるモジュールは、いくつかの例示的な実施形態では、プロセッサによって実装されるモジュールを含み得る。
【００８０】
同様に、本明細書に記載の方法は、少なくとも部分的には、プロセッサによって実装され得る。たとえば、方法の動作の少なくともいくつかは、１つ以上のプロセッサまたはプロセッサによって実装されるモジュールによって実施され得る。動作のいくつかを実施することは、単一のマシン内に常駐するだけでなくいくつかのマシンにわたって展開される１つ以上のプロセッサの間で分散されてもよい。いくつかの例示的な実施形態では、その１つ以上のプロセッサは、単一の場所（たとえば、家庭環境、事務所環境、またはサーバファーム内）に位置してもよく、一方、他の実施形態では、これらのプロセッサは、いくつかの場所にわたって分散されてもよい。
【００８１】
また、その１つ以上のプロセッサは、「クラウドコンピューティング」環境内で、または「ソフトウェア・アズ・ア・サービス」（ＳａａＳ）として関連の動作の実施をサポートするように動作してもよい。たとえば、動作の少なくともいくつかは、（プロセッサを含むマシンの例としての）コンピュータのグループによって実施されてもよく、これらの動作は、ネットワークを介して、また１つ以上の適切なインターフェース（たとえば、ＡＰＩ）を介してアクセス可能である。
【００８２】
電子装置およびシステム
例示的な実施形態は、デジタル電子回路内で、またはコンピュータハードウェア、ファームウェア、ソフトウェア内で、またはそれらの組合せで実装され得る。例示的な実施形態は、データ処理装置、たとえばプログラム可能なプロセッサ、コンピュータ、または複数のコンピュータによって実行するために、またはそれらの動作を制御するために、コンピュータプログラム製品、たとえば情報キャリア内、たとえばマシン可読媒体内に有形に含まれるコンピュータプログラムを使用して実装され得る。
【００８３】
コンピュータプログラムは、コンパイル型またはインタープリタ型言語を含むプログラム言語の形態で書くことができ、スタンドアロンのプログラムとして、またはモジュールとして、サブルーチン、もしくはコンピューティング環境において使用するのに適した他のユニットを含む任意の形態で展開することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの現場の、もしくは複数の現場にわたって分散され通信ネットワークによって接続された複数のコンピュータ上で実行されるように展開することができる。
【００８４】
例示的な実施形態では、動作は、コンピュータプログラムを実行し、入力データに対して働きかけ出力を生成することによって機能を実施する１つ以上のプログラム可能なプロセッサによって実施され得る。方法動作もまた、専用論理回路（たとえば、ＦＰＧＡまたはＡＳＩＣ）によって実施することができ、例示的な実施形態の装置が専用論理回路として実装されてもよい。
【００８５】
コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに離れており、典型的には、通信ネットワークを通じてインタラクションする。クライアントとサーバの関係は、それぞれのコンピュータ上で動作し、互いにクライアント−サーバ関係を有するコンピュータプログラムにより生じる。プログラム可能なコンピューティングシステムを展開する実施形態では、ハードウェアアーキテクチャもソフトウェアアーキテクチャも共に検討に値することを理解されたい。具体的には、永続的に構成されたハードウェア（たとえば、ＡＳＩＣ）内、一時的に構成されたハードウェア（たとえば、ソフトウェアとプログラム可能なプロセッサの組合せ）内、または永続的、一時的に構成されたハードウェアの組合せで、ある機能を実装するかどうかの選択は、設計変更となり得ることを理解されたい。以下、様々な例示的な実施形態において展開され得るハードウェア（たとえば、マシン）およびソフトウェアのアーキテクチャについて述べる。
【００８６】
例示的なマシンアーキテクチャおよびマシン可読媒体
図８は、コンピュータシステム８００の例示的な形態にあるマシンのブロック図であり、コンピュータシステム８００内では、本明細書で論じられている方法のいずれか１つ以上をマシンに実施させるための命令が実行され得る。代替の実施形態では、マシンは、スタンドアロンデバイスとして動作し、または他のマシンに接続（たとえば、ネットワーク化）されてもよい。ネットワーク化された展開では、マシンは、サーバ−クライアントネットワーク環境におけるリモートエキスパートサーバ１１２またはクライアントマシンの能力内で、またはピアツーピア（または分散）ネットワーク環境におけるピアマシンとして動作し得る。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、セルラ電話、ウェブ家電、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによってとるべきアクションを指定する命令（順次その他）を実行することが可能な任意のマシンとすることができる。さらに、単一のマシンのみが示されているが、「マシン」という用語は、本明細書で論じられている方法の任意の１つ以上を実行するために命令のセット（または複数のセット）を個々に、または一緒に実行するマシンの任意の集まりをも含むものと解釈するものとする。
【００８７】
例示的なコンピュータシステム８００は、プロセッサ８０２（たとえば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）、メインメモリ８０４、およびスタティックメモリ８０６を含み、これらは互いにバス８０８を介して通信する。コンピュータシステム８００は、ビデオディスプレイ８１０（たとえば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））をさらに含み得る。また、コンピュータシステム８００は、英数字入力デバイス８１２（たとえば、キーボード）、ユーザインターフェース（ＵＩ）ナビゲーション（またはカーソル制御）デバイス８１４（たとえば、マウス）、ドライブユニット８１６、信号生成デバイス８１８（たとえば、スピーカ）、およびネットワークインターフェースデバイス８２０を含む。
【００８８】
マシン可読媒体
ドライブユニット８１６は、本明細書に記載の方法または機能の任意の１つ以上を具体化する、またはそれらによって使用されるデータ構造および命令８２４（たとえば、ソフトウェア）の１つ以上のセットが記憶されるマシン可読媒体８２２を含む。命令８２４はまた、コンピュータシステム８００によって実行される間、メインメモリ８０４内および／またはプロセッサ８０２内に完全に、または少なくとも部分的に常駐することができ、メインメモリ８０４およびプロセッサ８０２もまたマシン可読媒体を構成する。また、命令８２４は、スタティックメモリ８０６に完全に、または少なくとも部分的に常駐することができる。
【００８９】
マシン可読媒体８２２は、例示的な実施形態では、単一の媒体であるように示されているが、「マシン可読媒体」という用語は、１つ以上の命令８２４またはデータ構造を記憶する単一の媒体も複数の媒体（たとえば、集中型もしくは分散型データベースならびに／または関連のキャッシュおよびサーバ）も含み得る。また、「マシン可読媒体」という用語は、マシンによって実行するための、かつ本実施形態の方法の任意の１つ以上をマシンに実施させる命令８２４を記憶、符号化、または担持することが可能な、またはそのような命令８２４によって使用される、もしくはそれらに関連付けられたデータ構造を記憶、符号化、または担持することが可能な任意の有形の媒体を含むものと解釈するものとする。したがって、「マシン可読媒体」という用語は、それだけには限らないがソリッドステートメモリ、ならびに光媒体および磁気媒体を含むものと解釈するものとする。マシン可読媒体８２２の特定の例は、例として、半導体メモリデバイス（たとえば、消去可能なプログラム可能読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリデバイス）、内部ハードディスクおよび取外し式ディスクなど磁気ディスク、光磁気ディスク、ならびにコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）およびデジタル多用途ディスク（またはデジタルビデオディスク）読出し専用メモリ（ＤＶＤ−ＲＯＭ）ディスクを含む不揮発性メモリを含む。
【００９０】
伝送媒体
命令８２４はさらに、伝送媒体を使用して通信ネットワーク８２６を介して送信または受信され得る。命令８２４は、ネットワークインターフェースデバイス８２０、およびいくつかの周知の転送プロトコル（たとえば、ＨＴＴＰ）を使用して送信され得る。通信ネットワークの例は、ＬＡＮ、ＷＡＮ、インターネット、モバイル電話ネットワーク、ＰＯＴＳネットワーク、および無線データネットワーク（たとえば、ＷｉＦｉおよびＷｉＭａｘネットワーク）を含む。「伝送媒体」という用語は、マシンによって実行するために命令８２４を記憶、符号化、または担持することが可能な任意の無形の媒体を含むものと解釈するものとし、デジタルもしくはアナログ通信信号、またはそのようなソフトウェアの通信を容易にするための他の無形の媒体を含む。
【００９１】
例示的なモバイルデバイス
図９は、例示的な実施形態によるモバイルデバイス９００を示すブロック図である。モバイルデバイス９００は、プロセッサ９０２を含み得る。プロセッサ９０２は、モバイルデバイス９００に適した様々な異なるタイプの市販のプロセッサ９０２（たとえば、ＸＳｃａｌｅアーキテクチャマイクロプロセッサ、ＭＩＰＳ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ  ｗｉｔｈｏｕｔ  ｉｎｔｅｒｌｏｃｋｅｄ  ｐｉｐｅｌｉｎｅ  ｓｔａｇｅｓ）アーキテクチャプロセッサ、または別のタイプのプロセッサ９０２）のいずれかとすることができる。ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、または他のタイプのメモリなどメモリ９０４は、通常、プロセッサ９０２にとってアクセス可能である。メモリ９０４は、オペレーティングシステム（ＯＳ）９０６、ならびに位置情報サービス（ＬＢＳ）をユーザに提供し得るモバイル位置対応アプリケーションなどアプリケーションプログラム９０８を記憶するように適合され得る。プロセッサ９０２は、直接、または適切な中間ハードウェアを介して、ディスプレイ９１０に、またキーバッド、タッチパネルセンサ、マイクロフォンなど１つ以上の入力／出力（Ｉ／Ｏ）デバイス９１２に結合され得る。同様に、いくつかの実施形態では、プロセッサ９０２は、アンテナ９１６とインターフェースするトランシーバ９１４に結合され得る。トランシーバ９１４は、モバイルデバイス９００の性質に応じて、アンテナ９１６を介してセルラネットワーク信号、無線データ信号、または他のタイプの信号を送信および受信するように構成され得る。さらに、いくつかの構成では、ＧＰＳ受信機９１８もまた、アンテナ９１６を使用し、ＧＰＳ信号を受信することができる。
【００９２】
特定の例示的な実施形態を参照して実施形態について述べたが、本開示の範囲から逸脱することなしにこれらの実施形態に対して様々な修正および変更を加えることができることは明らかとなろう。したがって、明細書および図面は、制限する意味ではなく例示的な意味で考えられるべきである。本明細書の一部を形成する添付の図面は、限定ではなく例として、主題を実施することができる特定の実施形態を示す。図の実施形態は、本明細書に開示されている教示を当業者が実施することができるようにするのに十分詳細に記載されている。構造的、論理的な代替および変更を本開示の範囲から逸脱することなしに加えることができるように、他の実施形態をそこから使用し導出することができる。したがって、この詳細な説明は、限定する意味で解釈されるべきでなく、様々な実施形態の範囲は、添付の特許請求の範囲のみによって、そのような特許請求の範囲が権利を与えられる均等物の全範囲と共に定義される。
【００９３】
本発明の主題のそのような実施形態は、本明細書では、単に便宜上、「発明」という用語によって個々に、および／またはまとめて称されることがあり、実際には２つ以上が開示されている場合、本願の範囲をいずれか単一の発明または発明的概念に自発的に限定することは意図していない。したがって、本明細書には特定の実施形態が示され記載されているが、同じ目的を達成するように計算されたどのような構成も、示されている特定の実施形態に置き換えられ得ることを理解されたい。本開示は、様々な実施形態のあらゆる改作または変形形態を包含することが意図されている。上記の説明を検討すれば、上記の実施形態の組合せ、および本明細書に特に記載されていない他の実施形態が当業者には明らかになろう。
【００９４】
本開示の要約は、読者が素早く技術的開示の性質を確かめることができるように提供されている。特許請求の範囲の範囲または意味を解釈または限定するために使用されないという理解と共に提出されている。さらに、前述の詳細な説明では、本開示を簡素化するために、様々な特徴が単一の実施形態で共にグループ化されていることがわかる。本開示のこの方法は、特許請求されている実施形態が、各請求項に明記されているものより多くの特徴を必要とするという意図を示すものと解釈されるべきでない。そうではなく、以下の特許請求の範囲が示すように、本発明の主題は、単一の開示されている実施形態のすべての特徴より少ないものにある。したがって、以下の特許請求の範囲は、これにより詳細な説明に組み込まれ、各請求項は、それ自体で別個の実施形態として有効である。
【図１】
2017531848.tif 000003
【図２】
2017531848.tif 000004
【図３】
2017531848.tif 000005
【図４】
2017531848.tif 000006
【図５】
2017531848.tif 000007
【図６】
2017531848.tif 000008
【図７】
2017531848.tif 000009
【図８】
2017531848.tif 000010
【図９】
2017531848.tif 000011
【手続補正書】
【提出日】平成29年7月13日(2017.7.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サーバのハードウェアプロセッサを使用して実装されるリモートエキスパートアプリケーションを備え、前記リモートエキスパートアプリケーションは、
第２のウェアラブルデバイスから、前記第２のウェアラブルデバイスで視認される物理オブジェクトに関係するエキスパートを求める要求を含む援助要求を受信し、
第１のウェアラブルデバイスのユーザを前記物理オブジェクトに関係する前記エキスパートとして識別し、
前記第２のウェアラブルデバイス内に表示された仮想オブジェクトを前記第１のウェアラブルデバイスに提供し、
前記第１のウェアラブルデバイス内で表示される前記仮想オブジェクトであって、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される前記仮想オブジェクトの操作を識別し、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を可視化したものを生成し、
前記第２のウェアラブルデバイスからの前記援助要求に応答して、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するように構成される、サーバ。
【請求項２】
前記リモートエキスパートアプリケーションが、
前記第２のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信し、
前記ビデオフィードから前記物理オブジェクトを識別し、
前記物理オブジェクトの前記識別に基づいて前記仮想オブジェクトの３次元モデルを生成し、
前記仮想オブジェクトの前記３次元モデルを前記第２のウェアラブルデバイスに通信するようにさらに構成され、前記第２のウェアラブルデバイスは、前記仮想オブジェクトの前記３次元モデルを前記物理オブジェクトに対してレンダリングするように構成される、請求項１に記載のサーバ。
【請求項３】
前記リモートエキスパートアプリケーションが、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を記録するように構成される、請求項１に記載のサーバ。
【請求項４】
前記リモートエキスパートアプリケーションが、仮想ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するように構成され、前記仮想ジェスチャモジュールは、前記第１のウェアラブルデバイスのディスプレイの予め定義された領域、および前記仮想オブジェクトの特徴部を決定し、前記特徴部が前記第１のウェアラブルデバイスの前記ディスプレイの前記予め定義された領域内にあることに応答して前記特徴部の状態を変更するように構成される、請求項１に記載のサーバ。
【請求項５】
前記リモートエキスパートアプリケーションが、物理ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するように構成され、前記物理ジェスチャモジュールは、前記第１のウェアラブルデバイス内に表示された前記仮想オブジェクトに対して前記第１のウェアラブルデバイスのユーザの指の物理的な動きを決定するように構成される、請求項１に記載のサーバ。
【請求項６】
前記可視化したものは、前記仮想オブジェクトの前記操作のアニメーションを含む、請求項１に記載のサーバ。
【請求項７】
前記第１のウェアラブルデバイスは、前記物理オブジェクトに関係する前記エキスパートによって操作され、前記第２のウェアラブルデバイスは、ユーザによって操作される、請求項１に記載のサーバ。
【請求項８】
前記仮想オブジェクトは、前記第１のウェアラブルデバイスの前記エキスパートによっても、前記第２のウェアラブルデバイスの前記ユーザによっても操作されるように構成され、
前記リモートエキスパートアプリケーションは、
前記第１のウェアラブルデバイスの前記エキスパートから前記仮想オブジェクトの前記操作を受信し、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスの前記ユーザに通信し、
前記第１のウェアラブルデバイスの前記エキスパートからの前記仮想オブジェクトの前記操作を前記可視化したものを通信したことに応答して、前記第２のウェアラブルデバイスの前記ユーザから前記仮想オブジェクトの他の操作を受信し、
前記仮想オブジェクトの前記他の操作を前記可視化したものを前記第１のウェアラブルデバイスの前記エキスパートに通信するようにさらに構成される、請求項７に記載のサーバ。
【請求項９】
前記リモートエキスパートアプリケーションが、
複数のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信し、
前記複数のウェアラブルデバイスから受信された前記ビデオフィード、位置情報、および向き情報に基づいて前記仮想オブジェクトの３次元モデルを生成し、
前記物理オブジェクトの操作を識別するために前記ビデオフィードに対して解析を実施し、前記物理オブジェクトの前記操作に基づいて前記仮想オブジェクトの前記３次元モデルを更新し、
前記物理オブジェクトに関係する基準データに対して前記物理オブジェクトの前記操作に関係する動的ステータスを生成するようにさらに構成される、請求項１に記載のサーバ。
【請求項１０】
第２のウェアラブルデバイスから、前記第２のウェアラブルデバイスで視認される物理オブジェクトに関係するエキスパートを求める要求を含む援助要求を受信するステップと、
第１のウェアラブルデバイスのユーザを前記物理オブジェクトに関係する前記エキスパートとして識別するステップと、
前記第２のウェアラブルデバイス内に表示された仮想オブジェクトを前記第１のウェアラブルデバイスに提供するステップと、
マシンのハードウェアプロセッサを使用して、前記第１のウェアラブルデバイス内で表示される前記仮想オブジェクトの操作を識別するステップであって、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される、ステップと、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を可視化したものを生成するステップと、
前記第２のウェアラブルデバイスからの前記援助要求に応答して、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するステップと
を含む方法。
【請求項１１】
前記第２のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信するステップと、
前記ビデオフィードから前記物理オブジェクトを識別するステップと、
前記物理オブジェクトの前記識別に基づいて前記仮想オブジェクトの３次元モデルを生成するステップと、
前記仮想オブジェクトの前記３次元モデルを前記第２のウェアラブルデバイスに通信するステップであって、前記第２のウェアラブルデバイスは、前記仮想オブジェクトの前記３次元モデルを前記物理オブジェクトに対してレンダリングするように構成される、請求項１０に記載の方法。
【請求項１２】
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を記録するステップ
をさらに含む、請求項１０に記載の方法。
【請求項１３】
仮想ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するステップをさらに含み、前記仮想ジェスチャモジュールは、前記第１のウェアラブルデバイスのディスプレイの予め定義された領域、および前記仮想オブジェクトの特徴部を決定し、前記特徴部が前記第１のウェアラブルデバイスの前記ディスプレイの前記予め定義された領域内にあることに応答して前記特徴部の状態を変更するように構成される、請求項１０に記載の方法。
【請求項１４】
物理ジェスチャモジュールを使用して前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を識別するステップをさらに含み、前記物理ジェスチャモジュールは、前記第１のウェアラブルデバイス内に表示された前記仮想オブジェクトに対して前記第１のウェアラブルデバイスのユーザの指の物理的な動きを決定するように構成される、請求項１０に記載の方法。
【請求項１５】
前記可視化したものは、前記仮想オブジェクトの前記操作のアニメーションを含み、
前記第１のウェアラブルデバイスは、前記物理オブジェクトに関係する前記エキスパートによって操作され、
前記第２のウェアラブルデバイスは、ユーザによって操作される、請求項１０に記載の方法。
【請求項１６】
前記仮想オブジェクトは、前記第１のウェアラブルデバイスの前記エキスパートによっても、前記第２のウェアラブルデバイスの前記ユーザによっても操作されるように構成され、前記方法は、
前記第１のウェアラブルデバイスの前記エキスパートから前記仮想オブジェクトの前記操作を受信するステップと、
前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスの前記ユーザに通信するステップと、
前記第１のウェアラブルデバイスの前記エキスパートからの前記仮想オブジェクトの前記操作を前記可視化したものを通信したことに応答して、前記第２のウェアラブルデバイスの前記ユーザから前記仮想オブジェクトの他の操作を受信するステップと、
前記仮想オブジェクトの前記他の操作を前記可視化したものを前記第１のウェアラブルデバイスの前記エキスパートに通信するステップと
をさらに含む、請求項１５に記載の方法。
【請求項１７】
複数のウェアラブルデバイスからビデオフィード、位置情報、および向き情報を受信するステップと、
前記複数のウェアラブルデバイスから受信された前記ビデオフィード、位置情報、および向き情報に基づいて前記仮想オブジェクトの３次元モデルを生成するステップと、
前記物理オブジェクトの操作を識別するために前記ビデオフィードに対して解析を実施するステップと、
前記物理オブジェクトの前記操作に基づいて前記仮想オブジェクトの前記３次元モデルを更新するステップと、
前記物理オブジェクトに関係する基準データに対して前記物理オブジェクトの前記操作に関係する動的ステータスを生成するステップと
をさらに含む、請求項１０に記載の方法。
【請求項１８】
命令を含む非一時的なマシン可読媒体であって、前記命令は、マシンの１つ以上のプロセッサによって実行されたとき、前記マシンに、
第２のウェアラブルデバイスから、前記第２のウェアラブルデバイスで視認される物理オブジェクトに関係するエキスパートを求める要求を含む援助要求を受信するステップと、
第１のウェアラブルデバイスのユーザを前記物理オブジェクトに関係する前記エキスパートとして識別するステップと、
前記第２のウェアラブルデバイス内に表示された仮想オブジェクトを前記第１のウェアラブルデバイスに提供するステップと、
前記第１のウェアラブルデバイス内で表示される前記仮想オブジェクトの操作を識別するステップであって、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される、ステップと、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を可視化したものを生成するステップと、
前記第２のウェアラブルデバイスからの前記援助要求に応答して、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するステップと
を含む動作を実施させる、マシン可読媒体。
【請求項１９】
マシンの１つ以上のプロセッサによって実行されたとき、前記マシンに、
第２のウェアラブルデバイスから、前記第２のウェアラブルデバイスで視認される物理オブジェクトに関係するエキスパートを求める要求を含む援助要求を受信するステップと、
第１のウェアラブルデバイスのユーザを前記物理オブジェクトに関係する前記エキスパートとして識別するステップと、
前記第２のウェアラブルデバイス内に表示された仮想オブジェクトを前記第１のウェアラブルデバイスに提供するステップと、
前記第１のウェアラブルデバイス内で表示される前記仮想オブジェクトの操作を識別するステップであって、前記仮想オブジェクトは、前記第１のウェアラブルデバイス内で、前記第１のウェアラブルデバイスで視認された基準オブジェクトに対して表示される、ステップと、
前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を可視化したものを生成するステップと、
前記第２のウェアラブルデバイスからの前記援助要求に応答して、前記第１のウェアラブルデバイスからの前記仮想オブジェクトの前記操作を前記可視化したものを前記第２のウェアラブルデバイスに通信するステップと
を含む動作を実施させる、コンピュータプログラム。
【国際調査報告】
2017531848.tif 000012