(57)【要約】【課題】複数のユーザが参加する拡張現実環境において、対象に対して適切な注釈を表示する方法を提供する。【解決手段】拡張現実（ＡＲ）環境同期方法は、前記ＡＲ環境内の各ユーザに関連付けられた複数の装置のそれぞれについて、前記拡張現実環境において撮影された平面情報を受信し、前記平面情報における対象の固有の識別子情報を生成することと、前記装置間で、前記平面情報を調整することと、前記装置によって感知されたそれぞれの環境における対象同士のマッチを生成するために、前記装置間で前記対象の意味的特徴のマッチングを実行することと、前記マッチングされた対象の注釈が、前記装置のうちの他のものに対して、前記装置のうちの１つのランドマーク及び前記平面にロックされることを可能にするために、前記装置に同期制御を提供することと、を含む。【選択図】図３
2019185745.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実環境の同期方法であって、
前記拡張現実環境内の複数のユーザの各々に関連付けられた複数の装置のそれぞれについて、前記拡張現実環境において撮影された平面情報を受信し、前記平面情報における対象の固有の識別子情報を生成することと、
前記装置の間で、前記平面情報を調整することと、
前記装置によって感知されたそれぞれの環境における対象同士のマッチを生成するために、前記装置の間で前記対象の意味的特徴のマッチングを実行することと、
マッチングされた対象の注釈が、前記装置のうちの他のものに対して、前記装置のうちの１つの装置のランドマーク及び平面にロックされることを可能にするために、前記装置に同期制御を提供すること、
を含む、方法。
【請求項２】
所定の注釈を実行するための権利又はアクセスを付与するための命令が前記装置に提供される、請求項１に記載の方法。
【請求項３】
ユーザ入力に基づいて、手動又は自動で、特定のコンテキスト又は状況において、特定のユーザ又は対象への注釈を制限又は許可することをさらに含む、請求項１に記載の方法。
【請求項４】
前記平面情報を受信することが、前記装置に関連付けられた前記ユーザに関する情報又は前記装置からの周囲の感知された情報を受信することを含む、請求項１に記載の方法。
【請求項５】
前記装置はＡＲカメラ装置を含み、
前記装置から受信された情報が、地理的位置、周囲条件、ユーザプロファイル、ユーザソーシャルグラフ又は公開情報のうちの１又は複数を含む、
請求項１に記載の方法。
【請求項６】
前記意味的特徴のマッチングは、視覚的及び意味的表示を使用するコンテキストアウェア動作を含み、
前記対象は類似しているが、前記装置の対象間の少なくとも幾つかの側面において異なる、
請求項１に記載の方法。
【請求項７】
前記同期制御は、前記注釈を前記平面情報における前記ランドマーク及び前記平面にロックすることを含み、前記ユーザのうちの１人による前記対象を移動した場合、前記注釈が前記対象の移動と共にロックされた位置に移動することが可能になる、請求項１に記載の方法。
【請求項８】
コンピュータに、
拡張現実環境内の各々のユーザに関連付けられた複数の装置のそれぞれについて、前記拡張現実環境において撮影された平面情報を受信し、前記平面情報における対象の固有の識別子情報を生成することと、
前記装置の間で、前記平面情報を調整することと、
前記装置によって感知されたそれぞれの環境における対象同士のマッチを生成するために、前記装置の間で前記対象の意味的特徴のマッチングを実行することと、
マッチングされた対象の注釈が、前記装置のうちの他のものに対して、前記装置のうちの１つの装置のランドマーク及び平面にロックされることを可能にするために、前記装置に同期制御を提供すること、
を含む処理を実行させる、拡張現実環境同期プログラム。
【請求項９】
所定の注釈を実行するための権利又はアクセスを付与するための追加の命令が前記装置に提供される、請求項８に記載の拡張現実環境同期プログラム。
【請求項１０】
ユーザ入力に基づいて、手動又は自動で、特定のコンテキスト又は状況において、特定のユーザ又は対象への注釈を制限又は許可することをさらに含む、請求項８に記載の拡張現実環境同期プログラム。
【請求項１１】
前記平面情報を受信することが、前記装置に関連付けられた前記ユーザに関する情報又は前記装置からの周囲の感知された情報を受信することを含む、請求項８に記載の拡張現実環境同期プログラム。
【請求項１２】
前記装置はＡＲカメラ装置を含み、
前記装置から受信された情報が、地理的位置、周囲条件、ユーザプロファイル、ユーザソーシャルグラフ又は公開情報のうちの１又は複数を含む、
請求項８に記載の拡張現実環境同期プログラム。
【請求項１３】
前記意味的特徴のマッチングは、視覚的及び意味的表示を使用するコンテキストアウェア動作を含み、
前記対象は類似しているが、前記装置の対象間の少なくとも幾つかの側面において異なる、
請求項８に記載の拡張現実環境同期プログラム。
【請求項１４】
前記同期制御は、前記注釈を前記平面情報における前記ランドマーク及び前記平面にロックすることを含み、前記ユーザのうちの１人による前記対象を移動した場合、前記注釈が前記対象の移動と共にロックされた位置に移動することが可能になる、請求項８に記載の拡張現実環境同期プログラム。
【請求項１５】
前記ユーザのうちの１又は複数は、前記意味的特徴のマッチングに対する制御を提供され、
前記意味的特徴のマッチングは、視覚、地理的位置、温度、湿度、及び光暴露入力のうちの少なくとも１つに応答して、視覚的、意味的、カテゴリ別、機能的、及びコンテキスト特徴のうちの少なくとも１つに基づく、
請求項８に記載の拡張現実環境同期プログラム。
【請求項１６】
前記拡張現実環境における注釈特性は、前記マッチングされた対象の状態のユーザ指示に基づいて、前記マッチングされた対象を介した前記注釈の伝播を許可又は制限するように制御される、請求項８に記載の拡張現実環境同期プログラム。
【請求項１７】
前記拡張現実環境における前記マッチングされた対象の注釈特性は、前記ユーザのうちの１又は複数のユーザの特性に基づいて制御される、請求項８に記載の拡張現実環境同期プログラム。
【請求項１８】
前記ユーザの特性は、メタデータ、ソーシャルメディア情報、ユーザプロファイル内のプリファレンス、及び前記ユーザのうちの１又は複数に関連する履歴行動のうちの少なくとも１つを含む、請求項１７に記載の拡張現実環境同期プログラム。
【請求項１９】
コンピュータビジョン及び拡張現実が、コンテキストを決定するために適用され、
地理的位置、人口統計、メタデータ、挙動、履歴、ソーシャルグラフ、前記ユーザの各々の役割、及び前記ユーザの各々の人間的又は非人間的状態のうちの少なくとも１つに基づいて前記マッチングを実行する、
請求項８に記載の拡張現実環境同期プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的実施形態の態様は、拡張現実（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、以下ＡＲと記載する）環境における同様のメディア対象にわたり、同期固定リアルタイム注釈を提供するための方法、システム、及びインタフェースに関する。より具体的には、例示的実施形態は、各ＡＲ入力（例えば、カメラ）に対してＡＲ平面が決定され、続いて対象の原点を決定するためにＡＲ入力ごとに固有の識別子が計算され、ＡＲ入力にわたる調整、異なるＡＲ入力内の対象をマッチさせる固有の識別子のマッチング、及びマッチング対象のための、注釈制御及び管理のためのＡＲ環境内のピア間の調整が続く、方法、システム及びインタフェースに関する。
【背景技術】
【０００２】
モバイルカメラや頭部搭載型ディスプレイなどの入力装置及びそれらに関連するＡＰｉｓの普及に伴い、関連技術において拡張現実の体験が増えている。これらの関連技術ＡＲの体験には、ゲームのコミュニティで主に見られるように、単一の視聴者用の世界にドロップされた対象が含まれる可能性がある。図１は、ＡＲゲーム１００を示す。より具体的には、ユーザは、ゲームボード１０１を世界１０３に落としてゲームをプレイする。これらのＡＲ体験は、一般に、単一エンティティ（例えば、単一人物）が関与する。
【０００３】
ゲーム関連アプリケーションなどの複数のエンティティ（例えば、ピアツーピア（ｐｅｅｒ  ｔｏ  ｐｅｅｒ））を含む関連技術の共有されたＡＲ体験については、エンティティは通常、同じ場所（例えば、同じ物理空間内に）に配置されるか、共有された投影された対象（例えばチェスボード）を介して分散され、共有された投影された対象は場所に挿入される（例えば、落とされる）。
【０００４】
関連技術では、対象認識が補助的注釈を提供するために使用される。この関連技術アプローチは、１又は複数のユーザに「ジャストインタイム（ｊｕｓｔ  ｉｎ  ｔｉｍｅ）」の情報要件を提供することができる。しかし、この関連技術のアプローチには限界及び欠点がある。
【０００５】
例えば、補助的注釈を提供するための対象認識の関連技術の使用は、協調接続性を欠いている。さらに、共有されたＡＲ体験の複数のユーザは、同じ（例えば、疑似投影された）ゲームボードを見ることができる。しかし、少なくとも複合現実感システムは、ＡＲ操作のための単純な平面以上のものを必要とするため、複合現実感ＡＲ体験では、この関連技術アプローチを使用することはできない。
【０００６】
例えば、複合現実感ＡＲ環境では、限定はしないが、操作の基本となる対象があるか否かを判定し、基本が移動される場合には対応する注釈を移動させ、これらの移動を複合現実感環境における１又は複数のユーザにわたって調整する。例えば、基本対象がユーザのうちの１人によって移動される場合、その基本対象の動きは、複合現実感環境の１又は複数の他のユーザに伝播すべきではない。比較すると、図１のＡＲゲームでは、複合対話がないため、実世界環境の点では、ゲームがどこにドロップされるかは問題ではない。
【０００７】
関連技術では、メディア対象の共有ドロップポイント（ｄｒｏｐ  ｐｏｉｎｔ）にも限界及び欠点がある。例えば、対象注釈のための共有参照ビューを作成し、その対象上の注釈がどのように共有され操作されるかを取り決め、１つのエンティティの動作が、体験された別のエンティティに干渉する可能性があるときを検出する必要がある。したがって、関連技術において未だ満たされていないニーズがある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第８，９７０，６２３号
【特許文献２】米国特許第９，１２２，３９１号
【非特許文献】
【０００９】
【非特許文献１】"HOW MIXED REALITY COULD SPICE UP BRICKS-AND-MORTAR SHOPPING" 、［ｏｎｌｉｎｅ］、［２０１７年１０月５日検索］、インターネット<URL: https://rakuten.today/blog/mixed-reality-changing-shopping.html>
【非特許文献２】Don Kimber、 "iLight:Remote annotation on physical objects"、［ｏｎｌｉｎｅ］、［２００４年１０月検索］、インターネット<URL: https://www.fxpal.com/research-projects/ilight/>
【非特許文献３】Iyoda, T. et al、"LightCollabo: Distant Collaboration Support System for Manufacturers"、Springer, Berlin, Heidelberg、２００８年、p.369-379
【非特許文献４】Brad Dwyer、"Magic Sudoku"、［ｏｎｌｉｎｅ］、［２００４年１０月検索］、インターネット<URL: http://magicsudoku.com>
【非特許文献５】Gauglitz, S. et al.、"World-Stabilized Annotations and Virtual Scene Navigation for Remote Collaboration"、UIST '14 Proceedings of the 27th annual ACM symposium on User interface software and technology、Honolulu, Hawaii, USA、２０１４年１０月５日〜８日、p.449-459
【非特許文献６】Gauglitz, S. et al.、" In Touch with the Remote World: Remote Collaboration with Augmented Reality Drawings and Virtual Navigation"、Proceedings of the 20th ACM symposium on Virtual reality Software and Technology、２０１４年、p. 197-205
【非特許文献７】Adcock, M. et al.、"RemoteFusion: real time depth camera fusion for remote collaboration on physical tasks"、VRCAI 2013、Hong Kong、２０１３年１１月１７日〜１９日、p.235-242
【非特許文献８】Fakourfar O. et al.、"Stabilized Annotations for Mobile Remote Assistance"、Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems、CHI'16、San Jose, California, USA、２０１６年５月７日〜１２日、p.1548-1560
【非特許文献９】Adcock, M. et al.、"Using Projected Light for Mobile Remote Guidance"、Computer Supported Cooperative Work、２０１５年、p.591-611, vol.24(6)
【非特許文献１０】Kurata T. et al.、"Remote collaboration using a shoulder-worn active camera/laser"、Wearable Computers、２００４年、p.62-69, volume 1
【非特許文献１１】Parmer, D. et al. 、"Annotating with light for remote guidance"、OZCHI '07 Proceedings of the 19th Australasian conference on Computer-Human Interaction: Entertaining User Interfaces、Adelaide, Australia、２００７年１１月２８日〜３０日、p.103-110
【非特許文献１２】Okuma, T. et al.、"VizWear-3D: a wearable 3-D annotation system based on 3-D object tracking using a condensation algorithm"、Proceedings of the IEEE Virtual Reality、２００２年、p.295-296
【非特許文献１３】Wither, J. et  al.、"Annotation in outdoor augmented reality"、Computers & Graphics、２００９年、p.679-689, Vol.33(6)
【非特許文献１４】Krishna, R. et al.、"Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations"、International Journal of Computer Vision(2017）、p.32-73, volume 123
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本出願は、複数のユーザが参加する拡張現実環境において、形状的に完全に一致していない対象に対して注釈を表示する方法を提供する。
【課題を解決するための手段】
【００１１】
本出願の態様は、拡張現実環境同期方法であって、前記拡張現実環境内の各ユーザに関連付けられた複数の装置のそれぞれについて、前記拡張現実環境において撮影された平面情報を受信し、前記平面情報における対象の固有の識別子情報を生成することと、前記装置間で、前記平面情報を調整することと、前記装置によって感知されたそれぞれの環境における対象同士のマッチを生成するために、前記装置間で前記対象の意味的特徴のマッチング（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ｍａｔｃｈｉｎｇ）を実行することと、前記マッチングされた対象の注釈が、前記装置のうちの他のものに対して、前記装置のうちの１つのランドマーク及び前記平面にロックされることを可能にするために、前記装置に同期制御を提供することと、を含む、方法に関してもよい。
【００１２】
追加の態様によれば、所定の注釈を実行するための権利又はアクセスを与えるための命令が、装置に提供される。
【００１３】
他の態様によれば、本方法は、ユーザ入力に基づいて、手動又は自動で、特定のコンテキスト又は状況において、特定のユーザ又は対象への注釈を制限又は許可することをさらに含む。
【００１４】
さらに他の態様によれば、平面情報を受信することが、装置に関連付けられたユーザに関する情報又は装置からの周囲の感知された情報の受信を含む。
【００１５】
さらに他の態様によれば、装置はＡＲカメラ装置を含み、装置から受信された情報が、地理的位置、周囲条件、ユーザプロファイル、ユーザソーシャルグラフ又は公開情報のうちの１又は複数を含む。
【００１６】
追加の態様によれば、前記意味的特徴のマッチングは、視覚的及び意味的表示を使用するコンテキストアウェア動作を含み、対象は類似しているが、装置の対象間の少なくとも幾つかの態様において異なる。
【００１７】
さらに他の態様によれば、同期制御は、注釈を前記平面情報におけるランドマーク及び平面にロックすることを含み、ユーザのうちの１人による対象を移動した場合、注釈が前記対象の移動と共にロックされた位置に移動することが可能になる。
【００１８】
さらに、本出願の態様は、コンピュータに、前記ＡＲ環境内の各ユーザに関連付けられた複数の装置のそれぞれについて、前記拡張現実環境において撮影された平面情報を受信し、前記平面情報における対象の固有の識別子情報を生成することと、前記装置間で、前記平面情報を調整することと、前記装置によって感知されたそれぞれの環境における対象同士のマッチを生成するために、前記装置間で前記対象の意味的特徴のマッチングを実行することと、前記マッチングされた対象の注釈が、前記装置のうちの他のものに対して、前記装置のうちの１つの装置のランドマーク及び平面にロックされることを可能にするために、前記装置に同期制御を提供すること、を含む処理を実行させる、拡張現実（ＡＲ）環境同期プログラムに関してもよい。
【００１９】
追加の態様によれば、所定の注釈を実行するための権利又はアクセスを付与するための追加の命令が前記装置に提供される。
【００２０】
他の態様は、ユーザ入力に基づいて、手動又は自動で、特定のコンテキスト又は状況において、特定のユーザ又は対象への注釈を制限又は許可することをさらに含む。
【００２１】
他の態様によれば。前記平面情報を受信することが、前記装置に関連付けられた前記ユーザに関する情報又は前記装置からの周囲の感知された情報を受信することを含む。
【００２２】
他の態様によれば、前記装置はＡＲカメラ装置を含み、前記装置から受信された情報が、地理的位置、周囲条件、ユーザプロファイル、ユーザソーシャルグラフ又は公開情報のうちの１又は複数を含む。
【００２３】
他の態様によれば、前記意味的特徴のマッチングは、視覚的及び意味的表示を使用するコンテキストアウェア動作を含み、前記対象は類似しているが、前記装置の対象間の少なくとも幾つかの側面において異なる。
【００２４】
他の態様によれば、前記同期制御は、前記注釈を前記平面情報における前記ランドマーク及び前記平面にロックすることを含み、前記ユーザのうちの１人による前記対象を移動した場合、前記注釈が前記対象の移動と共にロックされた位置に移動することが可能になる。
【００２５】
他の態様によれば、前記ユーザのうちの１又は複数は、前記意味的特徴のマッチングに対する制御を提供され、前記コンテキストアウェアマッチングは、視覚、地理的位置、温度、湿度、及び光暴露入力のうちの少なくとも１つに応答して、視覚的、意味的、カテゴリ別、機能的、及びコンテキスト特徴のうちの少なくとも１つに基づく。
【００２６】
他の態様によれば、前記拡張現実環境における注釈特性は、前記マッチングされた対象の状態のユーザ指示に基づいて、前記マッチングされた対象を介した前記注釈の伝播を許可又は制限するように制御される。
【００２７】
他の態様によれば、前記拡張現実環境における前記マッチングされた対象の注釈特性は、前記ユーザのうちの１又は複数のユーザの特性に基づいて制御される。
【００２８】
他の態様によれば、前記ユーザの特性は、メタデータ、ソーシャルメディア情報、ユーザプロファイル内のプリファレンス、及び前記ユーザのうちの１又は複数に関連する履歴行動のうちの少なくとも１つを含む。
【００２９】
他の態様によれば、コンピュータビジョン及びＡＲが、コンテキストを決定するために適用され、地理的位置、人口統計、メタデータ、挙動、履歴、ソーシャルグラフ、前記ユーザの各々の役割、及び前記ユーザの各々の人間的又は非人間的状態のうちの少なくとも１つに基づいて前記マッチングを実行する。
【００３０】
特許ファイル又は出願ファイルには、カラーで実行される少なくとも１つの図面が含まれる。カラー図面を含むこの特許又は特許出願の写しは、請求及び必要な手数料の支払いを受けて庁が提供する。
【図面の簡単な説明】
【００３１】
【図１】図１は、関連技術のＡＲ体験を示す。
【図２】図２は、例示的実施形態による複合現実感ＡＲ体験の態様を示す。
【図３】図３は、一例示的実施形態による意味的調整（ｓｅｍａｎｔｉｃ  ｃｏｏｒｄｉｎａｔｉｏｎ）及び同期のためのドロップポイントの方法を示す。
【図４】図４は、例示的実施形態のユースケースによるＡＲ注釈を示す。
【図５】図５は、例示的実施形態による方法を示す。
【図６】図６は、幾つかの例示的実施形態において使用するのに適した例示的コンピュータ装置を有する例示的コンピューティング環境を示す。
【図７】図７は、幾つかの例示的実施形態に適した環境例を示す。
【発明を実施するための形態】
【００３２】
以下の詳細な説明は、本出願の図面及び例示的実施形態のさらなる詳細を提供する。明確化のために図面間の冗長要素の参照番号及び説明は省略している。明細書全体にわたって使用されている用語は、例として提供されており、限定を意図するものではない。
【００３３】
本明細書で使用する「ユーザ」という用語は、一般に、情報を受信及び／又は入力するために、入力装置（例えば、カメラ又はヘッドセット）を介してＡＲインタフェースと対話する１又は複数のエンティティを指す。さらに、ユーザは、ホストユーザ又は遠隔ユーザと考えることができる。ホストユーザという用語は、通常、ＡＲ対話を開始又はホストしているユーザを指すが、遠隔ユーザは、通常、ホストユーザによって開始されたＡＲ対話に参加しているユーザである。しかし、この関係は単なる一例にすぎず、当業者には理解されるように、本発明の範囲から逸脱することなく、ＡＲ体験を開始する他の方法に置き換えてもよい。
【００３４】
上記の用語は、ここでは簡潔さのために使用されているが、当業者には理解されるように、これらの関係を説明するために他の用語に置き換えることができる。さらに、「エンティティ」という用語は、例示的実施形態と対話し、又はプロセスを実行する、１又は複数の個人、アカウント保有者、アカウント及び／又は装置の所有者、組織又は他のメンバを指すことができる。
【００３５】
例示的実施形態の態様は、ドロップポイント又は意味的調整のためのシステム及び方法、並びに協調システム及びツールのための同期を含む、複合現実感ＡＲ環境のための１又は複数のシステム及び方法に関する。これは、同期基準点として、２つ以上のセッションにわたって共有ランドマークに対して視覚的特徴又は意味的特徴に識別され、ローカライズされた相互に共有された対象を提供することによって達成され得る。結果として、ＡＲ環境を介した通信は、複数のユーザ間における注釈の位置や向きの同期を含むことができる。
【００３６】
より具体的には、本発明の概念に関連する例示的実施形態は、ＡＲ環境内の同様のメディア対象にわたって同期して固定されたリアルタイムの注釈を提供する方法に関する。例えば、限定するものではないが、ＡＲ環境における平面又は対象及び平面対を認識することに加えて、例示的実施形態は、対象及び平面の認識及び位置照準に関する。認識及び位置照準の結果は、「ロック（ｌｏｃｋ）」として維持され、２つのエンドポイント（例えば、ＡＲ環境内の２つのピアに関連付けられた平面）を同期して保持する。
【００３７】
例示的実施形態によれば、２つの異なる場所にある２つの同様の実世界の物理的対象に関連付けられた２つのＡＲ対象は、ＡＲ環境にローカライズすることができる。任意の２つのマッピング可能な対象が本例示的実施形態で使用されてもよいことに留意されたい。２つの対象は、物理的な形状として正確に同一又は実質的に同一であってもよい（例えば、正確な複製又はほぼ複製）。さらに、２つの対象は、共有又は共通の意味的特徴のために、形状としては類似していなくてもマッピング可能であり得る。対象の意味的特徴は、コンテキストアウェア方式で同期に適用することができる。例えば、あるユーザ環境内のステーションワゴンのトランクと、別のユーザ環境内のスポーツカーのボンネットとは、コンテキスト関連特性のセット（例えば、ヒンジ及びラッチを有し、記憶空間を表すなど）に基づいて互いにローカライズされてもよい。
【００３８】
例示的実施形態によれば、対象をマッピングするプロセスは、１又は複数のユーザと対話することができ、又は半自動的に又は自動的に実行することができる。例えば、限定するものではないが、例示的実施形態は、それぞれのビューポートにバウンディングボックスを作成することができる。バウンディングボックスは、コンピュータビジョンを使用して自動的に、ユーザによって手動で、又はそれらの組み合わせによって生成されてもよい。より一般的には、幾つかのキーポイント（例えば、少数）が識別され、識別されたキーポイントの対象が、コンピュータビジョンを使用して自動的に、ユーザによって手動で、又はそれらの組み合わせによって位置合わせするために使用される場合、バウンディングボックスが推定されてもよい。
【００３９】
そのようなバウンディングボックスは、ドメイン知識を用いて強化することができる。上述した非限定的な例によれば、２つの対象は、より大きな幾何学的調整のために、ランドマークとしての自動車のボンネットとトラックのボンネットの共有された意味的特徴に起因してローカライズされた自動車及びトラックであってもよい。赤と黒のチェスボードの使用例では、正方形の１つがハイライト表示され、「白」又はチェスボードのゲーム空間色ではない他の色として表示されてもよい。
【００４０】
視覚的なマッチ又は意味的特徴のマッチの生成に関して、視覚的固有の識別子又は固有に近い識別子を計算する方法が提供される。計算された視覚的又はほぼ固有の識別子は、傾いた向き及び視点に対して堅牢である。所望により、以下にさらに詳細に説明するように、マッチは意味的であってもよい。実質的に同様の特性を有する２つ以上の対象を整列又は配置することができる。例えば、限定するものではないが、フラスコの蓋と断熱された食品又は飲料容器の蓋を整列又は配置することができる。
【００４１】
マッチの生成に関して、２つ以上のＡＲ平面と視覚的固有の識別子がマッチを構成するか否かの判定が行われる。例示的実施形態によれば、この操作は、平面マッチなしに実行されてもよい。例えば、限定するものではないが、壁上の垂直面などの、第１のユーザのための第１の面にある対象は、第２のユーザのためのテーブル、机などの上の非垂直面など、第２の面にマッチしてもよい。
【００４２】
クライアントの調整に関して、この動作は、サーバ又はピアツーピアによって実行されてもよく、１又は複数のアプローチを含んでもよい。例えば、限定するものではないが、ＡＲ環境の任意の新しい品物がＡＲ体験において他のピアにマルチキャストされるような戦略を選択することができる。別の戦略は、所与のユーザによって操作されているプロセス中の任意の対象が、そのユーザによる操作が完了するまで、ＡＲ体験において他のクライアントに「ロック」されることを含んでもよい。操作は、リアルタイムで他のクライアントにわたってレンダリングするために、一連の更新として操作ユーザから、１又は複数の他のユーザに提供されてもよい。
【００４３】
例示的実施形態によれば、標準ＡＲフローにレイヤが追加される。この新しいレイヤは、複数の領域にわたって注釈を保存するために、空間同期ポイントを含む。新しいレイヤに関連する操作は、図３の議論に関して以下に開示される。
【００４４】
例えば、限定するものではないが、このアプローチは、｛ｃｕｒｒｅｎｔ＿ｌｏｃａｔｉｏｎ、ｔｒａｎｓｆｏｒｍａｔｉｏｎ、ｎｅｗ＿ｌｏｃａｔｉｏｎ｝を含むｎ−タプル（例えば、トリプル）を提供することを含むことができる。これらの戦略は限定的ではなく、単にクライアントを調整するために取られるアプローチの例に過ぎない。当業者に理解されるように、本発明の範囲から逸脱することなく、他のアプローチを取ることができる。
【００４５】
図２は、例示的な例示的実施形態による複合現実感ＡＲ体験２００の態様を示す。より具体的には、図２（Ａ）はホストユーザを対象とし、図２（Ｂ）は遠隔ユーザを対象として撮影された画像を示す。この例示的実施形態では、両方のユーザが物理マザーボード２０１ａ，２０１ｂを有する。この物理的環境は、ホストユーザについては２０３で、遠隔ユーザについては２０５で示されている。
【００４６】
２０７及び２０９に示されるように、ＡＲ技術は、それぞれ、平面２１１ａ及び２１１ｂをそれぞれホストユーザ及び遠隔ユーザにマッピングする。このマッピングは、視覚的分析を使用して自動的に、又は各ビュー内の１又は複数のマッチングポイントを識別するユーザに基づいて、手動で、又はそれらの組み合わせを使用して実行することができる。例えば、限定されないが、マッピングされた平面は、水平、垂直、又は他の平面にあってもよい。図面からわかるように、平面２１１ａ、２１１ｂは同一領域を示してはいない。これは、ホストユーザと遠隔ユーザが物理的に同一平面上に配向されていないためである。
【００４７】
２１３，２１５に示すように、撮影された対象の識別を行うためにコンピュータビジョンが適用される。対象の識別は、既存のコンピュータビジョン方法（例えば、関心対象の３Ｄジオメトリをモデル化するＨａｎｄ３Ｄリファレンス（Ｈａｎｄ３Ｄ  ｒｅｆｅｒｅｎｃｅ）など）によって実行することができる。あるいは、撮影された画像からキーポイントが識別される場合、ホストユーザーの画像および遠隔ユーザーの画像において識別されたキーポイントが追跡されてもよく、それらが定義する座標参照フレームを更新してもよい。この座標参照フレームは、協働を強化することができる対象の固有の属性を含むようにカスタマイズすることができる。より具体的には、ホストおよび遠隔の両環境において撮影された各対象が識別され、各対象の向きが推定される。この段階では、ＡＲ平面が維持される。所望により、ホストユーザ及び／又は遠隔ユーザは、同期を初期化するための指標として、視覚的マッチを示すフィードバックなどの情報を提供されてもよい。より具体的には、２１７ａ及び２１７ｂで示すホストユーザの上部及び下部は、２１９ａ及び２１９ｂで示す遠隔ユーザの上部及び下部と同じ向きには整列していない。上述したように、この非整列は、ホストおよび遠隔の各ユーザの環境において撮影された対象物が異なる物理的な向きに配置されていることに起因する可能性がある。
【００４８】
ホストユーザが、ホストユーザの物理的環境221で示した位置を、遠隔ユーザの物理的環境２２３において遠隔ユーザのビューにマッピングされる位置に対して、ホストユーザによる指示位置として示す。より具体的には、ホストユーザが２２５ａへのポインタを使用して指し示したことによって、矢印２２５ｂが遠隔ユーザのＡＲビューの対応する位置に提供される。この場合、ホストユーザが示す対象は、マッチした対象であるコンデンサである。
【００４９】
ホストユーザの物理的環境２２７及び遠隔ユーザの物理的環境２２９で、遠隔ユーザが対象を回転（例えば、物理マザーボードの移動）した場合、その対象コンデンサにロックされたままになるように、矢印225bであらわす本実施形態の注釈を対象と共に回転する。より具体的には、これは、注釈２３１として、遠隔ユーザの物理的環境を示すAR平面２２９に示されている。遠隔ユーザは物理的に静止しているので、ＡＲ平面は一定のままであることに留意されたい。
【００５０】
遠隔ユーザが対象の回転を実行するときに実行される上記の訂正操作がない場合、注釈は定位置にとどまるか、又はビューポートに固定されたままになり、したがって注釈をターゲットコンデンサから分離する。
【００５１】
図２では、ポインタ及び注釈マーク（たとえば上記実施形態における矢印225b）が示されているが、注釈も共有することができる。例えば、遠隔ユーザのビュー上の矢印２２５ｂは、ホストユーザのビューにもロックすることができる。結果として、いずれのユーザにも注釈を操作する選択肢が提供されてもよい。例えば、限定するものではないが、矢印２２５ｂは、上述したようにコンデンサからマザーボードの中央の抵抗に移動することができる。
【００５２】
前述の例示的実施形態はマザーボードに関して提供されているが、これは例示目的のためだけのものである。したがって、他のユースケースを含む他のＡＲの使用は、本開示の範囲から逸脱することなく置き換えることができる。
【００５３】
図３は、一例示的実施形態によるフロー３００を示す。複数のユーザ１．．．ｍが提供される。しかし、フロー３００は、第１及び第２のユーザにのみ、ピアツーピア関係で、又は複数のユーザに１対多の関係で向けられてもよい。さらに、ユーザ間の関係は、ホストユーザがＡＲビューのイニシエータであるか、ある方法でＡＲ体験を制御し、遠隔ユーザはホストユーザによって参加するように招待された参加者であるなど、ホスト対遠隔の関係であってもよい。あるいは、ユーザはすべてピアであってもよく、ＡＲ体験の制御又は開始は、ユーザ１．．．ｍの間で静的に又は動的に転送されるか、又はまったく転送されなくてもよい。
【００５４】
例示的実施形態によれば、対応する入力３０１ａ、３０１ｂ．．．３０１ｍが各ユーザに対して提供される。例えば、限定するものではないが、入力３０１ａ、３０１ｂ．．．３０１ｍは、センサ又はカメラなどの視聴覚入力であってもよい。説明のために、この例示的実施形態の説明ではカメラを使用する。しかしながら、入力はこれに限定されず、当業者には理解されるように、他の入力に置き換えることができる。
【００５５】
３０１ａ、３０１ｂ．．．３０１ｍの入力としてカメラのセットが与えられると、カメラの各々は、上述のように、それぞれ操作３０３ａ、３０３ｂ、．．．、３０３ｍでＡＲ平面に関連付けられる。ＡＲ平面が決定されると、３０５ａ、３０５ｂ．．．３０５ｍにおいて、AR平面に含まれる対象を特定し、それらの対象に対するの、視覚的又は意味的特徴のセットを使って、１又は複数の固有の識別子（例えば、「ハッシュ」又はそれに限定されないが「識別子」と呼ばれる）が、計算などによって生成される。続いて、３０７でカメラを調整するために発見操作が用いられる（例えば、ピア発見）。カメラの調整は、当業者には理解されるように、既存の自動、手動又は招待動作であってもよい。
【００５６】
カメラ調整が実行された後、３０９において、視覚的及び／又は意味的特徴のサブセットに基づいて、各カメラに撮影された対象同士の固有の識別子のマッチングを行うことで、各カメラの撮影画像における対象同士がマッチ又はほぼマッチする。上述したように、各カメラによって撮影された対象同士は、視覚的特性や、機能などの意味的ベース、カテゴリベースでの分類、及び／又は外部コンテキスト履歴に基づいて、各カメラ撮影画像中の類似する対象同士をマッチすることができる。マッチしないと判定された場合、３１１で指摘したように、ユーザ間で同期は行われない。
【００５７】
一方、マッチしたと判定された場合、３１３において、各カメラによって撮影された画像中の互いにマッチすると判定された対象同士が、同期イベントにより同期される。さらに、各カメラ画像におけるAR平面同士は、水平又は垂直の向きなどで、マッチさせることができる。したがって、装置の任意のサブセットにわたってマッチが存在する場合、ピア間で調整が準備され、各ユーザのための出力が３１Ｓａ、３１Ｓｂ．．．３１Ｓｍで同期化のために提供される。
【００５８】
前述の例示的実施形態によれば、１人又は複数のユーザに、１又は複数のポイントに基づいて、ＡＲビューを調整するための制御及び／又は能力を提供することができる。複数のユーザのそれぞれの環境における対象同士、あるいはAR平面の向きや位置の調整は、それぞれの環境において撮影された画像の各対象ごとの、視覚的、意味的、カテゴリ、機能的、及び／又はコンテキストベースに基づくマッチングを用いてもよく、、又は固有の識別子のマッチングに基づいて実行されてもよい。コンテキストマッチングが実行される限り、このコンテキストマッチングは、視覚的インジケータと関連付ける必要はない。例えば、限定するものではないが、コンテキストマッチングは、Ｇｅｏ、温度、湿度、光暴露などの他の知覚入力に基づくことができる。
【００５９】
コンテキストベースのマッチングは、各環境において撮影された画像中の対象と対象の間で行われても、注釈ベースで行われてもよい。このアプローチによれば、ＡＲ環境内のユーザのうちの１人が、対象を操作するなどの動作を実行した場合、この動作は、アクセスの許可をもたらし、ＡＲ環境内の他のユーザと注釈の向きや位置を撮影された画像中で維持して適切に注釈が示す位置を共有する方法でタスクを実行する。それに応じて他のユーザのビューを更新することができる。
【００６０】
所望により、ＡＲ環境における注釈特性は、特定の注釈の伝播を許可又は制限する方法で制御することができる。例えば、限定するものではないが、特定の対象に対して本質的に固体（ｓｏｌｉｄ）表示されてもよく（例えば、ユーザによってタグ付けされてもよい）、又はＡＲ環境内の他の視覚的に存在する特徴によってブロックされてもよい。ユーザは、他のユーザが対象をどのように表示又は注釈付けするかを設定したり、制御したりすることができる。したがって、ユーザは、固体対象を貫通したり通過したりする注釈を防止又はブロックすることができ、実世界の制約をＡＲ対象に課し、より実世界に近いＡＲ体験を作成することができる。
【００６１】
逆に、ユーザは、注釈が固体対象を通過することを許可して、他のユーザのための例示的な使用を提供することができる。ピアツーピアの例では、ラップトップコンピュータを貫通してラップトップコンピュータの内部要素を指すことなど物理的に不可能な現実世界の動作が許可されてもよい。したがって、ユーザは、特定の現実世界の対象にタグを付けることによって、提示者として様々な程度の制御を行うことができ、例えば、実世界の制限を固体対象に課すか、又は物理的に不可能な動作を許可してもよい。注釈を固体対象にわたって又は貫通してドラッグすることは単なる例にすぎず、対象をタグ付けし分類する能力をユーザ（例えば、提示ユーザ）に提供することによって、他の動作も同様にユーザが所望する方法で処理されるように制御され得る。
【００６２】
そのような設定は、対象のクラスを作成するために適用されてもよく、設定はセッションごとに終了してもよく、又はセッション間で保存されてもよい（例えば、将来のセッションにおいて同じ場所の同じピア及び対象）。ユーザは、対象の初期分類を作成し、その後、クラスごとに設定を追加することができる。例えば、ＡＲ環境において調理に関する情報を提示しているユーザは、注釈によって通過できる特定の対象（例えば、ゼラチン）及び固体である他の対象（例えば、ニンニク）にタグを付けることができる。
【００６３】
さらに、対象は、ユーザによって手動で、又はシステムによって、意味的等価物として自動的にタグ付けされてもよい。例えば、バター及び調理油、又はさらに異なるタイプの調理油は、特定の調理環境のコンテキストにおいて意味的同等のものであり得る。
【００６４】
本例示的実施形態は、主として実質的に平坦な対象に向けられている。しかしながら、例示的実施形態はこれに限定されず、したがって、本発明の範囲から逸脱することなく他の例示的実施形態に置き換えることができる。例えば、限定するものではないが、主に平らな対象を使用する代わりに、３Ｄ対象（例えば、垂直平面を使用するロボット）又は完全に平坦な対象（例えば、印刷物）を使用することができる。
【００６５】
さらに、ユーザ自身に関連する情報を、コンテキストアウェアアプローチ（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ａｐｐｒｏａｃｈ）による決定又は変更のために使用することができる。例えば、ＡＲ環境における自動車に関する表示の例では、初心者であるという属性を持つユーザには、特定の対象（自動車の例で、ディストリビューター）に対する注釈を提供しないが、専門家であるという属性を持つユーザには、その対象（ディストリビューター）に対する注釈を提供してもよく、及び／又はその対象に注釈を付けるかどうかを設定させる権限を提供してもよい。このようなアプローチは、同期によってユーザ同士の得られる情報レベルを維持するために使用され得る（例えば、初心者は混乱を避けることができ、専門家はより多くの技術的詳細を体験することができる）か、又はコンテキストギャップを活かすことによって、専門家が初心者に通信することを可能にする。そのようなコンテキスト関連情報は、例えば、メタデータ、ソーシャルメディア情報、ユーザプロファイル内のプリファレンス、履歴ＡＲ環境挙動などから得ることができる。
【００６６】
あるいは、分解されたビュー（ｖｉｅｗ）又は抽象的なビューが提供され得るように、幾つかの対象は、透過表示により提供されるか、又は他の対象を透過表示することを設定できるように提供されてもよい。これらの例示的実施形態によれば、ユーザは、作成した対象及び／又は注釈に対する特定の動作を有効又は無効にする設定や制御を提供される。ユーザは、対象のクラスを作成してもよく、フィルタを選択的に適用することができる。所望により、履歴に応じて、対象情報を制御することができる履歴スライダ、又は注釈についての履歴スライダを提供することができる。
【００６７】
対象をマッチングするための基礎を提供することに加えて、コンテキストアウェアマッチングによって、視覚的な位置だけでなく、他のコンテキストを含む、コンテキスト不足又は不適切なコンテキストに基づいて、撮影され表示された対象同士をマッチしないようにする推奨も提供する。例えば、２人のユーザは、撮影されたコンテキストに適した地理的位置にない場合（例えば、１人のユーザはオフィス内で、別のユーザは家庭又は寝室などのプライベートエリア内にある）、コンピュータの周辺機器（例えば、マウス）をマッチさせることができる。ユーザは対象にマッチしないように推奨を受けてもよく、又は、そのようなマッチはシステムによって自動的にブロックされてもよい。したがって、例示的実施形態は、コンテキストが存在しないか、又はコンテキストマッチングが否定的である場合に、抑止を含むことができる。
【００６８】
コンテキストを決定するために、周囲情報などのユーザ環境の情報を受信し、次に決定されたコンテキスト情報を適用してマッチングを実行するために、コンピュータビジョン及びＡＲを適用することができる。このユーザ環境の情報は、視覚的であってもよいが、これに限定されない。例えば、限定するものではないが、他の情報は、測位、人口統計（例えば、ユーザプロファイル又は公的に利用可能な情報に基づく）、メタデータ、挙動、履歴、ソーシャルグラフを含んでもよく、又は他のユーザに関する役割に基づいてもよい。さらに、１人のユーザは、人間であってもよいし、別のユーザは人間でなくてもよい（例えば、有害環境条件などのロボットであるが、これに限定されない）。
【００６９】
さらに、例示的実施形態は、マッチする環境内の単一の対象に限定されず、ＡＲ環境内の複数のユーザのための環境内の複数の対象のマッチングを含むことができることに留意されたい。
【００７０】
複数のユーザ（例えばピア）にわたる注釈のロック（同期）に関して、追加の特徴が提供されてもよい。遠隔ユーザは、クリティカルパスで注釈を実行することを奨励されるか、又は不正確なシーケンスで注釈を提供することを抑止される場合がある。例えば、電源を切断する前に電子装置を取り外し始める遠隔ユーザに対し、電源が切断されるまで、ＡＲ環境における後続の動作を実行することを警告又は防止することができる。
【００７１】
前述のアプローチでは、ＡＲ平面は、配置されていない対象にマッピングされることに留意されたい。さらに、２つの配置されていない平面と対象との間の平行移動のための操作が提供される。さらに、ピアツーピア又はクライアント／サーバのなどの、当業者には理解されるように、ピアのセット及びアーキテクチャにわたって調整するシステムが提供される。
【００７２】
複数のユーザ間で共有可能な注釈はＡＲ平面にわたって提供され、マッチングされた各対象は、環境とともにセッションにロックされ、セッションでは、複数のユーザ間で、注釈が同じ対象に共通して配置される。複数ユーザにおけるインタラクションや対話は、１対多、多対多であってもよく、人間のユーザ、ロボットエージェント、又はそれらの組み合わせを含むことができることに留意されたい。当業者には理解されるように、ロボットと人間は異なる注釈要件を有することができる。
【００７３】
例示的実施形態によれば、性能の１又は複数の尺度を評価目的に使用することができる。例えば、限定するものではないが、性能尺度は、図２に示すような距離にわたる対象のピンポイントな領域の正確な測定、及び／又は２人の個人間の接続された体験を含むことができる。本発明の範囲から逸脱することなく、性能の他の尺度を代用することができる。
【００７４】
図４は、多機能装置（ＭＦＤ）プリンタを対象とした例示的実施形態４００を示す。ホスト環境４０１と遠隔環境４０３が設けられている。ホスト環境４０１のユーザは、ＭＦＤのスタートボタンにＡＲ注釈４０５をドロップする。本例示的実施形態によれば、遠隔環境において、ホスト環境におけるスタートボタンに対応する注釈４０７は、遠隔環境のＭＦＤスタートボタンにロックする。この例示的実施形態では、注釈はスタートボタンに対して視覚的に固定されているのではなく、ボタンであることを示す意味的に固定されている。しかし、例示的実施形態はそれに限定されず、他の固定アプローチが使用されてもよい。例えば、限定するものではないが、所望により、４０３のユーザは、その注釈を画面に（例えば、右に）ドラッグ／移動させることができる。したがって、４０１における注釈は、その画面の左に移動してもよい。
【００７５】
非限定的に、ファッション業界を含むことができる。テーラーは、新しい服（例えば、ホストとしてミラノの教師、遠隔ユーザとして世界の学生）の設計に協働することができる。あらゆる場所で、マネキン（例えば、発泡モデル）が存在する。遠隔ユーザは、ＡＲビューでマネキンに描画することができる。したがって、マークは、他の遠隔ユーザ及びホストユーザと共に他のサイトに複製される。マークが作成されると、実際のマネキンに異なる服を描くことができる。したがって、当業者には理解されるように、リアルタイムの３Ｄ人物姿勢推定器を使用して、その場所における各ビデオストリームから各マネキンの位置を追跡することができる。
【００７６】
別の非限定的な例示的使用は、手の追跡を伴い得る。例えば、カスタマイズされた手袋が、遠隔ユーザのために設計されてもよい。あるいは、遠隔医療のような、医師−患者のインタラクションのシナリオでは、患者の身体部分について、医師及び患者は、特定の当事者点に注釈を付けることができ、又は指摘することができる。例えば、患者は痛み点を特定することができ、又は医師は患者に標的点に関する情報を提供することができる。別の例示的実施形態では、患者が、圧力点に圧力を加えるなどの処置を行うべき場所を指し示すセラピストによって、患者に対して治療を提供することができる。
【００７７】
前述の非限定的な例では、既製のリアルタイム３Ｄハンド−ポーズ（ｈａｎｄ−ｐｏｓｅ）推定器が提供されてもよい。そのような推定器には、Ｈａｎｄ３Ｄ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｌｍｂ−ｆｒｅｉｂｕｒｇ／ｈａｎｄ３ｄ）、又は当業者には理解されるような、手及び指位置の３Ｄモデル並びにマップ作成されたマークを取得し生成するための他のツールが含まれ得るが、これらに限定されるものではない。この非限定的な例によれば、同じではないが、明確な１対１マッピングが存在する（例えば、５本の指及び関節）意味的属性を共有する２つの実対象（例えば、手）間の意味的マッピングが提供される。
【００７８】
さらに別の非限定的な例示的な使用によれば、例示的実施形態は、工業的な環境で使用されてもよい。例えば、限定するものではないが、異なる場所にいる自動車設計者は、協調して異なる設計（例えば、塗料）を自動車モデルに入力することができる。その場合、自動車モデルは、それぞれが所定の数（例えば、３つ）のマッチするキーポイントを有し、それらのビューを３Ｄで整列させる限り、完全にマッチする必要はない。この例示的実施形態によれば、自動車設計者は、異なる色又は設計方式を試みることができ、自動車モデルに関連付けられた製品ラインのための色選択肢を作成するために、設計面で他の遠隔配置された同僚（ピア）と対話することができる。
【００７９】
図５は、例示的な例示的実施形態による方法５００の例示的実施形態を示す。サーバ側で実行される方法５００によれば、前述の説明及び図面に従って同期のマッチングが行われる。
【００８０】
５０１において、検出動作が実行され、入出力用のＡＲ装置の存在を決定する。検出動作は、ＡＲ環境イベントに参加するユーザに関連するＡＲ装置１．．．ｍについての情報を提供する。所望により、決定工程は、ＡＲ装置１．．．ｍに関連するユーザに関する情報、ＡＲ装置からの周囲検知情報などを提供することができる。
【００８１】
５０３において、各ＡＲ装置１．．．ｍについて、ＡＲ平面情報が受信される。例えば、カメラなどのＡＲ装置によって受信された視覚的情報が受信される。所望により、地理的位置、周囲条件、ユーザによって許可されている場合、ユーザプロファイル、ユーザソーシャルグラフ又は公共情報、又はＡＲ装置の状態及び／又は関連するユーザに関連する他の情報を含むが、これに限定されない他の情報が受信されてもよい。
【００８２】
５０５において、各ＡＲ装置１．．．ｍについて、対象決定及び固有の識別子生成が実行される。したがって、視覚的情報の分析及び非視覚的情報の分析が実行され、各対象（例えば、物理的対象）について原点が決定されるとともに、固有の識別子の生成が行われる。
【００８３】
５０７において、操作は、例えば、操作５０１〜５０５の情報を認識して集約するために、装置１．．．ｍにわたって実行される。したがって、装置１．．．ｍの情報が連携される。
【００８４】
５０９において、ＡＲ装置１．．．ｍにわたって、対象又は固有の識別子のマッチング操作が実行される。したがって、ＡＲ環境内の各ＡＲ装置内の識別された対象に対して、コンテキスト認識マッチングが実行される。本明細書でさらに説明するように、マッチング動作はコンテキストアウェア動作であり、マッチングを実行するために視覚的、意味的、又は他の指示を使用することができる。したがって、少なくとも幾つかの側面では類似しているが異なる対象をマッチングさせることができる。
【００８５】
５１１において、異なるＡＲ装置１．．．ｍの撮影画像中の対象同士に、それぞれに対応する対象（マッチング）が存在するかどうかが判定される。異なる撮影画像中の対象同士に対応する対象がなければ、プロセスは終了する。動作５０９及び５１１に基づいて、各撮影画像中に対応するマッチングが存在すると判定された場合、５１３において、位置および/または向きの同期制御が実行される。例えば、あるユーザによる基本対象の移動によって注釈が移動することができるように、同期をランドマーク及びＡＲ平面にロックすることができる。結果として、ユーザは、ＡＲ平面、物理的対象又は他の同様の理由からの分離による注釈の損失のために、ＡＲ体験に悪影響を及ぼすことなく、対象を移動させることができる。
【００８６】
したがって、５１５でＡＲ装置１．．．ｍに指示を与えて、特定の注釈を実行するための権利又はアクセスを許可することができる。本明細書で説明するように、ユーザは、手動又は自動のいずれかで、特定のコンテキスト又は状況において、特定のユーザ又は対象への注釈を許可又は制限することを選択することができる。
【００８７】
図６は、幾つかの例示的実施形態において使用するのに適した例示的コンピュータ装置６０５を有する例示的コンピューティング環境６００を示す。コンピューティング環境６００内のコンピューティング装置６０５は、１又は複数の処理ユニット、コア、又はプロセッサ６１０、メモリ６１５（例えば、ＲＡＭ、ＲＯＭなど）、内部記憶装置６２０（例えば、磁気、光学、固体記憶装置、及び／又は有機）、及び／又はＩ／Ｏインタフェース６２５を含むことができ、これらのうちの任意のものは、情報を伝達するために通信機構又はバス６３０上で結合してもよく、又はコンピューティング装置６０５に埋め込まれてもよい。
【００８８】
コンピューティング装置６０５は、入力／インタフェース６３５及び出力装置／インタフェース６４０に通信可能に結合できる。入力／インタフェース６３５及び出力装置／インタフェース６４０の一方又は両方は、有線インタフェース又は無線インタフェースであってもよく、取り外し可能であってもよい。入力／インタフェース６３５は、入力を提供するために使用できる任意の装置、部品、センサ、又はインタフェース、物理又は仮想を含んでもよい（例えば、ボタン、タッチ画面インタフェース、キーボード、ポインティング（ｐｏｉｎｔｉｎｇ）／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダなど）。
【００８９】
出力装置／インタフェース６４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。幾つかの例示的実施形態では、入力／インタフェース６３５（例えばユーザインタフェース）及び出力装置／インタフェース６４０は、コンピューティング装置６０５に埋め込まれるか、又はコンピューティング装置６０５に物理的に結合され得る。他の例示的実施形態では、他のコンピューティング装置は、コンピューティング装置６０５のための入力／インタフェース６３５及び出力装置／インタフェース６４０として機能するか、又はその機能を提供してもよい。これらの要素は、ユーザがＡＲ環境と対話することを可能にするように、周知のＡＲハードウェア入力を含むことができるが、これに限定されない。
【００９０】
コンピューティング装置６０５の例には、機動性が高い装置（例えば、スマートフォン、車両及び他のマシンの装置、人間及び動物が携行する装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯用テレビ、ラジオなど）、並びに、携帯用に設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが埋め込まれた及び／又は結合されたテレビ、ラジオなど）が含まれてもよいが、これに限定されない。
【００９１】
コンピューティング装置６０５は、同じ構成又は異なる構成の１又は複数のコンピューティング装置を含む、任意の数のネットワーク部品、装置、及びシステムと通信するために、外部記憶装置６４５及びネットワーク６５０に通信可能に結合することができる（例えば、Ｉ／Ｏインタフェース６２５を介して）。コンピューティング装置６０５又は任意の接続されたコンピューティング装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のラベルとして機能し、サービスを提供し、参照されることができる。
【００９２】
Ｉ／Ｏインタフェース６２５は、コンピューティング環境６００内の少なくともすべての接続された部品、装置、及び／又はネットワークとの間で情報を伝達するために、任意の通信又はＩ／Ｏのプロトコル又は規格（例えば、イーサネット（登録商標）、８０２．１ｌｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する有線インタフェース及び／又は無線インタフェースを含むことができるが、これに限定されない。ネットワーク６５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であってもよい。
【００９３】
コンピューティング装置６０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能媒体又はコンピュータ可読媒体を使用して使用及び／又は通信できる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光学媒体（例えば、ＣＤ−ＲＯＭ、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、及び他の不揮発性記憶装置又はメモリを含む。
【００９４】
コンピューティング装置６０５は、幾つかの例示的コンピューティング環境において、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用できる。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体に記憶され、非一時的媒体から取得され得る。実行可能命令は、任意のプログラミング言語、スクリプティング言語、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から作られてもよい。
【００９５】
プロセッサ６１０は、ネイティブ環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行できる。論理ユニット６５５、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット６６０、入力ユニット６６５、出力ユニット６７０、固有の識別子ユニット６７５、マッチユニット６８０、同期ユニット６８５、及び異なるユニットが互いに、ＯＳと、及び他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム６９５を含む、１又は複数のアプリケーションを配備できる。
【００９６】
例えば、固有の識別子ユニット６７５、マッチユニット６８０、及び同期ユニット６８５は、図３及び図５に示す１又は複数の処理を実施してもよい。説明されたユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、提供される説明に限定されない。
【００９７】
幾つかの例示的実施形態では、情報又は実行命令がＡＰＩユニット６６０によって受信されると、１又は複数の他のユニット（例えば、論理ユニット６５５、入力ユニット６６５、固有の識別子ユニット６７５、マッチユニット６８０、及び同期ユニット６８５）に伝達されてもよい。例えば、固有の識別子ユニット６７５は、カメラなどのＡＲ入力を識別し、ＡＲ場所及びコンピュータ視覚的対象／固有の識別子を決定することができる。マッチユニット６８０は、意味論に基づいてコンテキストアウェアマッチングを実行することができる。さらに、同期ユニット６８０は、ユーザ間のＡＲ環境の同期化（例えば、ロック及び注釈制御）を可能にすることができる。
【００９８】
幾つかの例では、論理ユニット６５５は、ユニット間の情報の流れを制御し、上記の幾つかの例示的実施形態におけるＡＰＩユニット６６０、入力ユニット６６５、固有の識別子ユニット６７５、マッチユニット６８０、及び同期ユニット６８５によって提供されるサービスを指示するように構成してもよい。例えば、１又は複数のプロセス又は実施のフローは、論理ユニット６５５によって単独で、又はＡＰＩユニット６６０と連携して制御してもよい。
【００９９】
図７は、幾つかの例示的実施形態に適した環境例を示す。環境７００は、装置７０５〜７４５を含み、それぞれは、例えばネットワーク７６０を介して少なくとも１つの他の装置に通信可能に接続される（例えば、有線及び／又は無線接続によって）。幾つかの装置は、１又は複数の記憶装置７３０及び７４５に通信可能に接続されてもよい。
【０１００】
１又は複数の装置７０５〜７４５の一例は、それぞれ図６に記載されたコンピューティング装置６０５であってもよい。装置７０５〜７４５は、モニタと、上述のような関連ウェブカムとを有するコンピュータ７０５（例えば、ラップトップコンピュータ装置）、モバイル装置７１０（例えば、スマートフォン又はタブレット）、テレビ７１５、車両に関連する装置７２０、サーバコンピュータ７２５、コンピューティング装置７３５〜７４０、記憶装置７３０及び７４５を含んでもよいが、これに限定されない。これらの装置は、ユーザがＡＲ、ＶＲ、複合現実感、又は他の環境で対話することを可能にするために、これを含むがこれに限定されない当技術分野で周知のＡＲ周辺機器に通信可能に接続されてもよい。
【０１０１】
幾つかの実装形態では、装置７０５〜７２０は、企業のユーザに関連付けられたユーザ装置と見なすことができる。装置７２５〜７４５は、サービスプロバイダに関連する装置であってもよい。例えば、様々な図面、及び／又はウェブページ、テキスト、テキスト部分、画像、画像部分、オーディオ、オーディオセグメント、ビデオ、ビデオセグメント、及び／又はその周辺の情報に関して上述したサービスを提供するために外部ホストによって使用される。
【０１０２】
例示的実施形態は、様々な利点及び長所を有し得る。例えば、限定ではなく、また例示的実施形態の要件としてではなく、注釈は遠隔ユーザによって回転され、注釈は注釈される対象にロックされたままであり、これにより遠隔ユーザＡＲビューとホストユーザのＡＲビューとの整合性は保たれたままである。さらに、ユーザは実際の対象を操作することができ、そのような操作は複数のユーザ間で共有されてもよい。
【０１０３】
位置に加えて、例示的な実施形態は、同期における使用のためのほぼ重複した又は意味的なマッチング（例えば、自動車及びトラックのボンネット、又は同じマザーボードの２つの同様のバージョン）を提供する。この効果は、練習する際にほぼ重複する縮小を使用して視覚的に達成することができる。例えば、限定するものではないが、図２では、ＳＩＦＴ／ＨＯＧ記述子及びＲＡＮＳＡＣマッチング又はＬＯＨ／ＬＯＰＱを使用することが可能である。意味的マッチングは、当業者には理解されるように、対象及び関係の密なコーパス、例えば注釈付きのテクニカルコーパスで実行されてもよい。
【０１０４】
例示的実施形態によれば、既知の変換のセットを提供するＡＲ平面と共に対象マッチングが行われるという利点があり得る。さらに、この例示的実施形態は、ＡＲ平面内の対象に固定された協調注釈を同期させることに向けられている。例えば、図２（Ｂ）に示すように、個々のユーザ（例えば、遠隔ユーザ）は、変換が他端（例えば、ホストユーザ）上で再現されることなく、それらの物理的対象を操作することができる。
【０１０５】
幾つかの例示的実施形態が示され、説明されているが、これらの例示的実施形態は、本明細書に記載される主題をこの分野に精通した人々に伝えるために提供される。本明細書に記載された主題は、記載された例示的実施形態に限定されることなく、様々な形態で実施されてもよいことを理解されたい。本明細書に記載された主題は、具体的に定義又は記載された事項なしに、又は記載されていない他の又は異なる要素又は事項を使用して実施できる。この分野に精通した者は、添付の特許請求の範囲及びその均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的実施形態に対して変更を行うことができることを理解するであろう。
【図１】
2019185745.tif 000003
【図２】
2019185745.tif 000004
【図３】
2019185745.tif 000005
【図４】
2019185745.tif 000006
【図５】
2019185745.tif 000007
【図６】
2019185745.tif 000008
【図７】
2019185745.tif 000009