(57)【要約】  ユーザに拡張現実および／または仮想現実体験を提供するために装備されるヘッドセット、メガネ、またはゴーグル等のウェアラブル可視化デバイスにおいて仮想測定ツールを生成し、表示する技法が開示される。ある特定の実施形態では、デバイスは、例えば、ジェスチャー認識、視線追跡、および／または発話認識を使用することによる、ユーザからの入力に基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによってツールを生成する。デバイスは、ツールが、ユーザに対して、ユーザの環境のリアルタイムで現実の視野に重なって見えるようにツールを表示する。
2017536618.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによって着用される可視化デバイスによって、前記ユーザの少なくとも１つのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つに基づいて、前記ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって、仮想測定ツールを生成することと、
前記仮想測定ツールが、前記ユーザに対して、前記ユーザが居る前記３次元空間の現実の視野に重なって見えるように、前記可視化デバイスによって前記ユーザに対して前記仮想測定ツールを表示することと、を含む、方法。
【請求項２】
前記仮想測定ツールを生成することは、前記ユーザが前記３次元空間を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、前記複数の点を前記３次元空間における対応する異なる点に固定させることを含む、請求項１に記載の方法。
【請求項３】
前記仮想測定ツールを生成することは、前記複数の点のうちの少なくとも１つを、前記ユーザが居る前記３次元空間における物理的オブジェクト上の対応する点に空間的に関連付けることを含む、請求項１または２に記載の方法。
【請求項４】
前記仮想測定ツールを生成することは、前記仮想測定ツールの少なくとも一部を前記複数の点のうちの２つの間の線として生成することを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記仮想測定ツールを生成することは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成することを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記仮想測定ツールを生成することは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成することを含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記複数の点に基づいて、長さ、面積、または容積を前記可視化デバイスによって計算することと、
前記長さ、前記面積、または前記容積を前記可視化デバイスによって前記ユーザに出力することと、をさらに含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記ユーザが居る前記３次元空間は第１の３次元空間であり、
第１のユーザコマンドに応答して前記仮想測定ツールをメモリに保存することと、
前記可視化デバイスによる前記仮想測定ツールの表示を中止することと、
前記ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、前記ユーザが前記第２の３次元空間に居る間に、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記ユーザに再表示することと、をさらに含み、前記再表示することは前記仮想測定ツールを前記第２の３次元空間における物体に空間的に関連付けることを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記可視化デバイスから、前記ユーザが居る前記３次元空間における物体までの距離を測定するために深さセンサを使用することと、
測定された前記距離に基づいて、前記ユーザが居る前記３次元空間における面の３Ｄメッシュモデルを生成することと、
前記少なくとも１つのユーザ入力に基づいて、前記複数の点の空間座標を決定するために前記３Ｄメッシュモデルを使用することと、をさらに含み、前記複数の点の空間座標を特定するために前記３Ｄメッシュモデルを使用することは、前記物体のうちの１つに空間的に関連付けられる、前記複数の点のうちの少なくとも１つの場所を特定することを含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記仮想測定ツールの場所または方位に対する調節を、前記ユーザのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つによって特定することと、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの前記場所または方位を調節することとをさらに含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
頭部装着型可視化デバイスであって、
前記頭部装着型可視化デバイスをユーザの頭部に装着するための頭部取り付け具と、
前記頭部取り付け具に結合され、生成された画像を前記ユーザに表示するための少なくとも部分的に透明な表示面と、
前記ユーザからの入力を受信し、ジェスチャー認識および視線検出を行うように構成された入力サブシステムと、
前記ユーザの環境における物体の場所を特定するための深さセンサと、
前記表示面、前記入力サブシステム、および前記深さセンサに結合され、
前記入力サブシステムを介して受信される前記ユーザからの少なくとも１つの入力に従って、前記ユーザの前記環境の異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成し、前記複数の点のうちの少なくとも１つの場所が前記ユーザの前記環境における前記物体のうちの１つに空間的に関連付けられるように特定され、および、
前記表示面に、距離、面積、または容積の指示と共に前記仮想測定ツールを前記ユーザに対して表示させ、前記ユーザが前記環境を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように
構成されたプロセッサと、を含む、頭部装着型可視化デバイス。
【請求項１２】
前記プロセッサは、前記ユーザのジェスチャーまたは前記ユーザの視線のうちの少なくとも１つに基づいて前記仮想測定ツールの場所または方位に対する調節を特定し、および、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの場所または方位を調節するようにさらに構成される、請求項１１に記載の頭部装着型可視化デバイス。
【請求項１３】
前記プロセッサは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成するように構成される、請求項１１または１２に記載の頭部装着型可視化デバイス。
【請求項１４】
前記プロセッサは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成するように構成される、請求項１１〜１３のいずれか一項に記載の頭部装着型可視化デバイス。
【請求項１５】
メモリをさらに含み、前記プロセッサは、
第１のユーザ入力に応答して前記仮想測定ツールを前記メモリに保存し、
前記表示面による前記仮想測定ツールの表示を中止し、および、
前記ユーザが第２の環境に移動した後の第２のユーザ入力に応答して、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記第２の環境における物体に空間的に関連付けることを含む、前記ユーザが前記第２の環境に居る間に、前記表示面に、前記仮想測定ツールを前記ユーザに対して再表示させるように、さらに構成される、請求項１１〜１４のいずれか一項に記載の頭部装着型可視化デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本発明の少なくとも１つの実施形態は、表示関連技術に関し、より詳細には、拡張現実または仮想現実表示デバイス等のウェアラブル可視化デバイスのための仮想測定ツールに関する。
【背景技術】
【０００２】
[0002]  何千年もの間、人間は、自分達の環境を定量化し、より良く理解するためにさまざまなタイプの測定ツールを発明し、それらに頼っている。例えば、比較的短い空間距離を測定するために、何世紀にもわたってルーラが頼りにされている。巻尺はルーラを現代的に適応させたものであり、その後最近になって、レーザルーラおよび他のアクティブな測定ツールが発明された。
【０００３】
[0003]  しかしながら、従来のルーラ、巻尺、およびレーザルーラ等の、普通の人には手頃である簡易な空間測定ツールには、ある欠点がある。例えば、これらのツールには、面積測定および容積測定等のより複雑な測定を行う能力が欠如している。また、多くの状況で、人は、一か所である物体を測定し、その物体が別の場所に収まるかどうかを判断することを望む場合がある。例えば、人は、自宅用に新しい家具を１点購入したい場合がある。典型的には、その状況で、この人は、自宅における利用可能な空間を測定後、家具店に行って、関心のある家具を何点か測定して、それら家具がその空間に収まるのかどうかを（またはその逆も同様に）判断しようとする。その場合、この人は、この利用可能な空間（またはこの家具製品）の寸法を覚えるか書き留めるかのどちらかを必要とし、これは不便である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
[0004]  ここで紹介される技術は、ユーザに拡張現実および／または仮想現実（「ＡＲ／ＶＲ」）体験を提供するために装備されるヘッドセット、メガネ、またはゴーグル等のウェアラブル可視化デバイスにおいて仮想測定ツール（以下の説明では単に「ツール」とも呼ばれる）を生成し、表示する技法を含む。ある特定の実施形態では、デバイスは、例えば、ジェスチャー認識、視線追跡、発話認識、またはこれらの何らかの組み合わせを使用することによる、ユーザからの入力に基づいて、ユーザが居る３次元（３Ｄ）空間（環境）（例えば部屋）における異なる場所において、複数の点をそれぞれ決定することによってツールを生成する。デバイスは、ツールが、ユーザに対して、ユーザの環境のリアルタイムで実世界の視野に重なって見えるようにツールを表示する。
【課題を解決するための手段】
【０００５】
[0005]  さまざまな実施形態において、ツールは、ユーザに対して、ホログラフィックルーラまたは同様の測定ツールとして表示され得る。ツールを定義するために使用される点は、３Ｄ空間における異なる点に固定させることができ、それによって、ツールは、ユーザに対して、ユーザがその３Ｄ空間を移動する場合でも、空間の固定された場所および方位にとどまるように見える。該点の少なくとも１つは、物理的オブジェクト上の対応する点に固定させることができる。例えば、ジェスチャー認識、視線追跡、および／または発話認識によって、ユーザは、６つの自由度のいずれかで（例えば、３つの直交軸のいずれかに沿った並進またはこれを中心とした回転で）ツールを移動させることもでき、ツールのサイズ、形状、単位、および他の特性を指定するまたは調節することができる。
【０００６】
[0006]  場合によっては、ツールは、基本的に、空間の２つのユーザ指定の点の間の単なる線または非常に細い矩形として表示できる。しかしながら、他の例では、ツールは、３つ以上のユーザ指定の点において頂点を有する２次元（２Ｄ）多角形、または４つ以上のユーザ指定の点における頂点を有する３Ｄ容積の形を取ることができる。これらの実施形態のいずれかにおいて、ツールは、ユーザに対して表示される際に、値および単位を含む目盛を含むことができる。さらに、デバイスは、決定された点のうちの任意の２つの間の長さの値、決定された点のうちの任意の３つ以上の間の面積の値、または、決定された点のうちの任意の４つ以上の間の容積の値を、自動的に計算し、ユーザに対して表示することができる。また、ある特定の実施形態において、デバイスは、ユーザが、任意の対応する測定値および設定を含む、メモリにおけるツールの状態を保存すること、および、該状態を異なる場所でリロードする／再表示することを可能にする。デバイスは、ユーザが居る３Ｄ空間（例えば部屋）においてデバイスから物体までの距離を測定するための深さカメラまたは他の同様のセンサを含むことができる。その距離情報に基づいて、デバイスは、その３Ｄ空間における面の３Ｄメッシュモデルを生成することができ、該３Ｄメッシュモデルを使用して、複数の決定された点の空間座標を特定することができる。複数の決定された点のうちの１つまたは複数を、３Ｄ空間における物体の１つまたは複数に空間的に関連付けることができる。
【０００７】
[0007]  技法の他の態様は、添付の図および詳細な説明から明らかとなるであろう。
【０００８】
[0008]  この発明の概要は発明を実施するための形態においてさらに後述される選抜した概念を簡略化された形態で紹介するために提供される。この発明の概要は、特許請求される主題の重要な特徴または本質的な特徴を特定するように意図するものでもなく、特許請求される主題の範囲を限定するために使用されることを意図するものでもない。
【０００９】
[0009]  本発明の１つまたは複数の実施形態は、例として示され、添付の図面の図において限定するものではない。該図面において、同様の参照記号は同様の要素を指示する。
【図面の簡単な説明】
【００１０】
【図１】[0010]ＡＲ／ＶＲヘッドセットの一例を示す図である。
【図２】[0011]ＡＲ／ＶＲヘッドセットのある特定のコンポーネントのハイレベルブロック図である。
【図３Ａ】[0012]ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｂ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｃ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｄ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｅ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｆ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｇ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｈ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｉ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｊ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｋ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｌ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図３Ｍ】ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。
【図４】[0013]仮想測定ツールと連系したヘッドセットによって行われ得るプロセスの一例を示す図である。
【図５】[0014]仮想測定ツールを提供するプロセスの一例をより詳細に示す図である。
【図６】[0015]シナリオ例に従って、仮想測定ツールを生成し、表示するプロセスをより詳細に示す図である。
【発明を実施するための形態】
【００１１】
[0016]  この説明において、「一実施形態」または「１つの実施形態」等への言及は、説明される特定の特徴、機能、構造、または特性がここで紹介される技法の少なくとも１つの実施形態に含まれることを意味する。本明細書におけるこのような文言が現れる際、必ずしも全て同じ実施形態に言及するわけではない。他方で、言及される実施形態はまた、必ずしも相互に排他的というわけではない。
【００１２】
[0017]  ここで紹介される技術は、ホログラフィックルーラ等の仮想（例えばホログラフィック）測定ツール（「ツール」）を生成し、表示するウェアラブル可視化デバイスを含む。可視化デバイスは、例えば、ＡＲ／ＶＲ体験をユーザに提供するために装備されるヘッドセット、メガネ、またはゴーグルとすることができる。このツールによって、デバイスのユーザ（例えば、着用者）は自身の近辺の物体または空間に関連付けられる距離、面積、および容積を容易に測定することができる。このデバイスによって、ユーザは、例えば、ジェスチャー、視線、もしくは発話、または、これらの任意の組み合わせでツールを容易に使用し、操作することができる。ユーザは、必要とするどんな長さ、サイズ、または形状にもツールをカスタマイズすることができる。さらに、ツールの状態は、メモリに保存でき、異なる環境においてリロード／再表示可能である。
【００１３】
［0018］  図１は、ここで紹介される技法に従って、仮想測定ツールを提供できるＡＲ／ＶＲヘッドセットの一例を示す。しかしながら、ここで紹介される技法は、マシンで生成された画像をユーザの環境のリアルタイムで実世界の視野に重ね合わせる（重ねる）ことができる基本的に任意のタイプの可視化デバイスにおいて実装可能であることは留意されたい。示されるヘッドセット１はヘッドバンド２を含み、このヘッドバンド２によって、ヘッドセット１はユーザの頭部に取り外し可能に装着できる。ヘッドセット１は、ヘッドバンド２の剛性によって、および／または、図１に示されない締結機構によって簡易に適所に保持できる。ヘッドハンド２には、１つまたは複数の透明なまたは半透明なレンズ３が取り付けられ、このレンズは１つまたは複数の透明なまたは半透明なＡＲ／ＶＲ表示デバイス４を含み、これらそれぞれは、片目または両目に対してユーザの環境の視野に画像を重ね合わせることができる。ＡＲ／ＶＲ表示デバイス４の細部はここで紹介される技法と密接な関係はなく、ユーザの環境のリアルタイムで実世界の視野にマシンで生成された画像を重ね合わせることができる表示デバイスは当技術分野で既知であり、かかる性能を有する任意の既知のまたは便利な機構が使用可能である。
【００１４】
[0019]  ヘッドセット１は、さらに、（例えば、音声コマンドを認識する際に使用するために）ユーザからの発話を入力するためのマイクロホン５と、音をユーザに出力するための１つまたは複数のオーディオスピーカ６と、実世界の空間におけるユーザの頭部の位置および方位を追跡する際に使用するための１つまたは複数の目追跡カメラ７と、目追跡カメラ７によって使用するための１つまたは複数の照明光源８と、近傍の面への距離を検出し、測定する際に使用するための１つまたは複数の深さカメラ９と、ユーザの環境の標準的な映像をキャプチャする、および／または該環境におけるユーザの場所を特定する際に使用するための１つまたは複数の外方に向けられた可視スペクトルカメラ１０と、前述の要素の少なくともいくつかを制御し、関連のデータ処理機能を果たす回路構成１１とを含む。回路構成１１は、例えば、１つまたは複数のプロセッサと１つまたは複数のメモリとを含むことができる。他の実施形態において、前述のコンポーネントがヘッドセット１上の異なる場所に位置決め可能であることは留意されたい。さらに、いくつかの実施形態は、前述のコンポーネントのいくつかを省略可能である、および／または上述されない追加のコンポーネントを含むことができる。
【００１５】
[0020]  図２は、ここで紹介される技法のいくつかの実施形態に従って、ＡＲ／ＶＲヘッドセット２０のある特定のコンポーネントのハイレベルブロック図である。図２におけるヘッドセット２０およびコンポーネントは図２におけるヘッドセット１を表すものであってよい。図２において、ヘッドセット２０の機能コンポーネントは、以下の、つまり、プロセッサ２１、メモリ２２、透明なまたは半透明なＡＲ／ＶＲ表示デバイス２３、オーディオスピーカ２４、深さカメラ２５、目追跡カメラ２６、マイクロホン２７、および通信デバイス２８のそれぞれの１つまたは複数のインスタンスを含み、これら全ては相互接続部２９によって共に（直接的にまたは間接的に）結合される。相互接続部２９は、１つまたは複数の導電性トレース、バス、ポイントツーポイント接続、コントローラ、アダプタ、無線リンク、ならびに／または、他の従来の接続デバイスおよび／もしくは媒体であってよい、または含むことができ、これらのうちの少なくともいくつかは互いから独立して動作可能である。
【００１６】
[0021]  プロセッサ２１は、ヘッドセット２０の動作全体を個々におよび／またはまとめて制御し、さまざまなデータ処理機能を果たす。さらに、プロセッサ２１は、上述される仮想測定ツールを生成し、表示するための計算およびデータ処理機能の少なくとも一部を提供することができる。それぞれのプロセッサ２１は、例えば、１つまたは複数の汎用プログラマブルマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、モバイルアプリケーションプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、もしくはプログラマブルゲートアレイ（ＰＧＡ）等、または、このようなデバイスの組み合わせとすることができる、またはこれらを含むことができる。
【００１７】
[0022]  ここで紹介される技法の態様を実行するようにプロセッサ２１を構成するデータおよび命令（コード）３０は、１つまたは複数のメモリ２２に記憶できる。それぞれのメモリ２２は、１つまたは複数の物理的記憶デバイスとすることができる、またはこれを含むことができる。該物理的記憶デバイスは、ランダムアクセスメモリ（ＲＡＭ）、（消去可能およびプログラマブルとすることができる）読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、小型ハードディスクドライブ、もしくは他の適したタイプの記憶デバイス、または、このようなデバイスの組み合わせの形態であってよい。
【００１８】
[0023]  １つまたは複数の通信デバイス２８によって、ヘッドセット２０は、パーソナルコンピュータまたはゲーム機等の別個の外部処理システムに対して、データおよび／またはコマンドを受信でき、データおよび／またはコマンドを送ることができる。それぞれの通信デバイス２８は、例えば、ユニバーサルシリアルバス（ＵＳＢ）アダプタ、Ｗｉ−Ｆｉ（登録商標）トランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（ＢＬＥ）トランシーバ、イーサネット（登録商標）アダプタ、ケーブルモデム、ＤＳＬモデム、セルラートランシーバ（例えば、３Ｇ、ＬＴＥ／４Ｇまたは５Ｇ）、またはベースバンドプロセッサ等、あるいはこれらの組み合わせとすることができる、またはこれらを含むことができる。
【００１９】
[0024]  それぞれの深さカメラ２５は、例えば、近傍の物体までの距離を測定するタイムオブフライト原理を適用することができる。深さカメラ２５によって取得される距離情報は、ユーザの環境における面の３Ｄメッシュモデルを構築するために（例えばプロセッサ２１によって）使用される。それぞれの目追跡カメラ２６は、例えば、図１における照明光源７等の、ヘッドセット上の１つまたは複数の近赤外線光源によって放出される近赤外光の、瞳および／または角膜反射光からの鏡面反射に基づいて視線方向を検出する近赤外線カメラとすることができる。このような反射の検出を可能にするために、ヘッドセットのレンズ（例えば、図１におけるレンズ３）の内面は、ＩＲ光に対して反射するが可視光を透過する物質で被覆されてよく、このような物質は当技術分野では既知である。この手法によって、ＩＲ光源からの照明は、ユーザの目に対してレンズの内面で跳ね返ることができ、該照明は反射されて（場合によっては再びレンズの内面を介して）目追跡カメラに戻る。
【００２０】
[0025]  上述されるコンポーネントのいずれかまたは全ては上述されるそれらの機能性に関して完全に内蔵可能であるが、いくつかの実施形態では、１つまたは複数のプロセッサ２１が、他のコンポーネントに関連付けられた処理機能の少なくとも一部を提供することは留意されたい。例えば、深さカメラ２５に関連付けられる深さ検出のためのデータ処理の少なくとも一部はプロセッサ２１によって行われてよい。同様に、視線追跡カメラ２６に関連付けられる視線追跡のためのデータ処理の少なくとも一部はプロセッサ２１によって行われてよい。同じく、ＡＲ／ＶＲ表示装置２３をサポートする画像処理の少なくとも一部はプロセッサ２１によって行われてよく、以下同様である。
【００２１】
[0026]  ＡＲ／ＶＲヘッドセットが仮想測定ツールをどのように提供できるかについての例がここで、図３Ａ〜図３Ｈを参照して説明される。図３Ａ〜図３ＨはＡＲ／ＶＲヘッドセットによる（例えば、図１におけるレンズ３および表示デバイス４による）ユーザの視野のさまざまな例を示す。特に、図３Ａは、ヘッドセットを付けたユーザが、ヘッドセットを着用しながら自宅の部屋で立っている間にもたらされるであろう視野の中央部を示す（周辺視覚はページサイズが限定されるためこの図では切られている）。ユーザは、例えば、コーヒーテーブル３２の周りに置かれたソファ３１および椅子３２を見ることができる。ヘッドセットは、ユーザがヘッドセットのさまざまな機能を使用できるように、１つまたは複数のホログラフィックアイコン３４、または、ユーザの視界における他のユーザインターフェース要素を表示できる。例えば、ユーザインターフェース要素のうちの１つは、仮想測定ツールの動作を選択する／開始するためのアイコン３５（または他の同等の要素）であってよい。
【００２２】
[0027]  ヘッドセットは、操作される間、ヘッドセットの深さカメラを使用して、ユーザの近辺における（例えば数メートル内の）面全ての、または少なくともユーザの視界内の近傍の面全ての、ユーザから（すなわちヘッドセットから）の距離を含む３Ｄメッシュモデルを構築する。深さ検出（例えばタイムオブフライト）を使用することによって近傍の面の３Ｄメッシュモデルを生成する技法は、当技術分野では既知であり、本明細書において説明される必要はない。従って、図３Ａの例における３Ｄメッシュモデルは、ソファ３１、椅子３２、およびコーヒーテーブル３３の少なくとも全ての可視の面のみならず、部屋の壁、床、天井、窓、および場合によっては、壁等に装着されるカーテン、芸術品（図示せず）等のより小さな特徴さえもモデル化することになる。３Ｄメッシュモデルはヘッドセット上のメモリに記憶可能である。３Ｄメッシュモデル、および視覚追跡システム（例えばカメラ１０）からの画像データを使用することによって、ヘッドセットにおける回路構成（例えばプロセッサ２１）は、どんな時でも、部屋の中のユーザの正確な位置を特定することができる。３Ｄメッシュモデルは、毎秒数回等頻繁に自動的に更新可能である。
【００２３】
[0028]  ここで、ユーザが、コーヒーテーブル３３を新しいものに取り替えたいと思っているが、同様のサイズのコーヒーテーブルに取り替えて、部屋における同じ場所に維持したがっていると仮定する。そのため、ユーザは、ツールを使用してコーヒーテーブル３３の寸法を測定することを決めることができる。このことを行うために、ユーザは最初に、ツールを選択するまたは開始するためのコマンドを入力する。このコマンドは、特に指定のない限り、この説明に述べられる全ての他のユーザコマンドのように、例えば、ハンドジェスチャー、音声によるコマンド、もしくはユーザの視線をベースにしたアクション（例えば、表示されるホログラフィックアイコン上でのユーザの視線の一時静止した行動）、またはこれらのタイプの入力の組み合わせとすることができる。
【００２４】
[0029]  この例において、ユーザがツールを選択後、ユーザは、この例では仮想測定ツールのユーザが最初に所望したエンドポイントである２つの点３７を指定するためのヘッドセットへの入力を行う。他の実施形態では、ユーザに対する空間の所定の初期設定の場所および方位で、ツールを最初に表示してもよい。このシナリオ例では、点３７は、コーヒーテーブル３３の上面の別個の隅に対応する。ユーザは、例えば、コーヒーテーブルの各隅において（ユーザの視点から）指で指図した「タップ」ジェスチャーを行うことによって、または、各隅をポイントし、「点の位置を合わせる」等の適切なコマンドを話すことによって、各点３７を指定することができる。ユーザの入力を既に作成された部屋の３Ｄメッシュモデルと相関させることによって、ヘッドセットにおけるプロセッサは、ユーザが識別することを意図した最も可能性の高い３Ｄ空間座標を特定することができる。しかしながら、この文脈における点３７が必ずしも物理的オブジェクトの隅に一致する必要はないことは留意されたい。例えば、ユーザは、ツールのエンドポイント３７を、ユーザの近辺のまたはさらには空中に浮かんでいる任意の（ヘッドセットが認識した）面上にあるものとして指定することができる。本例においてみられるように、ユーザの入力が物理的オブジェクト上のある点を指定するように思われる場合、プロセッサはその物体に対して点を関連付け、該点を固定させることになる。物理的オブジェクト上のある点に対して自動的にエンドポイントを位置決めし、固定させるこのプロセスは、「スナップ」と呼ばれる。スナップの特徴は、実世界の磁力と同様に作用し、仮想ルーラ３８は、ユーザが何らかの入力（例えば、視線、発話、またはジェスチャー）によって仮想ルーラ３８を引き離す意図を明確に指示するまで、その物理的オブジェクトに「くっつく」ように見えるであろう。
【００２５】
[0030]  本例において、ユーザが２つの点３７を指定していると、ヘッドセットは、２つの点３７を接続する、ホログラフィック（仮想）線３８、すなわち仮想ルーラを表示する。従って、この例では、線３８は、コーヒーテーブル３３の上面のより長い縁部のうちの１つに沿って伸びる。線３８には、フィートおよびインチ、ならびに／またはそれらの端数等の単位を指示するハッシュマークおよび／または数字が注釈として付けられてよい。
【００２６】
[0031]  本例に見られるように、仮想ルーラ３８が物体に固定させられる時、初期設定によるヘッドセットは、ユーザがその機能性を修正する入力を行わない限り、ユーザが部屋を動き回る場合でも、ユーザには、仮想ルーラ３８が同じ方位でその物体に固定されたままのように見えるようにその表示を調節することができる。ユーザは、図３Ｃおよび図３Ｄに示されるように、仮想ルーラ３８を物体から固定解除し、該ルーラ３８を空間の中であちこち移動させることを選択することができる。図３Ｃにおいて、例えば、ユーザは、仮想ルーラ３８をコーヒーテーブル３３から垂直に上げている（平行移動させている）。図３Ｄにおいて、ユーザは、仮想ルーラ３８を垂直軸を中心に回転させている。ユーザは、仮想ルーラ３８を３つの直交座標軸（例えば、ｘ、ｙ、およびｚ）のいずれかに沿って並進で移動させることができ、また、該ルーラを３つの直交軸のいずれかを中心に回転させることができる。このこともまた、音声によるコマンド、ジェスチャー、もしくはユーザの視線の変化、またはこれらの組み合わせ等の任意の適したコマンドによって達成可能である。
【００２７】
[0032]  仮想ルーラ３８を最初から物体に固定させるのではなく、ユーザは代わりに、仮想ルーラ３８が初めは空間に浮かんでいるように、仮想ルーラ３８をインスタンス化して、その後（任意選択により）物理的オブジェクトに該ルーラ３８を「スナップ」することができる。仮想ルーラ３８は、ローカル環境の３Ｄメッシュにおいて表される任意の縁部または面にスナップできる。ヘッドセットは、音声によるコマンド、ジェスチャー、もしくはユーザの物体に対する視線の一時静止等のさまざまな入力のいずれかに基づいてスナップするユーザの意図を推論することができる。この判断／推論は、物理的オブジェクトがユーザにどれほど近いか、および／または該物体がユーザの視界のどれくらい中央にあるかに基づいてもよい。
【００２８】
[0033]  本明細書に記載されるような仮想測定ツールは、ユーザがただ２つのエンドポイントではなく３つ以上の関連の点を指定できるようにすることによって、（２Ｄ）多角形の形態を有することもできる。このような例では、ヘッドセットは、多角形のそれぞれの側部の長さに加えて、多角形の面積の値を自動的に計算し、ユーザに対して表示することができる。例えば、ここで図３Ｅを参照して、ユーザはコーヒーテーブル３３がどれくらいの面積を占めるかを知りたいと思っている場合があり、それに応じて、ユーザは、ツールを、コーヒーテーブル３３の上面に対応する矩形４０の形態になるように定義することができる。図３Ｅには示されないが、ツールの多角形の実施形態の表示は、線形の実施形態と同様に単位および値を含むこともできる。ヘッドセットは、その面積を自動的に計算し、表示することもできる（例えば、本例では「８ｆｔ２」）。場合によっては、ユーザは、上述されるように（図３Ｂ）最初のエンドポイントを定義する際に３つ以上の点の全てを最初に指定することができ、代替的には、ユーザは、（上述されるような）２つの点の間の単なる線としてツールを最初に定義し、次いで、１つまたは複数の追加の点を加えて、ツールを多角形または３Ｄ容積に拡張することができる。ヘッドセットはこの点においてユーザの意図を推論するさまざまな技法のいずれかを使用することができる。例えば、ユーザが時間内に比較的共に近いまたは全て同じ物理的オブジェクト上の３つ以上の点を最初に指定する場合、ユーザがツールを多角形として定義することを望んでいると推論することができる。ユーザがツールを線として最初に定義する場合、ユーザは、例えばコマンド（例えば、「点を加える」と言うこと）によって後に１つまたは複数の点を加えて、線を多角形に変換することができる、または、ヘッドセットは、ユーザの振る舞いに基づいて点を加えるというユーザの意図を推論することができる。線形の測定ツール（例えば仮想ルーラ３８）の例に見られるように、ユーザは、多角形状のツールを並進および回転によって移動させることができる。
【００２９】
[0034]  同様に、ツールは、ユーザが４つ以上の関連の点を指定できるようにすることによって、３Ｄ物体の形態を有することもできる。かかる例では、ヘッドセットは、ツールの容積の値のみならず、物体のそれぞれの側部のいずれの面積および長さの値も自動的に計算し、ユーザに対して表示することができる。例えば、ここで図３Ｆを参照すると、ユーザは、ツールを、コーヒーテーブルの外部空間の「覆い」を表す矩形ボックス５０として定義することができる。図３Ｅには示されないが、ツールの多角形の実施形態の表示は、線形の実施形態と同様に、単位および値を含んでもよい。ヘッドセットは、示されるように、ツールの容積（ボックス５０）を自動的に計算し、表示することもできる（例えば、本例では「８ｆｔ３」）。線形および２Ｄ仮想測定ツールの例に見られるように、ユーザは３Ｄツールを並進および回転によって移動させることもできる。
【００３０】
[0035]  場合によっては、ヘッドセットによって、ユーザは、任意の対応する測定値および設定を含むツールの現在の状態をメモリに保存し、異なる場所でリロード／再表示することができる。例えば、本例では、ユーザは、ツールをその現在の形態で保存し、家具店等別の場所でそれを再表示することを望んでいる場合がある。従って、図３Ｇに示されるように、ユーザは、（例えば、「保存する」と言うことによって、または表示される対応するアイコン３４を選択するための適切なハンドジェスチャーを行うことによって）適切なコマンドを入力することができる。後に、ユーザが家具店を訪れる時、図３Ｈに示されるように、ユーザは、適切なコマンドによって（例えば、「ロードする」と言うことによって、または表示される対応するアイコン３４を選択するための適切なハンドジェスチャーを行うことによって）、ヘッドセットに、メモリからツールをロードさせ、ツールを再表示させることができる。ユーザは、ツールの位置および方位を調節することで、店における物理的オブジェクト（例えば新しいコーヒーテーブル）に適合させて、ユーザがその物体を測定可能とすることができる。
【００３１】
[0036]  仮想測定ツールのためのさまざまな他の使用法のシナリオが考えられる。例えば、ヘッドセットによってユーザは一連の３つ以上のエンドポイントを指定可能とすることができ、それら３つ以上のエンドポイントによって定義されるセグメントの長さの和を自動的に計算し、表示することができる。この使用法のシナリオの一例が図３Ｉに示される。ここで、仮想ルーラ５８は、３つのエンドポイント６３によって定義される２つの接続される線形セグメント６１からできており、それぞれのセグメントの長さおよび２つのセグメントの長さの和が示される。さらに、図３Ｊに示されるように、ヘッドセットの面認識機能を使用することによって、ユーザは、経時的に（または距離閾値に基づいて）複数のエンドポイントを生成することによって１つまたは複数の面を仮想ルーラ５９で「包む」ことができ、ヘッドセットは、それぞれのセグメントの長さおよびセグメントの長さの和を自動的に計算し、表示することができる。
【００３２】
[0037]  さらに、仮想測定ツールは、直線でインスタンス化されなくてもよい。例えば、図３Ｋに示されるように、ユーザは（例えば、ハンドジェスチャーを使用することによって）仮想ルーラ７０を曲線／不規則な線として定義することができ、ヘッドセットは、それでもなお（例えば、１つまたは複数の対応する中心点を中心とした１つまたは複数の半径に仮想ルーラを分割し、その後、それぞれの半径の長さを計算することによって）仮想ルーラの全体の長さを計算することができる。ツールが線形または湾曲／不規則なセグメント（またはそれらの組み合わせ）の形態であるかどうかにかかわらず、ユーザは、そのエンドポイントを併せて「スナップ」して、図３Ｌにおける形状７２等の囲まれた２Ｄ形状を形成することができる。その場合、ヘッドセットは、新しく定義された形状によって囲まれた面積を自動的に計算し、表示することができる。さらに、図３Ｍに示されるように、ユーザは、適切なコマンドを入力することによって、任意の２Ｄ形状から（容積７４等の）３Ｄ形状を作成することができる。この場合、ヘッドセットはまた、３Ｄ形状によって囲まれる全容積を自動的に計算し、表示することができる。
【００３３】
[0038]  図４は、いくつかの実施形態に従って、仮想測定ツールを提供するためにヘッドセットによって（例えばプロセッサ２１によって）行われ得るプロセスの一例を示す。最初に、ステップ４０１では、ヘッドセットは、ジェスチャー認識、視線追跡、および／または発話認識等を使用することによるユーザからの入力に基づいて、ユーザが居る３Ｄ空間における異なる場所において、複数の点をそれぞれ定義することによって仮想測定ツールを生成する。次いで、ステップ４０２では、ヘッドセットは、仮想測定ツールがユーザに対して、ユーザが居る３Ｄ空間のリアルタイムで実世界の視野に重なって見えるように、該ツールをユーザに対して表示する。
【００３４】
[0039]  図５は、いくつかの実施形態に従って、仮想測定ツールを提供するプロセスの一例をより詳細に示す。ヘッドセットが初めに電源が入れられ初期化される時、ステップ５０１におけるヘッドセットはその深さセンサを使用して、ヘッドセットからユーザの環境における近傍の面までの距離を測定する。ヘッドセットは次いで、ステップ５０２において、測定された距離に基づいてそれら面の３Ｄメッシュモデルを生成する。３Ｄメッシュモデル面を生成する任意の既知のまたは便利な技法がこのステップで使用できる。しばらくして、必ずしもステップ５０２の結果としてというわけではないが、ヘッドセットはステップ５０３において仮想測定ツールを選択するユーザ入力を受信する。ヘッドセットはその後、ステップ５０４において、ユーザの環境における空間の２つ以上の点を指定するためのユーザ入力（例えば、１つまたは複数のジェスチャー、音声によるコマンド、および／または視線ベースのコマンド）を受信する。ステップ５０５において、ヘッドセットは、３Ｄメッシュモデルに（少なくとも一部）基づいて、それぞれのユーザ指定の点の最も可能性の高い３Ｄ座標を特定することによってユーザ指定の点を決定する。ステップ５０６では、ヘッドセットは、ツールのエンドポイントまたは頂点として決定された点を使用して測定ツールをユーザに対して表示する。
【００３５】
[0040]  図６は、シナリオ例に従って、ツールを生成し、表示するプロセスをより詳細に示す。ステップ６０１では、ヘッドセットは、空間の２つ以上の点を指定するユーザ入力（例えば、１つまたは複数のジェスチャー、音声によるコマンド、および／または視線ベースのコマンド）を受信する。ステップ６０２では、ヘッドセットは、３Ｄメッシュモデルに基づいて、それぞれの点の最も可能性の高い３Ｄ座標を特定する。この例では、このステップはさらに、点のうちの少なくとも１つをユーザの近辺における物体上のある点に関連付けることを含み、このことはさらに、物体の点を固定させることを含むことができる。その結果、ユーザがこの環境を移動しても、（ツールのエンドポイントまたは頂点を定義する）点は、ユーザの視点からはその物体に固定されたままとなる。
【００３６】
[0041]  示されたシナリオ例において、ユーザが２つの点のみを指定している場合（ステップ６０３）、ヘッドセットは、ステップ６０６においてそれら２つの点を接続する線として（任意選択により、単位および値を指示して）測定ツールを定義し、表示する。ヘッドセットはまた、その線の長さを計算し、ユーザに対して表示する。プロセスは次いでステップ６０４に進む。ステップ６０４では、ユーザが３つ以上の点を指定しており、（例えば面積の）２Ｄ測定を行うことを所望する指示を（明示的または暗示的のいずれかで）している場合、ステップ６０８におけるヘッドセットは、３つ以上の点を接続する多角形として測定ツールを定義し、表示する。ヘッドセットはまた、ステップ６０９においてその多角形の面積を計算し、表示後、ステップ６０４に進む。ステップ６０４では、ユーザが４つ以上の点を指定しており、（例えば容積の）３Ｄ測定を行うことを所望する指示を（明示的または暗示的のいずれかで）している場合、ステップ６１０におけるヘッドセットは、４つ以上の点を接続する３Ｄ容積として測定ツールを定義し、表示する。ヘッドセットはまた、ステップ６１１においてツールによって囲まれる容積を計算し、表示する。
【００３７】
[0042]  上述される技法の変形では、共有されるＡＲ環境において協働する複数のユーザによって、仮想測定ツールは、インスタンス化および／または使用が可能である。例えば、それぞれが上述されるような可視化デバイスを使用する２人以上のユーザは、共有される物理的空間を共に測定でき、それぞれ、空間の測定およびマークアップ全体に寄与する実世界における点を確立することができる。かかる実施形態において、２つ以上の可視化デバイスは、直接的に、または別個の処理デバイス（例えばコンピュータ）によって互いに通信することができる、または、可視化デバイスは、測定を調整するような別個の処理デバイスと別々に通信し、可視化デバイスの全ての機能を表示することができる。
【００３８】
[0043]  それをもとに、ウェアラブルＡＲ／ＶＲ表示システムにおいて使用するための仮想（ホログラフィック）測定ツールが説明されている。
【００３９】
[0044]  上述されるマシン実装動作は、ソフトウェアによってプログラムされる／構成されるプログラマブル回路構成によって、もしくは専用回路構成によって完全に、または、かかる形態の組み合わせによって実装可能である。このような専用回路構成は（あるとすれば）、例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップシステム（ＳＯＣ）等の形態とすることができる。
【００４０】
[0045]  ここで紹介された技法を実装するためのソフトウェアは、マシン可読記憶媒体上に記憶されてよく、１つまたは複数の汎用もしくは専用プログラマブルマイクロプロセッサによって実行可能である。「マシン可読媒体」という用語は、本明細書で使用されるように、マシンによってアクセス可能な形態で情報を記憶できる任意の機構を含む（マシンは、例えば、コンピュータ、ネットワークデバイス、携帯電話、携帯情報端末（ＰＤＡ）、製造用工具、１つまたは複数のプロセッサを有する任意のデバイス等であってよい）。例えば、マシンアクセス可能媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス等）等を含む。
【００４１】
[0046]  本明細書において紹介される技術のある特定の実施形態は、以下の番号が付けられた実施例に要約される。
【実施例】
【００４２】
[0047]  １．ユーザによって着用される可視化デバイスによって、ユーザの少なくとも１つのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つに基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって、仮想測定ツールを生成することと、仮想測定ツールが、ユーザに対して、ユーザが居る３次元空間の現実の視野に重なって見えるように、可視化デバイスによってユーザに対して仮想測定ツールを表示することと、を含む、方法。
【００４３】
[0048]  ２．仮想測定ツールを生成することは、ユーザがその３次元空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を３次元空間における対応する異なる点に固定させることを含む、実施例１に記載される方法。
【００４４】
[0049]  ３．仮想測定ツールを生成することは、複数の点のうちの少なくとも１つを、ユーザが居る３次元空間における物理的オブジェクト上の対応する点に空間的に関連付けることを含む、実施例１または実施例２に記載される方法。
【００４５】
[0050]  ４．仮想測定ツールを生成することは、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成することを含む、実施例１〜３のいずれかに記載される方法。
【００４６】
[0051]  ５．仮想測定ツールを生成することは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成することを含む、実施例１〜４のいずれかに記載される方法。
【００４７】
[0052]  ６．仮想測定ツールを生成することは、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成することを含む、実施例１〜５のいずれかに記載される方法。
【００４８】
[0053]  ７．仮想測定ツールを表示することは、仮想測定ツール上にまたはこれに近接して測定尺度を表示することを含む、実施例１〜６のいずれかに記載される方法。
【００４９】
[0054]  ８．複数の点に基づいて、長さ、面積、または容積を可視化デバイスによって計算することと、長さ、面積、または容積を可視化デバイスによってユーザに出力することとをさらに含む、実施例１〜７のいずれかに記載される方法。
【００５０】
[0055]  ９．ユーザが居る３次元空間は第１の３次元空間であり、第１のユーザコマンドに応答して仮想測定ツールをメモリに保存することと、可視化デバイスによる仮想測定ツールの表示を中止することと、ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、ユーザが第２の３次元空間に居る間に、メモリから仮想測定ツールを読み出し、仮想測定ツールをユーザに再表示することとをさらに含み、再表示することは仮想測定ツールを第２の３次元空間における物体に空間的に関連付けることを含む、実施例１〜８のいずれかに記載される方法。
【００５１】
[0056]  １０．可視化デバイスから、ユーザが居る３次元空間における物体までの距離を測定するために深さセンサを使用することと、測定された距離に基づいて、ユーザが居る３次元空間における面の３Ｄメッシュモデルを生成することと、少なくとも１つのユーザ入力に基づいて、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用することとをさらに含み、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用することは、上記の物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を決定することを含む、実施例１〜９のいずれかに記載される方法。
【００５２】
［0057］  １１．仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定することと、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節することとをさらに含む、実施例１〜１０のいずれかに記載される方法。
【００５３】
[0058]  １２．可視化デバイスから、可視化デバイスのユーザが居る第１の囲まれた空間における物体までの距離を測定するために頭部装着型可視化デバイス上の深さセンサを使用することと、測定された距離に基づいて、第１の囲まれた空間における面の３Ｄメッシュモデルを生成することと、複数の点を、上記物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を特定することを含んで、ユーザからの少なくとも１つの入力に従って、それぞれ、第１の囲まれた空間の異なる場所において決定することによって、仮想測定ツールを可視化デバイスによって生成することであって、上記少なくとも１つの入力は、ユーザのジェスチャー、ユーザの視線方向、またはユーザの発話のうちの少なくとも１つを含む、生成することと、仮想測定ツールが、ユーザに対して、第１の囲まれた空間の現実の視野に重なって見えるように、可視化デバイスによって仮想測定ツールをユーザに対して表示することと、を含む方法であって、上記表示することは、仮想測定ツール上にまたはこれに近接して測定尺度を表示することを含み、仮想測定ツールを生成することは、ユーザが第１の囲まれた空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を第１の囲まれた空間における対応する異なる点に固定させることと、仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定することと、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節することと、を含む、方法。
【００５４】
[0059]  １３．仮想測定ツールを生成することは、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成することを含む、実施例１２に記載される方法。
【００５５】
[0060]  １４．仮想測定ツールを生成することは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールの少なくとも一部を生成すること、または、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールの少なくとも一部を生成することのうちの少なくとも１つを含む、実施例１２または実施例１３に記載される方法。
【００５６】
[0061]  １５．複数の点に基づいて長さ、面積、または容積を可視化デバイスによって計算することと、長さ、面積、または容積を可視化デバイスによってユーザに出力することとをさらに含む、実施例１２〜１４のいずれかに記載される方法。
【００５７】
[0062]  １６．頭部装着型可視化デバイスをユーザの頭部に装着するための頭部取り付け具と、頭部取り付け具に結合され、生成された画像をユーザに表示するための少なくとも部分的に透明な表示面と、ユーザからの入力を受信し、ジェスチャー認識および視線検出を行うように構成された入力サブシステムと、ユーザの環境における物体の場所を特定するための深さセンサと、表示面、入力サブシステム、および深さセンサに結合され、入力サブシステムを介して受信されるユーザからの少なくとも１つの入力に従って、ユーザの環境の異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成し、複数の点のうちの少なくとも１つの場所がユーザの環境における物体のうちの１つに空間的に関連付けられるように特定されるように、および、表示面に、距離、面積、または容積の指示と共に仮想測定ツールをユーザに対して表示させ、ユーザがその環境を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように構成されたプロセッサと、を含む、頭部装着型可視化デバイス。
【００５８】
[0063]  １７．プロセッサは、ユーザのジェスチャーまたはユーザの視線のうちの少なくとも１つに基づいて仮想測定ツールの場所または方位に対する調節を特定するように、および、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節するようにさらに構成される、実施例１６に記載される頭部装着型可視化デバイス。
【００５９】
[0064]  １８．プロセッサは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成するように構成される、実施例１６に記載される頭部装着型可視化デバイス。
【００６０】
[0065]  １９．プロセッサは、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成するように構成される、実施例１６〜１８のいずれかに記載される頭部装着型可視化デバイス。
【００６１】
[0066]  ２０．メモリをさらに含み、プロセッサは、第１のユーザ入力に応答して仮想測定ツールをメモリに保存するように、表示面による仮想測定ツールの表示を中止するように、および、ユーザが第２の環境に移動した後の第２のユーザ入力に応答して、メモリから仮想測定ツールを読み出し、仮想測定ツールを第２の環境における物体に空間的に関連付けることを含んで、ユーザが第２の環境に居る間に、表示面に、仮想測定ツールをユーザに対して再表示させるようにさらに構成される、実施例１６〜１９のいずれかに記載される頭部装着型可視化デバイス。
【００６２】
[0067]  ２１．ユーザの少なくとも１つのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つに基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成する手段と、仮想測定ツールが、ユーザに対して、ユーザが居る３次元空間の現実の視野に重なって見えるようにユーザに対して仮想測定ツールを表示する手段とを含む、装置。
【００６３】
[0068]  ２２．仮想測定ツールを生成する手段は、ユーザが３次元空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を３次元空間における対応する異なる点に固定させる手段を含む、実施例２１に記載される装置。
【００６４】
[0069]  ２３．仮想測定ツールを生成する手段は、複数の点のうちの少なくとも１つを、ユーザが居る３次元空間における物理的オブジェクト上の対応する点に空間的に関連付ける手段を含む、実施例２１または実施例２２に記載される装置。
【００６５】
[0070]  ２４．仮想測定ツールを生成する手段は、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成する手段を含む、実施例２１〜２３のいずれかに記載される装置。
【００６６】
[0071]  ２５．仮想測定ツールを生成する手段は、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成する手段を含む、実施例２１〜２４のいずれかに記載される装置。
【００６７】
[0072]  ２６．仮想測定ツールを生成する手段は、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成する手段を含む、実施例２１〜２５のいずれかに記載される装置。
【００６８】
[0073]  ２７．仮想測定ツールを表示する手段は、仮想測定ツール上にまたはこれに近接して測定尺度を表示する手段を含む、実施例２１〜２６のいずれかに記載される装置。
【００６９】
[0074]  ２８．複数の点に基づいて、長さ、面積、または容積を計算する手段と、長さ、面積、または容積をユーザに出力する手段とをさらに含む、実施例２１〜２７のいずれかに記載される装置。
【００７０】
[0075]  ２９．ユーザが居る３次元空間は第１の３次元空間であり、第１のユーザコマンドに応答して仮想測定ツールをメモリに保存する手段と、仮想測定ツールの表示を中止する手段と、ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、ユーザが第２の３次元空間に居る間に、メモリから仮想測定ツールを読み出し、仮想測定ツールをユーザに再表示する手段とをさらに含み、再表示することは仮想測定ツールを第２の３次元空間における物体に空間的に関連付けることを含む、実施例２１〜２８のいずれかに記載される装置。
【００７１】
[0076]  ３０．可視化デバイスから、ユーザが居る３次元空間における物体までの距離を測定するために深さセンサを使用する手段と、測定された距離に基づいて、ユーザが居る３次元空間における面の３Ｄメッシュモデルを生成する手段と、少なくとも１つのユーザ入力に基づいて、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用する手段とをさらに含み、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用する手段は、上記の物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を特定する手段を含む、実施例２１〜２９のいずれかに記載される装置。
【００７２】
[0077]  ３１．仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定する手段と、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節する手段とをさらに含む、実施例２１〜３０のいずれかに記載される装置。
【００７３】
[0078]  上述される特徴および機能のいずれかまたは全ては、当業者には明らかとなるように、別段上記で述べられている場合、または、いずれのかかる実施形態もその機能または構造により不適合である場合を除いて、互いに組み合わせ可能である。物理的可能性に反するものでない限り、（ｉ）本明細書に記載される方法／ステップが任意の順序および／または任意の組み合わせで行われてよく、（ｉｉ）各実施形態のコンポーネントが任意のやり方で組み合わせられてよいということが想定される。
【００７４】
[0079]  構造的特徴および／または行動に特有の言語で主題について説明されているが、添付の特許請求の範囲において定められる主題が、上述される特有の特徴または行動に必ずしも限定されないことは理解されたい。もっと正確に言えば、上述される特有の特徴または行動は、特許請求項を実施する例として開示され、他の同等の特徴および行動は特許請求の範囲内にあることが意図される。
【図１】
2017536618.tif 000003
【図２】
2017536618.tif 000004
【図３Ａ】
2017536618.tif 000005
【図３Ｂ】
2017536618.tif 000006
【図３Ｃ】
2017536618.tif 000007
【図３Ｄ】
2017536618.tif 000008
【図３Ｅ】
2017536618.tif 000009
【図３Ｆ】
2017536618.tif 000010
【図３Ｇ】
2017536618.tif 000011
【図３Ｈ】
2017536618.tif 000012
【図３Ｉ】
2017536618.tif 000013
【図３Ｊ】
2017536618.tif 000014
【図３Ｋ】
2017536618.tif 000015
【図３Ｌ】
2017536618.tif 000016
【図３Ｍ】
2017536618.tif 000017
【図４】
2017536618.tif 000018
【図５】
2017536618.tif 000019
【図６】
2017536618.tif 000020
【手続補正書】
【提出日】平成28年6月1日(2016.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザによって着用される可視化デバイスによって、前記ユーザの少なくとも１つのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つに基づいて、前記ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって、仮想測定ツールを生成することと、
前記仮想測定ツールが、前記ユーザに対して、前記ユーザが居る前記３次元空間の現実の視野に重なって見えるように、前記可視化デバイスによって前記ユーザに対して前記仮想測定ツールを表示することと、を含み、
前記ユーザが居る前記３次元空間は第１の３次元空間であり、
第１のユーザコマンドに応答して前記仮想測定ツールをメモリに保存することと、
前記可視化デバイスによる前記仮想測定ツールの表示を中止することと、
前記ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、前記ユーザが前記第２の３次元空間に居る間に、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記ユーザに再表示することと、をさらに含み、前記再表示することは前記仮想測定ツールを前記第２の３次元空間における物体に空間的に関連付けることを含む、方法。
【請求項２】
前記仮想測定ツールを生成することは、前記ユーザが前記３次元空間を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、前記複数の点を前記３次元空間における対応する異なる点に固定させることを含む、請求項１に記載の方法。
【請求項３】
前記仮想測定ツールを生成することは、前記複数の点のうちの少なくとも１つを、前記ユーザが居る前記３次元空間における物理的オブジェクト上の対応する点に空間的に関連付けることを含む、請求項１または２に記載の方法。
【請求項４】
前記仮想測定ツールを生成することは、前記仮想測定ツールの少なくとも一部を前記複数の点のうちの２つの間の線として生成することを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記仮想測定ツールを生成することは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成することを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記仮想測定ツールを生成することは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成することを含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記複数の点に基づいて、長さ、面積、または容積を前記可視化デバイスによって計算することと、
前記長さ、前記面積、または前記容積を前記可視化デバイスによって前記ユーザに出力することと、をさらに含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記可視化デバイスから、前記ユーザが居る前記３次元空間における物体までの距離を測定するために深さセンサを使用することと、
測定された前記距離に基づいて、前記ユーザが居る前記３次元空間における面の３Ｄメッシュモデルを生成することと、
前記少なくとも１つのユーザ入力に基づいて、前記複数の点の空間座標を決定するために前記３Ｄメッシュモデルを使用することと、をさらに含み、前記複数の点の空間座標を特定するために前記３Ｄメッシュモデルを使用することは、前記物体のうちの１つに空間的に関連付けられる、前記複数の点のうちの少なくとも１つの場所を特定することを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記仮想測定ツールの場所または方位に対する調節を、前記ユーザのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つによって特定することと、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの前記場所または方位を調節することとをさらに含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
頭部装着型可視化デバイスであって、
前記頭部装着型可視化デバイスをユーザの頭部に装着するための頭部取り付け具と、
前記頭部取り付け具に結合され、生成された画像を前記ユーザに表示するための少なくとも部分的に透明な表示面と、
前記ユーザからの入力を受信し、ジェスチャー認識および視線検出を行うように構成された入力サブシステムと、
前記ユーザの環境における物体の場所を特定するための深さセンサと、
前記表示面、前記入力サブシステム、および前記深さセンサに結合され、
前記入力サブシステムを介して受信される前記ユーザからの少なくとも１つの入力に従って、前記ユーザの前記環境の異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成し、前記複数の点のうちの少なくとも１つの場所が前記ユーザの前記環境における前記物体のうちの１つに空間的に関連付けられるように特定され、および、
前記表示面に、距離、面積、または容積の指示と共に前記仮想測定ツールを前記ユーザに対して表示させ、前記ユーザが前記環境を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように
構成されたプロセッサと、を含み、
頭部装着型可視化デバイスは、メモリをさらに含み、前記プロセッサは、
第１のユーザ入力に応答して前記仮想測定ツールを前記メモリに保存し、
前記表示面による前記仮想測定ツールの表示を中止し、および、
前記ユーザが第２の環境に移動した後の第２のユーザ入力に応答して、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記第２の環境における物体に空間的に関連付けることを含む、前記ユーザが前記第２の環境に居る間に、前記表示面に、前記仮想測定ツールを前記ユーザに対して再表示させるように、さらに構成される、
頭部装着型可視化デバイス。
【請求項１１】
前記プロセッサは、前記ユーザのジェスチャーまたは前記ユーザの視線のうちの少なくとも１つに基づいて前記仮想測定ツールの場所または方位に対する調節を特定し、および、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの場所または方位を調節するようにさらに構成される、請求項１０に記載の頭部装着型可視化デバイス。
【請求項１２】
前記プロセッサは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成するように構成される、請求項１０または１１に記載の頭部装着型可視化デバイス。
【請求項１３】
前記プロセッサは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成するように構成される、請求項１０〜１２のいずれか一項に記載の頭部装着型可視化デバイス。
【国際調査報告】
2017536618.tif 000021
2017536618.tif 000022
2017536618.tif 000023