(57)【要約】      （修正有）【課題】マルチユーザ共有仮想及び拡張現実に基づく触覚のためのシステム及び方法を提供する。【解決手段】マルチユーザ共有仮想及び拡張現実に基づく触覚のための方法であって、オブジェクトの位置を決定するステップと、オブジェクトに対する少なくとも１つの観察者の視点を決定するステップと、位置及び視点に少なくとも部分的に基づいて出力される触覚効果を決定するステップと、触覚効果を出力するステップとを含む。【選択図】図４１
2019200783.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの位置を決定するステップと、
前記オブジェクトに対して少なくとも１つの観察者の視点を決定するステップと、
前記位置及び前記視点に少なくとも部分的に基づいて出力される触覚効果を決定するステップと、
前記触覚効果を出力するステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、仮想及び拡張現実アプリケーション及びデバイスの分野に関する。より詳細には、本願は、マルチユーザ共有仮想及び拡張現実に基づく触覚に関する。
【背景技術】
【０００２】
仮想及び拡張現実システムがますます普及してきている。このようなシステムによって、ユーザは仮想環境内の仮想オブジェクトと相互作用することができる。いくつかのこのようなシステムは、ユーザが仮想環境において何を体験しているかを第三者が見ることを可能にしている。しかし、ユーザ間の相互作用は限定的である。仮想又は拡張現実環境における共有体験を可能にするためのシステム及び方法が必要とされている。
【発明の概要】
【０００３】
一実施形態では、マルチユーザ共有仮想及び拡張現実に基づく触覚のための方法は、オブジェクトの位置を決定するステップと、オブジェクトに対する少なくとも１つの観察者の視点を決定するステップと、位置及び視点に少なくとも部分的に基づいて出力される触覚効果を決定するステップと、触覚効果を出力するステップとを含む。別の実施形態では、コンピュータ可読媒体が、プロセッサによって実行されると、上記の方法を可能にするように構成されるプログラムコードを含んでもよい。
【０００４】
こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及されている。例示の実施形態は、詳細な説明において検討され、そこではさらなる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点がさらに理解され得る。
【図面の簡単な説明】
【０００５】
本明細書の以下の部分には完全なかつ実施可能な開示がより詳細に説明されている。本明細書は以下の添付の図面を参照する。
【図１】一実施形態におけるマルチユーザ共有仮想及び拡張現実に基づく触覚のための例示的なシステムを示す。
【図２】一実施形態における別の例示的な仮想又は拡張現実システムを示す。
【図３】一実施形態における仮想又は拡張現実環境内のアーティストのレンダリングを示す。
【図４】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図５】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図６】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図７】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図８】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図９】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１０】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１１】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１２】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１３】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１４】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１５】一実施形態における環境に対して色を混合して適用するための処理を示す。
【図１６】一実施形態におけるツールを変更するためのユーザインターフェースの例示である。
【図１７】一実施形態における道路等の経路を作成するためのパレットを示す。
【図１８】いくつかの実施形態において利用され得る様々な状態を示す。
【図１９】いくつかの実施形態において利用され得る様々な状態を示す。
【図２０】いくつかの実施形態において利用され得る様々な状態を示す。
【図２１】いくつかの実施形態において利用され得る様々な状態を示す。
【図２２】いくつかの実施形態において利用され得る様々な状態を示す。
【図２３】いくつかの実施形態において利用され得る様々な状態を示す。
【図２４】いくつかの実施形態において利用され得る様々な状態を示す。
【図２５】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図２６】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図２７】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図２８】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図２９】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図３０】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図３１】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図３２】「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。
【図３３】コンテンツ作成アプリケーションのユーザインターフェースの実施形態を示す。
【図３４】コンテンツ作成アプリケーションのユーザインターフェースの実施形態を示す。
【図３５】様々な実施形態と併せて使用され得るタブレットを示す
【図３６】ユーザがタブレットを握る方向がユーザに利用可能な機能を制御する実施形態を示す。
【図３７】ユーザがタブレットを握る方向がユーザに利用可能な機能を制御する実施形態を示す。
【図３８】ユーザがタブレットを握る方向がユーザに利用可能な機能を制御する実施形態を示す。
【図３９】一実施形態における仮想又は拡張現実環境で使用するためにタブレットがどのようにレイアウトされ得るかの例示である。
【図４０】一実施形態における仮想又は拡張環境でより複雑なオブジェクトを生成するために使用される初期オブジェクトの例示である。
【図４１】一実施形態による方法を示すフローチャートである。
【発明を実施するための形態】
【０００６】
次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供されている。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、さらなる実施形態をもたらすために別の実施形態において使用されてもよい。したがって、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
【０００７】
（マルチユーザ共有仮想及び拡張現実に基づく触覚のための例示的なシステム）
例示的な実施形態では、デジタルパッド又は他のモバイルデバイスで実行されるモバイルアプリケーションは、ユーザが仮想又は拡張現実環境で仮想オブジェクトに接続しかつ相互作用することを可能にする。また、ユーザはオブジェクトを作成してもよく、又はオブジェクトは、例えば、アーティスト又は他のコンテンツ作成者を含む異なるユーザを介して作成されてもよい。いずれのユーザも、モバイルパッド、ヘッドマウント型ディスプレイ（ＨＭＤ）、又は任意の他のデバイスを使用してオブジェクトを作成、観察又は相互作用してもよい。ＨＭＤ及びモバイルデバイスは、両方とも埋め込み型触覚アクチュエータを含んでもよい。例えば、一実施形態では、拡張現実（ＡＲ）環境においてアーティストは３Ｄ世界と相互作用して、仮想オブジェクトを作成し、場合によっては物理オブジェクトと相互作用する。その概念は、ＡＲに参加するためにヘッドセットを装着していない観察者が、観察（「マジックウインドウ」）又は協働を介して体験することができるようにすることである。
【０００８】
パッドのユーザは、仮想又は拡張環境に対するユーザの視点に基づいて触覚を体験することができる。例えば、パッドのユーザは、観察者の視点から又は環境と相互作用するアバターの観点を介して環境を体験してもよい。パッドのユーザは、変化し得る環境、変化し得るユーザの視点、及びユーザと環境との相互作用に基づいて触覚効果を体験する。ユーザは、全員が同じ仮想又は拡張現実環境を同時に体験しかつ相互作用している多数のユーザの中の１人であってもよい。そして、各ユーザは、自身の視点を有してもよく、又は別のユーザと視点を共有してもよい。
【０００９】
触覚効果は、触覚効果放出体として取り扱われるオブジェクトに基づいていてもよい。放出体は、指向性であってもよく、仮想又は拡張環境においてユーザが放出体から遠ざかると弱まる強度を有してもよい。さらに、効果は、放出体に対するユーザの位置に基づいて多方向性であってもよい。放出体は、オブジェクト又は場所であり得る。
【００１０】
このようなシステムによって、多数のユーザが共通の仮想環境を体験することが可能になる。そして、並んで配置されている又は並んで配置されていない実世界空間でもそうすることができる。各ユーザは、異なるタイプのデバイスを使用して環境を体験してもよい。いくつかの実施形態では、触覚設計者は、このようなシステムを使用して触覚効果を作成し、複数のユーザに送信することができる。そして、効果は、仮想又は拡張環境内のユーザの相対位置に基づいて変化し得る。
【００１１】
このようなシステムでは、ユーザは、自分でコンテンツを作成することによって、又は別のユーザの視点を介して環境を体験することによって、コンテンツ作成者の視点から環境を体験することができる。また、ユーザは、それに参加することによって環境を体験することができる。例えば、アーティストは、道路又は飛行経路を作成してもよい。次に、ユーザは、道路を移動している車の視点から道路を体験してもよい。別の例示では、製品設計者は、他のユーザが体験するために仮想製品を作成してもよい。視点及び環境の両方が、触覚効果を含む、ユーザに提供される体験のタイプに影響を与える。
【００１２】
拡張現実の実施形態では、環境は、ＱＲコード（登録商標）等の追跡ベース又は他の接地要素に接地されてもよい。そして、体験は、並んで配置されてもよく、代替的に、ユーザが体験を共有するために互いに近くにいる必要がないようにクラウドベースであってもよい。
【００１３】
先の例示は、単に例示目的であって、請求項に記載の発明を限定することは全く意図していない。
（マルチユーザ共有仮想及び拡張現実に基づく触覚のための例示的なシステム）
【００１４】
図１は、マルチユーザ共有仮想及び拡張現実に基づく触覚のための例示的なシステム１００を示す。図１に示されたデバイスは、アーティストと共有する環境を体験するユーザによって、又はアーティストによって使用されてもよい。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータデバイス１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータデバイスの動作を構成するプログラムコンポーネントを具現化する。この例示では、コンピュータデバイス１０１は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び追加の記憶装置１１４をさらに含む。
【００１５】
ネットワークデバイス１１０は、ネットワーク接続を容易にする１つ以上の任意のコンポーネントを表し得る。限定されないが、例示には、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は（複数の）他の移動通信ネットワーク）が含まれる。
【００１６】
Ｉ／Ｏコンポーネント１１２は、１つ以上のディスプレイ、タッチスクリーンディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、デバイス１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
【００１７】
システム１００は、この例示では、デバイス１０１に統合されるタッチ面１１６をさらに含む。タッチ面１１６は、ユーザのタッチ入力を感知するように構成される任意の表面を表す。１つ以上のセンサ１０８は、物体がタッチ面に接触する場合にタッチ領域におけるタッチを検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。任意の適切な数、タイプ、又は配置のセンサが使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。
【００１８】
いくつかの実施形態では、センサ１０８、タッチ面１１６及びＩ／Ｏコンポーネント１１２は、タッチスクリーンディスプレイ等の単一のコンポーネントに統合されてもよい。例えば、いくつかの実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。次に、ユーザは、ディスプレイを使用して、映画又は他の映像を観ると共に触覚生成設計アプリケーションと相互作用してもよい。
【００１９】
他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。いくつかの実施形態では、プロセッサ１０２は単一のセンサ１０８と通信し、他の実施形態では、プロセッサ１０２は複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。いくつかの実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
【００２０】
さらに、デバイス１０１は、触覚出力デバイス１１８を備える。図１Ａに示される例示では、触覚出力デバイス１１８はプロセッサ１０２と通信し、タッチ面１１６に結合される。図１Ａに示された実施形態は、単一の触覚出力デバイス１１８を含む。他の実施形態では、コンピュータデバイス１０１は、複数の触覚出力デバイスを備えてもよい。触覚出力デバイスは、効果が仮想又は拡張現実環境に対して生成されるとユーザ又はアーティストが効果を体験すること又は総合体験に組み込まれる触覚効果を作成することを可能にしてもよい。
【００２１】
本明細書には単一の触覚出力デバイス１１８が示されているが、実施形態では、触覚効果を出力するために同じ又は異なるタイプの複数の触覚出力デバイスが使用されてもよい。例えば、触覚出力デバイス１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）、薄型触覚アクチュエータ、触覚テープ、又は静電摩擦（ＥＳＦ）アクチュエータ等の静電効果を出力するように構成される触覚出力デバイスの１つ以上を含んでもよい。いくつかの実施形態では、触覚出力デバイス１１８は、複数のアクチュエータ、例えば、薄型触覚アクチュエータ、圧電アクチュエータ、及びＬＲＡを含んでもよい。追加のアクチュエータがコンピュータデバイス１０１と通信するデバイスに組み込まれてもよい。例えば、ヘッドマウント型ディスプレイは、アーティスト又は環境と相互作用する任意の他のユーザに触覚効果を提供することを可能にするアクチュエータを組み込んでもよい。
【００２２】
メモリ１０４に関しては、例示のプログラムコンポーネント１２４、１２６及び１２８は、触覚効果を決定して出力するためにデバイスがどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
【００２３】
触覚効果決定モジュール１２６は、生成するべき触覚効果を選択するための音声及び映像特性に関するデータを分析するプログラムコンポーネントを表す。特に、モジュール１２６は、音声又は映像特性に基づいて、触覚出力デバイスによって生成及び出力するべき効果を決定するコードを含む。モジュール１２６は環境の視点、距離及び特性等の特定の特性の組み合わせに割り当てるために、提供するべき１つ以上の既存の触覚効果を選択するコードをさらに含んでもよい。例えば、参加者が砂利道に沿って乗っているときの環境を体験するユーザは、粗く、相対的に高振幅の触覚効果を体験してもよい。こうした特徴の様々な組み合わせに基づいて、異なる触覚効果が選択されてもよい。触覚効果は、設計者が特定の効果又は効果の組をプレビューして、必要に応じてそれらを修正してシーンを良好にモデル化することができるように、触覚効果は、タッチ面１１６を介して提供されてもよく、アーティスト又は他の触覚設計者に提供されてもよい。
【００２４】
触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させかつ触覚出力デバイス１１８に送信させ、それにより、選択された触覚効果を触覚出力デバイス１１８に生成させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力デバイス１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の触覚効果を受信して、適切な信号を生成して触覚出力デバイス１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、テクスチャに関する目標座標と共に所望の触覚効果が示されて、表面（及び／又は他のデバイスコンポーネント）の適切な変位を生成して触覚効果を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。いくつかの実施形態は、１つの特徴をシミュレートするために複数の触覚出力デバイスを同時に利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンを押したときの応答をシミュレートする。
【００２５】
図２は、例示的な仮想又は拡張現実システム２００を示す図である。図示の環境において、ＨＭＤ２０２は、ユーザが没入的に環境を体験することを可能にする。ＨＭＤ２０２は、ユーザが環境を見ることを可能にするディスプレイを含む。また、ＨＭＤ２０２は、環境に関連付けられる音をユーザが聞くことを可能にするイヤホン等のスピーカを含んでもよい。また、ＨＭＤ２０２は、環境に関連付けられる感覚をユーザが感じることができるように触覚アクチュエータを含んでもよい。
【００２６】
また、システム２００は、１つ以上の検出器２０４ａ、２０４ｂも含む。検出器２０４は、環境においてＨＭＤ２０２の動きを感知して、その情報をシステム２００内に、その近くに、又はそれから離れて位置しているプロセッサ（図示せず）に提供する。環境は、他のデバイスを含んでもよい。例えば、ユーザは、システムがユーザの体の様々な部分の動きを検出することを可能にする様々なデバイスを装着し又は握っていてもよい。例えば、ユーザは、ペイントブラシとして使用されるコントローラを手に取ってもよい。センサ２０４は、デバイスによるユーザのジェスチャを検出して、動きを反映する信号をプロセッサに提供し得る。例えば、赤外線、電磁的、ＲＧＢカメラ型、又はその他を含む任意のタイプの運動追跡システムが利用され得る。
【００２７】
（マルチユーザ共有仮想及び拡張現実に基づく触覚の例）
マルチユーザ共有仮想及び拡張現実に基づく触覚システムの実施形態は、様々な入力を受信してもよい。例えば、アーティスト、観察者、コンテンツ作成者、又は設計者等の１人以上のユーザが、ＶＲ又はＡＲ環境と相互作用してもよい。このような実施形態では、例えば、手の位置又は仮想パレット若しくはＶＲ若しくはＡＲオブジェクトとの相互作用を示すセンサデータが、環境及びユーザの視点がどのように変化しているかを決定するために使用されてもよい。このような情報は、例えば、触覚放出体として機能する仮想又は物理オブジェクトへの接近を含んでもよい。ユーザと放出体との空間的関係を反映する他の情報も利用されてもよい。
【００２８】
ユーザがアーティストとして行動する実施形態では、システムは、環境内でオブジェクトを作成又は補強するためにアーティストが使用するために利用可能な様々なブラシ及びブラシストロークに関するデータを受信する。データは、環境内で使用されるブラシストロークのサイズの変更に関する又は「ペイント」に関する情報を含んでもよい。ブラシストロークは、単純な視覚効果を作成してもよい。代替的に、ブラシストロークは、第三者の観察者等のアーティスト又は別のユーザが相互作用することができる仮想オブジェクトを作成するために使用されてもよい。例えば、アーティストは、自動車のための仮想道路、又は飛行機、昆虫、若しくは鳥のための仮想飛行経路を描画又は塗装してもよい。次に、アーティスト又はユーザは、自動車又は航空機を環境に追加してもよい。次に、車両は、仮想環境を介して道路又は飛行経路に沿って進んでもよい。環境とユーザの及び車両の相互作用は、様々な触覚効果の生成及び出力をもたらしてもよい。
【００２９】
様々な他の実施形態及び特徴も可能である。例えば、アーティストは、水中のボート又は小道上の馬をレンダリングしてもよい。また、アーティストは、横断され又は観察され得るハイキング道も作成し得る。次に、様々な機能の特性が、システムのユーザに出力される触覚効果を変化させるために使用され得る。例えば、小道又は道路は、アスファルト、砂又は砂利を使用して作られ得る。システムのユーザに出力される触覚は、道路を作るために使用される材料のタイプに基づいて変化し得る。そして、環境は、いずれかの使用によって変化して、共同構築環境をもたらし得る。
【００３０】
このような環境は、様々なやり方で作成され得る。コンテンツ作成者を含むユーザは、環境内で自身を位置決めして、位置を変化させ得る。さらに、ユーザが作成するオブジェクトは、移動及び修正され得る。例えば、第１のユーザが道路を作成し得る。次に、第２のユーザが、道路を横断し、それによって環境を変化させるように車を作成又は生成し得る。次に、第３のユーザが、車を制御して、車の始動、停止、及び速度の変更を行ってもよい。このようなオブジェクトは、実際に又は実オブジェクトと組み合わせて又はこれらの何らかの組み合わせで存在し得る。例えば、実オブジェクトは、実オブジェクト上にオーバレイされるコンポーネントによって補強されてもよい。拡張されたコンポーネントは、触覚と仮想オブジェクト等の任意の組み合わせの様式であってもよく、又は触覚効果単独であってもよい。言い換えれば、物理オブジェクトは、オブジェクトの視覚的態様が変化しなかったとしても、その上にオーバレイされる触覚を有し得る。
【００３１】
ユーザの体験は、他のユーザに又は触覚効果を放出することが可能な環境内のオブジェクトに対する位置に基づいて変化し得る。例えば、環境内のオブジェクトとユーザとの間の距離は、ユーザが体験する触覚効果に影響を与え得る。ユーザと仮想オブジェクトの両方が移動していてもよく、そのため互いに対して移動していてもよいので、ユーザとオブジェクトの相対位置は可変であってもよい。一実施形態では、ユーザが体験する触覚効果は、２人のユーザ及びオブジェクトが互いに接近している又は互いから離れている速度に依存してもよい。
【００３２】
ユーザは、オブジェクトと仮想的、現実的又は何らかの組み合わせで、又は環境自体と相互作用してもよい。例えば、ユーザは、環境にオブジェクトを追加してから、そのオブジェクトと直接的又は間接的に相互作用してもよい。例えば、ユーザが、そのユーザ又は別のユーザによって描かれた道路に車を追加（生成）した場合、ユーザは、例えば、始動、停止、及び速度の変更を含む車の制御のための入力を提供することができる。こうした相互作用の全てが、触覚効果を出力又は変化させ得る。別の例示では、ユーザは、パレットを表示させて、パレットを使用して環境に視覚的要素を追加してもよい。また、ユーザは、例えば、光を変化させること（昼又は夜）、又は環境に何らかの他の種類の環境的効果（曇、風、雨等）を追加することによって、より広く環境を変化させてもよい。観察者は、環境と相互作用すると、様々な異なるやり方で環境に影響を与え得る。
【００３３】
いくつかの実施形態では、環境内のオブジェクトに対してユーザの視点は、例えば、ユーザに出力される触覚効果を変化させることにより、ユーザの体験に影響を与え得る。複数のユーザが同時に環境を体験している場合、各ユーザは、異なる組の効果を体験してもよい。例えば、ユーザは、一人称視点から環境を体験してもよい。例えば、第１のユーザ及び第２のユーザは、例えば、第三者の観察者が仮想環境においてアーティストがレンダリングしたオブジェクトを観ているときに、互いに対する場所に基づいて環境を体験してもよい。この視点は、２人のユーザが互いに対して移動すると変化し得る。別の例示では、製品設計者が環境内で製品を作成してもよく、一方で別のユーザが製品を動かし回って、製品の様々な側面を体験し、場合によっては設計された製品に変更を加えてもよい。こうした相互作用の全てが異なる触覚効果を引き起こしてもよい。
【００３４】
いくつかの実施形態では、ユーザは、第三者の観察者として又は別のユーザの視点から、例えば、環境内でアーティストが作成したコンテンツ等の環境を体験してもよい。他の実施形態では、ユーザは、環境内において、例えば、道路を横断している車又は飛行経路を横断している航空機に座っている参加者の視点から環境を体験してもよい。
【００３５】
ユーザ、ユーザが環境を体験している視点の人物、又はオブジェクトが環境内で移動すると、このようなユーザの視点は変化してもよい。いくつかの環境では、ユーザは、環境の「内側」にはいない。例えば、コンテンツ作成者は、広告として触覚を有する仮想自動車を作成する。ユーザはＨＭＤを使用してＡＲ又はＶＲにおいて車を体験してもよい。代替的に、ユーザは、ウェブサイトで車の２次元ビューを見てもよい。ここで、触覚放出体（車）へのカーソルの接近は、触覚効果の作成のための仮想空間的接近を含む。
【００３６】
また、ユーザの体験は、触覚効果が放出されるオブジェクトに対するユーザの視点によって影響を受けてもよい。例えば、触覚効果は、オブジェクトとの直接的な相互作用からもたらされ得る。例えば、アーティストは、環境内で塗料を混ぜてもよい。塗料とアーティストの相互作用が、触覚効果を引き起こしてもよい。別の例示では、ユーザが第三者の観察者として、触覚が出力されている場所に対して相互作用する。例えば、ユーザに接近している銃弾が、特定の触覚効果を引き起こしてもよい。別の例示として、環境内で発生する風は、ユーザが風に対して位置している場所に依存して異なる効果を有し、ユーザに異なる触覚効果を体験させるであろう。さらに別の例示では、ユーザは、環境内のトンネルを通過してもよく、これはユーザに提供される効果に影響を与えるであろう。
【００３７】
本発明のいくつかの実施形態では、ユーザは、環境内の視覚的オブジェクトを見ないが、それでも触覚効果等の環境の他の側面を体験することが可能であってもよい。例えば、ユーザは、環境の「内側」にいるが、環境に存在する１つ以上のオブジェクトを見ることができなくてもよい。例えば、環境は暗くてもよい例えば、オブジェクトにタッチするか又はその上を歩くことにより、ユーザが環境と相互作用すると、ユーザに触覚が提供され得る。いくつかの実施形態では、ＶＲ又はＡＲ環境において又は物理世界において、互いに対する様々なユーザの位置が、ユーザに提供される触覚効果に影響を与え得る。
【００３８】
本発明の実施形態は、様々な触覚効果を提供することができる。触覚効果は、位置又は視点等の上記の任意の変数に基づいて決定及び生成されてもよい。触覚効果又は触覚効果のパラメータは、物理モデルを使用して計算又は合成されてもよい。例えば、触覚効果は、車両が横断している斜面又は車両が通過している障壁に基づいて計算されてもよい。
【００３９】
例えば、摩擦、振動、及び空気、及び運動感覚力を含む様々なタイプの触覚効果が利用されてもよい。触覚は、接触、空気の動き、水、及び仮想又は拡張環境に存在する他の状態又はオブジェクトを示すために使用され得る。このような触覚効果の例示は、アーティストによって作成される道路のテクスチャに基づく触覚効果を含む。別の例示は、車が道路に沿って運転されるときの車の速度に基づく触覚効果である。触覚効果は、例えば、特定のオブジェクトにタッチせずに環境を通り抜けることにより、環境とユーザの相互作用に広くに基づいてもよい。いくつかの実施形態では、触覚効果は、指向性であり、放出体からの距離に比例して増加又は減少してもよい。例えば、触覚効果は、ユーザを押す又は引っ張ってもよい。
【００４０】
いくつかの実施形態では、周波数若しくはピッチ、大きさ、振幅、触覚ソースの指向性、又はアクチュエータの指向性を含む触覚効果の様々な特性が変化してもよい。いくつかの実施形態では、多数の効果が組み合わせされてもよい。また、触覚効果は、触覚効果を出力するために使用されるデバイスのタイプに基づいて変化してもよい。一例として、ユーザは、環境内のでこぼこ道に油膜又は油点を追加することにより、道路に関連付けられる触覚効果をでこぼこのテクスチャに関連付けられる触覚効果から円滑なテクスチャに関連付けられるものに変化させてもよい。例えば、粗く、強い効果が、よりきめの細かく、弱い効果になって、道路が滑りやすいことを示してもよい。
【００４１】
別の例示的な実施形態では、アーティストは、特定の鮮やかな色を使って環境内でオブジェクトを作成しており、アーティスト又は別のユーザがオブジェクトと相互作用すると強い触覚効果が出力される。次に、アーティストは、オブジェクトの特性を変化させてもよく（例えば、色をあまり鮮やかではないものに変える）、仮想オブジェクトに関連付けられる触覚効果が変化して、あまり強くなくなる。他の実施形態では、触覚効果は、環境においてオブジェクトを作成又は修正するためにユーザが使用するツールのタイプに依存して変化する。
【００４２】
いくつかの実施形態では、触覚効果は、ユーザの視点が変化するにつれて変化する。例えば、ユーザが一人称モードから三人称モードに切り替えると、より強い触覚又は追加の触覚が出力されてもよい。別の実施形態では、触覚は、位置に基づいて変化してもよい。例えば、ユーザが環境の中心にいる場合、効果は、この位置への近接性に基づいてスケーリングされ得る。別の例示では、ユーザの視点が道路の中心からであり、そのため道路に沿って運転されている車に関連付けられる触覚は、中心（例えば、レース場の中心）に配置されている感覚を生成するように増加され得る。
【００４３】
いくつかの実施形態では、触覚効果は、３６０度の環境を見回すようにユーザが頭を動かすことに基づいて変化する。例えば、第１の触覚効果は、ユーザがユーザの前のオブジェクトを見ているときに出力され、第２の触覚効果は、ユーザが振り返ってユーザの後ろのオブジェクトを見るときに出力され得る。また、触覚効果は、ユーザの視点が変化すると（例えば、左から右に）パンされてもよい。さらなる実施形態では、触覚効果は、環境の中又は周囲のユーザの物理的場所の変化に少なくとも部分的に基づいて変化する。
【００４４】
例えば、第三者の観察者及びアーティストが並んで配置されている場合、第三者の観察者がアーティストに対して接近すると又は遠ざかると、触覚効果は強くなり得る（又は弱くなる）。
【００４５】
触覚効果は、仮想オブジェクトに対する第三者の観察者の位置に基づいて変更され得る。例えば、一実施形態では、第１のユーザは、炎のブラシストロークを使用して炎の効果を作成し、炎のブラシストロークに関連付けられる触覚効果（例えば、熱若しくは炎を示す高周波数又は高ピッチの触覚効果、又は熱触覚効果）が出力される。第２のユーザが炎から遠ざかると、触覚効果の周波数が変化して、第２のユーザが冷たくなっていることを示してもよく、又は触覚温度が低下し得る。
【００４６】
また、触覚効果は、触覚効果の視点（例えば、触覚効果のソース又は放出体の位置）及び／又は触覚効果のソースに関連するユーザの位置に基づいて変更され得る。例えば、ユーザが「乗車」している第１の車に接近している第２の車に関連付けられる触覚効果のピッチは、２台の車が互いに近づく（又は遠ざかる）ときに変化し得る。別のユーザは、観察者の視点から２台の車の同じ接近を体験して、車が接近するか又は観察者の位置から遠ざかるときに触覚効果のドップラー効果を体験してよい。
【００４７】
システムの能力に依存して、所定の触覚効果が他の効果に対して優先順位を付けられてもよい。例えば、場合によって、システムは、所定のタイプの効果を混ぜることができなくてもよく、そのため複数の効果の１つをその代わりに再生するであろう。システムは、優先度手段に依存して複数の触覚の中のどの触覚効果を出力することが最も重要であるかを識別してもよい。例えば、類似の周波数又は強度を有する複数の触覚効果が観察者に提供され得る場合、優先度システムは、どの触覚効果が最も重要であるかを決定し得る。また、触覚効果は、効果が出力される終点を調節されてもよい。例えば、効果は、触覚出力デバイスの能力に依存して、ステレオ又はモノラル又は双方向性又は一方向性であってもよい。
【００４８】
触覚効果は、多数の放出体に対する入力パラメータに基づいて互いに混ぜられ得る。放出体の設計者によって意図される複数の触覚的感覚の同時発生に等しいと実質的に観察者によって体験される単一の触覚効果が合成され得る。触覚効果は、触覚効果が通過している媒体に基づいてワープされ得る。
【００４９】
いくつかの実施形態では、システムは、触覚出力デバイスのタイプに基づいて触覚効果のタイプを決定することができる。例えば、ユーザのデバイスが触覚効果の周波数を制御することができない場合、触覚効果の周波数は変更されなくてもよい。別の例示として、ユーザは、高度な摩擦ディスプレイを含むデバイスを使用していてもよい。ユーザがディスプレイにタッチして、特定の摩擦を示す触覚効果が出力され得る。別のユーザが、第１のユーザの指が環境を通過することを含む、同じ環境をデバイスを介して観察する場合、第２のユーザのデバイスは、摩擦の変化ではなく高精細振動を含む触覚効果を出力し得る。
【００５０】
一実施形態では、出力される触覚効果は、実世界オブジェクトの特性に基づいてもよい。例えば、触覚効果は、オブジェクトの密度に基づいてもよい。他のこのような特性は、形状、サイズ、又は所定のユーザ定義の特性を含んでもよい。
【００５１】
本発明の実施形態は、オブジェクト及び環境の他の側面の作成、オブジェクト及び環境の修正、システムのユーザが体験する触覚効果の作成及び修正のための様々なタイプのアーキテクチャを含んでもよい。例えば、図１は、タッチスクリーンを有するモバイルデバイスを示す。しかしながら、他の実施形態では、デバイスは、タッチスクリーンを含まなくてもよい。いくつかの実施形態では、モバイルデバイスは、自由空間ジェスチャ検出に使用され得るカメラ等のセンサを含む。他の実施形態では、ユーザは、指輪、腕時計、リストバンド、スマート衣類、ヘッドセット、又は他の装身具を利用して、システム及び環境と相互作用してもよい。いくつかの実施形態では、アクチュエータは、こうしたデバイスのいずれかに組み込まれてもよい。さらに、超音波、レーザ、及びジェット噴射デバイスを含む様々な触覚出力デバイスが利用されてもよい。
【００５２】
図３は、一実施形態における仮想又は拡張現実環境内のアーティストのレンダリングを示す。図示のレンダリングでは、アーティストは、描画又は塗装のための少なくとも２つのブラシスタイルを使用することができる。第１のブラシは、サイズ制御及び色カスタマイズに応答する油状ペイントブラシである。このようなブラシは、景色を作成して周囲に車両経路を描くことを可能にする。第２のブラシスタイルは、道路又は経路である。図示の実施形態では、第２のブラシは、各々が異なる触覚特性を有する、生成されたゲームオブジェクト（車）のための経路をアーティストが作成することを可能にする。
【００５３】
結果として生じる環境は、例えば、コンテンツ作成者（例えば、アーティスト）、観察者、又は参加者を含む、ユーザが複数の視点から環境を観察することを可能にしてもよい。このような実施形態では、第１のユーザがＨＭＤを使用してコンテンツを作成する一方で、第２のユーザはモバイルパッドデバイスを使用して環境を観察する。コンテンツ作成者は、塗料を混ぜること、塗装すること、及び道路を書きつける動作から触覚を感じることができる。第２のユーザは、仮想又は拡張環境へのモバイルアプリケーションウインドウを使用して、車の生成及び制御等の変更を行い又は観察することができる。
【００５４】
図４−１５は、一実施形態における環境に対して色を混合して適用するための処理を示す。図４は、空白のキャンバスに色を加えた結果を示す。図５は、仮想又は拡張現実環境において色を選択するためのユーザインターフェースを示す。色の混合は、インクつぼのメタファを使用して例示された実施形態において行われる。このような実施形態では、ユーザは、見本の「ＡＲリーフ（ＡＲ  ｌｅａｆ）」に追跡される指を置くことにより、見本の１つから色を選択することができる。見本は、選択が検出されたことを確認するようにアニメーションする。一実施形態では、ユーザがブラシの「ボタン」（通常は描画のために使用される）を押し下げてインクドロッパ状の相互作用をアクティブ化すると、ユーザが色見本位置に指を保持している間、ボタンが長く押されるほど指は補充される（図６）。ユーザは、混ぜることなく複数の色を指に持ってくることができる（図７）。指が（複数の）色を「含む」と、ユーザは、タブレット表面をタップするか又は圧力を加えて、指から色を放出することができる（図８）。次に、色はタブレット表面にレンダリングされる（図９及び１０）。
【００５５】
図示の実施形態では、ユーザは、指を使用して、パレット上で塗料を混ぜることができる（図１１及び１２）。また、ユーザは、塗料スポンジを使用してパレットから塗料を除去することもできる（図１３）。一実施形態では、ユーザは、あとで使用するためにパレットの側部に塗料を置くことができる（図１４）。このような実施形態では、パレットに置かれた複数の色は、スワイプジェスチャを使用して混合されてもよい（図１５）。
【００５６】
図１６は、一実施形態におけるツールを変更するためのユーザインターフェースの例示である。
【００５７】
図示の実施形態では、ユーザは、ジェスチャを使用してブラシのサイズを変更することができる。例えば、ブラシのサイズを変えるために、ユーザは、パレットの左端で上又は下にスワイプを行う。様々なジェスチャがサポートされてもよい。例えば、ジェスチャは湾曲していてもよい。サイズは移動の長さ（すなわち、ジェスチャの開始及び終了の差分）に基づく。それは、空間内のタブレット上の特定の位置にマッピングされない。一実施形態では、サイズは、ブラシツールを握っている仮想の手を介してプレビューされてもよい。
【００５８】
図１７は、一実施形態における道路等の経路を作成するためのパレットを示す。図示の実施形態では、コンテンツ作成者、例えば、ＨＭＤを装着しているアーティストは、ゲーム環境の中で様々な道路を「塗装」することができる。一旦道路が塗装されると、他のユーザが車両を生成して描画された道路に沿って運転し、車両がその上を走っている道路テクスチャに基づいて触覚を感じることができる。車を作成するユーザは、車を制御してもよく、車を始動、加速、ブレーキ、及び停止させてもよい。図１７は、アスファルト、砂利及び敷石等の使用されるかもしれない道路タイプを示す。こうしたタイプは、排他的ではない。他の実施形態では、道路タイプは、市街、荒い道、濡れた道、レール、及び飛行経路を含んでもよい。
【００５９】
図１８−２４は、いくつかの実施形態において利用され得る様々な状態を示す。図１８に示された実施形態では、デバイスは状態０にあり、これはオフに対応する。オフ状態では、パレットはアクティブ化されておらず、唯一示されているコントロールは「オン」ボタンである。
【００６０】
図１９は、別の状態の状態１で示されたデジタルパッド及びパレットを示し、これは塗装状態である。このような実施形態では、タブレットに加えられた塗料は、塗装状態に戻ると復帰するように、他の状態に行くときにセーブされる。塗装状態は、ユーザが景色を塗装する等、環境を変化させることを可能にする。
【００６１】
図２０は、状態２を含む実施形態を示し、これは道路を作成するための状態である。図示の実施形態では、道路選択のために十分な余地を提供するために、この状態では塗料は持続しない。図示の実施形態では、道路の目的は、モバイルユーザが車両を制御するための経路を提供することである。道路の「見本」は、代替的に、塗料と同じリーフ相互作用で選択されてもよい。道路幅は変化してもよい。例えば、道路は、並んで２台の車を収容するのに十分な広さであってもよい。
【００６２】
しかしながら、図示の実施形態では、ブラシサイズの制御は無効にされてもよい。一実施形態では、生成された車は、ブラシの「上端」に取り付けられるので、「下端」はテクスチャを有さないであろう。また、このような実施形態では、ブラシは道路を塗装するために使用されるので、連続した道路を作成するために、道路の一端は、別の道路の端又は同じ道路の他の端と接続する。例えば、ブラシストロークの端は、互いにスナップしてもよい別の実施形態では、２つの端は、直線によって自動的に接続されてもよい。図２０は、パッド上に表示される様々な道路タイプを示す。
【００６３】
いくつかの実施形態では、モバイルアプリケーションは、ユーザが、描画された道路に沿って移動するようにユーザがオブジェクトを生成することを可能にする。次に、車両の移動、表面、特性、及び環境の他の特性に基づいて、触覚が出力される。このような実施形態では、生成された車両は、道路上の設定された場所で開始する。例えば、車は、道路を作成するユーザが道路を開始する場所で始動してもよい。
【００６４】
図２１及び２２は、状態３を含む実施形態を示し、これは状態変化を実行するためのユーザインターフェースを含む。図示の実施形態では、三次ユーザインターフェース（ＵＩ）は、地面に垂直になるようにユーザが９０度タブレットを傾けることを定める。次に、ユーザは、塗料、道路及びオプション等の様々なラベルを提示される。こうしたラベルの各々は、サブラベルを含んでもよい。例えば、オプションに関して、ユーザは、以下の、セーブ、自動ネーミング、描画空間のクリア、ロード、及び終了を提示されてもよい。様々な実施形態において、異なるやり方で相互作用してもよい。例えば、ユーザは、描画する指をある状態に置いて、ボタンをクリックしてもよい。別の実施形態では、ユーザは、親指ボタンを押さえて、タブレットの位置をＹ軸に横断して（複数のレイヤの１つの中で）、ボタンを解放してもよい。
【００６５】
図２２は、状態変化を実行するための別の実施形態を示す。図示の実施形態では、ユーザは、パレット上で親指ボタンを押し下げて、空間で様々な状態ボックスを凍結させる。次に、ユーザは、タブレットを特定の状態ボックスに移動させて、特定の状態を選択するためにボタンを解放する。状態は、異なる色又は道路タイプ等のレイヤを含み得る。
【００６６】
図２３は、状態４を含む実施形態を示し、これはクイックアクションを実行するためのユーザインターフェースを含む。ユーザは、最初にユーザに向かってタブレットを傾ける。それに応答して、見本は、タブレットの背後にアニメーションして、塗料は溶けて消える。このようなインターフェースによって提供され得るオプションは、取り消し、やり直し、消しゴム、パレットのクリア、及びセーブを含み得る。
【００６７】
図２４は、状態５を含む実施形態を示し、これはセーブされたファイルをロード及びプレビューするためのユーザインターフェースを含む。このようなユーザインターフェースを用いて、ユーザは、特定のファイルをロードするために様々なレイヤを介してタブレットを垂直に移動させることができる。いくつかの実施形態では、ロードする前に描画を見ることができる。オプションパネルから一旦「ロード」が選択されると、ユーザは、タブレットを通常動作に戻すことができる。
【００６８】
図２５−３２は、「マジックウインドウ」アプリケーションを用いて仮想環境と相互作用するための様々な実施形態を示す。マジックウインドウアプリケーションは、仮想又は拡張現実環境を観るために使用されてもよい。アプリケーションは、環境内の他のユーザと相互作用することができるように同時に複数のユーザによって利用されてもよい。いくつかの実施形態では、マジックウインドウは、アーティストのアクションを仮想環境内でそれが起こったときに観察者が見ることを可能にする。他の環境では、観察者は、活動の集合が非同期式に起こった後でそれらを観る。
【００６９】
マジックウインドウアプリケーションの実施形態は、環境の側面に関連する触覚フィードバックを提供する。いくつかの実施形態では、このような側面は、例えば、コンテンツ作成者によるアクションを含む仮想環境と他のユーザの相互作用を含む。また、マジックウインドウアプリケーションは、上記のように、道路上の車を制御することを含む環境の側面を観察者が制御することを可能にする等、追加機能を提供してもよい。
【００７０】
図２５は、マジックウインドウアプリケーションの一実施形態におけるメインメニュー表示を示す。図示のメインメニューは、ユーザが観るアーティストを探し、スケッチをロードし（ＭＶＰではない）、アプリケーションに関する情報をロードすることを可能にするメニューを提供する。「アーティストを探す」オプションは、特定のコンテンツ作成者又はコンテンツ作成者の組に自動的に接続し、又は観察者が検索することを可能にする。
【００７１】
図２６は、仮想環境のビューを接地するためのインターフェースを示す。図示の実施形態では、ユーザは、例えば、ホストに接続することにより、アプリケーションを開始する。次に、ユーザは、観察空間を較正して、それによってビューを接地するために、視覚マーカ（例えば、ＱＲコード）をスキャンするように促される。
【００７２】
図２７は、ビューが一旦較正されているインターフェースを示す。観察者は、コンテンツ作成者によって作成されるコンテンツと共にリアルタイムで発生する任意の変化を見ることができる。図示の実施形態では、アーティストは、パレットを使用して視覚化される。スクリーンの左上は、図２５に示されたようなメニューに戻るための矢印を含む。そして、右上は、インターフェースが実行しているモードを示すアイコンを含む。
【００７３】
図２８は、道路及び生成された車を含む環境のレンダリングを表示するインターフェースの別の実施形態である。車のボタンがスクリーンの右上に表示されており、ユーザが「車」モードを有効又は無効にすることを可能にする。車モードは、ユーザが道路上の車の加速度を制御することを可能にする。また、インターフェースは、ユーザが車の内側から環境を観ることを可能にしてもよい。このようなインターフェースは、複数のユーザが同時に複数の車又は他の車両を生成及び制御することを可能にしてもよい。
【００７４】
図２９及び３０は、道路及び生成された車を含む環境のレンダリングを表示するインターフェースのさらに別の実施形態である。図２９に示される実施形態では、観察者は、あたかも車で移動しているかのように環境を観ている。図２８に示される実施形態のように、ユーザは、車を制御することができる。また、この実施形態は、ディスプレイの左上において、パレット、ペン及びヘッドとして視覚化されるアーティストの表現も提供する。図３０では、複数のユーザが生成した車を有しており、これらは道路上で互いに接近している。
【００７５】
図３１は、別の実施形態であり、図２７で示された実施形態に似ている。図３１に示される実施形態では、アプリケーションは、道路上で最大で２台の車が生成されることを可能にする。ユーザが別の車を生成しようとすれば、アプリケーションは、全てのスロットが現在一杯であることをユーザに知らせるエラーメッセージで応答する。
【００７６】
図３２は、より複雑な道路及び交通の実装を示す実施形態である。このような実施形態は、複数のプレーヤによるレースゲームに有益であってもよい。このような実施形態は、向上した道路物理、地図から落ちる能力、他の車に衝突する能力、及び複数の相手を含んでもよい。実装され得る他の特徴は、車の出力を増大させる及び車をドリフトさせる又は特定の物理モデルに基づいて他の活動を行わせるための能力を含む。いくつかの実施形態では、複数の異なるレースが、同じ仮想道路で行われてもよい。さらなる実施形態では、ユーザは、道路を滑り易くすること等により、ゲームプレイの間に道路を変化させてもよい。また、従来のレースゲームの様々な他の特徴が、この発明の実施形態に組み込まれてもよい。いくつかの実施形態では、ブラシストローク環境でそれがどのように見えるかに依存して、ローポリの簡略スタイルが道路及び車に対して望ましい場合がある。
【００７７】
図３３及び３４は、コンテンツ作成アプリケーションのユーザインターフェースの実施形態を示す。図２５−３２で示された実施形態と同様に、図３３で示された実施形態は、コンテンツ作成者に仮想環境へのウインドウを許可する。図３３に示される実施形態では、コンテンツ作成者は、パレットビューを有効又は無効にするためにパレットアイコンにタップし得る。これは、ユーザがアーティストのタブレット構成のより大きな視覚化を見ることを可能にする。図３４は、スケッチにアクセスするためのインターフェースを示す。図示の実施形態では、スケッチを開くために、ユーザは、メインメニューからスケッチ選択ダイアログを入力して、開くためにスケッチのプレビューをタップする。
【００７８】
様々な実施形態において、説得力のあるユーザインターフェースを提供することが重要である。例えば、いくつかの実施形態では、パレットの位置は、ＡＲメニューオーバレイがその表面に適用され得る詳細のレベルに追跡される。このような実施形態では、メニューは、高レベルの詳細及び滑らかさでアニメーションされる。オブジェクトは現れたり消えたりするのではなく、漕ぎ、移動し、変形し、及び遷移する。さらなる実施形態では、メニューは「ＡＲリーフ」の概念を組み込み、それによりいくつかのメニューアイテムは、物理的周辺の空間に現れて、相互作用可能である。
【００７９】
メニューは、様々な機能を提供してもよい。例えば、一実施形態では、メニューは、ブラシタイプを選択するための能力を提供する。別の実施形態では、デスクトップコンピューティングとは対照的に相互作用設計キューが物理的塗料混合から取られる。こうした機能の各々が、メニューのアニメーションに同期される説得力のある触覚フィードバックと組み合わされてもよい。
【００８０】
図３５は、様々な実施形態と併せて使用され得るタブレットを示す。図示の実施形態は、感圧無線タブレットである。タブレットは、側部における内側に３１ｍｍのケーシングを有しており、これによってユーザがタブレットを縦方向に持つことになり得る。タブレットは、上端にアンテナを含んでもよい。
【００８１】
本明細書に記載の実施形態は、ユーザに多数の可能な相互作用を提供する。例えば、実施形態は、タブレットを持つために提案された手の位置を支持するための「オフ」状態を含み、見本の「リーフ」から色を選択し、タブレット上に選択された色を所定の量だけ置き、及び混合して新しい色を作成／セーブする処理を反復する。また、実施形態は、状態変化、ジェスチャ認識、ツール選択（例えば、ブラシストローク）、ファイル操作、及び他の操作も含んでもよい。
【００８２】
図３６−３８は、ユーザがタブレットを握る方向がユーザに利用可能な機能を制御する実施形態を示す。パレットの周囲の６自由度及び３次元性を利用する実施形態では、ユーザによってタブレットが握られている方向に基づいてメニューがコンテキスト化されてもよい。例えば、このような実施形態は、３つのタイプの相互作用、すなわち、（１）一次相互作用：塗装及びブラシ相互作用（通常方向）、（２）二次相互作用：ブラシ選択（下方に角度付け／上端を見越す）、及び（３）三次相互作用：セーブ、クリア、終了（タブレットを上方左に角度付ける）を組み込んでもよい。
【００８３】
図３６は、一次相互作用、塗装及びブラシのサイジングの実施形態を示す。図３７は、ユーザにクイックアクションオプションを提示する第２の方向をユーザに許可する実施形態を示す。例えば、ユーザがユーザに向かってタブレットを傾けると、見本はタブレットの背後にアニメーションして、塗料は溶けて消える。このような方向では、塗料及び材料は持続しない。この方向は、以下のオプション、すなわち、取り消し、やり直し、消しゴム、パレットクリア、及びセーブを提供してもよい。
【００８４】
図３８は、状態変化を許可するさらなる第３の方向を示す。この三次ＵＩは、地面に垂直になるようにタブレットを９０度傾けることを必要とする。次に、ユーザは、複数のラベルを付された「レイヤ」、すなわち、塗装、ブラシ、材料及びオプションを提示される。さらに、インターフェースは、複数のオプション、例えば、セーブ、テキスト入力の必要性を避けるために自動ネーミングスキームへの傾斜、描画空間のクリア、ロード、及びアプリケーションの終了（必要であれば）を提供してもよい。この方向では、描画する指を所定の状態においてボタンをクリックし、親指ボタンを保持し、（複数のレイヤの１つの中で）タブレット位置をＹ軸に横断し、ボタンを解放することを含む様々な相互作用がサポートされてもよい。
【００８５】
図３９は、一実施形態における仮想又は拡張現実環境で使用するためにタブレットがどのようにレイアウトされ得るかの例示である。図示の実施形態では、「ＡＲリーフ」は少なくとも２”ｘ２”である。そして、オンタブレットタッチ相互作用は、１”ｘ１”よりも小さくないべきである。
【００８６】
図４０は、一実施形態における仮想又は拡張環境でより複雑なオブジェクトを生成するために使用される初期オブジェクトの例示である。図示の実施形態では、初期３Ｄオブジェクト、円錐、がユーザに提示される。ユーザは、円錐を使用して木の形状を作り、次に、木を仮想又は拡張環境内に再配置する。複数の実施形態において、様々なタイプの初期オブジェクトが提示されてもよい。
【００８７】
図４１は、一実施形態による方法４００を示すフローチャートである。図示の実施形態では、システムは、第１に、仮想又は拡張環境においてオブジェクトの位置を決定する（４０２）。次に、システムは、オブジェクトに対して少なくとも１つの観察者の視点を決定する（４０４）。次に、システムは、位置及び視点に少なくとも部分的に基づいて出力される触覚効果を決定する（４０６）。そして最後に、触覚効果を出力する。
【００８８】
（概論）
上記の方法、システム及びデバイスは例示である。様々な構成によって、適宜、様々なプロシージャ又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又は様々なステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された特徴は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
【００８９】
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、構成はこうした特定の詳細なしで実施されてもよい。例えば、周知の回路、処理、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
【００９０】
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した処理として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。さらに、操作の順序は並び替えられてもよい。処理は、図面に含まれない追加のステップを有してもよい。さらに、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
【００９１】
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムのコンポーネントであってもよく、他の規則が本発明の応用に優先し又はそれを修正してもよい。また、上記の要素が検討される前、間又は後で多くのステップが行われてもよい。したがって、先の記載によって請求項の範囲は縛られない。
【００９２】
本明細書における「適合」又は「構成」の使用は、追加のタスク又はステップを実行するように適合又は構成されるデバイスを排除しない開放的かつ包括的な言語を意図している。さらに、「基づいて」の使用は開放的かつ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
【００９３】
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
【００９４】
このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ；ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ；ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ；ＦＰＧＡ）、及び状態機械を含んでもよい。このようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ；ＰＩＣ）、プログラマブル論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ；ＰＬＤ）、プログラマブルＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ；ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ；ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似のデバイス等のプログラマブル電子デバイスをさらに備えてもよい。
【００９５】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶デバイスを備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他のデバイスは、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイス等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００９６】
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。したがって、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。
【図１】
2019200783.tif 000003
【図２】
2019200783.tif 000004
【図３】
2019200783.tif 000005
【図４】
2019200783.tif 000006
【図５】
2019200783.tif 000007
【図６】
2019200783.tif 000008
【図７】
2019200783.tif 000009
【図８】
2019200783.tif 000010
【図９】
2019200783.tif 000011
【図１０】
2019200783.tif 000012
【図１１】
2019200783.tif 000013
【図１２】
2019200783.tif 000014
【図１３】
2019200783.tif 000015
【図１４】
2019200783.tif 000016
【図１５】
2019200783.tif 000017
【図１６】
2019200783.tif 000018
【図１７】
2019200783.tif 000019
【図１８】
2019200783.tif 000020
【図１９】
2019200783.tif 000021
【図２０】
2019200783.tif 000022
【図２１】
2019200783.tif 000023
【図２２】
2019200783.tif 000024
【図２３】
2019200783.tif 000025
【図２４】
2019200783.tif 000026
【図２５】
2019200783.tif 000027
【図２６】
2019200783.tif 000028
【図２７】
2019200783.tif 000029
【図２８】
2019200783.tif 000030
【図２９】
2019200783.tif 000031
【図３０】
2019200783.tif 000032
【図３１】
2019200783.tif 000033
【図３２】
2019200783.tif 000034
【図３３】
2019200783.tif 000035
【図３４】
2019200783.tif 000036
【図３５】
2019200783.tif 000037
【図３６】
2019200783.tif 000038
【図３７】
2019200783.tif 000039
【図３８】
2019200783.tif 000040
【図３９】
2019200783.tif 000041
【図４０】
2019200783.tif 000042
【図４１】
2019200783.tif 000043
【手続補正書】
【提出日】令和1年6月24日(2019.6.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
図４１は、一実施形態による方法４００を示すフローチャートである。図示の実施形態では、システムは、第１に、仮想又は拡張環境においてオブジェクトの位置を決定する（４０２）。次に、システムは、オブジェクトに対して少なくとも１つの観察者の視点を決定する（４０４）。次に、システムは、位置及び視点に少なくとも部分的に基づいて出力される触覚効果を決定する（４０６）。そして最後に、システムは、触覚効果を出力する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想又は拡張現実環境においてオブジェクトの位置を決定するステップと、
前記オブジェクトに対して少なくとも１つの観察者の視点を決定するステップと、
前記位置及び前記視点に少なくとも部分的に基づいて出力される触覚効果を決定するステップと、
前記触覚効果を出力するステップと
を含む、方法。
【請求項２】
前記少なくとも１つの観察者の前記視点は、一人称の視点である、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの観察者の前記視点は、三人称の視点である、請求項１に記載の方法。
【請求項４】
前記少なくとも１つの観察者の前記視点は、前記オブジェクトの中からである、請求項１に記載の方法。
【請求項５】
前記オブジェクトは、前記仮想又は拡張現実環境を横断する、請求項１に記載の方法。
【請求項６】
前記オブジェクトは、前記仮想又は拡張現実環境の中に描かれる経路に沿って横断する、請求項１に記載の方法。
【請求項７】
前記オブジェクトは、車両、アバター、ツール、又はユーザが作成したオブジェクトの１つを含む、請求項１に記載の方法。
【請求項８】
仮想又は拡張現実環境において第１のユーザインターフェース要素を表示するステップであって、前記第１のユーザインターフェース要素は第１の軸に沿う複数のレイヤを含み、前記複数のレイヤの各々は第１の特性に関連付けられるステップと、
前記第１の軸に沿うオブジェクトの第１の移動に関連付けられる入力信号を受信するステップと、
前記オブジェクトの位置に対応する前記レイヤに関連付けられる第１の特性を識別するステップと
を含む、方法。
【請求項９】
前記第１の特性はアクションを含み、
前記アクションを実行するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記アクションは、状態変化を含む、請求項９に記載の方法。
【請求項１１】
アクションに関連付けられる第２のユーザインターフェース要素を表示するステップをさらに含む、請求項８に記載の方法。
【請求項１２】
前記第２のユーザインターフェース要素は、前記第１のユーザインターフェース要素に近接して表示されるボタンを含む、請求項１１に記載の方法。
【請求項１３】
前記第２のユーザインターフェース要素は、前記第１のユーザインターフェース要素をアクティブ化するためのボタンを含む、請求項１１に記載の方法。
【請求項１４】
前記レイヤに関連付けられる第１の特性を識別するステップは、前記第１の軸に沿う前記オブジェクトの移動が停止したことを決定することを含む、請求項８に記載の方法。
【請求項１５】
第２の軸における前記オブジェクトの第２の移動を識別するステップ、及び前記第２の軸における移動に応答してアクションを実行するステップをさらに含む、請求項８に記載の方法。
【請求項１６】
前記第２の軸における前記オブジェクトの前記第２の移動は傾斜である、請求項１５に記載の方法。
【請求項１７】
前記第１のユーザインターフェース要素は、
第２の軸に沿う複数のレイヤをさらに含み、前記複数のレイヤの各々は第２の特性に関連付けられ、
前記第２の軸に沿う前記オブジェクトの移動に関連付けられる入力信号を受信するステップと、
前記オブジェクトの位置に対応する前記レイヤに関連付けられる前記第２の特性を識別するステップと
をさらに含む、請求項８に記載の方法。
【請求項１８】
前記第１のユーザインターフェース要素は、メニューを含む、請求項８に記載の方法。
【請求項１９】
前記オブジェクトは、ユーザに制御される指示部を含む、請求項８に記載の方法。
【請求項２０】
前記オブジェクトが前記第１の軸に沿って前記複数のレイヤの各々に接近するときに触覚効果を出力するステップをさらに含む、請求項８に記載の方法。
【請求項２１】
前記オブジェクトが前記第１の軸に沿って前記複数のレイヤの各々に近接しているときに触覚効果を出力するステップをさらに含む、請求項８に記載の方法。
【請求項２２】
仮想又は拡張現実環境においてオブジェクトの位置を決定すること、
前記オブジェクトに対して少なくとも１つの観察者の視点を決定すること、
前記位置及び前記視点に少なくとも部分的に基づいて出力される触覚効果を決定すること、及び
前記触覚効果を出力すること
をプロセッサに行わせるように構成されるプロセッサ実行可能プログラムコードを含む、非一時的なコンピュータ可読媒体。
【請求項２３】
仮想又は拡張現実環境において第１のユーザインターフェース要素を表示することであって、前記第１のユーザインターフェース要素は第１の軸に沿う複数のレイヤを含み、前記複数のレイヤの各々は第１の特性に関連付けられること、
前記第１の軸に沿うオブジェクトの第１の移動に関連付けられる入力信号を受信すること、
前記オブジェクトの位置に対応する前記レイヤに関連付けられる第１の特性を識別すること
をプロセッサに行わせるように構成されるプロセッサ実行可能プログラムコードを含む、非一時的なコンピュータ可読媒体。
【外国語明細書】
2019200783000001.pdf