(57)【要約】      （修正有）【課題】ユーザのタッチパネル上でのジェスチャ操作により映像に触覚効果を付加するシステム及び方法を提供する。【解決手段】方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるタッチパネル面上でのジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。【選択図】図６
2019125376.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を受信するステップと、
触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、
触覚効果に関係付けられるジェスチャを検出するステップと、
前記ジェスチャに部分的に基づいて触覚効果を決定するステップと、
前記触覚効果を前記映像信号内の場所と関係付けるステップと、
前記映像信号及び関係付けられた触覚効果を記憶するステップと
を含む、コンテンツオーサリングのための方法。
【請求項２】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項１に記載の方法。
【請求項３】
前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項２に記載の方法。
【請求項４】
前記映像信号は、移動装置のカメラから受信される信号を含む、請求項１に記載の方法。
【請求項５】
前記ジェスチャに基づいて触覚効果を決定するステップは、ユーザが選択した触覚効果を決定することを含む、請求項１に記載の方法。
【請求項６】
前記映像信号及び前記関係付けられた触覚効果を記憶するステップは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項１に記載の方法。
【請求項７】
前記映像信号及び関係付けられた触覚効果を記憶するステップは、前記映像信号を前記触覚効果とは別のファイルに記憶することを含む、請求項１に記載の方法。
【請求項８】
前記映像信号にステッカーを関係付けるステップを更に含む、請求項１に記載の方法。
【請求項９】
前記ステッカーは、ユーザが選択したステッカーを含む、請求項７に記載の方法。
【請求項１０】
前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するステップを更に含む、請求項７に記載の方法。
【請求項１１】
映像信号を受信して、前記映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、
ジェスチャを検出して、前記ジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、
前記センサ及び前記ディスプレイと通信するプロセッサであって、
前記センサ信号を受信して、前記ジェスチャに部分的に基づいて触覚効果を決定すること、
触覚効果を前記映像信号内の場所と関係付けること、及び
前記映像信号及び関係付けられた触覚効果を記憶すること
を行うように構成されるプロセッサと
を備える、コンテンツオーサリングのためのシステム。
【請求項１２】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項１１に記載のシステム。
【請求項１３】
前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項１２に記載のシステム。
【請求項１４】
画像をキャプチャするように構成されるカメラを更に備え、前記映像信号が前記画像に関係付けられる、請求項１１に記載のシステム。
【請求項１５】
前記ユーザ入力に基づいて触覚効果を決定することは、ユーザが選択した触覚効果を決定することを含む、請求項１１に記載のシステム。
【請求項１６】
前記映像信号及び前記関係付けられた触覚効果を記憶することは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項１１に記載のシステム。
【請求項１７】
前記プロセッサは、前記映像信号にステッカーを関係付けるように更に構成される、請求項１１に記載のシステム。
【請求項１８】
前記ステッカーは、ユーザが選択したステッカーを含む、請求項１７に記載のシステム。
【請求項１９】
前記プロセッサは、前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するように更に構成される、請求項１８に記載のシステム。
【請求項２０】
前記プロセッサと通信する触覚出力装置を更に備える、請求項１１に記載のシステム。
【請求項２１】
前記触覚出力装置は、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含む、請求項２０に記載のシステム。
【請求項２２】
プロセッサによって実行されると、前記プロセッサに
映像信号を受信すること、
触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信すること、
触覚効果に関係付けられるジェスチャを検出すること、
前記ジェスチャに基づいて触覚効果を決定すること、
前記触覚効果を前記映像信号内の場所と関係付けること、及び
前記映像信号及び関係付けられた触覚効果を記憶すること
を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ユーザ生成コンテンツをオーサリングするためのシステム及び方法に関する。
（関連出願の相互参照）
本願は、２０１４年１月１６日に提出され、“Ｕｓｅｒ  Ｇｅｎｅｒａｔｅｄ  Ｃｏｎｔｅｎｔ  Ａｕｔｈｏｒｉｎｇ”と題された仮出願第６１／９２８，３５７号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
【背景技術】
【０００２】
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置がタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。こうしたタッチ可能装置に多くの映像が表示される場合がある。更に、こうした装置は、映像作成及び編集の処理機能を有する。多くの装置は、触覚機能が更に装備される。従って、ユーザ生成コンテンツをオーサリングするためのシステム及び方法が必要とされている。
【発明の概要】
【０００３】
本発明の実施形態は、映像表示機能及び触覚信号を決定して触覚効果を出力する機能を特徴とする装置を含む。一部の実施形態では、こうした触覚効果は、タッチ領域において１つ以上の特徴をシミュレートする表面ベースの触覚効果を含んでもよい。限定されないが、特長には、テクスチャの変化、及び／又は境界、障害物若しくは表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性のシミュレーションが含まれてもよい。一部の実施形態では、触覚効果は、表面変形、信号、及び当技術分野で周知の触覚効果を含んでもよい。一部の実施形態では、こうした触覚効果は、映像内の特徴、例えば、アクション効果又は映像内で発生する音声及び／又はアクションに関係付けられる効果をシミュレートする又は高めるために使用されてもよい。
【０００４】
一実施形態では、コンテンツオーサリングのための方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。
【０００５】
別の例示の実施形態では、コンテンツオーサリングのためのシステムは、映像信号を受信して映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、ジェスチャを検出してジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、センサ及びディスプレイと通信するプロセッサとを備え、プロセッサは、センサ信号を受信してジェスチャに部分的に基づいて触覚効果を決定し、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶するように構成される。
【０００６】
別の例示の実施形態は、プログラムコードを含む一時的でないコンピュータ可読媒体を含み、プログラムコードは、プロセッサによって実行されると、プロセッサに、映像信号を受信させ、触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信させ、触覚効果に関係付けられるジェスチャを検出させ、ジェスチャに基づいて触覚効果を決定させ、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶させるように構成される。
【０００７】
こうした例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
【図面の簡単な説明】
【０００８】
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
【図１Ａ】ユーザ生成コンテンツをオーサリングするための例示のシステムを示す。
【図１Ｂ】図１Ａで示されたシステムの一実施形態の外観図を示す。
【図１Ｃ】図１Ａで示されたシステムの別の実施形態の外観図を示す。
【図２Ａ】ユーザ生成コンテンツをオーサリングするための例示の実施形態を示す。
【図２Ｂ】ユーザ生成コンテンツをオーサリングするための別の例示の実施形態を示    す。
【図３Ａ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図３Ｂ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図４Ａ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図４Ｂ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図５Ａ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図５Ｂ】ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態    を示す。
【図６】ユーザ生成コンテンツをオーサリングするための例示の実施形態のための方    法のフローチャートである。
【発明を実施するための形態】
【０００９】
次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
【００１０】
（ユーザ生成コンテンツをオーサリングするための装置の例示）
本開示の例示の実施形態は、タブレット、Ｅリーダ、携帯電話、又はラップトップ若しくはデスクトップコンピュータ又は装着可能装置等のコンピュータ等の電子装置を含む。
電子装置は、ディスプレイ（例えば、タッチスクリーンディスプレイ）、メモリ、及びこうした要素の各々と通信するプロセッサを備える。
【００１１】
例示の装置は、１つ以上の記録された映像を記憶するように構成されるメモリを含む。こうした映像は、リモートデータソース、例えば、インターネット上のデータベースからデータ接続を介してダウンロードされる映像を含んでもよい。代替的に、こうした映像は、例示の装置のユーザによってキャプチャされた映像を含んでもよい。例えば、例示の装置はデジタルカメラ（例えば、移動装置上の前部又は後部に設置されるカメラ）を含んでもよく、これによりユーザはデジタル画像及び映像をキャプチャしてもよい。例示の装置は、ユーザジェスチャを検出して、ユーザジェスチャに基づいてこうした映像にコンテンツを適用するセンサを含む。一部の実施形態では、コンテンツは、ユーザ生成コンテンツを含んでもよい。一部の実施形態では、コンテンツは、触覚効果、グラフィックス、音声又は他の種類のコンテンツを含んでもよい。
【００１２】
例示の実施形態では、移動装置は、本明細書に開示の実施形態によるコンテンツオーサリングのためのプログラムコードを含んでもよい。例示の実施形態では、このプログラムコードは、コンテンツオーサリング用のユーザインターフェースを表示するためのプログラムコードを含んでもよい。例示の実施形態によれば、ユーザは、コンテンツオーサリングのユーザインターフェースにおいて利用可能なカメラインターフェースを使用することにより映像をキャプチャしてもよい。例えば、一実施形態では、ユーザは、装置に関係付けられるカメラを使用して猫の映像をキャプチャしてもよい。代替的に、ユーザは、コンピュータ装置のデータストアで利用可能な又はネットワーク接続を介して利用可能な既存の映像を選択してもよい。例えば、ユーザは、最初から組み込まれている映像、例えば、スキーヤーの映像を選択してもよい。
【００１３】
例示の実施形態では、一旦映像を選択すると、ユーザはコンテンツオーサリングのインターフェースを介して触覚コンテンツを映像に適用してもよい。例示の実施形態では、ユーザは、映像内の場所を最初に選択することにより触覚コンテンツを適用してもよい。例えば、例示の実施形態では、ディスプレイの一部が映像からのフレームのシーケンスを含んでもよく、ユーザはそのフレームに関係付けられる映像内の場所を選択するためにこれと相互作用してもよい。例示の実施形態では、一旦映像内の場所を選択すると、ユーザは触覚効果をその場所に割り当ててもよい。一部の実施形態では、ユーザは、以下に更に詳細に記載されるように、ジェスチャを用いて触覚効果を割り当ててもよい。
【００１４】
例示の実施形態では、ユーザは、１つ以上の既定の触覚効果を選択してもよい。こうした効果は、触覚効果、感情をシミュレートするように構成される効果、アクションをシミュレートするように構成される効果、又は他の種類の効果を含んでもよい。一部の実施形態では、既定の触覚効果は、多次元触覚効果を含んでもよい。例えば、一部の実施形態では、触覚効果は、振動、表面ベースの効果、表面変形、又は当技術分野で周知の他の触覚効果の１つ以上を含んでもよい。更に、ユーザは、こうした効果の特徴を修正してもよい。例えば、ユーザは、持続時間、強度、周波数、又は任意の他の特徴を触覚効果に割り当ててもよい。上述の実施形態では、ユーザは、触覚効果を猫の映像に割り当ててもよい。
触覚効果は、猫がのどを鳴らすことをシミュレートするように構成される振動を含んでもよい。
【００１５】
一部の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置と相互作用すること（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。こうしたジェスチャは、移動装置における１つ以上のセンサによりキャプチャされて、触覚効果に変換されてもよい。一部の実施形態では、装置における（複数の）触覚出力装置が、装置に対してＸ、Ｙ又はＺ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ上でオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、Ｘ平面（左又は右）、Ｙ平面（上又は下）、Ｚ平面（ディスプレイの中へ又は外へ）、又はこうした各面のベクトルに移動するオブジェクト（例えば、以下に記載されるように適用されるステッカー）をシミュレートするように構成されてもよい。こうした触覚効果は、以下に更に詳細に検討される１つ以上の異なる種類の触覚出力装置により出力されてもよい。
【００１６】
一部の実施形態では、ユーザは多方向又は多次元触覚効果を生成してもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される１つ以上のセンサ（例えば、加速度計、ジャイロスコープ、カメラ、ＧＰＳ、又は他のセンサ）及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ（例えば、タッチ、タップ、又はスワイプ）を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい（例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる）。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャをシミュレートするように構成される１つ以上の触覚効果を決定してもよい。例えば、プロセッサは、装置を下方に動かしたジェスチャをシミュレートするためにＺ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにＸ又はＹ平面に出力する触覚効果（例えば、タッチスクリーンの表面における表面ベースの効果）も決定してもよい。
【００１７】
更に、例示の実施形態では、装置は、カメラ（例えば、移動装置の前部又は後部向きのカメラ）から受信したデータに部分的に基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、ユーザは、カメラの可視範囲内でジェスチャを行ってもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャに関係付けられる触覚効果を決定してもよい。例えば、プロセッサは、ジェスチャをシミュレートするように構成される触覚効果を決定してもよい。一部の実施形態では、ジェスチャは、多次元ジェスチャを含んでもよい。
このような実施形態では、カメラは、テニス等のゲームをプレーしているユーザの映像をキャプチャしてもよい。プロセッサは、ゲームに関係付けられる様々なジェスチャ（例えば、フォアハンド又はバックハンド等の手の動き、及びステップ等の足のジェスチャ）を決定してもよい。プロセッサは、こうしたジェスチャに関係付けられる触覚効果を決定してもよい。こうした触覚効果は、ユーザの映像に関係付けられてもよい。代替的に、こうした触覚効果は、触覚ライブラリに関係付けられて、他のアプリケーション又は映像で使用するために後で選択されてもよい。
【００１８】
一部の実施形態では、カメラは、ジェスチャをキャプチャし、こうしたジェスチャに関係付けられる触覚効果を決定し、次に触覚効果を異なる映像に関係付けてもよい。例えば、カメラは、ユーザが手をたたく等のジェスチャを行うことをキャプチャしてもよい。プロセッサは、このジェスチャに関係付けられる触覚効果を決定してもよい。この新しい触覚効果は、利用可能な触覚効果の触覚ライブラリに記憶されてもよい。更に、この新しい触覚効果は、映像、例えば、滑降するスキーヤーの映像に関係付けられてもよい。例えば、このような実施形態では、触覚効果は、例えば、スキーヤーが他のスキーヤーを追い越す、オブジェクトに衝突する、ターンする場合等、イベントが発生する映像内の場所に配置されてもよい。
【００１９】
例示の実施形態では、ユーザが触覚効果を割り当てた後で、ユーザインターフェースは効果が割り当てられた映像内の場所を示す指標を表示してもよい。例えば、触覚効果を適用するためにユーザが場所を選択したフレームのシーケンスは、触覚効果の場所においてオーバレイを含んでもよい。更に、オーバレイは、映像の長さと比較して触覚効果の持続時間を示すようにスケーリングされてもよい。
【００２０】
例示の実施形態では、ユーザは、映像内の場所にステッカー又はタグを更に適用してもよい。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。代替的に、ステッカーは、ユーザによって生成されたグラフィックス、アニメーション及び／又は音声効果を含んでもよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、先に検討された実施形態では、ユーザは、“ｐｕｒｒ”と綴る白のレタリングを有する赤いタグを含むステッカーを生成してもよい。次に、ユーザは、のどを鳴らすこと（ｐｕｒｒ）をシミュレートする触覚効果と同時に現れるようにこのステッカーを割り当ててもよい。
【００２１】
一部の実施形態では、オーサリングインターフェースは、音声効果をオーサリングするための機能を更に含んでもよい。例えば、ユーザは、既存の音声効果を選択し、又はインターフェースを使用して、例えばマイクロホンで若しくは装置と関係付けられた音声アプリケーションで新しい音声効果を作成してよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所に音声効果を適用してもよい。
【００２２】
例示の実施形態では、ユーザは、多数の種類のコンテンツ、例えば、多数の触覚効果、音声効果及びステッカーを映像中の多くの場所に適用してもよい。一旦ユーザがコンテンツの適用を完了すると、オーサリングアプリケーションは、映像、触覚効果、音声効果及びステッカーを記憶するであろう。例示の実施形態では、このデータは、単一のメディアファイル、例えば、ＭＰ４メディアファイルに一緒に記憶されてもよい。代替的に、各構成要素は、別々にファイルに記憶されてもよい。例えば、映像ファイルはその元のフォーマットで記憶されてもよく、音声ファイルはその元のフォーマットで記憶されてもよく、触覚データを含む触覚トラックは別に記憶されてもよい。
【００２３】
例示の実施形態では、次に、ユーザは、映像ファイルを再生して、割り当てられた触覚効果を感じると共に、割り当てられたステッカーを見てもよい。例えば、先に検討された実施形態では、ユーザが猫の映像を再生して、触覚効果が割り当てられた場所に映像が到達すると、装置は触覚効果を出力してもよい。更に、装置は、ステッカー、例えば、先に検討された実施形態では、“ｐｕｒｒ”というテキストを有するステッカー及び／又は関連付けられた音声効果を出力してもよい。更に例示の実施形態では、ユーザは映像を他のユーザに送信してもよく、そのユーザは映像を見ること及び割り当てられた触覚効果を感じること及びステッカーを見ることが可能であってもよい。
【００２４】
（ユーザ生成コンテンツをオーサリングするための例示のシステム）
図１Ａは、ユーザ生成コンテンツをオーサリングするための例示のシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。
【００２５】
ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。
【００２６】
Ｉ／Ｏ要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ（例えば、移動装置の前部又は後部向きのカメラ）、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
【００２７】
（複数の）音声／映像出力装置１１５は、（複数の）プロセッサ１０２から信号を受信して、ユーザに音声又は映像出力を提供するように構成される１つ以上の装置を含む。例えば、一部の実施形態では、（複数の）音声／映像出力装置１１５は、タッチスクリーンディスプレイ、ＬＣＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、プロジェクションディスプレイ、又は当技術分野で周知の何らかの他のディスプレイを含んでもよい。更に、音声／映像出力装置は、音声をユーザに出力するように構成される１つ以上のスピーカを含んでもよい。
【００２８】
システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの接触入力を感知するように構成される任意の表面を表す。
１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成されてもよい。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上（ｏｖｅｒｔｏｐ）に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。一部の実施形態では、１つ以上のセンサ１０８は、移動装置の運動を検出するように構成される１つ以上のセンサ（例えば、加速度計、ジャイロスコープ、カメラ、ＧＰＳ、又は他のセンサ）を更に含む。こうしたセンサは、Ｘ、Ｙ又はＺ平面に装置を移動させるユーザ相互作用を検出するように構成されてもよい。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。更に、一部の実施形態では、ユーザ相互作用は、装置から離れた多次元ユーザ相互作用を含む。例えば、一部の実施形態では、装置に関係付けられるカメラが、ユーザの動き、例えば、手、指、体、頭、目若しくは足の動作又は別の人物若しくはオブジェクトとの相互作用を検出するように構成されてもよい。
【００２９】
一部の実施形態では、入力は、ジェスチャを含んでもよい。ジェスチャは、意味又はユーザの意思を伝達する何らかの体の動きである。単純なジェスチャがより複雑なジェスチャを形成するように結合されてもよいことが理解されるであろう。例えば、指をタッチセンサ面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指をタッチセンサ面から取り除くことは別の「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的大きい場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的小さい場合、結合されたジェスチャは「スミア（ｓｍｅａｒｉｎｇ）」、「スマッジ（ｓｍｕｄｇｉｎｇ）」又は「フリック」と呼ばれてもよい。任意の数の２次元又は３次元の単純な又は複雑なジェスチャが様々な態様で結合されて、限定されないが、装置への多数の指の接触、掌又は拳の接触、又は近接を含む任意の数の他のジェスチャを形成してもよい。また、ジェスチャは、加速度計、ジャイロスコープ又は他の運動センサを有する装置によって認識され、電気信号に変換される任意の形態の手の動きであり得る。このような電気信号は、仮想サイコロを振る等の動的効果をアクティブ化することができ、センサは動的効果を生成するユーザの意思をキャプチャする。
【００３０】
この例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。
例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。
【００３１】
一部の実施形態では、１つ以上の触覚出力装置が、装置に対してＸ、Ｙ又はＺ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ内のオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、Ｘ平面（左又は右）、Ｙ平面（上又は下）、Ｚ平面（ディスプレイの中へ又は外へ）、又はこうした面のベクトルに移動するオブジェクト（例えば、以下に記載されるように張られるステッカー）をシミュレートするように構成されてもよい。こうした多次元の触覚効果が特徴をシミュレートしてもよい。
【００３２】
本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータ等を使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
【００３３】
更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電引力を使用してもよい。同様に、一部の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。
このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。
【００３４】
プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近い又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において、又はコンピュータ装置１０１の別の部分（例えば、その筐体又は別の入力装置）において異なるテクスチャ又は他の効果をシミュレートしてもよい。
【００３５】
当業者であれば、摩擦係数を変化させること又は表面上のテクスチャをシミュレートすること等の触覚効果を出力するために多くの技術が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ  ｐｏｒｏｓｉｔｙ  ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。
【００３６】
一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
【００３７】
メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８が、ユーザ生成コンテンツオーサリングを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
【００３８】
触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。例えば、一実施形態では、モジュール１２６は、接触の場所に基づいて、生成すべき触覚効果を決定するコードを含む。例えば、触覚効果決定モジュール１２６は、ユーザによって選択され得る１つ以上の最初から組み込まれている触覚効果を含んでもよい。こうした触覚効果は、（複数の）触覚出力装置１１８が生成することができる任意の種類の触覚効果を含んでもよい。更に、一部の実施形態では、モジュール１２６は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性を操作するように構成されるプログラムコードを含んでもよい。一部の実施形態では、モジュール１２６は、例えば、グラフィカルユーザインターフェースを介して、こうした特性をユーザが操作できるようにするプログラムコードを含んでもよい。
【００３９】
更に、一部の実施形態では、モジュール１２６は、ユーザ相互作用に基づいて触覚効果を決定するように構成されるプログラムコードを含んでもよい。例えば、モジュール１２６は、タッチ面１１６におけるユーザ入力又は移動装置の動作を検出するように構成される慣性センサ等の他のセンサを監視するように構成されてもよい。モジュール１２６は、この入力を検出して、入力に基づいて触覚効果を生成してもよい。例えば、一部の実施形態では、モジュール１２６は、ユーザ相互作用をシミュレートするように構成される触覚効果を決定するように構成されてもよい。
【００４０】
触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力装置１１８に送信させ、それにより、触覚出力装置１１８に選択された触覚効果を生成させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、触覚効果に関する目標座標と共に所望のテクスチャが示されて、表面（及び／又は他の装置要素）の適切な変位を生成して触覚効果を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンが押されたことをシミュレートする。
【００４１】
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。
タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。
【００４２】
図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を特徴とする。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴付けるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
【００４３】
図２Ａ−２Ｂは、ユーザ生成コンテンツをオーサリングするための装置の例示の実施形態を示す。図２Ａは、タッチ可能ディスプレイ２０２を特徴とするコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
【００４４】
図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を特徴とする。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８、２２２はディスプレイに直接結合されているが、触覚出力装置２１８、２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
【００４５】
一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
【００４６】
一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、同様に、異なる場所でタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を特徴としてもよい。
【００４７】
次に図３Ａを参照すると、図３Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図３Ａに示された実施形態は、コンピュータ装置３００を含む。図３Ａに示されたように、コンピュータ装置３００は、タッチスクリーンディスプレイ３０２を備える。更に、図３００に示されたように、多数の映像３０４がユーザに選択されるように利用可能である。映像３０４は、ローカルに保存された映像、リモートデータベース（例えば、インターネットアクセス可能データベース）、プライベートデータベースに保存された映像、コンピュータ装置３００で利用可能なカメラを使用してキャプチャされた映像、又は他の何らかの種類の映像等の任意の数の利用可能な映像を含んでもよい。
【００４８】
図３Ａに示される実施形態では、ユーザは、映像と相互作用するジェスチャを行うことによって１つ以上の映像３０４を選択してもよい。例えば、図３Ａに示される実施形態では、ユーザは、タッチスクリーン３０２上でジェスチャを行うことによって映像３０４と相互作用してもよい。他の実施形態では、ユーザは、コンピュータマウス、タッチパッド、又は他のユーザインターフェース装置を使用してそれを選択することにより映像と相互作用してもよい。一旦映像の１つを選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて生成されたコンテンツを映像に適用してもよい。
【００４９】
図３Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図３Ｂに示された実施形態は、コンピュータ装置３５０を含む。図３Ｂに示されたように、コンピュータ装置３５０は、タッチスクリーンディスプレイ３０２を備える。図３Ｂに示されたように、ユーザは、利用可能な映像の１つを選択しており、ユーザ生成コンテンツを適用しているところである。
【００５０】
図３Ｂに示されたように、移動装置３５０は、映像場所３５２のタイムラインを示すユーザインターフェースを備える。一部の実施形態では、映像場所３５２は、選択された映像内のフレームの縮小図を含む。タッチスクリーン３０２の右側の映像場所３５２Ａは、映像の最初の場所を含んでもよい。タッチスクリーン３０２の左側の映像場所３５２Ｂは、映像の終了に向かう場所を含んでもよい。ユーザは、触覚効果を配置するために映像場所３５２を選択するジェスチャを行ってもよい。ユーザが映像場所３５２を選択すると、表示領域３５４は、映像内のその場所のより大きな画像を示してもよい。一旦場所を選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて映像内のその場所に触覚効果等のユーザ生成コンテンツを適用してもよい。図３Ｂに示されるように、一部の実施形態では、映像場所３５２のこのタイムラインは、表示領域３５４において映像をオーバレイしてもよい。
【００５１】
図４Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図４Ａに示された実施形態は、コンピュータ装置４００を含む。図４Ａに示されたように、コンピュータ装置４００は、タッチスクリーンディスプレイ４０２を備える。図４Ａに示されたように、ユーザは、映像内の場所を選択するジェスチャを行っており、触覚効果を適用しているところである。図４に示されるように、ユーザは、例示の触覚効果４０４の１つを選択してもよい。例えば、ユーザは、その触覚効果を選択するために触覚効果４０４に関係付けられる場所においてタッチスクリーン４０２と相互作用するジェスチャを行ってもよい。一旦ユーザが触覚効果を割り当てると、効果は映像内の選択された場所に関係付けられるであろう。
【００５２】
図４Ａに示されるように、ユーザは、多数の異なる種類の利用可能な触覚効果４０４の１つを選択してもよい。例えば、図４Ａに示されるように、ユーザは、触知効果、感情ベースの効果、アクションベースの効果等の広い部類の触覚効果から選択してもよい。更に、こうした効果は、例えば、ランプアップ（ｒａｍｐ  ｕｐ）、ランプダウン（ｒａｍｐ
ｄｏｗｎ）、バンプ（ｂｕｍｐ）、シャープヒット（ｓｈａｒｐ  ｈｉｔ）、ダブルヒット（ｄｏｕｂｌｅ  ｈｉｔ）、テクスチャ、摩擦、鼓動、トゥインクル（ｔｗｉｎｋｌｅ）、驚き、ワオ（ｗｏｗ）、エンジェル、喝采、ヒュー（ｗｈｏｏｓｈ）、ポップ（ｐｏｐ）、バン（ｂａｍ）、ポカン（ｐｏｗ）、破壊、ザップ（ｚａｐ）、又は振動、表面ベースの効果、表面変形若しくは当技術分野で周知の他の種類の触覚効果を用いて生成され得る何らかの他の種類の触覚効果を含んでもよい。
【００５３】
他の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置でジェスチャを行うこと（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。このジェスチャは、移動装置における１つ以上のセンサ（例えば、心拍センサ、加速度計、又は動作を検出するように構成されるセンサ）によってキャプチャされて、触覚効果に変換されてもよい。更に、一部の実施形態では、ユーザは、多数の触覚効果を映像中の単一の又は多数の場所に適用してもよい。
【００５４】
更に、一部の実施形態では、移動装置４００は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性をユーザが操作できるように構成されるユーザインターフェースを表示するためのプログラムコードを含んでもよい。これにより、ユーザは、既存の触覚効果を取って、特定の映像に対して、例えば、ユーザが他のユーザと共有することを意図する映像に対して効果をパーソナライズすることができる。
【００５５】
図４Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図４Ｂに示された実施形態は、コンピュータ装置４５０を含む。図４Ｂに示されたように、コンピュータ装置４５０は、タッチスクリーンディスプレイ４０２を備える。図４Ｂに示されるように、ユーザは、既に映像内の場所を選択しており、映像内に触覚効果を配置するジェスチャを行っている。図４Ｂに示される実施形態では、ユーザは、映像内の触覚効果の場所を微調整することができる。例えば、図４に示されるように、ユーザは、触覚効果を前方に少しずつ動かすジェスチャ（例えば、．２秒等の少量だけ効果を前方に動かす）又は触覚効果を後方に少しずつ動かすジェスチャ（例えば、．２秒等の少量だけ効果を後方に動かす）を行うことができる。また、ユーザは、映像から効果を消去することもできる。
【００５６】
更に、図４Ｂに示されるように、特徴４５４は、映像の長さとの比較により触覚効果の持続時間を示す。図４Ｂに示される実施形態では、特徴４５４は、完全な映像の長さと比較して触覚効果の持続時間に一致する長さのオーバレイを含む。従って、例えば、図４Ｂに示される実施形態では、映像は、特徴４５４によって表された効果の持続時間の倍数である持続時間を含んでもよい。一部の実施形態では、ユーザは触覚効果の持続時間を増加又は減少させてもよく、特徴４５４の同等の長さが対応する変化を有してもよい。
【００５７】
図５Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図５Ａに示された実施形態は、コンピュータ装置５００を含む。図５Ａに示されたように、コンピュータ装置５００は、タッチスクリーンディスプレイ５０２を備える。図５Ａに示される実施形態では、ユーザは、映像内の場所にステッカー又はタグを適用している。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。こうしたステッカーは、図５Ａではステッカー５０４として示される。一部の実施形態では、ステッカーは、ユーザによって作成されるグラフィックス又はアニメーション、又は選択的に音声効果を含んでもよい。例えば、ユーザは、別の描画モードに入ってもよい。ここで、ユーザは、例えば、描画アプリケーションのプラグインで新しいステッカーを描いてもよく、又は例えば、ステッカーにテキスト又はアニメーションを追加することで既存のステッカーを修正してもよい。
【００５８】
図５に示される実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに似たアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、図５に示される実施形態では、ユーザは、映像内の所定の場所にハート形状のステッカーを適用してもよい。一部の実施形態では、この場所は、関連する触覚効果と同じ場所であってもよい。例えば、ユーザは、ハート形状のステッカー及び映像内の同じ場所で鼓動するハートをシミュレートするように構成される触覚効果を適用してもよい。他の実施形態では、ユーザは、触覚効果に関係付けられない場所でステッカーを適用してもよい。更に、一部の実施形態では、ユーザは、対応する触覚効果に関係付けられ得る又は関係付けられない場所で多数のステッカーを適用してもよい。
【００５９】
図５Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図５Ｂに示された実施形態は、コンピュータ装置５５０を含む。図５Ｂに示されたように、コンピュータ装置５５０は、タッチスクリーンディスプレイ５０２を備える。図５Ｂに示される実施形態では、ユーザは、１つ以上の触覚効果及び１つ以上のステッカーを既に選択して割り当てている。図５Ｂに示される実施形態では、ユーザは映像を見てもよい。映像内の割り当てられた場所において、コンピュータ装置５５０は、触覚効果を出力してステッカーを表示するであろう。更に、一部の実施形態では、ユーザは映像及び関連する触覚データを共有してもよい。例えば、一実施形態では、ユーザは、埋め込まれた触覚データを含む映像ファイルを共有してもよい。別の実施形態では、ユーザは、映像ファイルを共有し、触覚データを含む触覚トラックも共有してもよい。
【００６０】
（ユーザ生成コンテンツをオーサリングするための方法）
図６は、一実施形態によるユーザ生成コンテンツをオーサリングするための方法を実行するためのステップのフローチャートである。一部の実施形態では、図６のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図６に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図６に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたコンピュータ装置１００に関して記載された構成要素を参照して記載される。
【００６１】
方法６００は、ステップ６０２において、コンピュータ装置１００が映像信号を受信すると開始する。映像信号は、リモートデータベース（例えば、インターネットアクセス可能データベース）から受信した映像信号、例えば、メモリ１０４又は記憶装置１１４等のデータストアでローカルに保存された映像信号、又はコンピュータ装置１０１のカメラを用いてキャプチャされた映像を含んでもよい。
【００６２】
次に、プロセッサ１０２は、ユーザインターフェースを表示する（６０４）。一部の実施形態では、プロセッサは、コンピュータ装置１０１のタッチスクリーンディスプレイ等のディスプレイにユーザインターフェースを表示してもよい。ユーザインターフェースは、図３Ａ−５Ｂに関して先に記載された種類のタッチ可能ユーザインターフェースを含んでもよい。ユーザインターフェースは、本明細書に記載の実施形態に従ってユーザ生成コンテンツのオーサリングを可能にするタッチ可能機能を含む。例えば、ユーザインターフェースは、映像選択、触覚効果選択、触覚効果調節、触覚効果配置、触覚効果作成、ステッカー選択、ステッカー配置、ステッカー修正、映像の保存及び映像の再生のためのインターフェースを含む。一部の実施形態では、ユーザは、ジェスチャ、例えば、ユーザインターフェースに関係付けられるジェスチャを行うことにより映像を選択してもよい。
【００６３】
次に、プロセッサ１０２は、触覚効果に関係付けられるジェスチャを検出する（６０６）。一部の実施形態では、ジェスチャは、タッチ面１１６によるユーザ入力を含んでもよい。一実施形態では、このジェスチャ、例えば、タッチスクリーンディスプレイの表面におけるジェスチャは、既存の触覚効果を選択してもよい。一部の実施形態では、このジェスチャは、１つ以上のセンサ１０８によって検出されて、プロセッサ１０２によって触覚効果に変換されるジェスチャを含んでもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される１つ以上のセンサ及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ（例えば、タッチ、タップ、又はスワイプ）を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい（例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる）。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。更に、一部の実施形態では、ジェスチャは、装置のカメラ（例えば、移動装置の前部若しくは後部向きカメラ又はリモートカメラ）によってキャプチャされるジェスチャを含んでもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサ１０２に送信してもよい。ステップ６０８に関して更に検討されるように、プロセッサは、ジェスチャをシミュレートするように構成される１つ以上の触覚効果を決定してもよい。
【００６４】
次に、プロセッサは触覚効果を決定する（６０８）。一部の実施形態では、プロセッサ１０２は、ユーザ選択に基づいて触覚効果を決定してもよい。例えば、図４Ａに関して検討されるように、ユーザは利用可能な触覚効果を選択してもよい。例えば、コンピュータ装置１０１のデータストアは、ユーザが選択し得る多数の触覚効果に関係付けられるデータを含んでもよい。更に、ユーザは、触覚効果に関係付けられる特性を調節してもよい。
例えば、ユーザは、触覚効果に関係付けられる持続時間、周波数、強度、又は触覚効果に関係付けられる何らかの他の特性を修正してもよい。一部の実施形態では、プロセッサ１０２は、触覚効果を自動的に選択してもよい。例えば、一部の実施形態では、プロセッサ１０２は、映像内で起こるイベントに関係付けられる触覚効果を選択してもよい。こうしたイベントは、映像イベント又は音声イベントを含んでもよい。例えば、プロセッサ１０２は、例えば、滑降するスキーヤーの映像において発生するアクションイベントに触覚効果を関係付けてもよく、プロセッサ１０２は、スキーヤーの各衝突に関係付けられる触覚効果を決定してもよい。代替的に、プロセッサは、映像に関係付けられる鋭い音声、例えば、スキー映像における最初の銃の発射を検出して、この音声に触覚効果を関係付けてもよい。
【００６５】
一部の実施形態では、プロセッサ１０２は、映像信号における音声を考慮せずに、映像信号における画像に基づいて触覚効果を決定してもよい。他の実施形態では、プロセッサ１０２は、映像信号の画像成分を使用せずに、触覚効果を決定するために信号における音声を使用してもよい。一部の実施形態では、プロセッサ１０２は、映像信号の視覚及び聴覚部分の両方を使用してもよい。更に、一部の実施形態では、プロセッサ１０２は、別個の音声及び映像ストリームを受信して、触覚効果を決定するために両者を一緒に又は別々に使用してもよい。
【００６６】
一部の実施形態では、プロセッサ１０２は、ジェスチャに基づいて新しい触覚を作成してもよい。例えば、ユーザは、装置と相互作用すること（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。この相互作用は、移動装置における１つ以上のセンサ１０８によりキャプチャされて、触覚効果に変換されてもよい。
例えば、一実施形態では、ユーザは、装置を激しく振ることにより新しい触覚効果を作成してもよい。この振ることは、慣性センサによって検出されてもよい。プロセッサ１０２は、装置が激しく振られることをシミュレートするように構成される触覚効果を決定するために慣性センサからの信号を使用してもよい。一部の実施形態では、プロセッサ１０２は、ユーザ相互作用に関係付けられる特性に基づいて触覚効果を決定する。例えば、プロセッサ１０２は、ユーザ相互作用の種類、場所、持続時間、又は他の特性に基づいて触覚効果を決定してもよい。更に、プロセッサ１０２は、多次元触覚効果を決定してもよい。
例えば、プロセッサ１０２は、装置を下方に動かしたジェスチャをシミュレートするためにＺ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにＸ又はＹ平面に出力する触覚効果（例えば、タッチスクリーンの表面における表面ベースの効果）も決定してもよい。一部の実施形態では、こうした触覚効果は、映像内のオブジェクト（例えば、ユーザによって追加されたステッカー又は既に映像にあるオブジェクト）が動く感覚をシミュレートしてもよい。例えば、触覚効果は、オブジェクトが左右に、上下に、前後に動き、動作中に傾斜し、又はディスプレイの内外に動く感覚をシミュレートしてもよい。一部の実施形態では、こうした触覚効果は、ディスプレイにおける視覚効果、例えば、ステッカーに関係付けられるアニメーションに対応してもよい。
【００６７】
例えば、一実施形態では、ユーザは、タッチスクリーンの左側にあるオブジェクトをタップして、タッチスクリーンの右側にオブジェクトを移動させることによりオブジェクトが左から右に動く感覚をシミュレートするように構成される触覚効果を作成してもよい。
プロセッサは、ディスプレイの左側からディスプレイの右側に動くオブジェクトの「質量（ｍａｓｓ）」をシミュレートするように構成される触覚を決定してもよい。
【００６８】
一部の実施形態では、コンピュータ装置１０１は関連する「触覚プロファイル」を記憶してもよく、ユーザは利用したい触覚効果の「プロファイル」を決定してメモリ１０４に保存することができる。例えば、一実施形態では、ユーザは、どの触覚効果を映像に挿入したいかをオプションのリストから選択することができる。
【００６９】
一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１で利用可能な（複数の）触覚出力装置に部分的に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１に関係付けられる帯域幅の制約に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置１０１は、単一の触覚出力装置１１８を備えてもよい。このような実施形態では、プロセッサ１０２は、一度に１つの触覚効果が出力されることを決定してもよい。他の実施形態では、コンピュータ装置１０１は、複数の触覚出力装置１１８を含んでもよい。このような実施形態では、プロセッサ１０２は、多数の重畳する触覚効果が出力されることを決定してもよい。更に、このような実施形態では、プロセッサ１０２は、触覚出力装置１１８によって同時に出力される２つ以上の触覚効果の結合により生成される調和によって出力される複合触覚効果を決定してもよい。
【００７０】
次に、プロセッサ１０２は、触覚効果を映像信号に関係付ける（６１０）。図３Ｂ及び４Ｂに関して先に検討されたように、ユーザは触覚効果を配置するために映像内の場所を選択してもよい。この場所は、映像におけるイベントに関係付けられてもよい。例えば、ユーザは、映像において所定回数発生するように触覚効果を選択してもよい。例えば、映像が滑降するスキーヤーの映像を含む先に検討された実施形態では、ユーザは、スキーヤーが他のオブジェクトと衝突する場所に触覚効果を関係付けてもよい。こうした触覚効果は、映像の鑑賞体験を向上させてもよい。更に、一部の実施形態では、プロセッサ１０２は、触覚効果を配置する映像内の場所を自動的に選択するように構成されてもよい。例えば、プロセッサは、映像に関係付けられるアクション、遷移、移動又は他の特性等の特徴を検出して、こうした特長に関係付けられる場所に触覚効果を配置するように構成されてもよい。
【００７１】
次に、プロセッサ１０２は、ステッカーを映像信号に関係付ける（６１２）。図５Ａに関して先に検討されたように、ユーザは、ステッカーを選択して、ステッカーが現れる映像内の場所も選択してもよい。先に検討されたように、ユーザは、既存のステッカーを選択してもよい。代替的に、ユーザは、新しいステッカーを作成してもよい。例えば、プロセッサは、新しいステッカーを作成するためのインターフェースを表示してもよい。このインターフェースは、ステッカーを描画及び修正するための特徴を含んでもよい。更に、一部の実施形態では、ユーザは、ステッカーにテキスト、アニメーション又は他の特徴を適用することにより既存のステッカーを修正してもよい。
【００７２】
次に、プロセッサ１０２は、映像信号、触覚効果及びステッカーを記憶する（６１４）。一部の実施形態では、プロセッサは、単一のファイル、例えば、ＭＰ４ファイルにこうした成分の各々を記憶してもよい。他の実施形態では、任意の既知の映像ファイルフォーマット、例えば、ＭＰ２トランスポートストリーム、ＨＤライブストリーム、１つ以上の種類のＭＰＥＧ、又は当技術分野で周知の他の映像フォーマットが使用されてもよい。一部の実施形態では、プロセッサは、映像信号、触覚効果及びステッカーを別個のファイルに記憶してもよい。例えば、プロセッサは、映像ファイルに同期された触覚トラックを作成してもよい。
【００７３】
次に、プロセッサ１０２は、映像、ステッカー及び触覚効果を出力する。映像及びステッカーは、ディスプレイを用いて出力されてもよい。一部の実施形態では、ステッカーは、再生中に映像内で動くアニメーション化されたステッカーを含んでもよい。他の実施形態では、ステッカーは、動かない固定ステッカーを含んでもよい。例えば、ステッカーはテキストボックスを含んでもよい。
【００７４】
触覚効果を出力するために、プロセッサ１０２は、触覚効果を出力する触覚出力装置１１８に触覚効果に関係付けられる触覚信号を送信してもよい。触覚効果は、テクスチャ（例えば、砂質、凹凸又は円滑）、振動、知覚される摩擦係数の変化、温度の変化、ストローク感、電気触知効果、又は変形（即ち、コンピュータ装置１０１に関係付けられる表面の変形）を含んでもよい。
【００７５】
追加して又は代替的に、一部の実施形態では、コンピュータ装置１０１は、音声及び／又は情報をディスプレイに出力してもよい。音声及び／又は情報は、オブジェクトの特性及び／又は機能に関係付けられてもよい。
【００７６】
（ユーザ生成コンテンツのオーサリングの利点）
ユーザ生成コンテンツのオーサリングには多くの利点がある。例えば、映像の触知性強化は、創作的なコンテンツ作成への道を開いてもよい。アニメーション化されたステッカー又は触知のみと向上したアニメーション化されたステッカーとの結合は、映像作成におけるユーザ体験に対する追加のはけ口を更に提供してもよい。更に、アニメーション化されたオーバレイ概念に追加された追加の特徴として触知性強化の使用（例えば、映画内のアニメーション化されたステッカー）は、ユーザ体験を更に高めることができる。
【００７７】
本開示の一部の実施形態は、サードパーティアプリケーションの構成要素又は装置内アプリケーションの構成要素として実装され得る。一部の実施形態では、本明細書に開示のシステム及び方法は、複数の装置の間で互換性があり、例えば、映像又は触覚トラックはプラットフォームとは独立しており、一旦作成されると任意の装置で再生可能であってもよい。
【００７８】
（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
【００７９】
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
【００８０】
また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
【００８１】
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
【００８２】
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
【００８３】
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
【００８４】
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ  ｉｎｔｅｒｒｕｐｔ  ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
【００８５】
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
【００８６】
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。
【図１Ａ】
2019125376.tif 000003
【図１Ｂ】
2019125376.tif 000004
【図１Ｃ】
2019125376.tif 000005
【図２Ａ】
2019125376.tif 000006
【図２Ｂ】
2019125376.tif 000007
【図３Ａ】
2019125376.tif 000008
【図３Ｂ】
2019125376.tif 000009
【図４Ａ】
2019125376.tif 000010
【図４Ｂ】
2019125376.tif 000011
【図５Ａ】
2019125376.tif 000012
【図５Ｂ】
2019125376.tif 000013
【図６】
2019125376.tif 000014
【手続補正書】
【提出日】平成31年3月27日(2019.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像をキャプチャして、映像信号を出力するように構成されるカメラと、
ユーザインターフェースを表示するように構成されるディスプレイと、
ジェスチャを検出して、前記ジェスチャに関連付けられるセンサ信号を送信するように構成されるセンサと、
前記カメラ、前記ディスプレイ及び前記センサと通信するプロセッサと
を備え、前記プロセッサは、
前記ジェスチャに部分的に基づいて触覚効果を決定することであって、前記ジェスチャは前記カメラ及び前記ディスプレイに関連付けられる移動装置の動きを含むこと、
前記ユーザインターフェースに関連付けられる表示信号を前記ディスプレイに出力することであって、前記ユーザインターフェースは前記映像信号に関連付けられるタイムライン及び前記タイムラインにおける位置に配置される前記触覚効果の視覚表現を含むこと、及び
前記映像信号及び前記触覚効果を単一のメディアファイルに記憶すること
を行うように構成される、コンテンツオーサリングのためのシステム。
【請求項２】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像を含み、前記タイムラインは、前記画像の上に配置される、請求項１に記載のシステム。
【請求項３】
前記ジェスチャに基づいて触覚効果を決定することは、ユーザが選択した触覚効果を決定することを含む、請求項１に記載のシステム。
【請求項４】
前記プロセッサは、第２のジェスチャに関連付けられる第２のセンサ信号を受信すること、前記第２のジェスチャに部分的に基づいてステッカーを決定すること、及び前記ステッカーを前記映像信号と関連付けることを行うように更に構成される、請求項１に記載のシステム。
【請求項５】
前記プロセッサは、前記ステッカーに部分的に基づいて第２の触覚効果を決定するように更に構成される、請求項４に記載のシステム。
【請求項６】
前記プロセッサは、前記ステッカー、前記映像信号、及び前記触覚効果を前記単一のメディアファイルに記憶するように更に構成される、請求項４に記載のシステム。
【請求項７】
前記プロセッサと通信する触覚出力装置を更に備え、前記プロセッサは、前記触覚効果に関連付けられる触覚信号を前記触覚出力装置に出力するように構成される、請求項１に記載のシステム。
【請求項８】
カメラからから映像信号を受信するステップと、
ジェスチャを検出するように構成されるセンサからセンサ信号を受信するステップと、
前記ジェスチャに部分的に基づいて触覚効果を決定するステップであって、前記ジェスチャは前記カメラ及びディスプレイに関連付けられる移動装置の動きを含むステップと、
ユーザインターフェースに関連付けられる表示信号を前記ディスプレイに出力するステップであって、前記ユーザインターフェースは前記映像信号に関連付けられるタイムライン及び前記タイムラインにおける位置に配置される前記触覚効果の視覚表現を含むステップと、
前記映像信号及び前記触覚効果を単一のメディアファイルに記憶するステップと
を含む、コンテンツオーサリングのための方法。
【請求項９】
前記ユーザインターフェースは、前記映像信号に関係付けられる画像を含み、前記タイムラインは、前記画像の上に配置される、請求項８に記載の方法。
【請求項１０】
前記ジェスチャに基づいて触覚効果を決定するステップは、ユーザが選択した触覚効果を決定することを含む、請求項８に記載の方法。
【請求項１１】
第２のジェスチャに関連付けられる第２のセンサ信号を受信するステップと、前記第２のジェスチャに部分的に基づいてステッカーを決定するステップと、前記ステッカーを前記映像信号と関連付けるステップとを更に含む、請求項８に記載の方法。
【請求項１２】
前記ステッカーに部分的に基づいて第２の触覚効果を決定するステップを更に含む、請求項１１に記載の方法。
【請求項１３】
前記ステッカー、前記映像信号、及び前記触覚効果を前記単一のメディアファイルに記憶するステップを更に含む、請求項１１に記載の方法。
【請求項１４】
決定された触覚効果を出力するように構成される触覚出力装置に前記決定された触覚効果に関連付けられる触覚信号を出力するステップを更に含む、請求項８に記載の方法。
【請求項１５】
プログラムコードを含む非一時的なコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
カメラからから映像信号を受信すること、
ジェスチャを検出するように構成されるセンサからセンサ信号を受信すること、
前記ジェスチャに部分的に基づいて触覚効果を決定することであって、前記ジェスチャは前記カメラ及びディスプレイに関連付けられる移動装置の動きを含むこと、
ユーザインターフェースに関連付けられる表示信号を前記ディスプレイに出力することであって、前記ユーザインターフェースは前記映像信号に関連付けられるタイムライン及び前記タイムラインにおける位置に配置される前記触覚効果の視覚表現を含むこと、及び
前記映像信号及び前記触覚効果を単一のメディアファイルに記憶すること
を行わせるように構成される、非一時的なコンピュータ可読媒体。
【外国語明細書】
2019125376000001.pdf