(57)【要約】センサを含み、ユーザ入力を検出するように構成されるタッチ面と、非一時的なメモリと、を備え、非一時的なメモリは、画像又は動画ファイルに適用されるエッチング入力をキャプチャし、エッチング入力に対応するハプティック効果を決定し、ハプティック効果がエッチング入力のタイプに依存し、エッチング入力及びハプティック効果を含む修正された画像又は修正された動画ファイルを送信するための命令を含む、動的にエッチング入力を表現するシステム及び方法を提供する。【選択図】図１
2018513455.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、
センサを含み、ユーザ入力を検出するように構成されるタッチ面と、
非一時的なメモリと、を備え、
前記非一時的なメモリは、
画像又は動画ファイルに適用されるエッチング入力をキャプチャし、
前記エッチング入力に対応するハプティック効果を決定し、前記ハプティック効果が前記エッチング入力のタイプに依存し、
前記エッチング入力及び前記ハプティック効果を含む修正された画像又は修正された動画ファイルを生成する
ための命令を含む、システム。
【請求項２】
前記修正された画像又は前記修正された動画ファイルをプレビューするための命令を更に含む、請求項１に記載のシステム。
【請求項３】
前記エッチング入力の１以上のパラメータを修正するための命令を更に含む、請求項２に記載のシステム。
【請求項４】
前記パラメータは、速度、圧力又は方向のうちの少なくとも１つを含む、請求項３に記載のシステム。
【請求項５】
前記エッチング入力は、バーチャルリアリティ空間で決定される、請求項１に記載のシステム。
【請求項６】
前記タッチ面は、圧力検知面である、請求項１に記載のシステム。
【請求項７】
前記修正された画像又は前記修正された動画ファイルを送信するための命令を更に含む、請求項１に記載のシステム。
【請求項８】
画像又は動画ファイルに適用されるエッチング入力をキャプチャするステップと、
前記エッチング入力に対応するハプティック効果を決定するステップであって、前記ハプティック効果が前記エッチング入力のタイプに依存する、ステップと、
前記エッチング入力及び前記ハプティック効果を含む修正された画像又は修正された動画ファイルを生成するステップと、
を備える方法。
【請求項９】
前記修正された画像又は前記修正された動画ファイルをプレビューするステップを更に含む、請求項８に記載の方法。
【請求項１０】
前記エッチング入力の１以上のパラメータを修正するステップを更に含む、請求項９に記載の方法。
【請求項１１】
前記パラメータは、速度、圧力又は方向のうちの少なくとも１つを含む、請求項１０に記載の方法。
【請求項１２】
前記エッチング入力は、バーチャルリアリティ空間で決定される、請求項８に記載の方法。
【請求項１３】
タッチ面は、圧力検知面である、請求項８に記載の方法。
【請求項１４】
前記修正された画像又は前記修正された動画ファイルを送信するステップを更に備える、請求項８に記載の方法。
【請求項１５】
プロセッサによって実行されるように構成される１以上のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、前記１以上のプログラムは、
画像又は動画ファイルに適用されるエッチング入力をキャプチャし、
前記エッチング入力に対応するハプティック効果を決定し、前記ハプティック効果が前記エッチング入力のタイプに依存し、
前記エッチング入力及び前記ハプティック効果を含む修正された画像又は修正された動画ファイルを生成する
ための命令を含む、コンピュータ可読記憶媒体。
【請求項１６】
前記修正された画像又は前記修正された動画ファイルをプレビューするための命令を更に含む、請求項１５に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記エッチング入力の１以上のパラメータを修正するための命令を更に含む、請求項１６に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記パラメータは、速度、圧力又は方向のうちの少なくとも１つを含む、請求項１７に記載のコンピュータ可読記憶媒体。
【請求項１９】
前記エッチング入力は、バーチャルリアリティ空間で決定される、請求項１５に記載のコンピュータ可読記憶媒体。
【請求項２０】
タッチ面は、圧力検知面である、請求項１５に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権出願
本願は、２０１５年４月２１日に出願された米国特許仮出願第６２／１５０，４９９号の利益を主張し、その全体が参照により援用される。
【０００２】
本発明の実施形態は、一般的には、電子デバイスに関連し、より具体的には、ハプティック効果を生成及び／又は交換する電子デバイス及びアプリケーションに関連する。
【背景技術】
【０００３】
電子デバイスメーカーは、ユーザにとってリッチなインターフェースを提供するために努力している。従来のデバイスは、ユーザにフィードバックを提供するために視覚及び聴覚のキューを使用する。いくつかのインターフェースデバイスでは、運動感覚フィードバック（例えば、アクティブ及び抵抗性のフォースフィードバック）及び／又は触覚フィードバック（例えば、振動、テクスチャ及び熱）もユーザに提供され、より一般的には、「ハプティックフィードバック」又は「ハプティック効果」と総称される。ハプティックフィードバックは、ユーザインターフェースを促進及び簡素化するキューを提供することができる。具体的には、振動効果又は振動触覚ハプティック効果は、ユーザに特定のイベントを知らせるため、又はシミュレート又はバーチャル環境内でより深い知覚没入を生成するためのリアルなフィードバックを提供するための電子デバイスのユーザのキューの提供に有益である。
【０００４】
増々増加しているスマートフォン及びタブレット等のようなデバイスは、ハプティック効果を生成するための、アクチュエータ等のようなハードウェアを含む。特に、ハプティック効果は、これらの例示的なデバイス上で音声／動画体験を促進することができる。例えば、音声／動画トラックへハプティック効果を伴うことは、車のエンジン回転、爆発、衝突及び太陽の揺らぎの感覚を閲覧者が「感じる」ことを可能にしうる。ユーザが、アクションを生じるためのユーザ入力エレメントと相互作用する他のデバイスは、また、ハプティックフィードバック又はハプティック効果から利益を得る。例えば、このようなデバイスは、医療装置、自動車制御、リモート制御、トラックパッド及び他の同様のデバイスを含んでもよい。
【発明の概要】
【０００５】
本発明の実施形態は、概して、関連技術上で実質的な改善をする、エッチング入力を動的に表現するように構成される電子デバイスに関連する。
【０００６】
一例では、エッチング入力を動的に表現するシステム及び方法は、センサを含み、ユーザ入力を検出するように構成されるタッチ面と、非一時的なメモリと、を含み、前記非一時的なメモリは、画像又は動画ファイルに適用されるエッチング入力をキャプチャし、前記エッチング入力に対応するハプティック効果を決定し、前記ハプティック効果が前記エッチング入力のタイプに依存し、前記エッチング入力及び前記ハプティック効果を含む修正された画像又は修正された動画ファイルを生成するための命令を含む。
【０００７】
本発明の更なる特徴及び利点は、以下の詳細な説明で説明され、一部は詳細な説明からあきらかであろう、又は本発明の実施によって学習されてもよい。本発明の実施形態の利点は、添付の図面と共に、記載された詳細な説明及び特許請求の範囲で指摘される特定の構造によって理解及び達成されるであろう。以上の概要及び以下の詳細な記載は例示及び説明的なものであり、本発明を記載された例に制限することを目的としたものではないことを理解されたい。
【図面の簡単な説明】
【０００８】
添付の図面とあわせて理解されるべき以下の好ましい実施形態の詳細な説明から、さらなる実施形態、詳細、利点、及び修正が明らかとなる。
【０００９】
【図１】図１は、本発明の一例の実施形態に係るハプティック可能なタッチ面のブロック図である。
【図２】図２は、本発明の一例の実施形態に係るタッチ面の断面図である。
【図３】図３は、本発明の一例の実施形態に係る、エッチングされた入力を動的に表現するための機能のフロー図を示す。
【図４】図４は、本発明の一例の実施形態に係るバーチャルリアリティにおいてハプティック効果を表現するための機能のフロー図を示す。
【図５】図５は、本発明の一例の実施形態に係る、ユーザがエッチング入力と相互作用しているときに、ハプティック効果を表現するための能のフロー図を示す。
【図６】図６は、本発明の一例の実施形態に係る、ハプティック可能エッチング及びメッセージングアプリケーションのためのユーザインターフェースを示す。
【図７】図７は、本発明の一例の実施形態に係る複数のエッチングを示す。
【図８】図８は、本発明の一例の実施形態に係るバーチャルリアリティ空間内に配置される三次元ブラシを示す。
【発明を実施するための形態】
【００１０】
各種実施形態では、エッチング入力を動的に表現するシステム及び方法を提供する。本明細書で説明されるように、エッチングは、１以上のハプティック効果内のユーザのジェスチャを包含する触覚促進された描画体験である。例えば、エッチングは、ペイントブラシ、マーカー、消しゴム、レーザー等のような１以上のブラシタイプを再現する電子描画であってもよい。別の例では、デバイスを振る及び／又はデバイスにより三次元空間でデザインを描画する（例えば、ハート、正方形又は他の形状）等のようなホスト電子デバイスの物理的な移動は、エッチング入力を生成するために用いられてもよい。一部の例では、エッチング入力は、触覚チャット又はメッセージングアプリケーションを介してインタラクティブメディアメッセージの交換を促進するために適用されてもよい。例えば、実施形態は、ハプティック効果と共にキャプチャされたエッチング入力を動的に表現することを可能にする。それに加えて又はそれに代えて、キャプチャされたエッチング入力の速度、圧力及び／又は他のパラメータは、ユーザのハプティック体験を更に促進するために、再生表現の前に修正されてもよい。
【００１１】
次に、添付の図面に例を示した実施形態を詳しく参照する。以下の詳細な説明においては、本発明の完全な理解を提供するために多数の具体的詳細が記載される。しかし、当業者には、これらの具体的詳細がなくても本発明が実施されうることが明らかであろう。その他の場合には、実施形態の側面が不必要に不明瞭にならないよう、周知の方法、手順、構成要素、及び回路は詳述していない。類似の参照番号は、可能な限り類似の要素に用いられる。
【００１２】
各種実施形態では、電子デバイスを用いるために様々なユーザインターフェース及び方法が記載される。一部の実施形態では、電子デバイスは、ポータブルデバイス（例えば、ゲームコントローラ、コンソール、モバイルフォン、スマートフォン、タブレット、ウェアラブルウォッチ、スマート眼鏡及び／又は他の周辺機器）である。しかし、ユーザインターフェース及び関連する方法は、キーボード、マウス、トラックボール等のような１以上の物理的なユーザインターフェースデバイスを含む、パーソナルコンピュータ、医療装置、ラップトップ等のような多数の他のデバイスに適用されてもよいことが理解されるべきである。
【００１３】
図１は、本発明の一実施形態に係るハプティック可能なシステム（ｈａｐｔｉｃａｌｌｙ−ｅｎａｂｌｅｄ  ｓｙｓｔｅｍ）１００のブロック図である。図１に示されるように、システム１００は、バス１０６を介して、メモリ１０４等のような他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピューティングデバイス１０１を含む。この例の構成では、コンピューティングデバイス１０１は、１以上のネットワークインターフェースデバイス１１０、入力／出力（「Ｉ／Ｏ」）インターフェースコンポーネント１１２、追加ストレージ１１４及びタッチ面１１６を更に含む。
【００１４】
タッチ面１１６又はベースデバイス（例えば、タブレット又はトラックパッド）は、コンピューティングデバイス１０１に集積される又はコンピューティングデバイス１０１に結合されてもよい。タッチ面１１６は、ユーザの入力を検知するように構成される任意の表面（例えば、タッチパッド、タッチスクリーン等）を含む。１以上のセンサ１０８は、１以上のオブジェクト（例えば、指、手、スタイラス、ブラシ等）がタッチ面１１６に接触し、プロセッサ１０２によって、使用するために適切なデータを提供するときに、圧力検知領域でタッチを検出するように構成される。センサ１０８は、タッチ面１１６上での単一タッチ及び／又は複数の同時タッチのいずれかを検知するように構成されてもよい。
【００１５】
センサ１０８の任意の適切な数、タイプ及び／又は配置が用いられうる。例えば、抵抗性及び／又は容量性センサは、タッチ面１１６に埋め込まれてもよく、タッチの位置及び圧力等のような他の情報を求めるために用いられてもよい。別の例では、センサ１０８は、タッチ位置を求めるように構成される光学センサを含んでもよい。一部の実施形態では、センサ１０８は、ユーザ相互作用（インタラクション）の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出してもよい。
【００１６】
ハプティック出力デバイス１１８は、プロセッサ１０２と通信し、タッチ面１１６内に提供されてもよい。追加のハプティック出力デバイス１１８は、タッチ面１１６及び／又はコンピューティングデバイス１０１の他の構成要素に配置されてもよい。一部の実施形態では、ハプティック出力デバイス１１８は、タッチ面１１６上に様々な質感をシミュレートするハプティック効果を出力するように構成される。例えば、様々なブラシ、キャンバス、消しゴム、マーカー、レーザー及び他の質感がシミュレートされてもよい。別の例では、受け取った摩擦係数が、異なる周波数でタッチ面１１６を振動することによって変化されてもよい。それに加えて又はそれに替えて、ハプティック出力デバイス１１８は、タッチ面１１６に沿って、振動触覚ハプティック効果、静電摩擦ハプティック効果、温度変化及び／又は変形ハプティック効果を提供してもよい。一部のハプティック効果は、コンピューティングデバイス１０１のハウジング（図示せず）に結合されるアクチュエータを使用してもよく、一部のハプティック効果は、複数のアクチュエータを順次又は協調して使用してもよい。
【００１７】
ハプティック出力デバイス１１８は、例えば、静電表面アクチュエータの使用による、静電気引力を用いて、タッチ面１１６の表面上に質感をシミュレートしてもよく、又は人の指がタッチ面１１６を移動するときに、ユーザが感じる摩擦係数を変化してもよい。例えば、ハプティック出力デバイス１１８は、ハプティック効果を生成するために、機械的な動作に代えて電圧及び電流を印加する電気振動触覚デバイスであってもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、半導体又は銅、アルミニウム、金又は銀等のような他の導電材料であってもよい絶縁層は、ガラス、プラスチック、ポリマー又は他の絶縁材料であってもよい。更に、プロセッサ１０２は、電気信号を導電層に印加することによって静電アクチュエータを作動してもよい。電気信号は、一部の実施形態では、タッチ面１１６の近傍又はタッチ面１１６に接触するオブジェクトと導電層を容量結合するＡＣ信号であってもよい。
【００１８】
一部の実施形態では、容量結合は、タッチ面１１６の表面上に摩擦係数又は質感をシミュレートしてもよい。例えば、タッチ面１１６の表面は、滑らかであってもよいが、容量結合は、タッチ面１１６の表面近傍のオブジェクト間に引力を生じてもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化することは、タッチ面１１６の表面に亘って移動するオブジェクト上のシミュレートされた質感を変化しうる。更に、一部の実施形態では、静電アクチュエータは、従来のアクチュエータと共に用いられ、タッチ面１１６の表面上のシミュレートされた質感を変更する又は他の効果を出力する。例えば、静電アクチュエータがタッチ面１１６の表面上の異なるテクスチャをシミュレートしている間に、アクチュエータは、タッチ面１１６の表面の質感の変更をシミュレートするために振動してもよい。
【００１９】
一部の実施形態では、静電アクチュエータは、身体の一部又は近傍のオブジェクトを刺激する又はタッチ面１１６をタッチすることによってハプティック効果を生成するために用いられる。例えば、一部の実施形態では、静電アクチュエータは、静電アクチュエータに応答しうるユーザの指の肌の神経末端又はスタイラスの構成要素を刺激する。肌の神経末端は、例えば、刺激され、振動又は更に他の特定の感覚として静電アクチュエータ（例えば容量結合）を検知する。例えば、一実施形態では、静電アクチュエータの導電層は、ユーザの指の導電部分と結合するＡＣ電圧信号を受け付ける。ユーザがタッチ面１１６に接触し、表面に沿ってユーザの指を移動すると、ユーザは、とげとげしていること、粒状性、突出性、凹凸性、粘性の質感又は他の質感を検知する。
【００２０】
様々なアクチュエータがハプティック出力デバイス１１８として用いられてもよく、他のデバイスが用いられてもよい。ハプティック出力デバイス１１８は、例えば、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（「ＥＲＭ：ｅｃｃｅｎｔｒｉｃ  ｒｏｔａｔｉｎｇ  ｍａｓｓ  ｍｏｔｏｒ」）、リニア共振アクチュエータ（「ＬＲＡ：ｌｉｎｅａｒ  ｒｅｓｏｎａｎｔ  ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマ（「ＥＡＰ：ｅｌｅｃｔｒｏａｃｔｉｖｅ  ｐｏｌｙｍｅｒ」）アクチュエータ、静電摩擦ディスプレイ、又は超音波振動発生器でもよい。一部の例では、ハプティック出力デバイスは、ハプティック出力駆動回路を含んでもよい。一部の実施形態では、ハプティック出力デバイスは、一方向性又は双方向性であってもよい。
【００２１】
プロセッサ１０２は、演算を行い、システム１００の機能を制御するために１以上の汎用又は特殊用途プロセッサであってもよい。プロセッサ１０２は、マイクロプロセッシングデバイス等のような単一集積回路を含んでもよく、又はプロセッサ１０２の機能を達成するために協調して動作する複数の集積回路デバイス及び／又は回路基板を含んでもよい。また、プロセッサ１０２は、メモリ１０４内に記憶されるオペレーティングシステムアプリケーション等のようなコンピュータプログラムを実行してもよい。
【００２２】
一部の例では、プロセッサ１０２は、ハイレベルパラメータに基づいて、どのハプティック効果が表現されるか、及びどの順序で効果が再生されるかを決定しうる。通常、ハイレベルパラメータは、特定のハプティック効果を定義する大きさ（マグニチュード）、周波数及び持続期間を含む。ストリーミングモータコマンド等のようなローレベルパラメータもまた、特定のハプティック効果を決定するために用いられうる。ハプティック効果は、ハプティック効果が生成されるとき、又はユーザの相互作用に基づいてこれらのパラメータを変更するときに、これらのパラメータの一部の変更が含まれる場合、「動的」とみなされる。一実施形態では、ハプティックフィードバックシステムは、システム１００での振動又は他のタイプのハプティック効果を生成する。
【００２３】
非一時的なメモリ１０４は、プロセッサ１０２によってアクセスされる様々なコンピュータ可読メディアを含んでもよい。各種実施形態では、メモリ１０４は、揮発性及び不揮発性媒体、リムーバブル又は非リムーバブル媒体を含んでもよい。例えば、メモリ１０４は、ランダムアクセスメモリ（「ＲＡＭ」）、ダイナミックＲＡＭ（「ＤＲＡＭ」）、スタティックＲＡＭ（「ＳＲＡＭ」）、リードオンリーメモリ（「ＲＯＭ」）、フラッシュメモリ、キャッシュメモリ、及び／又は他の種類の非一時的なコンピュータ可読媒体を含んでもよい。
【００２４】
ネットワークデバイス１１０は、リモートソースによりデータを送信及び／又は受信するように構成される。ネットワークデバイス１１０は、ネットワーク（図示せず）においてプロセッサ１０２から別のデバイスへ送信されるデータをエンコードし、プロセッサ１０２のためにネットワークにおいて別のシステムから受け取ったデータをデコードすることによって、プロセッサ１０２と他のデバイスとの間の接続性を可能にする。例えば、ネットワークデバイス１１０は、無線ネットワーク通信を提供するように構成されるネットワークインターフェースカードを含んでもよい。様々な無線通信技術が用いられてもよく、赤外、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ及び／又はセルラー通信を含む。それに替えて、ネットワークデバイス１１０は、イーサネット（登録商標）／インターネット接続等のような有線ネットワーク接続を提供するように構成されてもよい。
【００２５】
Ｉ／Ｏコンポーネント１１２は、１以上のディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、及び／又はスタイラス等のようなデータを入力又はデータを出力するために用いられる他のハードウェア等のような周辺機器との接続を容易にするために用いられてもよい。ストレージ１１４は、磁気、光学、又はコンピューティングデバイス１０１に含まれる他のストレージメディア等のような不揮発性ストレージを示す。
【００２６】
メモリ１０４に戻り、例示プログラムコンポーネント１２４、１２６及び１２８は、どのようにして実施形態においてデバイスが、ハプティック効果をエッチング入力と共に、及び本明細書に記載される全ての他の機能を提供するように構成されうるかを示すために表される。この例では、検出モジュール１２４は、センサ１０８を介してタッチ面１１６をモニターするためにプロセッサ１０２を構成し、１以上のタッチの位置を決定する。例えば、モジュール１２４は、タッチの有り無しを追跡するためにセンサ１０８をサンプリングしてもよい。タッチが存在する場合、センサ１０８は、タッチの位置、経路、速度、加速度、圧力及び／又は他の特徴の１以上を追跡してもよい。
【００２７】
ハプティック効果決定モジュール１２６は、表現のためのハプティック効果を選択するためにタッチ又は接触特性についてのデータを解析する。例えば、ハプティック効果は、タッチ面１１６の特徴によって決定されてもよい。それに替えて又はそれに加えて、この決定は、接触の位置、接触の数、接触の時間、接触の圧力、接触の活動又はハプティック効果に関連付けられた特徴等のようなタッチの特徴に基づいてなされてもよい。異なるハプティック効果は、タッチ面１１６の表面上の質感又はハプティック効果の一般的な他の種類をシミュレートすることによって、特徴の存在をシミュレートするために各タッチの位置に基づいて選択されてもよい。
【００２８】
ハプティック効果生成モジュール１２８は、プロセッサ１０２に、ハプティック信号をハプティック出力デバイス１１８へ生成及び送信させるように構成される。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスし、ハプティック出力デバイス１１８へ送信してもよい。別の例として、ハプティック効果生成モジュール１２８は、所望の種類の質感を受け取り、信号処理アルゴリズムを使用して、適切な信号を生成し、ハプティック出力デバイス１１８へ送信してもよい。更に別の例として、所望の質感は、質感の対象となる座標及び１以上のアクチュエータへ送信される適切な波形と共に示され、タッチ面１１６（及び／又は他のデバイスコンポーネント）の適切な変位を生成してもよい。
【００２９】
単一のシステムとして示されているが、システム１００の機能は、分散システムとして実装されてもよい。例えば、システム１００は、デバイスの一部（例えば、パーソナルコンピュータ、ビデオゲームコンソール等）であってもよく、システム１００は、デバイス用のハプティック効果機能を提供してもよい。別の例では、システム１００は、デバイスから隔てられてもよく、デバイス用の上述した機能をリモートで提供してもよい。
【００３０】
図２は、本発明の一例の実施形態に係るタッチ面２１６の断面図２００である。図２に示されるように、タッチ面２１６は、センサ２０８と、複数のハプティック出力デバイス２１８．１−２１８．４と、基板２３０と、を含む。ハプティック出力デバイス２１８．１−２１８．４は、基板２３０の一部としてインテリジェントに形成されてもよい。それに加えて又はそれに替えて、対応するホストデバイスのハプティック出力デバイスが用いられてもよい。センサ２０８及びハプティック出力デバイス２１８．１−２１８．４の多数の構成が実現可能であり、図２に表される構成は、単なる一例であることを留意すべきである。更に、ハプティック出力デバイスの各々は、アクチュエータ又は上述された他のハプティックデバイスのいずれかを備えてもよいことを留意すべきである。
【００３１】
図３は、本発明の一例の実施形態に係るエッチング入力を動的に表現するための機能３００のフロー図を示す。一部の例では、図３（及び以下の図４及び５）のフロー図の機能は、メモリ又は他のコンピュータ可読のもしくは有形のメディアに格納されているソフトウェアによって実装され、プロセッサによって実行される。別の例では、機能は、ハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等を使用して）によって、又はハードウェア及びソフトウェアの任意の組み合わせによって実行することができる。
【００３２】
初めに、機能３００は、３０１において、ユーザがエッチングエディタのモジュールを開き、実行することを可能にする。エッチングエディタは、スタンドアローンアプリケーションであってもよく、又はそれに替えて、メディア編集アプリケーションの一部として実装されてもよい。例えば、エッチングエディタは、（図６に表されるように）メッセージング又は触覚チャットアプリケーションの一部として組み込まれてもよい。次に、３０２において、機能３００は、そこにエッチング入力が適用されるボード又はキャンバスをユーザが選択することを可能にする。例えば、ボードは、静止画像、動画等のような様々なメディアアイテムを含んでもよい。また、機能３００は、３０３において、１以上の電子的な「ブラシ」（例えば、ペイントブラシ、マーカー、消しゴム、レーザー等）をユーザが選択することを可能にする。各ブラシタイプは、選択時にハプティックライブラリ（図示せず）から読み出される対応するハプティックプロファイルを含んでもよい。また、ボードは、選択されたブラシとの相互作用を変更及び促進する異なる質感の背景（例えば、紙、キャンバス、黒板、ぼやけ等）を含んでもよい。図６に表される例では、ユーザは、１以上の選択されたブラシ及び選択されたボード又は背景６１６を用いてエッチング入力６１１を生成してもよい。
【００３３】
図３に戻り、ユーザは、３０４において、選択されたボード上に１以上のエッチング又は描画を入力し、１以上の選択されたブラシを用いる。ブラシは、例えば、指又はスタイラスを用いてボードに適用される。ここで、エッチング入力は、選択されたボードに追加的及び／又は減少的な編集を適用してもよい。また、ユーザは、エッチング入力の再生を付加的に表現してもよい。つまり、ユーザは、３０５において、エッチング入力をプレビューしてもよい。エッチング入力の初期再生は、ユーザによる元の入力（つまり、エッチング入力のパラメータを変更していない）として表現されてもよい。
【００３４】
次に、機能３００は、３０６において、エッチング入力を修正する１以上のポスト入力オプションをユーザが選択することを可能にする。例えば、ユーザは、３０７において、速度、圧力、方向、強度、反復、ブラシ、アルゴリズムフィルタ等の１以上を変更するために選択してもよい。修正されたエッチング入力は、３０８において、表現又はプレビューされる。例えば、一例のブラシアルゴリズムフィルタは、ハプティック効果間の持続期間及び／又はハプティック効果自体の長さ又は持続期間を短くすることによって、速度の増加が、ハプティック効果の頻度（例えば、ピッチ）を生じさせる。逆に、速度を減少させることは、上述された信号を長くする、及び／又はハプティック効果間の持続期間を増加させてもよい。
【００３５】
３０９において、エッチングエディタは、元の及び／又は修正されたエッチング入力（「エッチング入力」と総称する）を記憶し、エッチング入力をリモートデバイスへ送信する。エッチング入力は、スタンドアローンハプティックファイルとして記憶される、もしくは画像又は動画ファイルの一部として記憶されてもよい。続いて、エッチング入力は、他のエンドユーザデバイスと交換される、又はそれに替えて、エッチング入力が他のエンドユーザデバイスによって読み出されるようにリモートサーバと交換されてもよい。いずれの場合にも、３１０において、他のエンドユーザデバイスは、エッチング入力を読み出すように構成される。例えば、エッチング入力は、メッセージング又は動画共有アプリケーションの一部として交換されてもよい。３１１及び３１２において、他のエンドユーザデバイスは、エッチング入力及び対応するボード又はキャンバスを表現及び読み出す。また、他のユーザは、エッチング入力を追加、削除又は修正してもよい。
【００３６】
図４は、本発明の一例の実施形態に係る三次元バーチャルリアリティ（仮想現実）空間においてハプティック可能な描画ブラシを用いてハプティック効果を表現するための機能４００のフロー図を示す。図４（及び図５）の実施形態は、バーチャルリアリティグラス及び／又は三次元ブラシ等のようなバーチャルリアリティ空間を実現するために１以上の電子デバイスを用いて実装されてもよい。例示的な三次元ブラシ８２１及びバーチャルリアリティ空間８２０は、図８に表される。
【００３７】
４０１において、機能４００内で、ユーザは、１以上のブラシ（例えば、ペイントブラシ、マーカー、消しゴム、レーザー等として構成される三次元ブラシ）を選択する。４０２において、選択されたブラシに基づいて、ベースハプティック効果又はハプティック効果プロファイルは、選択されたブラシに対して決定される。上述されたように、各ブラシタイプは、選択時にハプティックライブラリ（図示せず）から読み出される、対応するハプティックプロファイルを含んでもよい。
【００３８】
次に、４０３において、機能４００は、入力デバイス（例えば、三次元ブラシ又はスタイラス）に基づいて、選択されたブラシ入力の１以上の移動特徴を決定する。例えば、機能４００は、選択されたブラシの速度、角度、ユーザへの距離、高さ等をリアルタイムで追跡してもよい。移動特徴は、二次元よりも大きく決定される又は自由度で決定されてもよい。４０４において、選択されたブラシの移動特徴に基づいて、機能４００は、選択されたブラシのハプティック表現特徴を更に決定する。例えば、ベースハプティック効果又はハプティック効果プロファイルは、選択されたブラシの速度、加速度、角度及びユーザからの距離に応じて変調されてもよい。
【００３９】
また、４０５において、機能４００は、ブラシストロークがブラシ間で重複するかどうかを決定する。ブラシストローク間で衝突（コリジョン）がない場合、４０６において、エッチング入力と関連付けられたハプティック効果は、修正されない。しかし、４０７において、機能４００は、衝突特徴に応じてハプティック効果を変調又は修正する。例えば、衝突特徴は、衝突の数、衝突領域、ブラシ速度、ブラシストロークの種類等を含んでもよい。続いて、４０８において、機能４００は、ブラシストロークが接触するとき、衝突効果を修正又は始動するかを決定する。同様に、４０９において、機能４００は、ブラシストロークが重複するとき、追加効果を修正又は始動するかを決定する。
【００４０】
図５は、本発明の一例の実施形態に係る、ユーザが、用意されたエッチング入力と相互作用しているときに、ハプティック効果を表現又は再生するための機能５００のフロー図を示す。ユーザは、送信されたメッセージを介してエッチング入力を受け取る。初めに、機能５００は、５０１において、ユーザがエッチング入力と接触しているかどうかを判定する。ユーザがエッチング入力と接触していない場合、５０２において、エッチング入力と関連付けられたハプティック効果は表現されない。しかし、ユーザがエッチング入力と接触している場合、５０４において、エッチング入力と関連付けられたハプティック効果は表現される。例えば、ハプティック効果は、ベースハプティック効果、ハプティック効果プロファイル、キャプチャデータ変調、再生速度及び／又は接触点の速度に基づいて、表現されてもよい。
【００４１】
一部の例示実施形態では、機能５００は、エッチング入力及び対応するハプティック効果が、実際の又は変更されたタイムスケールで表現されるかに応じて変化する。他の例示実施形態では、機能５００は、バーチャルリアリティ空間においてユーザの手（又はコントローラ）の位置に応じて変化してもよい。更に別の例では、ユーザは、ユーザがブラシストロークにより歩行する（又は他のジェスチャ又はモーション）とき全身ハプティックスーツを着用してもよい（例えば、脚がブラシストロークを通過する場合に、脚のアクチュエータが作動する）。更に別の例では、ユーザがブラシと接触する持続期間又は期間、及び入力エッチングを接触するときのユーザの手の速度は、ハプティック出力を決定してもよい。例えば、ユーザは、エッチング入力が描かれるときの効果を感じるようにエッチング入力を通じてユーザの手をゴシゴシ擦る。この例では、ハプティック効果は、ユーザの手がどの程度素早くエッチング入力により移動しているかに基づいて修正される。別の例では、ユーザの手は、全体的に新たな効果である感覚を生じる、三次元形状を通過してもよい。
【００４２】
図６は、本発明の一例の実施形態に係る、ハプティック可能なエッチング及びメッセージングアプリケーション（例えば、触覚チャット）のためのユーザインターフェースを示す。
【００４３】
図６に示されるように、第１のユーザ６１０は、図１の表面１１６によって実装されるユーザ選択ボード６１６上にエッチング入力６１１を生成する。上述したように、ボード６１６は、静止画像、動画等を含む様々なメッセージアイテムを含んでもよい。また、第１のユーザ６１０は、１以上の選択されたブラシ（例えば、ペイントブラシ、マーカー、消しゴム、レーザー等）及び入力デバイス（例えば、スタイラス、指等）を用いてエッチング入力６１１を生成する。各ブラシタイプは、選択時にハプティックライブラリ（図示せず）から読み出される、対応するハプティックプロファイルを含む。同様に、第２のユーザ６２０も、ユーザ選択されたボード６２６上にエッチング入力を生成する。それに替えて、第２のユーザ６２０は、それを第１のユーザ６１０から受け取った後に、ボード６１６上のエッチング入力を更に修正してもよい。
【００４４】
エッチング入力６１１の入力時に、エッチング入力６１１の合成物、対応するハプティック効果、及び内在するボード６１６（例えば、画像又は動画ファイル）は、第１のユーザ６１０と第２のユーザ６２０とで交換されてもよい。それに替えて、エッチング入力６１１の合成物、対応するハプティック効果、及び内在するボード６１６は、他のエンドユーザによる検索のためにサーバへアップロードされてもよい。上記の例は２人のユーザ間のエッチング体験を示しているが、本発明の実施形態はそのように限定されるものではない。実施形態は、複数のユーザ、複数のアクチュエータ並びに複数の入力及び再生デバイスを想定する。マルチタッチジェスチャ入力は、質感、強度、視覚の変更を可能にしうる、及び／又は複数のブラシは、異なる指／入力周辺機器にマップされうる。
【００４５】
エッチング入力は、ユーザの手又は指によって入力されてもよい。それに替えて、スタイラス又は他の入力機構が用いられてもよい。例えば、デバイスを振る及び／又はデバイスでデザインを描くこと（例えば、ハート、正方形又は他の形状）等のようなデバイスの物理的な移動は、エッチング入力を生成するために用いられる。別の例では、エッチングブラシ又はツールは、エッチング又は描画を入力するために用いられてもよい。一部の例では、選択されたブラシは、選択されたボード６１６，６２６の全部又は一部を消去又は遮断するために構成されてもよい。
【００４６】
エッチングが入力されると、プロセッサ（図１のプロセッサ１０２）は、入力エッチングの各種パラメータに応じて視覚及び／又はハプティック効果を表現するように構成される。一部の実施形態では、キャプチャされたエッチング入力の速度、圧力及び／又は他のパラメータが用いられてもよい。エッチングが完了すると、再生プレビューがユーザに提供されうる。また、ポストプロダクションパラメータは、巻き戻し、繰り返し、ポスト入力ブラシを変更、速度を変更、圧力を変更するためのオプション等のように修正されてもよく、他のオプションは、編集モード内に提供されてもよい。ここで、ユーザは、追加のポスト入力フィルタを有する完了した入力エッチングをプレビューするための機能、創作者によって意図されるような完了したエッチングを送受信する機能、現在の入力エッチングを指定する機能、及び第１のユーザ６１０又は第２のユーザ６２０が同一又は異なるフィルタを追加、修正、除去、再適用しうるように入力エッチングを保存する機能を有する。
【００４７】
キャプチャされた入力エッチングは、再生表現の前に修正されてもよい。例えば、キャプチャされたエッチングは、元の入力と同一速度で描画される。別の例では、キャプチャされたエッチングの再生は、ユーザの好みに応じて変更されてもよい。ここで、ユーザは、入力速度の関係を維持又は無視するためのオプションを選択してもよい。よって、エッチングは、入力にかかわらず、理想的な速度で常に描画されるわけではない。更に別の例では、圧力検知マルチタッチ入力デバイスのようなタッチ可能なデバイスは、変化する圧力値で、キャプチャされたエッチングを追跡及び表現するために用いられてもよい。
【００４８】
メッセージングアプリケーション６０１等のような別の例の実施形態では、第１のユーザ６１０は、ボード６１６を選択し、更に１以上のブラシを選択する。第１のユーザ６１０は、所望のエッチングを描くためにタッチジェスチャを用いることによって開始する（例えば、笑顔、ハート、三目並べエントリ等）。選択されたブラシのハプティック効果及び他の視覚効果は、ブラシスタイル、背景、エッチングの速度等に応じて動的に決定される。エッチング入力が完了すると、第１のユーザ６１０は、「送信」機能を選択し、入力エッチングは、チャットウィンドウ６１２，６２２内の第１のユーザ６１０及び第２のユーザ６２０の両方に対して、入力と同じレートで記憶及び送信される。一部の例では、第１のユーザ６１０は、また、入力エッチングを第２のユーザ６２０へ送信する前に、入力エッチングの再生速度及び／又は他の特徴を変更しうる。
【００４９】
更に別の例の実施形態では、メッセージングアプリケーション６０１は、ソーシャルメディアアプリケーション（例えば、Ｆａｃｅｂｏｏｋ又はＩｎｓｔａｇｒａｍ）の一部として用いられてもよい。この例では、ユーザは、別のユーザの画像又は動画をレビューしてもよい。また、ユーザは、より多くのコメントをすることが望ましく、画像又は動画上にエッチングを入力するために選択してもよい。ユニークな視覚及びハプティックスタイルの多くのブラシを選択することが可能になり、ユーザは、選択された画像又は動画の１以上の部分に円を描いてもよい。それに替えて、ユーザは、選択された画像又は動画のある部分に矢印を描いてもよい。一般的な入力が終了すると、ユーザは、（例えば、スライダユーザ入力エレメントにより）再生をスピードアップするためのオプションを選択する。続いて、入力エッチングは、所望の再生速度に応じて表現されてもよい。再生が進むと、画像又は動画を閲覧する任意のユーザは、入力エッチングの速度を更に修正してもよい。ユーザは、選択を形成するためにそれの周囲に円を描くことによって入力エッチングの一部を更に選択し（例えば、矢印）、エッチング又はアニメーションの一部を複数回繰り返すためのオプションを選択してもよい。この例では、再生時に、入力エッチングが表現されるが、矢印は、一度ではなく、所望の回数表現されてもよい。
【００５０】
図７は、本発明の例示的な実施形態に係る複数のエッチング７０１．１−７０１．８を示す。数え切れない程のエッチング入力が可能であるが、例示的なエッチング７０１．１−７０１．８は、それぞれ、愛、遅刻、ゲーム、プレゼント、驚き、挨拶、招待及び笑顔を視覚的及びハプティック的に表現する。
【００５１】
図８は、本発明の例示的な実施形態に係るバーチャルリアリティ空間８２０内に配置された三次元ブラシ８２１を示す。三次元ブラシ８２１は、バーチャルリアリティ又はチルトブラシを含んでもよい。図８の表現例では、リアリティ空間８１０及び対応するバーチャルリアリティ空間８２０が示される。同様に、三次元ブラシ８１１は、リアリティ空間８１０内に示され、対応する三次元ブラシ８２１は、バーチャルリアリティ空間８２０内に示される。
【００５２】
上述したように、本明細書で説明された実施形態は、エッチング入力を動的に表現するためのシステム及び方法を提供する。エッチング入力は、インタラクティブメディアメッセージの交換を促進するために適用されてもよい。また、キャプチャされたエッチング入力の速度、圧力及び／又は他のパラメータは、ユーザのハプティック体験を更に促進するために、再生表現の前に、修正されてもよい。
【００５３】
当業者は、上述の発明が手順を異なる順序で、及び／又は構成要素を開示されたものとは異なる構成で実施することができることを容易に理解できよう。従って、本発明はこれらの好ましい実施形態に基づいて説明されているが、特定の変更、変形及び代替の構築が、本発明の精神及び範囲内に留まりつつ、すぐに分かることが当業者には明らかであろう。従って、本発明の境界及び範囲を決定するために添付の特許請求の範囲を参照すべきである。
【図１】
2018513455.tif 000003
【図２】
2018513455.tif 000004
【図３】
2018513455.tif 000005
【図４】
2018513455.tif 000006
【図５】
2018513455.tif 000007
【図６】
2018513455.tif 000008
【図７】
2018513455.tif 000009
【図８】
2018513455.tif 000010
【国際調査報告】
2018513455.tif 000011
2018513455.tif 000012