(57)【特許請求の範囲】
【請求項１】
筐体と、
前記筐体に結合され、メモリに記憶されるソフトウェアプログラムを処理するように構成されるプロセッサと、
前記筐体に結合され、グラフィカルオブジェクトを表示するように構成されるタッチスクリーンであって、前記タッチスクリーンとユーザの相互作用に関連付けられるセンサ信号が前記プロセッサに提供される、タッチスクリーンと、
前記タッチスクリーンに結合され且つ前記筐体内に配置され、前記プロセッサから第１の起動信号を受信すると前記タッチスクリーンに第１の触覚効果を出力するように構成される第１のアクチュエータと、
前記筐体に結合され、前記プロセッサから第２の起動信号を受信すると前記筐体に第２の触覚効果を出力するように構成される第２のアクチュエータと
を備え、
前記プロセッサは、イベントがフォアグラウンドイベントかバックグラウンドイベントかを決定して、前記イベントがフォアグラウンドイベントである場合、前記第１のアクチュエータに前記第１の起動信号を送信し、前記イベントがバックグラウンドイベントである場合、前記第２のアクチュエータに前記第２の起動信号を送信するように構成され、前記ユーザが前記タッチスクリーンに接触している場合にのみ前記第１の触覚効果が前記タッチスクリーンに出力されることを特徴とする装置。
【請求項２】
前記プロセッサは、前記ユーザが前記タッチスクリーンに接触しているかどうかを決定して、前記イベントがフォアグラウンドイベントであって前記ユーザが前記タッチスクリーンに接触していない場合、前記第２のアクチュエータに前記第２の起動信号を送信することを特徴とする、請求項１に記載の装置。
【請求項３】
前記プロセッサは、前記イベントがフォアグラウンドイベントであって前記ユーザが前記タッチスクリーンに接触していない場合、前記第１のアクチュエータに前記第１の起動信号を送信する代わりに前記第２のアクチュエータに前記第２の起動信号を送信することを特徴とする、請求項２に記載の装置。
【請求項４】
前記フォアグラウンドイベントが、前記タッチスクリーンと前記ユーザの相互作用の結果として発生することを特徴とする、請求項１に記載の装置。
【請求項５】
前記タッチスクリーンに結合されるセンサが前記ユーザの前記タッチスクリーンとの接触を示す場合に、前記第１のアクチュエータが、前記第１の触覚効果のみを出力することを特徴とする、請求項１に記載の装置。
【請求項６】
前記ユーザが、スタイラスで前記タッチスクリーンに接触することを特徴とする、請求項５に記載の装置。
【請求項７】
前記第１のアクチュエータが、前記第１の触覚効果を出力し、前記第２のアクチュエータが、実質的に同時に、前記第２の触覚効果を出力することを特徴とする、請求項１に記載の装置。
【請求項８】
前記第１のアクチュエータが、前記第１の触覚効果を出力し、前記第２のアクチュエータが、異なる時間に、前記第２の触覚効果を出力することを特徴とする、請求項１に記載の装置。
【請求項９】
携帯装置を動作させる方法であって、
前記携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示するステップと、
前記タッチスクリーンと接触するユーザの入力の位置を感知するステップと、
前記グラフィカル環境内の相互作用に関連して発生する触覚イベントを識別するステップと、
前記触覚イベントがフォアグラウンドイベントかバックグラウンドイベントかを決定して、前記イベントがフォアグラウンドイベントである場合、起動信号を生成して前記タッチスクリーンに結合される第１のアクチュエータに送信するステップと、
前記触覚イベントがバックグラウンドイベントである場合、起動信号を生成して前記筐体に結合される第２のアクチュエータに送信するステップと
を備え、前記ユーザが前記タッチスクリーンに接触している場合にのみ前記触覚イベントに対応する触覚効果が前記タッチスクリーンに出力されることを特徴とする方法。
【請求項１０】
前記フォアグラウンドイベントが、前記タッチスクリーンとの接触の結果として発生することを特徴とする、請求項９に記載の方法。
【請求項１１】
前記アクチュエータは、前記タッチスクリーンとの接触を前記タッチスクリーンのセンサが示す場合にのみ、前記触覚効果を出力することを特徴とする、請求項９に記載の方法。
【請求項１２】
前記タッチスクリーンとの接触がスタイラスで行われることを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記第１のアクチュエータ及び前記第２のアクチュエータが、実質的に同時にそれぞれの触覚効果を出力することを特徴とする、請求項９に記載の方法。
【請求項１４】
前記第１のアクチュエータ及び前記第２のアクチュエータが、異なる時間でそれぞれの触覚効果を出力することを特徴とする、請求項９に記載の方法。
【請求項１５】
プロセッサによって実行されるように構成されるプログラムコードを含むコンピュータ可読媒体であって、前記プログラムコードは、
携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示するためのプログラムコードと、
前記タッチスクリーンとの接触の位置を感知するためのプログラムコードと、
前記グラフィカル環境内の相互作用に関連して発生する触覚イベントを識別するためのプログラムコードと、
前記触覚イベントがフォアグラウンドイベントかバックグラウンドイベントかを決定するためのプログラムコードと、
前記触覚イベントがフォアグラウンドイベントである場合、起動信号を生成して前記タッチスクリーンに結合される第１のアクチュエータに送信するためのプログラムコードと、
前記触覚イベントがバックグラウンドイベントである場合、起動信号を生成して前記筐体に結合される第２のアクチュエータに送信するためのプログラムコードと
を備え、ユーザが前記タッチスクリーンに接触している場合にのみ前記触覚イベントに対応する触覚効果が前記タッチスクリーンに出力されることを特徴とするコンピュータ可読媒体。
【請求項１６】
前記第１のアクチュエータ及び前記第２のアクチュエータが、実質的に同時にそれぞれの触覚効果を出力することを特徴とする、請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
前記第１のアクチュエータ及び前記第２のアクチュエータが、異なる時間にそれぞれの触覚効果を出力することを特徴とする、請求項１５に記載のコンピュータ可読媒体。
【請求項１８】
前記フォアグラウンドイベントが、前記タッチスクリーンとの接触の結果として発生することを特徴とする、請求項１５に記載のコンピュータ可読媒体。
【請求項１９】
前記第１のアクチュエータは、前記タッチスクリーンとの接触を前記タッチスクリーンのセンサが示す場合にのみ、前記触覚効果を出力することを特徴とする、請求項１５に記載のコンピュータ可読媒体。
【請求項２０】
前記タッチスクリーンとの接触がスタイラスで行われることを特徴とする、請求項１９に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数作動ハンドヘルド装置に関する。
【０００２】
（関連出願の相互参照）
本出願は、２００８年９月２４日付けで出願の「Ｍｕｌｔｉｐｌｅ  Ａｃｔｕａｔｉｏｎ  Ｈａｎｄｈｅｌｄ  Ｄｅｖｉｃｅ」と題された米国特許出願第１２／２３７，３３４号への優先権を主張する。その全体は、参照によって本明細書に援用される。
【背景技術】
【０００３】
携帯型ゲームは、携帯装置がより洗練されると共に、インターネット速度の改善により、ますます普及してきている。このような持ち運び可能な携帯装置には、携帯ビデオゲームコンソール（例えば、Ｐｌａｙｓｔａｔｉｏｎ（Ｒ）Ｐｏｒｔａｂｌｅ、Ｎｉｎｔｅｎｄｏ  ＤＳ  Ｌｉｔｅ（Ｒ））だけでなく、スマートホン（例えば、Ｂｌａｃｋｂｅｒｒｙ（Ｒ）、ｉＰｈｏｎｅ（Ｒ））も含まれる。
【０００４】
さらに、既存の携帯装置の多くは、ゲームのプレー中にユーザがアバター又は他のオブジェクトと相互作用する１つ以上のタッチスクリーンを組み込んでいる。しかしながら、既存の携帯装置はどれも、ユーザが装置でゲームをプレーしているときにタッチスクリーンを介して触覚を出力する能力を有していない。
【発明の概要】
【０００５】
装置は、筐体と、筐体に結合されるプロセッサとを有する。プロセッサは、メモリに記憶されるソフトウェアプログラムを処理するように構成される。タッチスクリーンは、筐体に結合されて、グラフィカルオブジェクトを表示するように構成される。このタッチスクリーンとユーザの相互作用に関連付けられるセンサ信号が、プロセッサに提供される。第１のアクチュエータが、タッチスクリーンに結合されて、筐体の中に配置される。第１のアクチュエータは、プロセッサから第１の起動信号を受信すると、タッチスクリーンに第１の触覚効果を出力するように構成される。第２のアクチュエータは、筐体に結合されて、プロセッサから第２の起動信号を受信すると、筐体に第２の触覚効果を出力するように構成される。第１の起動信号は、フォアグラウンドイベント（ｆｏｒｅｇｒｏｕｎｄ  ｅｖｅｎｔ）に関連付けられ、第２の起動信号は、ソフトウェアプログラムで生ずるバックグラウンドイベント（ｂａｃｋｇｒｏｕｎｄ  ｅｖｅｎｔ）に関連付けられる。
【０００６】
装置は、筐体と、筐体に結合されるプロセッサとを備える。プロセッサは、メモリに記憶されるソフトウェアプログラムを処理するように構成される。タッチスクリーンは、筐体に結合されて、グラフィカルオブジェクトを表示するように構成される。このタッチスクリーンとユーザの相互作用に関連付けられるセンサ信号が、プロセッサに提供される。アクチュエータが、タッチスクリーンに結合されて、筐体の中に配置される。アクチュエータは、ソフトウェアプログラムで生ずるフォアグラウンドイベントに関連付けられる第１の起動信号をプロセッサから受信すると、タッチスクリーンに第１の触覚効果を出力するように構成される。アクチュエータは、ソフトウェアプログラムで生ずるバックグラウンドイベントに関連付けられる第２の起動信号をプロセッサから受信すると、筐体に第２の触覚効果を出力するように構成される。
【０００７】
携帯装置を動作させる方法は、携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示することを含む。方法は、タッチスクリーンと接触するユーザの入力の位置を感知することを含む。方法は、グラフィカル環境内の相互作用に関連して発生する触覚イベントを識別すること、及びアクチュエータに起動信号を送信することを含む。このアクチュエータは、触覚イベントがフォアグラウンドイベントであると決定すると、触覚イベントに対応する触覚効果をタッチスクリーンに与える。携帯装置を動作させる方法は、携帯装置の筐体のタッチスクリーンを介してグラフィカル環境を表示することを含む。方法は、タッチスクリーンと接触するユーザの入力の位置を感知すること、及びグラフィカル環境内の相互作用に関連して発生する触覚イベントを識別することを含む。方法は、アクチュエータに起動信号を送信することを含む。このアクチュエータは、触覚イベントがバックグラウンドイベントであると決定すると、触覚イベントに対応する触覚効果を筐体に与える。
【０００８】
一実施形態では、フォアグラウンドイベントは、タッチスクリーンとユーザの相互作用の結果として発生する。一実施形態では、タッチスクリーンに結合されるセンサが、ユーザがタッチスクリーンに接触していることを示す場合に、第１のアクチュエータは、第１の触覚効果だけを出力する。一実施形態では、第１のアクチュエータは、第１の触覚効果を出力し、第２のアクチュエータは、実質的に同時に又は異なる時間に、第２の触覚効果を出力する。
【０００９】
本明細書に組み込まれ且つその一部を構成する添付の図面は、１つ以上の例示的な実施形態を示し、例示的な実施形態の記載と共に、実施形態の原理及び実装を説明する役割を果たす。
【図面の簡単な説明】
【００１０】
【図１】先行技術による携帯ゲーム装置の斜視図を示す。
【図２】実施形態による二重作動タッチスクリーンのブロック図を示す。
【図３】実施形態によるタッチスクリーン上に表示される仮想弦を有するタッチスクリーンのビューを示す。
【図４】実施形態による装置の動作の流れ図を示す。
【発明を実施するための形態】
【００１１】
本明細書では、複数作動ハンドヘルド携帯装置との関連において、例示的な実施形態が記載される。当業者であれば、以下の記載が単なる例示であって、如何なる意味においても限定することを意図していないことを理解するであろう。本開示の利益を有するこうした当業者には、他の実施形態が容易に示唆されるであろう。次に、添付の図面に示される例示的な実施形態の実装への参照が、詳細に行われる。同じ又は同様の事項を参照するために、図面及び以下の記載を通じて、同じ参照符号が使用される。
【００１２】
簡潔のため、本明細書に記載される実施形態の定型的な特徴の全ては示され且つ記載されない。勿論、任意のこのような実装の開発において、例えば、応用及び事業に関連する制約の順守等の開発者固有の目的を達成するために、多くの実装固有の決定が行われなければならないこと、及びこうした固有の目的が実施形態ごとに及び開発者ごとに変化することが理解されるであろう。さらに、このような開発努力は、複雑であり時間がかかる場合があるが、本開示の利益を有する当業者にとっては、日常的な作業の遂行であることが理解されるであろう。本開示によれば、本明細書に記載される構成要素、処理工程、及び／又はデータ構造は、様々な種類のオペレーティングシステム、コンピュータプラットホーム、コンピュータプログラム、及び／又は汎用マシンを使用して実装されてもよい。さらに、当業者であれば、例えば、配線接続装置、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）等の非汎用的な装置が、本明細書に開示される発明概念の範囲及び精神から逸脱することなく使用されてもよいことを理解するであろう。「実施形態」という用語は、１つ以上の実施形態を含むのであって、１つのみの実施形態に限定されないことが理解される。一連の処理ステップを含む方法は、コンピュータ又はマシンによって実装され、こうした処理ステップは、マシンによって読取り可能な一連の命令として記憶され得、それらは、コンピュータメモリ装置（例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓｅａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＦＬＡＳＨメモリ、及びジャンプドライブ等）、磁気記憶媒体（例えば、テープ、及び磁気ディスクドライブ等）、光学記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＲ−ＲＯＭ、紙カード及び紙テープ等）及び他の種類のプログラムメモリ等の有形媒体に記憶されてもよい。
【００１３】
図１は、先行技術による携帯ゲーム装置の斜視図を示す。図１に示されるように、携帯ゲーム装置１０は、底部１２、及びヒンジ１６で底部１２に旋回可能に取り付けられる上部１４を有する。装置１０は、底部１２にインタラクティブタッチスクリーン１８を有し、それを用いてユーザは、指、スタイラス又はギターピックを使用してスクリーン１８に物理的に触れることによって、表示されたグラフィカルアイテム、オブジェクト又はキャラクタを選択し又は相互作用することが出来る。また、装置１０は、アイテム、オブジェクト、キャラクタ又は他の情報をユーザに対して表示する上部１４におけるディスプレイ２０も有する。必須ではないが、上部１４のディスプレイ２０は、ディスプレイ２０に物理的に触れることによって、ユーザがディスプレイ２０に表示されるアイテムと相互作用することが出来るタッチスクリーンであってもよい。
【００１４】
さらに、装置１０は、方向パッド２６及び／又は選択ボタンを有してもよい。スタイラス２４は、表示されたアイテムと相互作用するためにタッチスクリーン１８と共に使用されてもよい。図１においてスタイラス２４はペン型のデザインを有するが、スタイラス２４は、以下でより詳細に検討されるように、例えば、ギターピック等の他のデザインを有してもよい。上記の記載及び以下の検討は、図１における携帯型ゲーム装置に関連するが、二重作動システムは、本明細に例示されていないゲーム機能を有するスマートホン又は他の種類の電子装置に適用可能であることに留意するべきである。図２は、実施形態による複数アクチュエータハンドヘルド装置のブロック図を示す。図２に示されるように、装置１００は、筐体１０２、１つ以上のタッチスクリーン１０４、タッチスクリーン１０４に結合される１つ以上のアクチュエータ１０６、並びにタッチスクリーン１０４及びアクチュエータ１０６に結合される１つ以上のプロセッサ１１０を有する。好ましくは、メモリ１１４がプロセッサ１１０に結合され、プロセッサ１１０は、メモリ１１４から情報を記憶及び取得することが出来る。このような情報は、限定されないが、触覚効果プロファイル、ゲームデータ、ソフトウェアデータ等を含んでもよい。
【００１５】
さらに、図２に示されるように、装置１００は、タッチスクリーン１０４に結合されるセンサ１０８を有し、センサ１０８は、タッチスクリーン１０４に沿ってユーザの指、スタイラス２４又は他の入力手段の位置及び／又は移動を監視する。好ましくは、センサ１０８は、スタイラス２４の圧力、位置及び／又は移動を示すセンサ信号をプロセッサ１１０に提供し、ソフトウェアプログラムを実行するプロセッサ１１０は、それに応じてタッチスクリーン１０４を介して示されるディスプレイを更新する。実施形態では、タッチスクリーン１０４は、一体部品としてその中にセンサ１０８を組み込んでいるので、センサ１０８は別個の部品ではない。しかし、検討のために、センサ１０８は、本明細書において別個の部品として言及される。タッチスクリーン技術は、当分野において周知であるので、本明細書では詳述されない。
【００１６】
アクチュエータ１０６（以後、スクリーンアクチュエータと呼ぶ）は、プロセッサ１１０から起動信号を受信すると、１つ以上の触覚効果をタッチスクリーン１０４に出力するように構成される。アクチュエータ１０６は、１つ以上の触覚効果を装置上の１つ以上のタッチスクリーン１０４（利用可能な場合）に出力するように構成されてもよいと考えられる。実施形態では、アクチュエータ１０６によって出力される触覚効果がタッチスクリーン１０４に局所化されてそこから送信される限り必須ではないが、アクチュエータ１０６は、タッチスクリーン１０４と直接接触する。言い換えれば、スクリーンアクチュエータ１０４からのこのような触覚効果は、好ましくは、タッチスクリーン１０４に局所化されて、筐体において顕著に感じられない。従って、スクリーンアクチュエータ１０６が起動されるときに、筐体１０２を把持するユーザの手が触覚効果を全く感じないか、少なくとも大幅には感じないことが好ましい。しかし、ユーザは、指又はスタイラス２４を介してタッチスクリーン１０４に直接接触するときに、アクチュエータ１０６から触覚効果を感じるであろう。実施形態では、装置は、複数のタッチスクリーンに対して複数のアクチュエータを有することが出来る。ここで、複数の中の１つ以上のアクチュエータが、適切なタッチスクリーンに触覚効果を出力することが出来る。例えば、２つ以上のタッチスクリーンを有する装置でプレー中のユーザは、グラフィカルキャラクタを一方のタッチスクリーンから他方へ動かすことが出来る。第１のタッチスクリーンに結合される１つ以上のアクチュエータは、キャラクタがそこに表示されている間、そのタッチスクリーンに触覚効果を出力することが出来る。ユーザが第１のタッチスクリーンから第２のタッチスクリーンにキャラクタを移動させると、第２のタッチスクリーンに結合される１つ以上のアクチュエータは、第２のタッチスクリーンに触覚効果を出力して、キャラクタがスクリーン間を移動する場合にユーザへの触覚体験を継続することが出来る。第１及び第２のタッチスクリーンに出力される触覚効果は、異なる効果で同一のものであってもよく、且つ／又は同時若しくは異なる時間であってもよいことが考えられる。実施形態では、装置１００は、プロセッサに結合され、プロセッサ１１０から起動信号を受信すると触覚効果を出力する１つ以上のアクチュエータ１１２を有してもよい。アクチュエータ１１２（以後、筐体アクチュエータと呼ぶ）は、好ましくは、このアクチュエータ１１２によって出力される触覚効果がタッチスクリーン１０４の代わりに筐体１０２を介して送信されるように、筐体１０２の内部に結合される。実施形態では、筐体アクチュエータ１１２は、筐体１０２の外部に取り付けられる外部装置又は周辺機器の一部である。筐体アクチュエータ１１２によって出力される触覚効果は、ユーザの手がタッチスクリーン１０４と相互作用するのではなく、ユーザの手が装置１００を把持することによって感知される。アクチュエータ１１２が筐体１０２を介して触覚効果を出力することが開示されているが、触覚効果プロファイル（例えば、振幅、持続時間、及び／又は周波数）は、触覚効果がタッチスクリーン１０４を介しても感知されるように調節されることが可能である。また、２つのアクチュエータ（例えば、スクリーンアクチュエータ１０６及び筐体アクチュエータ１１２）が記載されているが、２つ以上のアクチュエータが装置において使用され得ることにも留意するべきである。実施形態では、装置において１つのアクチュエータのみが使用され得るが、アクチュエータは、筐体１０２及びタッチスクリーン１０４に結合されており、所望のときにタッチスクリーン１０４及び／又は筐体１０２に触覚効果を選択的に出力することが出来る。
【００１７】
上記のアクチュエータは、限定されないが、回転質量（ＥＲＭ）アクチュエータ、リニア共振アクチュエータ（ＬＲＡ）、圧電アクチュエータ、音声コイルアクチュエータ、電子活性ポリマ（ＥＡＰ）アクチュエータ、形状記憶合金、ページャモータ、可動磁石アクチュエータ、Ｅ−ｃｏｒｅアクチュエータ等を含む多様な種類のものであり得る。タッチスクリーンと共に使用可能なアクチュエータアセンブリのいくつかの例は、２００４年８月１７日付けで出願の米国特許出願第１０／９１９，７９８号及び２００５年５月１２日付けで出願の第１１／１２８，７１７号と共に米国特許第７，１４８，８７５号に記載されている。
【００１８】
アクチュエータ１０６及び１１２は、同時に又は異なる時間に同一又は異なる触覚効果を出力することが可能である。装置の二重作動能力は、広範囲の触覚の感覚を可能にし、以下に検討されるようにプレーするゲームに現実感を与える。特に、装置は、ゲームプレー中により愉快な（又は没入間のある）体験をユーザに提供する触覚効果を選択的に出力するために、スクリーンアクチュエータ１０６及び筐体アクチュエータ１１２を利用することが出来る。アクチュエータ１０６及び１１２は、グラフィカル環境内で発生する触覚イベントに応答してそれぞれの触覚効果を出力する。本明細書において、触覚イベントとは、それに関連付けられる触覚効果を潜在的に有し、ユーザに触覚効果の形態で出力することが出来る装置の動作中に発生する任意の相互作用、動作、衝突、又は他のイベントのことをいう。例示目的で、触覚イベントは、ユーザが制御しているグラフィカル車両がゲームプレー中に風の乱流を体験すると発生してもよく、この触覚イベントに関連付けられる例示の触覚効果は振動である。別の例では、触覚イベントは、ミサイルがゲームにおけるユーザのキャラクタと衝突すると発生してもよく、この触覚イベントに関連付けられる例示の触覚効果は、衝撃又はパルスである。また、触覚イベントは、ゲームプレーに間接的に関連付けられてもよいが、それでもなお、ユーザがゲームをプレーしている間に重要な装置情報（例えば、テキストメッセージの受信、歌曲ダウンロードの完了、バッテリレベルの低下等）をユーザに提供する。
【００１９】
実施形態では、装置１００は、好ましくは、スクリーンアクチュエータ１０６又は筐体アクチュエータ１１２が起動されて触覚効果をユーザに出力するかどうかを決定するために、ユーザ感知入力に伴ってビデオゲーム内で発生する動作を考慮に入れる。特に、装置１００は、触覚イベントがフォアグラウンドイベント又はバックグラウンドイベントと見なされるかどうかに基づいて、起動すべきアクチュエータを決定する。触覚イベントがフォアグラウンド又はバックグラウンドイベントかどうかは、ソフトウェアコードで書かれることが可能であり、ソフトウェアコードを処理すると、プロセッサ１１０は、どのアクチュエータを動作させるべきかを自動的に指示する。また、プロセッサ１１０は、触覚イベントがタッチスクリーン１０４へのユーザ入力の直接的な結果であるかどうかに基づいて、触覚イベントがフォアグラウンド又はバックグラウンドイベントかどうかを決定することが考えられる。そうであれば、触覚効果は、タッチスクリーンと相互作用する手に感知される場合に、より明白な効果を有してもよい。
【００２０】
例えば、ユーザのスタイラス２４とタッチスクリーン１０４上のグラフィカルオブジェクトとの間の相互作用、例えば、タッチスクリーン１０４上でスタイラス２４を移動させることによって砂の中でビデオゲームキャラクタをドラッグすること等がフォアグラウンドイベントと見なされてもよい。言い換えれば、フォアグラウンド触覚効果は、好ましくは、ユーザがタッチスクリーン１０４と接触する相互作用により最良に利用される。動作中に、センサ１０８は、ユーザが砂の中でキャラクタをゆっくりと動かすことを監視して、プロセッサにこのような感知情報を提供する。それに応じて、ソフトウェアプログラムと併せてプロセッサ１１０は、スクリーンアクチュエータ１０６に触覚効果（例えば、振動性テクスチャの触覚効果）に関連付けられる起動信号を出力し、起動信号は、好ましくは、触覚効果プロファイル（例えば、振幅、周波数、持続時間）の情報を伝達する。起動信号を受信すると、スクリーンアクチュエータ１０６は、タッチスクリーン１０４に触覚効果を出力し、触覚効果は、ユーザの指又はスタイラス２４を把持する手によって直接感知される。
【００２１】
実施形態では、装置１００は、ユーザの入力に基づいて、出力される触覚効果を実質的に同時に更新する。例えば、例示では、スクリーンアクチュエータ１０６は、増加していく割合でタッチスクリーン１０４上で移動するユーザのスタイラス２４を監視するセンサ１０８に応じて、周波数及び／又は振動を増加させる信号をセンサ１０８から受信するであろう。この例示では、タッチスクリーン１０４は、触覚効果を拡大するより高速に且つ／又はより大きな強度で振動を開始することで、ユーザにゲームプレー中に現実的な触覚応答を与えてもよい。
【００２２】
実施形態では、スクリーンアクチュエータ１０６は、タッチスクリーン１０４へのユーザ入力の感知された移動に応じて、完全に異なる触覚効果を出力してもよい。例えば、上述のように、振動は、ユーザがスクリーン上で砂の中でキャラクタを移動させるのに応じて、スクリーンアクチュエータ１０６によって出力されてもよい。例えば、スクリーンアクチュエータ１０６は、ユーザのキャラクタが砂の中のグラフィカル障害物と衝突するのに応じてタッチスクリーン１０６への衝撃、衝突又は破裂を出力するように命令される。スクリーン及び筐体アクチュエータのいずれか又は両方は、限定されないが、テクスチャ、戻り止め（ｄｅｔｅｎｔ）、及び突起（ｂｕｍｂ）等の位置に基づく効果と共に振動及びパルス等の時間に基づく効果を含む触覚効果を出力する能力を有することに留意するべきである。
【００２３】
実施形態では、装置１００は、好ましくは、筐体に触覚効果を出力する能力を有する。上述のように、筐体アクチュエータ１１２は、装置１００の筐体１０２に触覚効果を出力するように構成され、触覚効果は、好ましくは、装置１００を把持する手に感知される。必須ではないが、筐体アクチュエータ１１２は、バックグラウンドイベントと見なされる触覚イベントに対して触覚効果を出力することが好ましい。プロセッサ１１０は、触覚イベントがフォアグラウンド及び／又はバックグラウンドイベントであるかどうかを決定することが好ましい。実施形態では、触覚イベントがバックグラウンド及び／又はフォアグラウンドイベントであるかどうかの決定は、ソフトウェアコードで書かれ、プロセッサ１１０は、ソフトウェアコードに基づいていずれのアクチュエータを起動すべきかを自動的に選択する。バックグラウンドイベントの例示は、ミサイルがグラフィカルキャラクタに衝突するような、タッチスクリーン１０４に表示される２つのオブジェクト間の相互作用であってもよい。プロセッサ１１０は、このような情報を処理して、必要な触覚プロファイル（例えば、振幅、周波数、持続時間）を有するアクチュエータ１１２に起動信号を送信する。このような信号を受信すると、筐体アクチュエータ１１２は、対応する触覚効果を筐体１０２に出力する。次に、ユーザが装置１０２を把持している手で触覚効果を感知することによって、愉快且つ現実的な体験がユーザに提供される。触覚イベントは、ユーザのキャラクタに弾丸が発射される場合のパルスのような、触覚効果がユーザ依存である場合に、バックグラウンドイベントと見なされることが考えられる。対照的に、キャラクタに衝突する弾丸がプロセッサによってフォアグラウンドイベントと見なされることにより、アクチュエータ１０６は、タッチスクリーン１０４に１つ以上の触覚効果を出力してもよい。ソフトウェアにおけるバックグラウンドルーチンに基づく又はプレー中のゲームに直接は関連しない触覚イベント（例えば、着信テキストメッセージ、ダウンロード完了）は、プロセッサ１１０によって自動的にバックグラウンドイベントと見なされてもよい。
【００２４】
グラフィカルギアシフタがタッチスクリーン１０４を介して表示される例示が提供され、ギアシフトは、２つ以上の位置をシフトされることが可能である。例示において、表示されたギアシフタは、タッチスクリーン１０４に沿って指又はスタイラスを介してシフタを移動させることによって、ユーザにより操作されてもよい。例示では、プロセッサ１１０は、ユーザが表示されたシフタをシフトしたセンサ情報が提供されて、フォアグラウンドイベント及びバックグラウンドイベントが発生したことを決定する。プロセッサ１１０は、好ましくは、シフタの新しい位置を示すためにタッチスクリーン上に表示されたギアシフタを更新する。それによって、プロセッサ１１０は、タッチスクリーン１０４に触覚効果を出力するためのスクリーンアクチュエータ１０６への起動信号及び筐体に触覚効果を出力するための筐体アクチュエータ１１２への起動信号を出力する。それに応じて、アクチュエータ１０６は、タッチスクリーン１０４に触覚効果を出力する。ここで、触覚効果は、ユーザの接触している指又はスタイラスで感知される。スクリーンアクチュエータ１０６によって出力される触覚効果は、好ましくは、仮想シフタの移動（「フォアグラウンドイベント」）に応じた衝撃又はクリックである。さらに、筐体アクチュエータ１１２は、装置１００を把持しているユーザの手で感知される低周波及び／又は振幅の振動を出力する。例示において、ユーザがシフトアップを続けると車両はゲームプレー中により速くなり、スクリーンアクチュエータ１０６はクリック又は衝撃を出力して、筐体アクチュエータ１１２はより高い周波数及び／又は振幅の振動を出力する。対照的に、ユーザがシフトダウンを続けた場合、スクリーンアクチュエータ１０６はクリック又は衝撃を出力するが、筐体アクチュエータ１１２はより低い周波数及び／又は振幅の振動を出力するであろう。
【００２５】
上記の例示は限定的ではなく、ビデオゲームソフトウェアと共にプロセッサ１１０は、フォアグラウンドイベント及びバックグラウンドイベントとしてゲーム内のどのイベント及び相互作用が指定されるべきかを処理すると考えられることに留意するべきである。しかし、上述のように、必須ではないが、ユーザの手又はスタイラスがタッチスクリーン１０４と接触している間に感知されるフォアグラウンドイベントが動作に指定されることが好ましい。また、フォアグラウンドイベントが筐体アクチュエータ１１２に専用であり、バックグラウンドイベントがスクリーンアクチュエータ１０６に専用であることも考えられる。
【００２６】
また、アクチュエータ１０６、１１２の双方が、ゲーム内の相互作用に応じて、少なくとも部分的に同時に同一又は異なる触覚効果を出力することが可能であることも考えられる。例えば、ソフトウェアによって命令されるプロセッサ１１０は、キャラクタがたるの山と衝突することをタッチスクリーン１０４が示す場合の触覚効果を出力するスクリーンアクチュエータ１０６を起動してもよい。その後、たるが地面に落下すると、ソフトウェアによって命令されるプロセッサ１１０は、これはバックグラウンド触覚イベントであると決定して、イベントに対応する触覚効果を筐体１０２に出力するために筐体アクチュエータ１１２を起動する。
【００２７】
実施形態では、プロセッサ１１０は、ユーザの手又はスタイラスがタッチスクリーン１０４と接触していることをセンサ１０８が示すかどうかに基づいて、どちらのアクチュエータが触覚効果を出力するかを決定してもよい。従って、動作がアクチュエータ１０６、１１２の何れか又は双方であり得るような場合、プロセッサ１１０は、ユーザがタッチスクリーン１０４に接触していないと判断される場合、筐体アクチュエータ１１２のみを起動してもよい。動作が確かにフォアグラウンドイベントであるが、ユーザがタッチスクリーン１０４に接触していないと判断される場合、装置１００のバッテリ寿命を維持するためにこのプロセスが使用されてもよい。別の実施形態では、装置は、フォアグラウンド及びバックグラウンドイベントがプレーされるゲームの種類に基づいて明確に区別されるように構成される。一例は、ユーザが音楽の演奏をシミュレートすることを可能にする偽ギターとして装置１００が使用されるＧｕｉｔａｒ  Ｈｅｒｏであり、コントローラ上のフレットボタンに対応する色音符によってスクリーン２０に表される。装置１００と共に使用するＧｕｉｔａｒ  Ｈｅｒｏのゲームを明確のため簡単に解説する。
【００２８】
Ｇｕｉｔａｒ  Ｈｅｒｏのようなゲームにおいて、スクリーンアクチュエータ１０６は、ユーザが表示された弦を軽くかき鳴らすと、本物の弦を弾く感覚をユーザに与える触覚効果をタッチスクリーン１０４に出力することが出来る。タッチスクリーン１０４は、仮想表示された弦の上で演奏する感覚をシミュレートするために、タッチスクリーン１０４に対して分離した触覚効果をユーザに提供する、そこに結合される１つ以上のスクリーンアクチュエータ１０６を有してもよい。図３に示される実施形態では、４本の仮想弦１１６、１１８、１２０及び１２２を表示するタッチスクリーン１０４が示されるが、より多い又は少ない本数の弦が表示されることが考えられる。タッチスクリーン１０４は、タッチスクリーン１０４の表面に沿って移動するときにユーザの指又はスタイラスの位置を追跡して、位置、速度及び／又は加速度情報をプロセッサ１１０に提供する。ユーザの指が弦１１６と接触すると、スクリーンアクチュエータ１０６が衝撃を出力し又は触覚効果を出し、触角効果はユーザが１本以上の弦を弾いたことを知らせることが考えられる。同一又は異なる触覚効果が、弦１１８、１２０及び／又は１２２に当てはまり得る。実施形態では、スクリーンアクチュエータ１０６は、ユーザが１本以上の弦を弾いたことを知らせるために一連の衝撃又は破裂を出力し、それぞれの衝撃又は破裂は弦が弾かれることを表す。特に、タッチスクリーン１０４上でユーザがユーザの指又はスタイラスをそれぞれの表示された弦の上を移動させることをセンサ１０８が追跡するとき、スクリーンアクチュエータ１０６は衝撃又は破裂を出力する。指が左から右（矢印９８Ａで示される）に１本以上の弦の上を移動するときに第１の触覚効果が出力され、指が右から左（矢印９８Ｂで示される）に１本以上の弦の上を移動するときに第２の触覚効果が出力されるように指の移動方向が追跡されることが考えられる。
【００２９】
追加的に又は代替的に、装置は、ユーザの指が表示された弦（弦１１６で示される）の上にある場合に第１の触覚効果するように構成されてもよく、指（９９Ｂとして示される）が弦１１６の開放をシミュレートするために弦１１６から既定の距離だけ離れてドラッグされる場合に第２の触覚効果が出力される。実施形態では、２つの触覚効果を分離してそれらが混合したように感じることを防ぐために、時間オフセット遅延（例えば、５０ｍｓ又はその他の期間）が、好ましくは、第２の触覚効果の再生に加えられる。第２の触覚効果は、タッチスクリーン１０４上で感知される衝撃又はクリック（すなわち、弦が当初の位置に戻ること）及び／又は筐体１０２への振動（すなわち、ギター本体で感知される振動の唸り）であり得る。これは、より明瞭な感覚を提供し、本物のギターの弦が開放された後に元の位置に戻るときに生じるのと同じ種類の時間差の体験を生成する。
【００３０】
追加的又は代替的に、装置は、第２の触覚効果を生成するためにタッチスクリーン１０４からの圧力センサ情報を利用してもよい。例えば、第１の触覚効果が出力されると（指が位置９９Ｂに向かって弦１１６の上を移動したとき）、アクチュエータ１０６は、ユーザの指が位置９９Ｂに到達し又はタッチスクリーン１０４から圧力を徐々に緩め始める（よって、仮想弦を徐々に開放する）まで第２の触覚効果を出力するのを待機してもよい。特に、センサ１０８は、タッチスクリーン１０４に加えられる圧力量に関する情報をプロセッサ１１０に提供し、プロセッサ１１０は、圧力データが閾値を過ぎると起動信号を出力する。しかしながら、ユーザによって触覚効果が感知されることを確実にするためにユーザの指がスクリーン１０４上にまだある間に第２の触覚効果が生ずることが好ましい。上記の第１及び第２の触覚効果は、互いと同一であり、又は互いとは異なってもよいことに留意するべきである。
【００３１】
追加的又は代替的に、筐体アクチュエータ１１２は、スクリーンアクチュエータ１０６と共に起動されてもよいが、スクリーンアクチュエータ１０６によって出力されるものとは異なる又は変化した触覚効果を出力する。特に、筐体アクチュエータ１１２は、低周波振動を筐体に出力するように命令する信号を受信してもよい。振動は、再生される音符の音声を模倣し又は演奏される（すなわち、和音がかき鳴らされる）ギターの現実的な感覚を提供するのみであり得る。実施形態では、筐体アクチュエータ１１２によって出力される触覚効果は、低振幅から始まり、ギター演奏の「流れる」体験をシミュレートするために、ユーザがゲームの正しいタイミングを継続して掴むと振幅が増加してもよい。代替的に、ユーザのタイミングが外れている場合、ユーザへの指摘として任意の又は全てのアクチュエータ（筐体アクチュエータと共にスクリーンアクチュエータ）によって不調和の触覚効果が出力され得る。実施形態では、スクリーン及び筐体アクチュエータ１０６、１１２によって出力される触覚効果は、ビデオゲーム内でユーザによって選択されるギターの種類に応じて変化してもよい（例えば、「ソリッドボディー」ギターの本体におけるより小さな振動に対して「ホロウボディー」ギター用の本体におけるより大きな振動）。実施形態では、スクリーン及び／又は筐体アクチュエータ１０６、１１２は、ユーザがプレー中に音符を弾くのに成功すると、ボタン押下又はかき鳴らしイベントの触覚的確認を出力するようにプロセッサ１１０によって命令されてもよい。言い換えると、ボタンがスクリーン２０に表示された状態で、ユーザがコントローラ２００の正しいボタンを押すのに成功すると、ボタン押下又はかき鳴らし効果の確認を提供するために、触覚効果がアクチュエータ１０６、１１２によって出力されるであろう。
【００３２】
実施形態では、装置は、ユーザが既定数の正しいの音符を押すのに成功したことを示すために、いずれか又は双方のアクチュエータ１０６、１１２から１つ以上の触覚効果を出力するように構成されてもよい。例えば、ゲームには、ユーザが連続して既定数の正しい音符を押すのに成功する場合に、「音符ストリーク」（ｎｏｔｅ  ｓｔｒｅａｋ）という概念が存在する。装置は音符ストリークの記録が達成された後にプレーヤに報償を与えるために、いずれか又は双方のアクチュエータ１０６、１１２から１つ以上の触覚効果を出力してもよい。また、ユーザがより多くの正しい音符を当て続けると振幅が増加する触覚効果が、いずれか又は双方のアクチュエータ１０６、１１２によって出力され得る。この増加した振幅は、筐体１０２又はタッチスクリーンで感知される。ユーザが音符を外すとすぐに効果は初期化されて、ユーザは効果のストリークが終了したことを知る。代替的に、装置は、ユーザが１つ以上の誤ったボタンを押すと、別の触覚効果を出力するように構成されてもよい。
【００３３】
あるゲーム概念は、直接対決のプレー又は「戦闘モード」である。ここで、２人のプレーヤは、所定の時間内で最も多くの音符を当てるのに成功するように互いに競争する。戦闘モードの特徴は、一方のプレーヤが競争中に他のプレーヤの注意を逸らす妨害アイテムを送り出すことである。例えば、戦闘モードでは、送り出された１つの妨害アイテムは、他方のプレーヤの画面を発火させることで、ユーザが所定時間に渡って音符を見るのを妨げて、その期間中は音符を正しく当てる能力を抑制する。妨害アイテムは、装置１００の間で使用され得る。この送り出された妨害アイテムは、受信者の装置１００のタッチスクリーン１０６及び／又は筐体１０２を制御不能に振動させ、又はスクリーンに表示された音符と同期していない不規則な１つ又は複数の拍子をもたらす触覚効果を出力し、又は触覚効果を一時的に完全に無効にする。
【００３４】
図４は、実施形態による二重アクチュエータ装置の動作の流れ図を示す。図４に示されるように、装置１００は、選択的に相互作用するグラフィカル仮想環境が１つ以上のディスプレイスクリーンに表示されることを可能にするソフトウェアプログラムを実行する。特に、装置は、３００にあるように、タッチスクリーンディスプレイを介してグラフィカル環境を表示する。センサ（タッチスクリーンとは別体又は一体）は、３０２にあるように、ユーザがスタイラス又は指を使用してタッチスクリーンに接触するときのユーザによる入力を継続的に監視する。触覚イベントがグラフィカル環境内で発生すると、３０４にあるように、装置のプロセッサ１１０は、触覚効果が出力されるべきかどうかを決定する。これは、プロセッサによって実行されるソフトウェア及びソフトウェアがその特定の触覚イベントに適用される触覚効果を提供するかどうかに依存する。そうだとすれば、プロセッサ及び／又はソフトウェアは、関連する触覚効果がフォアグラウンドイベント（３０６にあるように）又はバックグラウンドイベント（３１２にあるように）であるべきかどうかを決定する。
【００３５】
触覚効果がフォアグラウンドイベントであると見なされる場合（３０６）、選択ステップは、ユーザの指又はスタイラスがタッチスクリーンと接触しているかどうかを決定することになる（３０１にあるように）。上記のように、この決定は、触覚効果がユーザによって感知されることが確実にされるときにのみタッチスクリーン１０４に触覚効果を出力することにより、装置１００のバッテリパワーを潜在的に節約することが出来る。代替的に、ユーザがタッチスクリーン１０４と接触していないと決定すると、プロセッサは、その代わりに筐体に触覚効果を出力するように筐体アクチュエータ１１２に命令するように構成されてもよい。ユーザがタッチスクリーン１０４と接触していると決定される場合、タッチスクリーン１０４に所望の触覚効果を出力するためにプロセッサからスクリーンアクチュエータ１０６に起動信号が送信される。実施形態では、ユーザの指又はスタイラスがタッチスクリーンと接触していないと決定される場合、触覚イベントがバックグラウンドイベントと見なされるかどうかが決定される（３１２にあるように）。触覚イベントがバックグラウンドイベントと見なされない場合、装置１００は、好ましくは、いずれのアクチュエータにも触覚効果を出力するよう命令せずに、装置１００は、ユーザのタッチスクリーン１０４への入力を感知し続ける（３０２）。しかしながら、触覚イベントがバックグラウンドイベントであると見なされる場合、プロセッサは、筐体１０２に触覚効果を出力するために、筐体アクチュエータ１１２に起動信号を送信する（３１６）。
【００３６】
実施形態及び応用が示され且つ記載されているが、本開示の利益を有する当業者には、上記以上のより多くの変形が本明細書に開示された発明概念から逸脱することなく可能であることが明らかであろう。従って、本発明は、添付の請求項の精神を除いては限定されるものではない。
【図１】
0005529140.tif 000002
【図２】
0005529140.tif 000003
【図３】
0005529140.tif 000004
【図４】
0005529140.tif 000005