(57)【特許請求の範囲】
【請求項１】
前部と後部とを有し、それらが第１の端部で互いに連結され、その第１の端部がユーザーの親指と人差し指の間にフィットするように構成され、前記第１の端部の反対側に開放端を有し、
前記開放端を通して手を滑り込ませることにより、後部が手の甲の上に重なり、前部が手のひらの中にあるようにユーザーの手にフィットするように構成されるコンピュータのためのハンドヘルドコントローラであり、
前記前部と後部の間のギャップは、開放端に向かって次第に狭くなり、それによりコントローラをユーザーの手に維持させ、
前記コントローラはさらに複数のユーザ入力を受信するように適合され、
前記前部はユーザの指から入力を受信するためのユーザインターフェースを含み、
前記コントローラはさらにユーザ入力に関連するデータをコンピュータに送信するトランスミッタを備えており、
前記前部および後部は、付勢力によって、それらの休止位置から離れる方向に弾力的に強制されうるように適合されており、
前記コントローラは、コントローラの向きまたは動きに関するさらなるユーザ入力を受信するように適合されており、
前記ユーザインターフェースは、コントローラの前部に設けられた、ユーザの手のひらの中にある、ユーザの指の位置を感知し、ユーザの指によって加えられる圧力を感知する、キーパッド、タッチパッドまたはタッチエリアである、
コンピュータのためのハンドヘルドコントローラ。
【請求項２】
前記ユーザ入力は、複数のセンサによってデータ信号に変換され、
前記コントローラは、前記コンピュータへの送信のために前記データ信号を受信して処理するプロセッサをさらに備えている、請求項１に記載のハンドヘルドコントローラ。
【請求項３】
前記ユーザインターフェースは、圧力センサのアレイを含むタッチパッドまたはタッチエリアを含む前記いずれかの請求項に記載のハンドヘルドコントローラ。
【請求項４】
前記コントローラは、前記コントローラの向きおよび動きを決定するためのジャイロスコープおよび加速度計を含む、前記いずれかの請求項に記載のハンドヘルドコントローラ。
【請求項５】
前記コンピュータに送信された前記データは、前記コンピュータに１つ以上の予め割り当てられた動作を実行させる、前記いずれかの請求項に記載のハンドヘルドコントローラ。 
【請求項６】
コンピュータのための制御システムであって、
その制御システムは、前記いずれかの請求項に記載のハンドヘルドコントローラである第１のハンドヘルドコントローラと、第２のハンドヘルドコントローラとを備え、
前記第２のコントローラは、前記向き又は動きに関するユーザ入力を受信するように適合されると共に、ユーザ入力に関するデータをコンピュータに送信するための送信機をさらに備えている、
コンピュータのための制御システム。 
【請求項７】
前記第２のコントローラは、前記第２のコントローラの向き及び動きを決定する加速度計、ジャイロスコープ及び磁力計を含む、請求項６に記載の制御システム。
【請求項８】
前記第２のコントローラは、請求項１〜５のいずれかに記載のハンドヘルドコントローラである、請求項６または７に記載の制御システム。
【請求項９】
請求項１〜５のいずれかに記載のハンドヘルドコントローラである第１のハンドヘルドコントローラと、第２のハンドヘルドコントローラと、コンピュータとを備え、
前記第２のコントローラは、前記向き又は動きに関するユーザ入力を受信するように適合されると共に、ユーザ入力に関するデータをコンピュータに送信する送信機を備え、
前記コンピュータは、第１および第２のコントローラからのユーザ入力に関する送信データを受信し、そのデータに応じて予め割り当てられた動作を実行する、
コンピュータシステム。
【請求項１０】
前記コンピュータシステムは、楽器エミュレータであることを特徴とする請求項９に記載のコンピュータシステム。
【請求項１１】
前記コンピュータに送信された前記データは、前記コンピュータに１またはそれ以上の予め割り当てられた動作を実行させる、請求項９または１０に記載のコンピュータシステム。
【請求項１２】
前記コンピュータは、前記第１および／または第２のハンドコントローラによって感知された前記ユーザによって行われたジェスチャを認識または学習し、
前記コンピュータは、それぞれの認識されたジェスチャのためのあらかじめ割り当てられた動作を実行する、
請求項９、１０または１１に記載のコンピュータシステム。
【請求項１３】
前記予め割り当てられた動作は、オーディオサウンドを再生または変更することを含む、請求項１１または１２に記載のコンピュータシステム。
【請求項１４】
前記予め割り当てられた動作は、前記オーディオサウンドのキー、ピッチ、トーン、音質または音量を変更することを含む、請求項１３に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ用のハンドヘルド（手持ち型）コントローラ、２つのハンドヘルドコントローラを含むコンピュータの制御システム並びに２つのハンドヘルドコントローラとコンピュータを含むコンピュータシステムに関する。
【背景技術】
【０００２】
確立されているコンピュータシステムを制御する方法は、キーボード、マウスおよびタッチスクリーンを含む。それらはユーザがコンピュータに面する位置、例えばキーボードとマウスを使用する机の前にいることをユーザに要求するという欠点がある。
【０００３】
ポータブルタッチスクリーン装置は、これらの問題を部分的に解決することができる。人々はスクリーンを保持しながらではあるが、移動中にもスクリーンを入力デバイスとして使用することができる。しかしこれらの装置は、コンピュータがモバイルであるとしても、なお、コンピュータを制御するために第１のコントロールインターフェースとしてスクリーンを使用する必要がある。
【０００４】
さらに確立されているコンピュータを制御する方法は、人は表現力のある情報をコンピュータシステムに伝達することができない。既存のウェアラブルコンピュータやスマートフォンは、ジャイロスコープ、加速度計、心臓センサを使用しているが、電子メールやドキュメントオーサリングなどの複雑なやりとりに必要な高解像度の制御が欠けている。
【０００５】
さらに確立されているコンピュータを制御する方法は、楽器など、感情を伝えるために人々が使用する他のタイプの装置の表現力を有しない。確立されているコンピュータを制御するための方法は、音楽を作るために使用することはできるが、例えば、音符（ｎｏｔｅ）や、その音符をどのように演奏するかを伝えることはできない。
【０００６】
本発明は、確立されているコンピュータシステムを制御する方法を改良することを目的とする。本出願の文脈において、「コンピュータシステム」は広義に解釈されるべきであり、本発明を実施するために以下に説明する方法で動作できるＰＣ、ラップトップ、タブレット、モバイルデバイスおよびゲームコンソールを含む任意の装置を意味する。
【発明の概要】
【０００７】
第１の態様によれば、本発明は、前部と後部とを有し、使用中は、後部が手の甲の上に重なり、前部が手のひらの中にあるようにユーザーの手にフィットするように構成されるコンピュータのためのハンドヘルドコントローラであり、前記コントローラはさらに複数のユーザ入力を受信するように適合され、前記前部はユーザの指から入力を受信するためのユーザインターフェースを含み、前記コントローラはさらにユーザ入力に関連するデータをコンピュータに送信するトランスミッタを備えているハンドヘルドコントローラが提供される。
【０００８】
好ましくは、このコントローラは実質的にＵ字形であり、前部と後部はリンク部によってスペースがあけられている。
【０００９】
好ましい実施形態では、ユーザ入力は、複数のセンサによってデータ信号に変換される。コントローラは、好ましくは、データ信号を受け取り、コンピュータに送信するために処理するプロセッサをさらに備える。
【００１０】
ユーザインターフェースは、キーパッド、タッチパッドまたはタッチエリアであってもよい。ユーザインタフェースは、ユーザの指の存在、ユーザの指の位置およびユーザの指によって加えられる圧力のうちの１つ、いくつか、またはすべてを感知することができるものである。ユーザインタフェースは、好ましくは、圧力センサのアレイを含むタッチパッドまたはタッチエリアを含む。
【００１１】
好ましい実施形態では、コントローラは、コントローラの向きまたは動きに関するさらなるユーザ入力を受信するように適合される。コントローラは、コントローラの向きおよび動きを検出するためのジャイロスコープおよび／または加速度計を含むことができる。
【００１２】
好ましくは、コントローラの前部および後部は、ユーザがコントローラを保持し、または把持する必要がなく、コントローラをユーザの手の所定の位置に維持するように構成される。好ましい実施形態では、このことは、コントローラをユーザの手の所定の位置に保持するため、Ｕ字形の開放端で前部と後部がより接近するように構成することによって達成される。好ましくは、前部および後部は、弾性付勢力に抗して、それらの休止位置から離れる方向に付勢され得る。
【００１３】
第２の態様によれば、本発明は、コンピュータのための制御システムを提供し、制御システムは、上述のハンドヘルドコントローラである第１のハンドヘルドコントローラと第２のハンドヘルドコントローラとを備え、第２のコントローラは、第２のコントローラの向きまたは動きに関するユーザ入力を受信し、ユーザ入力に関するデータをコンピュータに送信する送信機をさらに備える。
【００１４】
第２のコントローラは、第２のコントローラの向きおよび動きを測定するために、加速度計およびジャイロスコープを含むことが好ましい。好ましい実施形態では、第２のコントローラは、上述したハンドヘルドコントローラである。
【００１５】
第３の態様によれば、本発明は、上述したハンドヘルドコントローラである第１のハンドヘルドコントローラと、第２のハンドヘルドコントローラと、コンピュータとを含み、第２のコントローラが前記向き又は動きに関するユーザ入力を受信するように適合されると共に、ユーザの入力に関連するデータをコンピュータに送信する送信機を備え、前記コンピュータが第１および第２のコントローラからのユーザ入力に関連する送信されたデータを受信し、そのデータに基づき、予め割り当てられた動作を実行する、コンピュータシステムを提供する。
【００１６】
本発明の全ての態様の好ましい実施形態では、コンピュータシステムに送信されたデータは、コンピュータシステムに１またはそれ以上の予め割り当てられた動作を実行させる。好ましくは、コンピュータは、第１および／または第２のハンドコントローラによって検知されたユーザによって行われたジェスチャを認識または学習し、コンピュータは認識されたジェスチャごとに予め割り当てられた動作を実行する。予め割り当てられた動作は、オーディオサウンドの再生または変更、またはオーディオサウンドのキー、ピッチ、トーン、音質または音量の変更を含むことができる。
【００１７】
本発明の全ての態様の好ましい実施形態では、コンピュータシステムは楽器エミュレータである。
【００１８】
少なくともその好ましい実施形態では、本発明は、一群のセンサを介してコンピュータまたはモバイルデバイスを遠隔制御するためのマルチパラメトリック無線、手のひらに取り付けられた、目立たない着用可能なインタフェースを提供する。制御システムは、個別に、または一緒に使用できる２つの主要な構成要素を有する。第１の構成要素は手にクリップされる。体の動き、方向、圧力、指の位置または把握を同時に使用することで、着用者が操作できる。第２の構成要素は、運動および向きを介して着用者によって操作され得る装置である。第２の構成要素は、第１の構成要素と同様であってもよいし、より少ない入力量を有する複雑でないコントローラであってもよい。２つのコントローラを同時に使用する場合、本発明はコンピュータ用の「バイマニュアル」コントローラを提供する。
【００１９】
本発明のコントローラは、一般的なリアルタイムの人−コンピュータ相互作用タスクのために、ユーザの手から遠隔のコンピュータまたはモバイルデバイスへの単一チャネルおよびマルチチャネルの離散的および連続的制御信号の両方を生成および送信することが好ましい。また、遠隔のコンピュータシステムからシングルチャネルまたはマルチチャネルの信号を受信することもできる。
【００２０】
そのインターフェースは、人の動作および把持からの信号をコンピュータシステムまたはモバイルデバイスに直接伝達する連続マルチチャネルの圧力およびセンサシステムと組み合わせて、同時に使用されうる複数のタッチパッド、接触領域またはボタンを通して任意のデジタル装置を制御するために使用できるように設計されている。
【００２１】
本発明のコントローラは、使用するために着用者が見る必要がなく、または手で把持する必要がないように設計されている。ノンスペシャリストの着用者はインターフェースを見る必要なく、自由に移動し、複雑で意識的なコマンドを送信するためにデバイスを使用する。このコントローラは、機械学習ベースのジェスチャ認識および／または対話式予測テキストソフトウェアのアプリケーションを介して、既存のマウスとキーボードの組み合わせを置き換えることができる。コントローラは、例えば特定の機能が正常に実行されたとき、視覚的でないフィードバックを提供するため、装着者に触覚フィードバックを提供するように構成されてもよい。
【００２２】
本発明は、ギターなどの表現力豊かな楽器のデジタルエミュレーションを可能にするための音楽コントローラとして機能することができる。
【図面の簡単な説明】
【００２３】
以下、本発明の実施の形態を図面を参照して説明する。
【図１】図１は、本発明による第１のハンドヘルドコントローラの第１の実施形態を、ユーザの手に装着し、手のひら側から見た状態で示している。
【図２】図２は、本発明による第１のハンドヘルドコントローラの第２の実施形態を、ユーザの手に装着し、手のひら側から見た状態で示している。
【図３】図３は、本発明の実施形態のハンドヘルドコントローラの後部クリップ部分をユーザの手の甲側から見た状態で示している。
【図４】図４は、本発明の実施形態のハンドヘルドコントローラの側面を示す図である。
【図５】図５Ａおよび図５Ｂは、ユーザの手に装着されていないときの実施形態のハンドヘルドコントローラの側面図を示している。
【図６】図６は、第１のハンドヘルドコントローラと共に使用するための第２のハンドヘルドコントローラを示している。
【図７】図７は、第１のハンドヘルドコントローラを含む本発明の制御システムの回路ブロック図を示している。そして
【図８】図８は、第２のハンドヘルドコントローラを含む本発明の制御システムの回路ブロック図を示している。
【発明を実施するための形態】
【００２４】
図１および図２は、本発明による第1のハンドヘルドコントローラ１００の実施形態を示しており、ユーザの手に装着した状態で手のひら側から見ている。両方の実施形態の前部セクション１１０の全体的な形状は同じである。しかしながら、第１の実施形態（図１）の第１のコントローラは、４つの別個の接触領域１２１の２つの列を有するタッチパッド１２０を備えているのに対し、第２の実施形態（図２）の第１のコントローラは、単一のタッチエリア１２０’を含む。タッチパッド１２０は、別個のボタンを有するキーパッドの形態で提供されてもよい。ボタンは、タッチパッド１２０の接触領域と同様の構成で、４つずつ２列に配置されてもよい。代替の実施形態では、接触領域またはボタンは、単一の行または２つより多い行（例えば、３つまたは４つの行）に配置されてもよい。任意の適切な数の接触領域またはボタンが各列に設けられてもよく、例えば、１列当たり２、４、６または８つである。
【００２５】
コントローラ１００は、ユーザの手のひらの中に収まっており、ギターフレットボード上の弦に触れるのと同様の方法で、ユーザの指がタッチパッド１２０またはタッチエリア１２０’に接触できるように設計されている。
【００２６】
図３は、第1のコントローラ１００の後部クリップ部分１３０を示し、図４は、リンク部分１４０がはっきり見える側面から見たコントローラである。装着していないときのコントローラを示す図５Ａと図５Ｂからわかるように、後部クリップ部分１３０は湾曲しており、後部１３０と前部１１０との間のスペースは、コントローラ１００の開放端部１５０に向かって、または開放端部において狭くなっており、コントローラをおおよその位置に保つためにユーザの手に充分な圧力が加わるようにされている。後部クリップ部分１３０は、第１のコントローラ１００がユーザの手の上を滑り、所定の位置にクリップするように、弾性的に張られている。
【００２７】
図６は、第１のハンドヘルドコントローラ１００と組み合わせて使用するための第２のハンドヘルドコントローラ２００を示す。上述したように、第２のコントローラは、以下でより詳細に説明する第1のコントローラ１００と同じものであってもよいし、同様のものであってもよい。しかし、この好ましい実施形態では、第２のコントローラは、ギターのプレクトラムまたはピックと同様の形状を有し、同様の方法で使用することを意図している。表面は親指と他の指でつまむように設計されている。
【００２８】
両方のハンドヘルドコントローラ１００、２００は、任意の適切な材料、典型的にはプラスチック材料で作成され得るハウジングを有する。各ハウジングは、以下でさらに説明するように、電子機器を収容する。第１のハンドヘルドコントローラの材料は、デバイスのユーザの手の上に置かれたときに、コントローラが全体的に上記の弾力性を示すものが選択される。
【００２９】
図７は、本発明の制御システムの回路ブロック図を示す。第１のハンドヘルドコントローラ１００の構成要素は、破線のボックス１００内に示され、コンピュータシステム３００の関連する構成要素は、破線のボックス３００内に示されている。
【００３０】
第１のコントローラ１００は、ＵＳＢポート１６１、充電回路１６２、バッテリ１６３、スイッチ１６４、電力ミキサまたは電源セレクタ１６５、および電圧レギュレータ１６６を含む全体として１６０で示される電源回路を含む。ＵＳＢポート１６１に加えて、例えばデバイスファームウェアをロードするためのデータ通信ポートを含む他の入出力ポートを設けることができる。バッテリ１６３は、理想的にはＵＳＢポートを介して再充電可能であるが、他の手段によって再充電可能であってもよいし、あるいは再充電可能でなくてもよい。電力回路１６０は、標準的な方法で残りの構成要素に電力を供給する。
【００３１】
第１のコントローラ１００はまた、ＲＡＭ１７１およびフラッシュメモリ１７２にアクセスするＣＰＵ１７０を含む。コンピュータシステム３００の制御データは、ＣＰＵ１７０からフラッシュメモリ１７２に出力され、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））無線送信機１８０を介して送信される。ＣＰＵ１７０は、低レイテンシ（ｌｏｗ−ｌａｔｅｎｃｙ）連続送信を可能にするのに十分に高い速度でコントローラのソフトウェアシステムを動作させることができることが必要である。ＣＰＵ１７０はまた、適切なオペレーティングシステムおよび制御ソフトウェアを保持するのに十分な大きさが必要な固定メモリ（ｐｅｒｍａｎｅｎｔ  ｍｅｍｏｒｙ）（図示せず）を有する。
【００３２】
送信機１８０は、ブルートゥース−４ＢＬＥデバイスなどの通信が可能な低レイテンシの連続送信（３５ミリ秒未満の送信時間）、または低レイテンシ制御に適した他のタイプの通信装置が使用できる。代わりにケーブルを使用することもできる。
【００３３】
第１のコントローラは、例えば１６個のデジタル入出力、または８個のアナログ入力および８個のデジタル入出力など、ＣＰＵとのマルチチャネル入力および出力に適した少なくとも１６個のアナログまたはデジタルチャネルのアレイを有する。
【００３４】
ユーザによるコントローラの全体的な動きおよびタッチパッド１２０またはタッチエリア１２０’を介した特定の入力が信号に変換され、必要に応じてＣＰＵによって処理され、コンピュータシステム３００に送信されるように、センサのアレイ１９０が第1のコントローラ１００内に設けられる。アナログ−デジタル変換器（ＡＤＣ）は、必要に応じてセンサからのアナログ信号を変換するために採用される。
【００３５】
センサＡ（１９１）は加速度計であり、好ましくは６軸加速度計である。センサＢ（１９２）はジャイロスコープである。これらの２つのセンサを組み合わせることで、コントローラの動きと方向を追跡することができる。センサＣ（１９３）は、タッチパッド１２０またはタッチエリア１２０’からの出力を概略的に表し、以下でさらに説明する。センサＤ（１９４）は、（例えば、コンパス方位（ｃｏｍｐｕｓ  ｂｅａｒｉｎｇ）を検出するために使用される）磁力計または指紋センサなどの生体センサを含む特定の用途に必要とされる任意の他の適用可能なセンサを表す。
【００３６】
タッチパッド１２０、タッチエリア１２０’またはキーパッドからは、潜在的に広範囲の入力または感知されたパラメータを表す複数の出力がある可能性が高い。パラメータは、接触（すなわち、存在または不在）、接触位置、接触圧力のうちの１つまたは複数を含むことができる。このようなパラメータの組み合わせは、単純なオン／オフパラメータまたは存在／不在パラメータよりも入力デバイスに対する表現度が高い。
【００３７】
上記のタッチパッドまたはタッチエリアを使用する好ましい実施形態では、出力は、（ａ）各接触点の座標（例えば、ｘ、ｙ座標またはボタン／接触パッド識別子）、および（ｂ）各接触点（例えば、ｚ）に加わる接触圧力を有する。接触圧力は、接触がその特定の点に存在する間、連続的に更新されてもよい。あるいは、タッチパッドまたはタッチエリアは、単に圧力センサのアレイを備えてもよく、各センサは圧力値（ゼロであってもよい）を連続的に出力する。接触点は、どのセンサが非ゼロ圧力値を出力しているかによって決定することができる。接触圧力は、絶対値として、または正規化されたスケールでの値として表すことができる。
【００３８】
コンピュータシステム３００の関連する構成要素は、破線のボックス３００内に示されている。それらは、ホストＣＰＵ３０１、ＲＡＭ３０２、およびソフトウェアインタプリタ３０３を含む。ソフトウェアインタプリタ３０３は、必要な機能を実行することができるが、この好ましい実施形態では、ジェスチャ認識のための機械学習と組み合わせて、連続的かつ離散的な制御情報を取得して音を生成するギターシンセサイザである。第１のコントローラ１００から送信されたデータは、ブルートゥース無線受信機３０４を介して受信される。
【００３９】
図８は、破線のボックス２００内に示されている第２のハンドヘルドコントローラ２００の構成要素を含む、本発明の制御システムの回路ブロック図を示す。図７におけるのと同様に、破線のボックス３００内に、ホストＣＰＵ３０１、ＲＡＭ３０２、ソフトウェアインタプリタ３０３、およびブルートゥース無線受信機３０４を含む、コンピュータシステム３００の関連コンポーネントが示されている。
【００４０】
第２のハンドヘルドコントローラ２００は、典型的には、第１のハンドヘルドコントローラ１００と組み合わせて使用され、この場合、ブルートゥース無線受信機３０４は、第１および第２のコントローラ１００、２００の両方からデータ信号を受信する。個別のデータチャネルまたはデータチャネルのグループが各コントローラに提供されてもよい。
【００４１】
第２のコントローラ２００は、ＵＳＢポート２６１、充電回路２６２、バッテリ２６３、スイッチ２６４、電力ミキサまたは電源セレクタ２６５、および電圧レギュレータ２６６を含む、全体として２６０で示される電源回路を含む。ＵＳＢポート２６１に加えて、例えばデバイスファームウェアをロードするためのデータ通信ポートを含む他の入出力ポートを設けることができる。バッテリ２６３は、理想的にはＵＳＢポートを介して再充電可能であることが好ましいが、他の手段によって再充電可能であってもよいし、あるいは再充電可能でなくてもよい。電源回路２６０は、標準的な方法で残りの構成要素に電力を供給する。
【００４２】
第２のコントローラ２００はまた、ＲＡＭ２７１およびフラッシュメモリ２７２にアクセスするＣＰＵ２７０を含む。コンピュータシステム３００の制御データは、ＣＰＵ２７０からフラッシュメモリ２７２に出力され、ブルートゥース無線送信機２８０を介して送信される。ＣＰＵ２７０は、低レイテンシの連続送信を可能にするのに十分に高い速度でコントローラのソフトウェアシステムを動作させることができることが必要である。ＣＰＵ２７０はまた、適切なオペレーティングシステムおよび／または制御ソフトウェアを保持するのに十分な大きさであることが必要とされる固定メモリ（図示せず）を有する。
【００４３】
送信機２８０は、ブルートゥース４ＢＬＥデバイスなどの低レイテンシの連続送信（データブロック当たり３５ミリ秒未満の送信時間）、または低レイテンシ制御に適した他のタイプの通信デバイスを使用することができる。代わりにケーブルを使用することもできる。
【００４４】
コントローラは、ＣＰＵのマルチチャンネル入出力に適した少なくとも１６個のアナログまたはデジタルチャンネルのアレイ、例えば１６個のデジタル入力／出力、または８個のアナログ入力と８個のデジタル入力／出力のアレイを備えている。
【００４５】
ユーザによるコントローラの全体的な動きが信号に変換され、ＣＰＵによって必要に応じて処理され、コンピュータシステム３００に送信されることができるように、第２のコントローラ２００内にセンサ２９０のアレイが設けられる。アナログ−デジタル変換器（ＡＤＣ）は、必要に応じてセンサからのアナログ出力を変換するために使用される。センサＡ（２９１）は加速度計であり、好ましくは６軸加速度計である。センサＢ（２９２）は、ジャイロスコープである。
【００４６】
第１のコントローラ１００と異なり、第２のコントローラ２００は、圧力センサを備えていない。さらに、第２のコントローラ２００は、タッチパッド、タッチエリアまたはキーパッドを有していない。もちろん、このような追加のユーザ入力装置を第２のコントローラ２００に設けること、または第１のコントローラ１００と同じ、または同様の第２のコントローラを設けることが可能であり、この場合、ブロック図は、第１のコントローラ１００のための図７ときわめて似たものとなる。例えば、磁力計を含む特定の用途に必要とされる他の適用可能なセンサが第２のコントローラ２００に含まれてもよい。
【００４７】
各ハンドヘルドコントローラおよび／またはシステムの一般的なソフトウェアの条件は次のとおりである。
・コントローラのすべてのハードウェアにアクセスして制御するためのコンピュータファームウェアおよびオペレーティングシステム。
・センサアレイからの信号を受信し、有線または無線を介して離隔したコンピュータシステムに送信するための、低レイテンシの入出力ソフトウェアパッケージ。
・センサアレイからのデータを、デバイス自体または制御される離隔したコンピュータシステムのいずれかで解釈するための機械学習および信号処理層。これにより、可能なデバイスの相互作用の数を増やすためのジェスチャ認識装置としてシステムを使用することが可能になる。
・制御されるマシン上のドライバソフトウェア。
・エンドユーザが使用するための付随アプリケーション。
【００４８】
各コントローラは、連続的な信号（マウスポインタ、スライダなど）に依存するソフトウェアシステムを制御することもできる。
【００４９】
第１のハンドヘルドコントローラ１００は、以下にさらに説明する多くの方法で使用することができる。
【００５０】
タッチパッド１２０またはタッチエリア１２０’は、従来のコンピュータキーボードの代わりに使用することができる。タッチパッド１２０の場合、機械学習層は、８つのタッチエリアの使用回数を任意の数の個別（ｄｉｓｃｒｅｔｅ）のキーストロークに増加させるキー「シフト」機能を利用可能にすることができ、そのうちの８つを同時に使用することができる。さらに、圧力センサアレイは、個別信号のきめ細かな制御を提供することができ、従来のポインティングデバイス（マウスなど）と同じように使用することもできる。このようにして、このデバイスは、コンピュータまたはモバイルデバイス上にテキストを入力するために使用することができる。
【００５１】
また、システムは、タッチパッドまたはタッチエリア上の指の接触点および指の接触圧力を含むセンサデータを使用して、人の把持の強度および特徴を伝達することができる。これは感情や表現を伝えるために使用できる。たとえば、顔文字の喜びや悲しみを自動的に増やすことができる。
【００５２】
圧力および運動ベースの表現検出システムは、人に関するより深い状況に応じた情報を提供して、予測テキストソフトウェアの性能を高めるために使用することもできる。
【００５３】
手のひらベース上の制御システムは、コンピュータゲームの制御、ゲームまたは映画の仮想現実によるヘッドマウント装置を通した制御、音楽ソフトウエアの制御、ビデオ編集ソフトウェアの制御、音楽編集ソフトウェアの制御、写真の編集、コンピュータ支援設計ソフトウェア、ウェブサイトの設計、メッセージ、手紙、電子メールおよび文書の入力、および他の形態のソフトウェアの使用を含む、従来のキーボードおよび／またはマウスが使用できるあらゆる状況においてコントローラとして使用することができる。
【００５４】
第１のハンドヘルドコントローラは、車、ドローン、テレビ、ハイファイシステム（ＨｉＦｉ  ｓｙｓｔｅｍ）、宇宙船、衛星、ロボットシステム、近距離通信（ＮＦＣ）決済システムなどのコンタクトポイントを含むあらゆる無線またはネットワーク制御システムのリモートコントロールとしても使用できる。
【００５５】
第１のハンドヘルドコントローラは、臨場感あふれる仮想環境のナビゲーションツールとしても使用できる。
【００５６】
第１のハンドヘルドコントローラは、ユーザの手の動きおよび向きを追跡することによって、他の物理的デバイス、例えばバイオリン、ゴルフクラブ、テニスラケット、クリケットバットと協働することができる。
【００５７】
本発明の制御システムの１つの好ましい用途は、音楽の演奏、構成、録音および制作の特定の文脈（ｓｐｅｃｉｆｉｃ  ｃｏｎｔｅｘ）にある。本発明のシステムは、第１のコントローラ１００が手のひらに装着され、かつプレクトラムの第２のコントローラ２００と組み合わせて、人が音符または楽器を選択し、ビブラート、音量、トレモロ、音符長さ、音符の周波数、音符のスピード、音符のアタッチ、音符の減衰、音符のサステイン、その他のシンセサイザーのパラメーターなどの音楽表現情報を生成するために使用することができる。
【００５８】
以下にさらに説明するように、本発明の制御システムの好ましい用途はギターのエミュレーションにある。プレクトラム型の第２コントローラ２００は、トレモロ効果、弦減衰、およびプレクトラムスライドなどのギタリストのサウンドの他の態様をシミュレートして制御するためにも使用することができる。
【００５９】
制御システムは、キーの変化、レジスタの変化、音の高さまたは低さ、音の変化量、および選択すべき音を示すために使用することもできる。これにより、本発明のシステムを仮想ギターコントローラとして使用することが可能になる。また、バイオリン、ビオラ、チェロ、ダブルベース（コントラバス）などのバイオリン類、その他の弦楽器を含む他の仮想弦楽器の、他のもので制御されている間に一方の手で音を出させたり、撫でたり、弓で弾いたり、振動させたりするなどの物理的なコントロール方法を模倣する方法でソフトウェアを制御することもできる。
【００６０】
本発明は、着用者がドラムキット、ティンパニ、管状鐘、キシロフォン、ピアノおよび他の鍵盤楽器を演奏することを可能にするバーチャルパーカッションまたはバーチャルチューニングされた打楽器コントローラとして使用することもできる。
【００６１】
本発明は、ユーザが所望の音を達成するために様々な方法で吹くマイクロフォンの追加によって、仮想管楽器コントローラとして使用することもできる。
【００６２】
以下、本発明の制御システムの好ましい実施形態のより詳細な説明を、ギターモードで使用する場合について行う。パームマウント型キーボード（第１のコントローラ１００）、プレクトラム（第２のコントローラ２００）、ソフトウェアの３つの構成要素について説明する。
【００６３】
プレクトラム２００は、プラスチックハウジング内に取り付けられたカスタム製作されたプリント回路基板（ＰＣＢ）とバッテリとからなる。バッテリーはマイクロＵＳＢソケットを介して充電できる。基板上には、モーションセンサと統合されたマイクロコントローラおよびブルートゥース４トランスミッタの２つの主要構成要素がある。モーションセンサは、Ｉ２Ｃシリアルインタフェースを介してマイクロコントローラに接続されている。これには３軸加速度計と３軸ジャイロスコープの６軸の動き検出機能がある。マイクロコントローラ上で動作するプログラムは、モーションセンサからデータを収集し、約４０Ｈｚ、１６ビット分解能でブルートゥースを介して接続機器に送信する。
【００６４】
手のひらに取り付けられたキーボード１００は、キーボードに追加された、プレクトラムと全く同じハードウェアを有する。キーボードには８個の感圧パッドがあり、マイクロコントローラ上の８個のアナログ入力に接続されている。マイクロコントローラ上のプログラムは、各アナログ入力の電圧を測定することにより、８つのパッドからの圧力読み取りを繰り返し行う。このデータは、モーションセンサデータとともに４０Ｈｚの１６ビット分解能で、接続されたコンピュータシステムまたはモバイルデバイスに送信される。圧力センサは、典型的な人間の接触の範囲内の力に応答するように較正される。
【００６５】
このソフトウェアは、ブルートゥース４トランシーバとオーディオ再生システムを備えたコンピュータシステムまたはモバイルデバイス上で動作する。ソフトウェアが起動されると、プレクトラムとキーボードのためにブルートゥース４ネットワークが検索され、接続される。これから、これらのデバイスから連続したデータストリームを受信する。ギターモードでは、プレクトラムは個別のオーディオ事象（ｅｖｅｎｔ）をトリガするために使用され、キーボードはこれらの事象をどのように鳴らすかを決定するために使用される。これに加えて、両方の装置からの動作センサデータが用いられてこれらの音を修正する。
【００６６】
プレイヤーは、通常のギタープレクトラムと同様の方法で音符を演奏するようにプレクトラムを動かす。プレクトラムからのストラミングまたはピッキング事象を検出するために、ソフトウェアはジャイロスコープからの読み取り値を観察し、適応型開始検出器でデータストリームを処理する。開始検出器が新しい事象を検出すると、ソフトウェアはサウンドサンプルを再生し、その選択は手のひら搭載キーボードの状態によって決定される。
【００６７】
どのサウンドを再生すべきかを決定するために、ソフトウェアは、一連の開始検出器を用いて、手のひらに搭載されたキーボード装置から送信される８つの圧力値を観察する。開始感知器が特定の感圧パッドをトリガーすると、次に再生される音はこのパッドに対応付け（ｍａｐｐｉｎｇ）された音になる。ソフトウェアは、それぞれのパッドに対応付けされた異なるサンプルセットを備えた一連の曲を提供する。これらのサンプルは、ピッチまたは音質が異なる和音または単音であってもよい。
【００６８】
さらに、音をトリガすることに加えて、パッドからの圧力データは、音の音質を変更するためにも使用される。例えば、プレイヤーがパッドを強く押すと音が大きくなる。この変更は、単一のイベントとして、またはサウンドの持続時間の間、連続して起こり得る。例えば、単一のイベントとして、音の再生開始時の圧力の読みは、その全期間にわたってサンプルを再生するための一定の音量を設定する。 連続的なコントローラとして、たとえば、圧力の読みは、サウンドが再生されている間にプレーヤーがワウワウ効果（ｗａｈ−ｗａｈ  ｅｆｆｅｃｔ）をコントロールできるようにする。
【００６９】
いずれかのコントローラからの動作データは、機械学習ベースのジェスチャ認識装置を介して事象をトリガすることによって観察することができる。例えば、プレイヤーが手首を手で早く前後に回転させると、キーボードを搭載した手でソフトウェアが異なる所定の音に変化する。プレイヤーがギターの弦の掻き鳴らしをエミュレートするプレクトラムの動作を行った場合、ソフトウェアは対応するサウンドを再生する。
【００７０】
このソフトウェアにより、プレイヤーは自由に演奏することもガイドトラックやバッキングトラックを演奏することもできる。後者の場合、ソフトウェアは、何を再生するかをプレイヤーに指示するアニメーションを表示することができる。
【図１】
0006737996.tif 000002
【図２】
0006737996.tif 000003
【図３】
0006737996.tif 000004
【図４】
0006737996.tif 000005
【図５Ａ】
0006737996.tif 000006
【図５Ｂ】
0006737996.tif 000007
【図６】
0006737996.tif 000008
【図７】
0006737996.tif 000009
【図８】
0006737996.tif 000010