(57)【特許請求の範囲】
【請求項１】
ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置であって、
ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、
前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、
前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、
前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、
前記少なくとも１つのプロセッサは、前記第２センサデータに基づいて決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第１センサデータに基づいて決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出し、
また、前記少なくとも１つのプロセッサは、前記第１感度パラメータ及び前記第２感度パラメータの増加及び減少をモニタし、前記第２感度パラメータが減少するほど、前記第１カーソルのサイズを小さく設定する
情報入力装置。
【請求項２】
前記少なくとも１つのプロセッサは、
前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する
請求項１に記載の情報入力装置。
【請求項３】
前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、
前記広範囲移動成分は、前記第１カーソル及び前記第２カーソルを移動させるための信号成分であり、前記高精度範囲移動成分は、前記第２カーソルを移動させるための信号成分である
請求項２に記載の情報入力装置。
【請求項４】
前記第１センサは、手または腕の動きを検知するセンサである
請求項１に記載の情報入力装置。
【請求項５】
前記第２センサは、指の動きを検知するセンサである
請求項１に記載の情報入力装置。
【請求項６】
さらに、前記少なくとも１つのプロセッサと、前記ディスプレイ上に前記グラフィックカーソルを表示させる表示ドライバとの間で無線通信するための送信機を備える
請求項１に記載の情報入力装置。
【請求項７】
前記情報入力装置は、
ユーザの身体の一部の動きである第ｋ種のユーザ動作に反応して第ｋセンサデータを生成する第ｋ（１≦ｋ＜ｎ）センサ及び前記第ｋ種のユーザ動作よりも細かいユーザの身体の一部の動きである第（ｋ＋１）種のユーザ動作に反応して第（ｋ＋１）センサデータを生成する第（ｋ＋１）センサを含むｎ個のセンサを有し、
前記少なくとも１つのプロセッサは、前記第ｋ種のユーザ動作に対応した移動成分と前記第（ｋ＋１）種のユーザ動作に対応した移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、前記第ｋセンサデータと他のセンサデータとが結合されたデータにより前記第ｋセンサデータに対応した第ｋカーソルの領域を設定し、前記第（ｋ＋１）センサデータと他のセンサデータとが結合されたデータにより前記第（ｋ＋１）センサデータに対応した第（ｋ＋１）カーソルの領域を、前記第ｋカーソルの領域内において設定する
請求項１に記載の情報入力装置。
【請求項８】
ディスプレイ上に表示される、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成されるグラフィックカーソルをユーザが制御するための携帯型コントローラであって、
第１基準座標に応じて、前記携帯型コントローラの移動を示す第１信号を生成する空間動きセンサと、
前記ユーザの指が接触する動きに反応し、当該指が接触する表面領域と関連付けられた第２基準座標に応じて、前記指の移動を示す第２信号を生成するタッチセンサと、
前記グラフィックカーソルのカーソルサイズと位置データとを算出する少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、前記第１信号及び前記第２信号の強度により、前記携帯型コントローラの移動に対応した前記第１カーソルの位置データと、前記ユーザの指が接触する動きに対応した、前記第２カーソルの位置データとを算出し、
また、前記少なくとも１つのプロセッサは、前記第１信号及び前記第２信号の強度をモニタし、前記第２信号の強度が減少するほど、前記第１カーソルのサイズを小さく設定する
携帯型コントローラ。
【請求項９】
前記空間動きセンサは、手または腕の動きを検知するセンサである
請求項８に記載の携帯型コントローラ。
【請求項１０】
前記タッチセンサは、指の動きを検知するセンサである
請求項８に記載の携帯型コントローラ。
【請求項１１】
ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置の制御方法であって、
ユーザの一部の動きである第１種のユーザ動作に反応する第１センサにより第１センサデータを生成し、
前記第１種のユーザ動作よりも細かいユーザの一部の動きである第２種のユーザ動作に反応する第２センサにより第２センサデータを生成し、
前記第２センサデータに基づいて決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて、前記第１種のユーザ動作に対応した広範囲移動成分を算出し、
前記第１センサデータに基づいて決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて、前記第２種のユーザ動作に対応し前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分を算出し、
前記広範囲移動成分及び前記高精度範囲移動成分を結合することにより、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、
前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとを含み、
前記第１感度パラメータ及び前記第２感度パラメータの増加及び減少をモニタし、前記第２感度パラメータが減少するほど、前記第１カーソルのサイズを小さく設定する
情報入力装置の制御方法。
【請求項１２】
前記広範囲移動成分及び前記高精度範囲移動成分の算出において、
前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する
請求項１１に記載の情報入力装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報入力装置及びその制御方法に関し、特に、コンピュータおよび家電製品用のユーザインターフェースにおけるポインティングシステム及びその制御方法に関する。より詳細には、ディスプレイ上のカーソルまたはポインタの位置および外観を制御するために、多数の入力ソースに同時にかつ連携して応答するポインティング装置およびその制御方法に関する。
【背景技術】
【０００２】
ポインティング操作は、コンピュータおよび多くの家電製品によって使用されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）システムに見られる基本的な操作である。一般的には、ユーザが、マウスのようなコントローラを操作し、ディスプレイ上に表示されたカーソルを移動させる操作がある。ユーザは、カーソルを移動させて、興味のあるアイテムを選択し、多くの画面を移動し、内容などを調査する。ポインティング操作では、マウスを使用することが一般的である一方で、いくつかのアプリケーションでは、肘、手、指のような体の部位を同時にかつ連携的に動かして対象物をポインティングするようなジェスチャ（身振り）による操作が適用されている。例えば、ユーザがリモート入力デバイスを持ち、その保持したコントローラを使って、空間でジェスチャ操作を行うことにより、当該ジェスチャが表示画面上のカーソル移動として変換されるリモートポインティング方法が挙げられる（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７６９６９８０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述のリモートポインティング方法は、動作範囲とポインティング精度との間でトレードオフの関係がある。具体的に説明すると、ディスプレイの全範囲を十分に操作可能な領域とするリモートポインティングデバイスの場合には、ユーザが所望のカーソル位置に一旦到達してもユーザ自身の手の位置を安定保持させるのが困難であるため、正確なコントロールが難しい傾向がある。
【０００５】
反対に、ディスプレイの予め定められた領域内において正確なコントロールを提供するリモートポインティングデバイスの場合には、ディスプレイ上の他の領域を容易に操作できない。例えば、タッチ型のコントローラの場合では、限られた範囲内において正確なポインティング操作が可能であるが、ディスプレイ上の異なる領域への移動には指を滑らすスワイプ操作を何度も繰り返す必要があり、その結果ユーザを疲れさせてしまう。
【０００６】
本発明は上記課題に鑑みてなされたものであり、ディスプレイの全範囲において高精度かつ安定したリモートポインティングが可能な情報入力装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の情報入力装置は、ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置であって、ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、前記第１センサデータに前記第２センサデータを加味して決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第２センサデータに前記第１センサデータを加味して決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザの動作に対するセンサ感度を表す感度パラメータにより、第１種のユーザ動作と第２種のユーザ動作とが、相互作用し連携的に結合されて、各ユーザ動作に対応した移動成分が算出されるので、ディスプレイ上のグラフィックカーソルが高精度かつ安定的なポインティング操作を実現できる。
【０００９】
適用範囲は、ここでの記載に限定されない。本実施の形態での記載及び具体例は、実例のみの目的のために意図され、本開示の範囲を制限するものとして意図されない。
【００１０】
なお、これらの包括的または具体的な態様は、方法により実現されてもよい。
【００１１】
また、開示された実施の形態が提供する更なる利益や利点は、明細書および図面から明らかになる。それらの利益や利点は、さまざまな実施の形態や明細書および図面の特徴によって個々にもたらされる場合があり、１つ以上の利益や利点を得るために、全てが必ずしも提供される必要はない。
【図面の簡単な説明】
【００１２】
ここに記載された図面は、選択された実施例のみを説明する目的のためにあり、本開示の範囲を制限するようには意図されない。
【図１】図１は、本発明の実施の形態に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。
【図２】図２は、本発明の実施の形態に係る携帯型コントローラの機能ブロック図である。
【図３Ａ】図３Ａは、本発明の実施の形態の第２の変形例に係る携帯型コントローラの外観図である。
【図３Ｂ】図３Ｂは、本発明の実施の形態の第３の変形例に係る携帯型コントローラの外観図である。
【図３Ｃ】図３Ｃは、本発明の実施の形態の第３の変形例に係る携帯型コントローラと非接触動作との位置関係を表す図である。
【図４】図４は、本発明の実施の形態の第４の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。
【図５Ａ】図５Ａは、本発明の実施の形態の第５の変形例に係る携帯型コントローラの外観図である。
【図５Ｂ】図５Ｂは、本発明の実施の形態の第６の変形例に係る携帯型コントローラの外観図である。
【図６】図６は、本発明の実施の形態に係る情報入力装置の制御方法を説明する概念図である。
【図７】図７は、本発明の情報入力装置のカスケード制御を説明する図である。
【図８】図８は、本発明の情報入力装置の制御方法を説明する動作フローチャートである。
【図９】図９は、本発明の実施の形態に係る情報入力装置の制御方法を具体的に説明する動作フローチャートである。
【図１０】図１０は、情報入力装置のプロセッサがハイブリッドポインティング制御を実行する場合のメモリのデータ構造を表す図である。
【図１１】図１１は、特定のセンサについてのハイブリッドポインティング制御を示す動作フローチャートである。
【図１２Ａ】図１２Ａは、ユーザ動作に対する感度パラメータαｈａｎｄの変化を表すグラフである。
【図１２Ｂ】図１２Ｂは、ユーザ動作に対する感度パラメータαｆｉｎｇｅｒの変化を表すグラフである。
【図１３】図１３は、カーソルサイズの動的な変化を表す第１の図である。
【図１４】図１４は、カーソル表示の動的な変化を表す第２の図である。
【図１５】図１５は、カーソル表示のバリエーションを表す図である。
【図１６】図１６は、本発明の実施の形態の第１の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、実施の形態を詳細に説明する。なお、同一の参照符号が複数の図面にわたって付された構成要素は、同一の構成要素であることを示す。
【００１４】
本発明の一態様に係る情報入力装置は、ディスプレイ上に表示されるグラフィックカーソルをユーザが操作するための情報入力装置であって、ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、前記第１センサデータに前記第２センサデータを加味して決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第２センサデータに前記第１センサデータを加味して決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出することを特徴とする。
【００１５】
上記構成によれば、ユーザの動作に対するセンサ感度を表す感度パラメータにより、第１種のユーザ動作と第２種のユーザ動作とが、相互作用し連携的に結合されて、各ユーザ動作に対応した移動成分が算出されるので、ディスプレイ上のグラフィックカーソルが高精度かつ安定的なリモートポインティング操作を実現できる。
【００１６】
また、本発明の一態様に係る情報入力装置において、前記少なくとも１つのプロセッサは、前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する。
【００１７】
これにより、ユーザが優先したい第１種のユーザ動作または第２種のユーザ動作に従って、カーソルの移動を決定する移動成分に重み付けが施されるので、カーソルを移動させるためのユーザの操作性及び安定度が向上する。
【００１８】
また、本発明の一態様に係る情報入力装置において、前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、前記少なくとも１つのプロセッサは、さらに、前記第１感度パラメータが大きいほど、または、前記第２感度パラメータが小さいほど、前記第１カーソルのサイズを小さく設定する。
【００１９】
これにより、ユーザは、第２カーソルの位置を詳細に決定したい場合には、第１カーソルのサイズを大きくするので、第２カーソルの位置を決定する際の操作性が向上する。
【００２０】
また、本発明の一態様に係る情報入力装置において、前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、前記広範囲移動成分は、前記第１カーソル及び前記第２カーソルを移動させるための信号成分であり、前記高精度範囲移動成分は、前記第２カーソルを移動させるための信号成分である。
【００２１】
これにより、ユーザは、まず、ディスプレイ上の第１カーソルを広範囲で設定した後、当該第１カーソル内において第２カーソルを高精度に設定できる。よって、ユーザの操作性が向上する。
【００２２】
また、本発明の一態様に係る情報入力装置において、前記第１センサは、手または腕の動きを検知するセンサである。
【００２３】
また、本発明の一態様に係る情報入力装置において、前記第２センサは、指の動きを検知するセンサである。
【００２４】
これらにより、ユーザは、まず、ユーザの体の一部である手により広範囲に移動範囲を設定し、その後、指により高精度に移動範囲を設定できる。また、手及び指の動きを相互に連動させながら、広範囲移動成分及び高精度範囲移動成分が算出されるので、手及び指によるカーソル制御の操作性が向上する。
【００２５】
また、本発明の一態様に係る情報入力装置において、さらに、前記少なくとも１つのプロセッサと、前記ディスプレイ上に前記グラフィックカーソルを表示させる表示ドライバとの間で無線通信するための送信機を備える。
【００２６】
これにより、カーソルのリモートポインティングが可能となる。
【００２７】
また、本発明の一態様に係る情報入力装置において、前記情報入力装置は、ユーザの身体の一部の動きである第ｋ種のユーザ動作に反応して第ｋセンサデータを生成する第ｋ（１≦ｋ＜ｎ）センサ及び前記第ｋ種のユーザ動作よりも細かいユーザの身体の一部の動きである第（ｋ＋１）種のユーザ動作に反応して第（ｋ＋１）センサデータを生成する第（ｋ＋１）センサを含むｎ個のセンサを有し、前記少なくとも１つのプロセッサは、前記第ｋ種のユーザ動作に対応した移動成分と前記第（ｋ＋１）種のユーザ動作に対応した移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、前記第ｋセンサデータと他のセンサデータとが結合されたデータにより前記第ｋセンサデータに対応した第ｋカーソルの領域を設定し、前記第（ｋ＋１）センサデータと他のセンサデータとが結合されたデータにより前記第（ｋ＋１）センサデータに対応した第（ｋ＋１）カーソルの領域を、前記第ｋカーソルの領域内において設定する。
【００２８】
これにより、ユーザは、例えば体の様々な部位を利用し、複数の動きを相互作用させ結合させることにより、ディスプレイ上のグラフィックカーソルを、大きな移動から高精度な移動へと段階的かつ安定に移動させることが可能となる。よって、高精度かつ安定したリモートポインティングが実現される。
【００２９】
また、本発明は、このような特徴的な手段を備える携帯型コントローラとして実現することができる。
【００３０】
また、本発明は、このような特徴的な手段を備える情報入力装置として実現することができるだけでなく、情報入力装置に含まれる特徴的な手段をステップとする情報入力装置の制御方法として実現することができる。
【００３１】
図１を参照して、本実施の形態に係る情報入力装置について説明する。
【００３２】
図１は、本発明の実施の形態に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。本実施の形態では、情報入力装置である携帯型コントローラ１０が、ディスプレイ１４上のカーソル１２の位置、移動および外観を制御するハイブリッドポインティングシステムを構成する。ここで、ハイブリッドポインティングシステムとは、空間での手または腕の動きやタッチパッド上での指の動きに例示される多数の入力ソースを連携的に結合して機能させることにより、スクリーンまたはディスプレイ上のカーソルを制御するシステムである。ディスプレイ１４は、例えば、ワイドスクリーンテレビのような娯楽家電機器の表示画面である。携帯型コントローラ１０は、例えば、無線ＷｉＦｉ、ブルートゥースあるいはその他同種のものを用いてＲＦ信号により無線通信する。なお、ハイブリッドポインティングシステムを実行するプロセッサおよび関連電子機器は、携帯型コントローラ１０内に一体配置されてもよいし、あるいは、携帯型コントローラ１０及び娯楽家電機器に分散配置されてもよい。なお、電子機器が携帯型コントローラ１０及び受信デバイスに分散配置されている構成は、図１６を用いて後述する。
【００３３】
本実施の形態に係る携帯型コントローラ１０は、少なくとも１つのタッチパッド１６を含み、また、携帯型コントローラ１０の空間移動を検出する動き検出回路（後述する）を内蔵している。携帯型コントローラ１０は、このように２つのセンサデータソースを供給する。２つのセンサデータソースとは、空間における動きデータ及びタッチパッドデータであり、これらのデータは、カーソル１２をディスプレイ１４上にどのように表示するか、また、カーソル１２をどのように移動させるか、を制御するためにハイブリッド方式で結合されている。
【００３４】
上記の動き検出回路は、第１種のユーザ動作に反応して第１センサデータを生成する第１センサである。第１種のユーザ動作とは、例えば、携帯型コントローラ１０を把持するユーザの手の動きである。なお、第１種のユーザ動作は、腕の動きであってもよく、この場合には、第１センサは、腕の動きに反応して第１センサデータを生成する。
【００３５】
また、タッチパッド１６は、第２種のユーザ動作に反応して第２センサデータを生成する第２センサである。第２種のユーザ動作とは、第１種のユーザ動作よりも動作範囲が狭く、第１種のユーザ動作よりも精度の高い動作であり、例えば、タッチパッド１６上のユーザの指の動きである。
【００３６】
また、カーソル１２はディスプレイ１４上に表示されたグラフィックカーソルであり、第１カーソルである粗モードポインタ領域１８と、粗モードポインタ領域１８内に配置され粗モードポインタ領域１８よりも小さい、第２カーソルである細モードポインタ２２と、中心点２０とで定義される。
【００３７】
携帯型コントローラ１０の空間内の移動、例えば、ディスプレイ１４の端から端まで移動させる場合、携帯型コントローラ１０を空間内でユーザが振る操作に追随して、粗モードポインタ領域１８（およびその中の細モードポインタ２２）は、ディスプレイ１４上を移動する。よって、カーソル１２および特にカーソル１２の粗モードポインタ領域１８は、ディスプレイ１４上を大きく移動することができる。さらに、粗モードポインタ領域１８の大きさは、ユーザがどのように携帯型コントローラ１０を操作するかに依存して変化する。
【００３８】
また、指でタッチパッド１６を触ることにより、ユーザは粗モードポインタ領域１８内の細モードポインタ２２を制御する。これにより、カーソル１２及び特にカーソル１２の細モードポインタ２２は、粗モードポインタ領域１８内において高精度に移動することが可能となる。
【００３９】
図２は、本発明の実施の形態に係る携帯型コントローラの機能ブロック図である。同図に示されるように、携帯型コントローラ１０は、タッチパッド１６と、プロセッサ２４と、メモリ２６と、入出力インターフェース回路（Ｉ／Ｏ）２８と、無線トランシーバ３０と、ボタンアレイ３２と、タッチパッドドライバ３４と、加速度計３６と、磁力計３７と、ジャイロスコープ３８とを備える。
【００４０】
加速度計３６、磁力計３７及びジャイロスコープ３８は、上述した動き検出回路を構成し、第１センサに相当する。タッチパッド１６及びタッチパッドドライバ３４は、第２センサに相当する。なお、タッチパッド１６は複数あってもよく、複数のタッチパッド１６同士は、タッチパッドドライバ３４を介して接続される。
【００４１】
プロセッサ２４は、第１種のユーザ動作に対応した広範囲移動成分と第２種のユーザ動作に対応した高精度範囲移動成分とを有する、カーソル１２を移動させる信号であるハイブリッドカーソル移動信号を算出する。
【００４２】
メモリ２６は、後述する機能を実行するためにプロセッサ２４により操作されるプログラム命令を格納するための非一時的なコンピュータ読み出し可能の媒体として機能する。メモリ２６は、また、第１及び第２センサからのデータ値、内部パラメータ値、プロセッサ２４よって計算された中間値、およびカーソル１２の位置、移動及び外観を制御するために使用される出力データ値を格納する。プロセッサ２４は、図示されたような様々なセンサおよびデバイスと通信するＩ／Ｏ２８に接続されている。
【００４３】
無線周波数によってディスプレイ１４の表示制御に関連した電子回路と通信するための無線トランシーバ３０が、Ｉ／Ｏ２８に接続されている。
【００４４】
さらに、携帯型コントローラ１０は、複数の押しボタンで構成されたボタンアレイ３２を有している。ユーザは、チャンネル変更または音量調整のような頻繁に行われる操作としてこれらのボタンを選択的に押すことができる。
【００４５】
また、携帯型コントローラ１０は、第１種のユーザ動作および第２種のユーザ動作に対応してカーソル１２が移動する時の操作音を出力するスピーカを備えていてもよい。
【００４６】
空間での動きを検出するために、携帯型コントローラ１０は、加速度計３６、磁力計３７及びジャイロスコープ３８のような１つ以上の慣性センサ（第１センサ）を含む。加速度計３６は、線形運動の二次微分信号を生成する。なお、加速度計３６は、３次元空間の基準座標系における線形運動の二次微分を測定する３軸加速度計であることが好ましい。ジャイロスコープ３８は、回転についての信号を生成し、特定軸についての回転速度を測定する能力を有する。磁力計３７は、方向を指示する磁針方向についての信号を生成する。
【００４７】
なお、携帯型コントローラ１０は、第１センサとして、ジャイロスコープ３８のみを備える態様であってもよい。この場合には、低価格という利点を有する。反面、ジャイロスコープ３８のみを用いた手法は、特性変動が生じる欠点がある。
【００４８】
この特性変動現象を低減させるため、携帯型コントローラ１０は、ジャイロスコープ３８と共に加速度計３６を備える態様であってもよい。
【００４９】
さらに、図２に示されたように、携帯型コントローラ１０は、加速度計３６及びジャイロスコープ３８に磁力計３７が加えられた態様であってもよい。磁力計３７の追加により、特性変動をさらに低減でき、地理的な基準座標に応じたポインティング方向を携帯型コントローラ１０に情報として与えることが可能となる。上記ポインティング方向とは、単に相対的な動き情報ではなく、例えば、東西南北の方位である。
【００５０】
また、上記慣性センサの選択またはこれへの付加として、光学的トラッキングシステムが使用されてもよい。光学的トラッキングシステムは、リモートコントロールにより赤外線カメラを使用する。具体的には、ディスプレイ１４の上部または下部に沿って配置されたダイオードから発光された赤外光を追跡する。
【００５１】
上述したように、携帯型コントローラ１０及びディスプレイ１４を含むハイブリッドポインティングシステム及びその制御方法を実行するプロセッサおよび電子機器は、携帯型コントローラ１０単独に配置されるか、または、受信機、ブルーレイディスクプレーヤ、テレビ受信機、ＡＶプロセッサなどのような他の電子機器にも分散配置されてもよい。例えば、図１６を参照されたい。
【００５２】
図１６は、本発明の実施の形態の第１の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。同図に示されるように、携帯型コントローラ１０は、タッチパッド１６と、プロセッサ２６ｃと、メモリ２４ｃと、Ｉ／Ｏ２８と、無線トランシーバ３０ｃと、ボタンアレイ３２と、タッチパッドドライバ３４と、加速度計３６と、磁力計３７と、ジャイロスコープ３８と、スピーカ４８とを備える。また、家電製品１５は、プロセッサ２４と、メモリ２６と、無線トランシーバ３０と、Ｉ／Ｏと、ディスプレイドライバとを備える。
【００５３】
ディスプレイ１４は、受信機、ブルーレイディスクプレーヤ、テレビ受信機、ＡＶプロセッサなどの家電製品１５に接続される。ハイブリッドポインティングシステムを実行する情報入力装置が有するプロセッサおよび電子機器は、携帯型コントローラ１０および家電製品１５に分散配置される。言い換えれば、情報入力装置を構築するいくつかの電子機器は携帯型コントローラ１０内に配置され、その他の電子機器は家電製品１５内に配置される。図１６に記載された構成は、その分散配置の一例である。つまり、本発明の情報入力装置は、携帯型コントローラ１０及び家電製品１５を含み、第２センサであるタッチパッド１６、第１センサである加速度計３６、磁力計３７およびジャイロスコープ３８が携帯型コントローラ１０内に配置され、ハイブリッドカーソル移動信号を算出するプロセッサ２４が携帯型コントローラ１０内ではなく家電製品１５内に配置される。また、ハイブリッドポインティングシステムを実行するのに使用されるプロセッサ（複数可）は、カーソル生成表示システムと共有されてもよいし、あるいは、カーソル生成表示システムの一部とされてもよい。
【００５４】
携帯型コントローラ１０は、プロセッサ２６ｃを含む。プロセッサ２６ｃは、メモリ２４ｃと関連しており、Ｉ／Ｏ２８を介し、無線トランシーバ３０ｃおよび家電製品１５の無線トランシーバ３０で構成される無線トランシーバペアを経由して、家電製品１５へ第１センサ及び第２センサからのセンサデータを与える。
【００５５】
その後、家電製品１５内のプロセッサ２４は、ハイブリッドカーソル移動信号を算出するために、上記センサデータを使用する。
【００５６】
また、本変形例では、携帯型コントローラ１０から操作音を出力するための、スピーカ４８が配置されている。これにより、本発明の情報入力装置は、例えば、第１種のユーザ移動および第２種のユーザ移動に対応してカーソル１２が移動する時の操作音を変更して出力することが可能となる。これにより、ユーザが携帯型コントローラ１０を用いてディスプレイ１４上のカーソルを移動させる際に、ユーザの視覚だけを頼りに操作するのではなく、聴覚によっても操作することが可能となり、情報入力装置の操作性が向上する。なお、スピーカ４８は、家電製品１５に配置されていてもよい。
【００５７】
また、本発明の情報入力装置は、いかなる複数のセンサを有していてもよく、また、当該情報入力装置の制御方法は、これらの複数のセンサを用いて実行することが可能である。本実施の形態では、携帯型コントローラ１０は、空間の動きセンサ（第１センサ）及びタッチパッドセンサ（第２センサ）という２つのセンサを備えている。この態様は、ｎ個のセンサが用いられる一般的態様のうちの特殊なケースに相当する。よって、本発明の情報入力装置及びその制御方法は、例えば、特殊なアプリケーションにおいて３つ以上のセンサからの出力を結合してもよい。さらに、複数のセンサは各々、本来（空間動きセンサは、タッチパッドセンサによって提供されるデータとは異種のデータを提供する）異種であるので、図２に記載された構成例に、多くのオプションを加えることが可能である。
【００５８】
図３Ａは、本発明の実施の形態の第２の変形例に係る携帯型コントローラの外観図であり、図３Ｂは、本発明の実施の形態の第３の変形例に係る携帯型コントローラの外観図である。また、図３Ｃは、本発明の実施の形態の第３の変形例に係る携帯型コントローラと非接触動作との位置関係を表す図である。図３Ａ及び図３Ｂの例のように、タッチパッド１６を、非接触動作に反応するデバイス４０に組み入れることが可能である。デバイス４０は、図３Ｃに示されるように、携帯型コントローラ１０に近いフィールド領域４４内においてユーザの手の空間動作を検出するセンサである。つまり、本実施の形態の第２及び第３の変形例では、携帯型コントローラ１０自体がユーザと共に動かなくとも、非接触で手の動きを検知するデバイス４０からの第１センサデータとタッチパッド１６からの第２センサデータとにより、プロセッサ２４がハイブリッドカーソル移動信号を生成することが可能である。
【００５９】
上記のように、本発明の情報入力装置のハードウェア構成はバリエーションを有する。
【００６０】
図４は、本発明の実施の形態の第４の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。同図は、別の実施変形例を示しており、携帯型コントローラ１０がコンピュータ４６と無線通信し、ディスプレイ１４はコンピュータに接続されている。
【００６１】
上述した本実施の形態及びその変形例に係る情報入力装置及びその制御方法は、異種のセンサから信号を取得し、ユニークで連携的な方法でそれらを結合する。図１及び図２に記載された構成例では、２つのセンサからの動きデータおよびタッチパッドデータが結合されている。
【００６２】
また、第２センサとして、以下のような変形例が挙げられる。
【００６３】
図５Ａは、本発明の実施の形態の第５の変形例に係る携帯型コントローラの外観図であり、図５Ｂは、本発明の実施の形態の第６の変形例に係る携帯型コントローラの外観図である。図５Ａに示された携帯型コントローラは、図１及び図２に記載された携帯型コントローラと比較して、第２センサの構成のみが異なり、タッチパッド１６の代わりに、ジョイスティック９１が配置されている。この構成によれば、プロセッサ２４は、ジョイスティック９１の傾動情報を加味して手の動きに対応した広範囲移動成分を算出し、また、手の動きを加味してジョイスティック９１の傾動情報に対応した高精度範囲移動成分を算出する。
【００６４】
また、図５Ｂに示された携帯型コントローラは、図１及び図２に記載された携帯型コントローラと比較して、第２センサの構成のみが異なり、タッチパッド１６の代わりに、トラックボール９２が配置されている。この構成によれば、プロセッサ２４は、トラックボール９２の回動情報を加味して手の動きに対応した広範囲移動成分を算出し、また、手の動きを加味してトラックボール９２の回動情報に対応した高精度範囲移動成分を算出する。
【００６５】
図６は、本発明の実施の形態に係る情報入力装置の制御方法を説明する概念図である。第１センサから得られた動きデータ５０（第１センサデータ）、及び、第２センサから得られたタッチパッドデータ５２（第２センサデータ）は、連携的な方法で当該各データを結合させるハイブリッドポインティング制御方法５４を実行するプロセッサ２４へ供給される。動きデータ５０は、図１に記載された第１カーソルである粗モードポインタ領域１８を制御するために主として用いられる。一方、タッチパッドデータ５２は、図１に記載された第２カーソルである細モードポインタ２２を制御するために主として用いられる。しかしながら、プロセッサ２４は、動きデータ５０とタッチパッドデータ５２とを相互作用させる。これにより、粗モードポインタ領域１８の移動はタッチパッドデータ５２の影響を受け、細モードポインタ２２の移動は動きデータ５０の影響を受ける。
【００６６】
そして、プロセッサ２４が実行するハイブリッドポインティング制御方法５４により、実際のディスプレイ１４上のカーソル生成を扱うアプリケーション５６にハイブリッドカーソル移動信号が供給される。言い換えれば、アプリケーション５６は、カーソル１２のグラフィックな外観を生成し、ハイブリッドポインティング制御方法５４の結果に基づいてディスプレイ１４上のある位置にカーソル１２を表示する。
【００６７】
なお、アプリケーション５６は、ディスプレイ１４上のカーソル１２を生成することに限定されない。付加的なアプリケーション機能も実行可能である。例えば、ハイブリッドポインティング制御方法５４は、アプリケーション５６の目的を達成するために使われるカーソル位置およびカーソルサイズ情報の生データを提供する。これにより、ビデオゲームアプリケーションでは、例えば、ハイブリッドポインティング制御方法５４から上記カーソル位置およびカーソルサイズ情報を用いてキャラクタやプレーヤの移動が制御される。例えば、粗モードポインタ領域１８の移動はキャラクタの体の位置を制御し、細モードポインタ２２の移動はキャラクタの腕を制御するのに使用される。
【００６８】
本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４は、いくつかの長所を有する。具体的には、異種のセンサごとに異なる精度のポインティング領域を規定するカスケード制御が可能であることである。これについて、図７を用いて説明する。
【００６９】
図７は、本発明の情報入力装置のカスケード制御を説明する図である。同図には、３つのセンサを利用した制御態様が記載されている。第１センサは、第１の位置範囲６０に応答する。ユーザ入力が第１のセンサにより取り込まれ、第１の選択範囲６２が識別またはハイライトされる。その後、第１の選択範囲６２は、第２の位置範囲６４として拡大され示される。この拡大された視界では、ユーザの選択は第２センサに反応する。その結果、ユーザは、より正確にハイライト、あるいは第２の選択範囲６６を選択することができる。その後、第２の選択範囲６６は、第３の位置範囲６８として拡大され、ユーザの選択は第３センサに反応し、第３の選択範囲７２内において非常に高精度なポイント７０を最後にハイライトすることが可能となる。
【００７０】
上述のように、各センサからのセンサデータが結合することにより、１つの段階の出力が他の段階のセンサ信号と関連づけられる。各センサの範囲は、第１の段階の出力が次段階の探索空間を限定するために使用されるというカスケード方式として使用される。言い換えれば、どのセンサレベルの信号処理においても、他のセンサからの信号に依存する。これにより、カーソル位置およびサイズが正確、安定、および敏感でかつユーザ動き強度にダイナミックに適合するものとなる。
【００７１】
以下、本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４について詳細に説明する。
【００７２】
図８は、本発明の情報入力装置の制御方法を説明する動作フローチャートである。また、図９は、本発明の実施の形態に係る情報入力装置の制御方法を具体的に説明する動作フローチャートである。
【００７３】
なお、本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４は、メモリ２６に格納されたプログラム命令を使用して、プロセッサ２４が当該プログラムを実行することが好ましい。
【００７４】
まず、プロセッサ２４は、第１種のユーザ動作に反応する第１センサにより第１センサデータを生成させる（Ｓ１１）。
【００７５】
また、第１種のユーザ動作よりも動作範囲が狭く、第１種のユーザ動作よりも高精細な動作である第２種のユーザ動作に反応する第２センサにより第２センサデータを生成させる（Ｓ２１）。
【００７６】
上記ステップＳ１１及びステップＳ２１について、具体的には、図９に示されるように、第１種のユーザ動作に相当する空間における手の動きに反応する第１センサにより第１センサデータである動きデータ５０（Ｐ＊ｈａｎｄ）がプロセッサ２４に供給される。一方、第２種のユーザ動作に相当するタッチパッド１６上の指の動きに反応する第２センサにより第２センサデータであるタッチパッドデータ５２（Ｐ＊ｆｉｎｇｅｒ）がプロセッサ２４に供給される。
【００７７】
次に、プロセッサ２４は、第１センサデータに第２センサデータを加味して決定される、第１種のユーザ動作に対する第１センサの感度を表す第１感度パラメータに基づいて、第１種のユーザ動作に対応した広範囲移動成分を算出する（Ｓ１２）。
【００７８】
また、プロセッサ２４は、第２センサデータに第１センサデータを加味して決定される、第２種のユーザ動作に対する第２センサの感度を表す第２感度パラメータに基づいて、第２種のユーザ動作に対応した高精度範囲移動成分を算出する（Ｓ２２）。
【００７９】
上記ステップＳ１２及びステップＳ２２について、具体的には、図９に示されるように、動きデータ５０は、プロセッサ２４の一部である手の動き強度計算プロセッサ７３に供給され、手の動き強度が抽出される。また、動きデータ５０は、指の動き強度計算プロセッサ７４に供給され、ユーザによる手の動きが、タッチパッドデータ５２から得られた指の動きと関連づけられて手の動き強度が抽出される。
【００８０】
同様の方法で、タッチパッドデータ５２は、プロセッサ２４の一部である指の動き強度計算プロセッサ７４及び手の動き強度計算プロセッサ７３に供給される。よって、手の動き強度計算結果は、空間における手の動きがなされている一方で、タッチパッドでの指の動きに多少依存する。
【００８１】
手の動き強度計算プロセッサ７３及び指の動き強度計算プロセッサ７４は、αで表わされた動き感度パラメータを生成する。具体的には、手の動き強度計算プロセッサ７３は、手の動きに対する感度パラメータαｈａｎｄを以下の式１のように計算する。
【００８２】
【数１】
0006053803.tif 000002
【００８３】
ここで、Ａ０は定数（例えば１０）である。また、ΔＰ＊ｆｉｎｇｅｒ（ｔ）はタッチパッドセンサから出力される、時刻ｔにおける生のセンサデータ（ベクトル変化量）である。
【００８４】
同様に、指の動き強度計算プロセッサ７４は、指の動きに対する感度パラメータαｆｉｎｇｅｒを以下の式２のように計算する。
【００８５】
【数２】
0006053803.tif 000003
【００８６】
ここで、Ｂ０は定数（例えば１０）である。また、ΔＰ＊ｈａｎｄ（ｔ）は動きセンサから出力される、時刻ｔにおける生のセンサデータ（ベクトル変化量）である。
【００８７】
例えば、上記式２より、ユーザが空間内で手を動かしていない場合には、時刻ｔにおける指の動きに対する感度パラメータαｆｉｎｇｅｒ（ｔ）は大きく設定され、ユーザが空間において激しく手を動かしている場合には、感度パラメータαｆｉｎｇｅｒ（ｔ）は小さく設定される。
【００８８】
つまり、第１種のユーザ動作である手の動き及び第２種のユーザ動作である指の動きの双方が実行されている場合、第２種のユーザ動作が激しいほど第１感度パラメータαｈａｎｄ（ｔ）を小さく設定して広範囲移動成分を抑制する。一方、第１種のユーザ動作が激しいほど第２感度パラメータαｆｉｎｇｅｒ（ｔ）を小さく設定して高精度範囲移動成分を抑制する。
【００８９】
プロセッサ２４の一部である粗モードポインタ移動プロセッサ７６は、手の動き強度計算プロセッサ７３で算出された感度パラメータαｈａｎｄ（ｔ）を用いて、粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）を以下の式３のように計算する。
【００９０】
【数３】
0006053803.tif 000004
【００９１】
ここで、ΔＰｈａｎｄ（ｔ）は、時間関数として変化する粗モードポインタ領域１８のベクトル量である。また、Ｐ＊ｈａｎｄ（ｔ）及びＰ＊ｈａｎｄ（ｔ−１）は、それぞれ、時刻ｔ及び時刻（ｔ−１）における動きセンサからの生の入力値である。
【００９２】
上記のように算出された粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）は、第１種のユーザ動作（手の動き）に対する第１センサ（動きセンサ）の感度を表す第１感度パラメータ（αｈａｎｄ（ｔ））に基づいた、第１種のユーザ動作に対応した広範囲移動成分に相当する。
【００９３】
同様に、プロセッサ２４の一部である細モードポインタ移動プロセッサ７８は、指の動き強度計算プロセッサ７４で算出された感度パラメータαｆｉｎｇｅｒ（ｔ）を用いて、細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）を以下の式４ように計算する。
【００９４】
【数４】
0006053803.tif 000005
【００９５】
ここで、ΔＰｆｉｎｇｅｒ（ｔ）は、時間関数として変化する細モードポインタ２２のベクトル量である。また、Ｐ＊ｆｉｎｇｅｒ（ｔ）及びＰ＊ｆｉｎｇｅｒ（ｔ−１）は、それぞれ、時刻ｔ及び時刻（ｔ−１）におけるタッチパッドセンサからの生の入力値である。
【００９６】
上記のように算出された細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）は、第２種のユーザ動作（指の動き）に対する第２センサ（タッチパッドセンサ）の感度を表す第２感度パラメータ（αｆｉｎｇｅｒ（ｔ））に基づいた、第２種のユーザ動作に対応した高精度範囲移動成分に相当する。
【００９７】
なお、センサの時間差分値に相当する粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）及び細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）が非常に小さい場合には、ユーザが意図していない動きぶれと判断し、以下の式５及び式６により、ポインタ／カーソルの移動値を０としてもよい。  
【００９８】
【数５】
0006053803.tif 000006
【００９９】
ここで、Ｐｈａｎｄｔｈ及びＰｆｉｎｇｅｒｔｈは、ユーザの意図する動きと意図しない動きとの境界を表す閾値である。上記処理により、ユーザの動きのわずかなぶれ（ノイズ）をキャンセルすることが可能となる。
【０１００】
最後に、上記広範囲移動成分及び上記高精度範囲移動成分を結合することにより、グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する（Ｓ３３）。具体的には、算出された粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）及び細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）は、プロセッサ２４の一部であるプロセッサ８０により結合され、ベクトルＤを生成する。ベクトルＤは、以下の式７のように表わされる。
【０１０１】
【数６】
0006053803.tif 000007
【０１０２】
ここで、Ｓｎは、センサｎの重み付け係数であり、ΔＰｎ（ｔ）はセンサｎに対応するポインタの移動変数である。つまり、式７は、カーソル移動が、全てのセンサからの移動データの結合であることを表している。これを、本実施の形態に対応させて記載すると以下の式８のようになる。
【０１０３】
【数７】
0006053803.tif 000008
【０１０４】
本実施の形態では、例えば、Ｓｈａｎｄ＝１、Ｓｆｉｎｇｅｒ＜１とする（＝０．２）。 つまり、この設定値によれば、空間における手の動きは全範囲のディスプレイ空間をカバーし、指の動きは小さな領域をカバーする。
【０１０５】
以上のように、本発明の実施の形態に係る情報入力装置の制御方法によれば、第１種のユーザ動作に反応する第１センサにより生成された第１センサデータに、第１種のユーザ動作よりも動作範囲が狭く、当該第１種のユーザ動作よりも精度の高い動作である第２種のユーザ動作に反応する第２センサより生成された第２センサデータを加味して決定される感度パラメータ（αｈａｎｄ）に基づいて広範囲移動成分を算出し、第２センサデータに第１センサデータを加味して決定される感度パラメータ（αｆｉｎｇｅｒ）に基づいて高精度範囲移動成分を算出する。上記広範囲移動成分及び上記高精度範囲移動成分により、ディスプレイ上のグラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号（Ｄ）が生成される。
【０１０６】
また、本発明の実施の形態に係る携帯型コントローラ１０は、第１基準座標に応じて、携帯型コントローラ１０の移動を示す第１信号（第１センサデータ）を生成する空間動きセンサと、ユーザの指が接触する動きに反応し、当該指が接触する表面領域と関連付けられた第２基準座標に応じて、指の移動を示す第２信号（第２センサデータ）を生成するタッチセンサと、グラフィックカーソルのカーソルサイズと位置データとを算出する少なくとも１つのプロセッサとを備え、当該少なくとも１つのプロセッサは、上記第１信号及び上記第２信号の強度により当該第１信号及び当該第２信号を重みづけして結合することにより、携帯型コントローラ１０の移動に対応した第１カーソルである粗モードポインタ領域１８の大きさ及び位置データと、ユーザの指が接触する動きに対応した、第１カーソル内であって第１カーソルよりも小さい第２カーソルである細モードポインタ２２の位置データとを算出する。
【０１０７】
これにより、ユーザは、例えば体の様々な部位を利用し、複数の動きを相互作用させ結合させることにより、ディスプレイ上のグラフィックカーソルを、大きな移動から高精度な移動へと段階的かつ安定に移動させることが可能となる。よって、高精度かつ安定したリモートポインティングが実現される。
【０１０８】
なお、ハイブリッドポインティング制御方法５４によれば、カーソル位置の制御に加えて、図１に記載された粗モードポインタ領域１８の外観を制御することも可能である。ハイブリッドポインティング制御方法５４は、以下の式９で表される粗モードポインタ領域１８のカーソルサイズＣｄｉａｍｅｔｅｒを生成するためのパラメータαｈａｎｄ及びαｆｉｎｇｅｒを用いる粗モードポインタ領域外観プロセッサ８２を含む。粗モードポインタ領域外観プロセッサ８２は、以下の式９のようにカーソルサイズを算出する。
【０１０９】
【数８】
0006053803.tif 000009
【０１１０】
ここで、カーソルサイズＣｄｉａｍｅｔｅｒは、指の動きの重み付け係数Ｓｆｉｎｇｅｒにより定義され、αｆｉｎｇｅｒ（ｔ）が小さい場合、より小さいサイズへと縮小される。例えば、ユーザが空間において手を激しく動かす場合には、カーソルサイズＣｄｉａｍｅｔｅｒは小さく、ユーザの手が空間において動かない場合、より大きくなる。
【０１１１】
次に、図１０及び図１１を用いて、プロセッサ２４をプログラムする方法を説明する。
【０１１２】
図１０は、情報入力装置のプロセッサがハイブリッドポインティング制御を実行する場合のメモリのデータ構造を表す図である。また、図１１は、特定のセンサについてのハイブリッドポインティング制御を示す動作フローチャートである。図２に示されたプロセッサ２４は、図９に記載されたプロセッサの各々を実行するようにプログラムされる。本実施の形態では、携帯型コントローラ１０内に配置されたマイクロプロセッサのようなシングルプロセッサを用いてこれらの処理機能はすべて実行される。なお、多数のプロセッサが、携帯型コントローラ１０および携帯型コントローラ１０または他の適切な機器によって制御される家電製品１５のような複数の機器に分散配置されていてもよい。具体的には、図１０には、メモリ２６のデータ構造が記載され、プロセッサ２４は、図１１に記載されたステップおよび計算を実行するようプログラムされる。ここで、図１１に記載されたステップは、多数のセンサ及び多次元のベクトル量ごとに実行されることが好ましい。例えば、図１に示されるように、２つのセンサが用いられ、水平位置ｘ及び垂直位置ｙの両方を有するベクトル位置で実行される。したがって、図１１に記載されたステップは、各センサ、およびベクトルにおける各次元について実行されることを意味している。つまり、図１１は、ベクトル内における単一のセンサについてのシーケンスを表しており、あるセンサに対して各次元で同じ処理が繰り返され、次に、別のセンサについて（全ての次元について）繰り返される。
【０１１３】
まず、ステップＳ１００において、プロセッサ２４は、時刻（ｔ−１）における生のセンサデータを取得する。言い換えれば、指定のスタート時刻（ｔ−１）において、生のセンサデータが取得され、図１０に記載された格納エリア１０２に格納される（Ｓ１０２）。次に、ステップＳ１０４において、プロセッサ２４は、その後の時刻ｔにおける生のセンサデータを取得し、図１０に記載された格納エリア１０６において当該センサデータを格納する（Ｓ１０６）。
【０１１４】
異なる時刻（ｔ−１）および時刻ｔについての２つの生のセンサデータが一旦取得されると、ステップＳ１０８にてそれぞれ異なる計算がなされ、そして、その結果は、図１０に記載された格納エリア１１０に一時的に格納される。その後、この中間的な計算は、ステップＳ１１２において感度パラメータα（ｔ）を計算するために用いられる。前述した式１及び式２は、図１に記載された手及び指についての感度パラメータαｈａｎｄ（ｔ）及びαｆｉｎｇｅｒ（ｔ）の計算の一例を表している。計算された感度パラメータα（ｔ）は、その後、図１０に記載された格納エリア１１４に格納される。
【０１１５】
次に、ステップＳ１１４において、センサ移動値ΔＰが計算される。本ステップを実行するにあたり、２つの方法が挙げられる。第１の方法は、異なる計算により格納エリア１１０に格納された感度パラメータα（ｔ）を乗算することにより、以下の式１０のように、相対的なセンサ移動を計算する。また、第２の方法は、相対的な移動値に、予め格納された、時刻（ｔ−１）における絶対位置を加算することにより位置を算出し、当該位置の値を図１０に記載された格納エリア１１６に格納する。
【０１１６】
【数９】
0006053803.tif 000010
【０１１７】
その後、ステップＳ１１８において、カーソル座標値Ｄ（ｔ）は上記式７により計算され、図１０に記載された格納エリア１１８に格納される。上記計算には、図１０に記載された格納エリア１２０に格納された定数Ｓが使用される。
【０１１８】
その間に、ステップＳ１２２において、ステップＳ１１２で計算された感度パラメータα（ｔ）と定数Ｓとを用いて、カーソルサイズＣｄｉａｍｅｔｅｒの計算が実行される。本実施の形態では、カーソルは、直径が動的に変化する円として表される。なお、円以外の形および配置のカーソルであってもよく、この場合には、ステップＳ１２２における計算値は、直径でないパラメータを表わす。
【０１１９】
その後、ステップＳ１２４において、計算された位置Ｄ（ｔ）及びカーソルサイズＣｄｉａｍｅｔｅｒが出力される。そして、この出力はアプリケーション５６（図６）に供給される。
【０１２０】
上記処理は、現行処理における時刻ｔの値が、次処理における時刻（ｔ−１）の値となるようにして、実質的に繰り返される。図１０に示されたデータ構造図に関して、格納エリア２０４に格納された値が表示空間（つまり表示画面上の座標）内の算出位置を表すのに対して、格納エリア２００に格納された値がセンサ空間内で測定された生データに対応している。ここで、格納エリア２０２に格納された値は中間の計算を表わし、格納エリア２０６の値は定数を表わす。
【０１２１】
ここで、感度パラメータα（ｔ）が、ユーザの動きに依存していかに変化するか、および、感度パラメータα（ｔ）の変化がディスプレイ１４上のカーソル動きにいかに影響するかを説明する。
【０１２２】
図１２Ａは、ユーザ動作に対する感度パラメータαｈａｎｄの変化を表すグラフであり、図１２Ｂは、ユーザ動作に対する感度パラメータαｆｉｎｇｅｒの変化を表すグラフである。図１２Ａでは、まず、空間内で激しい手の動きがあり、その後、タッチパッド上に置かれたユーザの指の動きが表され、そして最後に激しい指の動きがあるという時間経過が表されている。また、図１２Ｂでは、まず、タッチパッド上での激しい指の動きが表され、その後、空間における手の動作が表され、そして最後に空間における激しい手の動きがあるという時間経過が表されている。ユーザの手が空間における動きのみを実行している場合、手の感度パラメータαｈａｎｄは高く、ユーザが激しい指の動きを実行している場合には手の感度パラメータαｈａｎｄは低い。反対に、ユーザの手が空間における動きを実行していない場合、指の感度パラメータαｆｉｎｇｅｒは高く、ユーザの手が空間における激しい動きを行っている場合には指の感度パラメータαｆｉｎｇｅｒは低い。このように、感度パラメータα（ｔ）により、第１種のユーザ動作と第２種のユーザ動作とは、相互作用し連携的に結合することにより、ディスプレイ上のグラフィックカーソルとして高精度かつ安定的な移動として表現される。
【０１２３】
ここで、カーソルサイズＣｄｉａｍｅｔｅｒが、ユーザの動きに依存していかに変化するかを説明する。
【０１２４】
図１３は、カーソルサイズの動的な変化を表す第１の図である。概略ポインタ領域の振る舞いを表す図である。粗モードポインタ領域の大きさが動きに基づいてどのように変化するかを示している。例えば、ユーザの手が空間において激しい動きを行っている場合、つまり第１種のユーザ動作が大きい場合には、粗モードポインタ領域１８は小さく設定し、ユーザの手が空間で動かない場合、つまり第１種のユーザ動作が小さい場合には、粗モードポインタ領域１８を大きく設定する。つまり、感度パラメータαｈａｎｄが大きいほど、または、感度パラメータαｆｉｎｇｅｒが小さいほど、第１カーソルである粗モードポインタ領域１８を小さく設定する。これにより、各移動モードにおいて適確なカーソル表示が実現される。
【０１２５】
図１４は、カーソルサイズの動的な変化を表す第２の図である。同図に示されるように、例えば、ユーザの手が空間において激しい動きを行っており、タッチパッドを触っていない場合には、細モードポインタ２２を表示しない。当該処理は、以下の式１２及び式１３のように表される。
【０１２６】
【数１０】
0006053803.tif 000011
【０１２７】
ここで、Ｃｔｈは、粗モードポインタ領域１８のカーソルサイズに対する閾値であり、図１３で説明した粗モードポインタ領域１８の振る舞いと連携している。これにより、ユーザの手が空間において激しい動きを行なっている場合には、細モードポインタが消えて、ユーザは粗モードポインタだけに意識を集中させることができる。つまり、各移動モードにおいて適確なカーソル表示が実現されるので、ユーザのカーソルに対する認知負荷を軽減することができ、操作性を向上させることができる。
【０１２８】
なお、ユーザの空間における手の動き、または、タッチパッド上での指の動きに基づいて、粗モードポインタ領域１８を示すカーソルのサイズだけでなく、例えば、粗モードポインタ領域１８及び細モードポインタ２２の色や形を変更してもよい。例えば、粗モードポインタ領域１８の移動量または移動速度を表す閾値を設定し、当該閾値以上の場合には、粗モードポインタ領域１８の形状を三角及び黒色表示とし、当該閾値未満の場合には、粗モードポインタ領域１８の形状を円形及び赤色表示とする。
【０１２９】
図１５は、カーソル表示のバリエーションを表す図である。本実施の形態では、同図のＴｙｐｅＡのように、粗モードポインタ領域１８を円形表示、及び、細モードポインタ２２をドット表示したが、アプリケーションに応じて、ＴｙｐｅＢ及びＴｙｐｅＣのような表示としてもよい。ＴｙｐｅＢでは、手の大きさが粗モードポインタ領域１８のサイズを表し、人指し指の先端が細モードポインタ２２の位置を表す。また、ＴｙｐｅＣでは、円形の大きさが粗モードポインタ領域１８のサイズを表し、三角の先端が細モードポインタ２２の位置を表す。このような表示により、アプリケーションに応じた適確なカーソル表示が実現されるので、ユーザのカーソルに対する認知負荷を軽減することができ、操作性を向上させることができる。
【０１３０】
上述した実施の形態及びその変形例の記述は、実例と記載の目的のために提供されたものであって、本発明の開示との完全一致および開示の限定を意図するものではない。特定の実施の形態またはその変形例に記載された要素および特徴は、一般に、当該実施の形態及びその変形例の要素および特徴に制限されず、特に記載されていないとしても、任意の実施の形態及びその変形例に適用または置換可能である。同様に、あらゆる態様において上記要素および特徴は変化してもよい。当該変化は開示からの逸脱と見なされず、また、そのような修正はすべて、開示の範囲内で含まれることを意図する。
【産業上の利用可能性】
【０１３１】
本発明の情報入力装置及びその制御方法は、コンピュータおよび多くの家電製品によって使用されるＧＵＩシステムに有用である。
【符号の説明】
【０１３２】
１０    携帯型コントローラ
１２    カーソル
１４    ディスプレイ
１５    家電製品
１６    タッチパッド
１８    粗モードポインタ領域
２０    中心点
２２    細モードポインタ
２４、２６ｃ、８０    プロセッサ
２４ｃ、２６    メモリ
２８    入出力インターフェース回路（Ｉ／Ｏ）
３０、３０ｃ    無線トランシーバ
３２    ボタンアレイ
３４    タッチパッドドライバ
３６    加速度計
３７    磁力計
３８    ジャイロスコープ
４０    デバイス
４４    フィールド領域
４６    コンピュータ
４８    スピーカ
５０    動きデータ
５２    タッチパッドデータ
５４    ハイブリッドポインティング制御方法
５６    アプリケーション
６０    第１の位置範囲
６２    第１の選択範囲
６４    第２の位置範囲
６６    第２の選択範囲
６８    第３の位置範囲
７０    ポイント
７２    第３の選択範囲
７３    手の動き強度計算プロセッサ
７４    指の動き強度計算プロセッサ
７６    粗モードポインタ移動プロセッサ
７８    細モードポインタ移動プロセッサ
８２    粗モードポインタ領域外観プロセッサ
９１    ジョイスティック
９２    トラックボール
１０２、１０６、１１０、１１４、１１６、１１８、１２０、２００、２０２、２０４、２０６    格納エリア
【図１】
0006053803.tif 000012
【図２】
0006053803.tif 000013
【図３Ｃ】
0006053803.tif 000014
【図４】
0006053803.tif 000015
【図５Ａ】
0006053803.tif 000016
【図５Ｂ】
0006053803.tif 000017
【図６】
0006053803.tif 000018
【図７】
0006053803.tif 000019
【図８】
0006053803.tif 000020
【図９】
0006053803.tif 000021
【図１０】
0006053803.tif 000022
【図１１】
0006053803.tif 000023
【図１２Ａ】
0006053803.tif 000024
【図１２Ｂ】
0006053803.tif 000025
【図１３】
0006053803.tif 000026
【図１４】
0006053803.tif 000027
【図１５】
0006053803.tif 000028
【図１６】
0006053803.tif 000029
【図３Ａ】
0006053803.tif 000030
【図３Ｂ】
0006053803.tif 000031