(57)【要約】【課題】ユーザが手元を確認して入力装置を特定の方向に向けなくても、２次元又は３次元的に表示された操作対象物を操作できるようにする。【解決手段】第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、入力装置の変位量に応じて出力された変位値に基づいて第２の座標系における入力装置の変位量を演算する演算部と、第２の座標系における入力装置の変位量を、第１の座標系における変位量に変換する変換行列を用いて、操作対象物を第１の座標系における変位量に相当する位置に動かす表示を行う表示制御部と、を備える。【選択図】図１２
2013210906.tif 000002
【特許請求の範囲】
【請求項１】
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて変位値を出力する工程と、
前記変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する工程と、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う工程と、を含む
制御方法。
【請求項２】
入力装置本体と、前記入力装置本体に収納され、前記入力装置本体の角速度を検知した角速度値を前記変位値に含めて出力する角速度センサを備える入力装置から受け取った前記第２の座標系における前記角速度値に基づいて、前記第１の座標系における前記操作対象物の角速度に変換する変換行列を更新する工程を含む
請求項１記載の制御方法。
【請求項３】
前記入力装置本体に収納され、前記入力装置本体の加速度及び重力加速度を検知した加速度値を前記変位値に含めて出力する加速度センサを備える入力装置から受け取った前記第２の座標系における前記加速度値に基づいて、前記入力装置が前記表示装置に向く方向で前記入力装置が回転するロール角を演算し、前記加速度値及び重力加速度に基づいて、前記第１の座標系に対する前記第２の座標系のピッチ角を演算する工程を含む
請求項２記載の制御方法。
【請求項４】
前記変換行列は、前記第２の座標系における前記加速度値及び角速度値を、前記第１の座標系における前記操作対象物の加速度及び角速度に変換する
請求項３記載の制御方法。
【請求項５】
前記入力装置本体に収納され、地磁気の方位を検知した磁気値を前記変位値に含めて出力する磁気センサを備える入力装置から受け取った前記第２の座標系における前記磁気値に基づいて、前記第１の座標系における前記地磁気の俯仰角、及び前記入力装置の前記表示装置に対する方位角を演算する工程を含む
請求項４記載の制御方法。
【請求項６】
前記第１の座標系における前記操作対象物の加速度から、前記第１の座標系における前記操作対象物の速度及び移動距離を演算し、前記第１の座標系における前記操作対象物の角速度から、前記第１の座標系における前記操作対象物が移動する角度を演算する工程を含む
請求項５記載の制御方法。
【請求項７】
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて出力された変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する演算部と、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う表示制御部と、を備える
制御装置。
【請求項８】
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて変位値を出力する手順、
前記変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する手順、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う手順、を
コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、２次元又は３次元的に画面に表示される操作対象物への操作入力を行う制御方法、制御装置及びプログラムに関する。
【背景技術】
【０００２】
例えば、画面上に２次元的に表示されるＧＵＩ（Graphical User Interface）を操作するための入力装置として、マウスが広く利用されている。近年においては、マウスに代表される平面操作型の入力装置に限られず、３次元空間で操作可能な入力装置が多種提案されている。
【０００３】
ここで、特許文献１には、３次元内のマウスの動きにより生じる６次の動きを検知する入力装置について開示されている。この入力装置は、３つの軸に沿った加速度を検出する３つの加速度センサと、３つの軸の回転を検出する３つの角速度センサを有しており、加速度、速度、及び入力装置の相対位置と姿勢をコンピュータに伝送して処理がなされている。これにより３次元的に表示される操作対象物を操作できるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表平６−５０１１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、加速度センサと角速度センサを組み合わせた空間操作型の入力装置を用いて、ユーザが操作対象物を操作する場合、操作の開始時には、各センサに固有の軸と、操作対象物の軸を一致させる必要がある。このことはユーザが入力装置を保持して操作を開始したり、誤差の補正を行ったりする際に、手元を確認しながら入力装置を必ず決まった方向に向ける必要があることを意味する。
【０００６】
また、３次元的に映像が表示される表示装置では、錯覚を利用して３次元情報を認識させるために、ユーザが頻繁に手元の確認等の視線変更を行うと疲労を感じる場合がある。また、ユーザが自身の手元を確認しながら画面に表示された操作対象物を操作していると、操作の直感性を著しく低下させてしまう。このため、手元の入力装置の動きが操作対象物の動きと違和感なく一致している必要があり、入力装置に配置されたセンサが出力する値（以下、「変位値」と呼ぶ）を、操作対象物の移動量に変換せねばならないが、この変換時に計算誤差が蓄積しやすい。ここで計算誤差が蓄積すると、手元の入力装置の動きと操作対象物の動きに乖離が生じてしまい、操作性を大幅に低下させてしまう。
【０００７】
本開示はこのような状況に鑑みて成されたものであり、手元を確認して入力装置を特定の方向に向けなくても、２次元又は３次元的に表示された操作対象物を操作できる入力装置を提案するものである。
【課題を解決するための手段】
【０００８】
本開示は、第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、入力装置の変位量に応じて変位値を出力し、変位値に基づいて第２の座標系における入力装置の変位量を演算する。そして、第２の座標系における入力装置の変位量を、第１の座標系における変位量に変換する変換行列を用いて、操作対象物を第１の座標系における変位量に相当する位置に動かす表示を行うものである。
【０００９】
このようにしたことで、入力装置の動きに合わせて操作対象物を操作することが可能となる。
【発明の効果】
【００１０】
本開示によれば、第２の座標系における入力装置の変位量を、第１の座標系における変位量に変換する変換行列を用いて、第１の座標系における変位量に相当する位置に操作対象物を動かす表示を行う。これにより、ユーザが入力装置を用いて操作しようとする方向に操作対象物を自然に動かすことができ、方向性のない入力装置であっても操作性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施の形態例における入力装置、制御装置及び表示装置を備える制御システムの構成例を示すブロック図である。
【図２】本開示の一実施の形態例における入力装置をユーザが握った様子を示す説明図である。
【図３】本開示の一実施の形態例における入力装置の一部破断図である。
【図４】図３に示す破断図の一部拡大図である。
【図５】本開示の一実施の形態例における入力装置の殻状部の外観図である。
【図６】本開示の一実施の形態例における制御システムの電気的な構成を示すブロック図である。
【図７】本開示の一実施の形態例における制御システムの機能構成図である。
【図８】本開示の一実施の形態例における制御システムの動作例を示すフローチャートである。
【図９】本開示の一実施の形態例における入力装置を画面の奥行き方向に移動させた場合における３次元表示された操作対象物の操作例を示す説明図である。
【図１０】本開示の一実施の形態例における入力装置を回転させた場合における３次元表示された操作対象物の操作例を示す説明図である。
【図１１】本開示の一実施の形態例における入力装置を回転させた場合における２次元的に表示された操作対象物の操作例を示す説明図である。
【図１２】本開示の一実施の形態例におけるグローバル座標系とローカル座標系の定義の例を示す説明図である。
【図１３】本開示の一実施の形態例におけるローカル座標系とグローバル座標系の関係を示す線図である。
【図１４】本開示の一実施の形態例における入力装置に搭載される加速度センサ、角速度センサ及び磁気センサのｘ，ｙ，ｚ軸の例を示す説明図である。
【図１５】本開示の一実施の形態例における表示装置が入力装置から受け取った各種センサの変位値を用いて、入力装置の操作と、操作対象物の動作を一致させるための処理例を示すフローチャートである。
【図１６】本開示の一実施の形態例におけるローカル座標系で検出された加速度ａ’及び角速度ω’の例を示す説明図である。
【図１７】本開示の一実施の形態例におけるグローバル座標系に変換された加速度ａ及び角速度ωの例を示す説明図である。
【図１８】本開示の一実施の形態例におけるグローバル座標系における単位ベクトルｉ、ｊ、ｋの例を示す説明図である。
【図１９】本開示の一実施の形態例におけるグローバル座標系におけるユーザと表示装置の位置関係を示す説明図である。
【図２０】図１９に示した位置関係に加えて、ユーザの視差の例を示す説明図である。
【図２１】本開示の一実施の形態例における操作対象物が表示装置の手前に出てくるように見せる場合における説明図である。
【図２２】本開示の他の実施の形態例における表示装置の内部構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。この入力装置は、コンピュータがプログラムを実行することにより、後述する内部ブロックが連携して行う制御方法を実現する。
１．一実施の形態例（ローカル座標系の値をグローバル座標系に変換する例）
２．変形例
【００１３】
＜１．一実施の形態例＞
［システムの全体構成］
まず、図１を参照しながら本開示の一実施形態に係る制御システムについて説明する。
図１は、本開示の一実施の形態例及び後述する各実施形態に係る入力装置１０を含む制御システム１００を示す。制御システム１００は、入力装置１０と制御装置５０と表示装置６０とを有する。
【００１４】
入力装置１０は、例えば、表示部６０ａの画面に表示される操作対象物６０ｂを操作するためにユーザにより操作入力がなされる球体のデバイスである。制御装置５０は、入力装置１０の操作に応じて操作対象物６０ｂの表示を制御する。
【００１５】
制御装置５０としては、入力装置１０に専用の機器であってもよいし、ＰＣ等であってもよい。これにより、制御システム１００では、ユーザが、入力装置１０を操作することにより、表示部６０ａに表示される操作対象物６０ｂを遠隔操作することができる。
【００１６】
なお、表示部６０ａは、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部６０ａは、２次元画像を表示する形態であってもよいし、３次元画像を表示する形態であってもよい。表示部６０ａは、入力装置１０によって操作される操作対象物６０ｂを２次元的、あるいは３次元的に表示する。
【００１７】
表示部６０ａに２次元的に表示される操作対象物６０ｂとしては、例えば、ポインタやアイコン、ウィンドウ等のＧＵＩ等が挙げられる。３次元的に表示される操作対象物６０ｂとしては、人型、動物型のキャラクタ画像が挙げられる。なお、これらの例は、一例に過ぎず、操作対象物６０ｂは、２次元的、３次元的に表示される画像であれば、どのような画像であってもよい。
【００１８】
また、表示装置６０は、テレビジョン放送等を受信可能なテレビジョン装置であってもよい。あるいは、表示装置６０が操作対象物６０ｂを３次元的に表示させる形態の場合、表示装置６０は、ユーザが裸眼で視認することができる立体画像を表示する立体画像表示装置であってもよい。図１では、制御装置５０と表示装置６０とが別々の場合が示されているが、制御装置５０と表示装置６０とは一体的に構成されていてもよい。また、操作対象物６０ｂを表示する表示装置としては、プロジェクタ等を用いてもよい。この場合、プロジェクタによって、スクリーン、壁面に投影された操作対象物６０ｂを操作することも可能である。
【００１９】
表示装置６０は、後述する第１の座標系としてのグローバル座標系によって位置が規定されており、入力装置１０は、後述する第２の座標系としてのローカル座標系によって位置が規定される。そして、操作対象物６０ｂへの操作入力が、入力装置１０によってなされると、制御装置５０が入力装置１０の変位量に合わせて操作対象物６０ｂを動かして表示するように表示装置６０を制御している。
【００２０】
［入力装置の構成例］
図２は、入力装置１０をユーザが握った様子を示す図である。図２に示すように、入力装置１０は、球体の形状を有している。入力装置１０の大きさは、野球の硬球の大きさよりも少し大きいか、少し小さい程度の大きさとされ、直径が例えば、５０ｍｍ〜１００ｍｍ程度の大きさとされる。これにより、ユーザが入力装置１０を握ったときに扱い易い大きさとされる。ただ、入力装置１０の直径の大きさについては、上記の範囲に限定されず、もちろん他の値もとりえる。
【００２１】
図３は、入力装置１０の一部破断図であり、図４は、図３に示す破断図の一部拡大図である。また、図５は、入力装置１０の殻状部２２の外観図である。図５Ａには、殻状部２２を斜め上方向から見た様子が示されており、図５Ｂには、図５Ａに示すＡ方向から殻状部２２を見た様子が示されている。
【００２２】
入力装置１０は、入力装置１０の中心部に設けられた球体形状の基部２１と、基部２１の表面を全体的に覆うように設けられた球殻状の殻状部２２と、殻状部２２の表面を全体的に覆うように設けられた把持部２３とを有する入力装置本体２０を備える。入力装置本体２０は、外形が球状又は球状に準じる形状に形成されており、入力装置本体２０には、表示装置６０に表示される操作対象物６０ｂを操作するための操作入力がなされる。
【００２３】
また、入力装置１０は、入力装置１０が所定の力以上の力で握られたことを検出するとともに、クリック感を発生させるタクトスイッチ１２（スイッチ部）を備える。また、入力装置１０は、ユーザが入力装置１０を握った力の大きさを検出する感圧センサ１３（圧力センサ：握り力を検出する）を備える。
【００２４】
基部２１の内部は、空洞とされている。基部２１内部の空洞部には、ＣＰＵ１１等の電子部品が実装された回路基板が設けられる。
【００２５】
殻状部２２は、同一形状を有する８つのプレート２５によって構成されている（図５を参照）。それぞれのプレート２５の形状は、正三角形に近い形状とされている。そして、８つのプレート２５のうち、隣接する４つのプレート２５の角部の頂点が１点で集中し、この頂点が集中する点が全体では、合計で６つ形成されている。この６つの点に対応する位置に、タクトスイッチ１２と、感圧センサ１３とがそれぞれ配置される。すなわち、本実施形態に係る入力装置１０では、６つのタクトスイッチ１２と、６つの感圧センサ１３とを含む。タクトスイッチ１２と、感圧センサ１３とは、基部２１の表面と殻状部２２（プレート２５）の内面との間に設けられる（図３及び図４を参照）。
【００２６】
感圧センサ１３は、基部２１の表面上に設けられており、タクトスイッチ１２は、感圧センサ１３上に設けられている。感圧センサ１３とタクトスイッチ１２との間には、第１の圧力拡散板１３ａが介在されており、タクトスイッチ１２と殻状部２２（プレート２５）の内面との間には、第２の圧力拡散板１３ｂが介在される。第１の圧力拡散板１３ａ及び第２の圧力拡散板１３ｂにより、ユーザが把持部２３を握った力を均一に感圧センサ１３に伝達することができる。感圧センサ１３は、入力装置本体２０が握られた力の大きさをセンシングする。
【００２７】
タクトスイッチ１２は、スイッチ本体１２ａと、スイッチ本体１２ａに対して移動可能な可動部１２ｂとを有する。また、タクトスイッチ１２は、内部に可動部１２ｂの移動に応じてＯＮ／ＯＦＦが切り替えられる電気的なスイッチ機構（不図示）を有する。また、タクトスイッチ１２は、可動部１２ｂの移動に応じてクリック感を発生させる板バネ等の弾性体を用いたクリック感発生機構（不図示）を有する。
【００２８】
ここで、感圧センサ１３と、プレート２５に加えられる力の大きさ等との関係について説明する。感圧センサ１３により検出された圧力値を基に、１つのプレート２５に加えられた力の大きさと、力が加えられた位置とを算出する場合、１つのプレート２５に対しては、少なくとも３つの感圧センサ１３が必要である。
【００２９】
本実施形態では、１つのプレート２５に対しては、プレート２５に加えられた力を検出する（他のプレート２５と共通で用いられる）３つの感圧センサ１３が設けられている。従って、感圧センサ１３からの圧力値を基に、ベクトル計算等を利用した演算が実行されることで、プレート２５に加えられた力の大きさと、力が加えられた位置とを正確に算出することができる。
【００３０】
また、８つのプレート２５に対して、それぞれ３つの感圧センサ１３を用いる場合、８×３で、本来、２４個の感圧センサ１３が必要となる。しかし、本実施形態では、感圧センサ１３は、隣接する４つのプレート２５の角部の頂点が集中する点に配置されており、隣接する４つのプレート２５で１つの感圧センサ１３が共通で用いられている。これより、感圧センサ１３の数は、合計で６つあれば足り、入力装置１０のコストの削減が実現される。このように、必要最低限の感圧センサ１３で、プレート２５に加えられた力の大きさと、力が加えられた位置とを正確に算出することができる。
【００３１】
しかし、感圧センサ１３は、必ずしも上述した構成としなくてもよい。例えば、感圧センサ１３は、１つのプレート２５に対して１個や２個であってもよいし、４個以上設けていてもよい。また、感圧センサ１３は、他のプレート２５と共通で用いられる形態ではなく、それぞれのプレート２５に対して独立して設けられていてもよい。
【００３２】
典型的には、感圧センサ１３は、ユーザが入力装置１０を握ったときに、プレート２５（殻状部２２）に加えられた力を検出することができる形態であれば、どのような形態であってもよい。また、プレート２５の個数（殻状部２２の分割個数）についても８個に限定されない。例えば、プレート２５の数は、２個や４個等であってもよい。
【００３３】
基部２１及び殻状部２２は、例えば、金属や樹脂等の材料により構成される。一方、把持部２３は、基部２１及び殻状部２２よりも軟らかい材料で構成されている。把持部２３に用いられる材料としては、例えば、ポリウレタン等の合成樹脂を発砲して形成されたスポンジ等が挙げられる。把持部２３に用いられる材料として、スポンジ等の材料が用いられることで、触感を向上させることができ、また、ユーザは、入力装置１０を握る力の大きさを微調整することができる。
【００３４】
次に、制御システム１００の電気的な構成について、図６及び図７を参照しながら説明する。
図６は、制御システム１００の電気的な構成を示すブロック図である。
図７は、制御システム１００の機能構成図である。
【００３５】
まず、図６を参照して入力装置１０の電気的な構成について説明する。
入力装置１０は、報知機構９、ＣＰＵ(Central Processing Unit)１１、タクトスイッチ１２、感圧センサ１３、加速度センサ１４、角速度センサ１５、磁気センサ１６を備える。さらに、入力装置１０は、送受信回路１７、バッテリー１８、ＲＯＭ（Read Only Memory）１９ａ、ＲＡＭ（Random Access Memory）１９ｂを備える。なお、報知機構９には、ＬＥＤ (Light Emitting Diode)等の発光機構、スピーカ等の放音機構、振動発生機構を用いて、放音、発光、又は振動のうち、少なくとも１つを含む報知を行うようにしてもよい。
【００３６】
報知機構９、ＣＰＵ１１、加速度センサ１４、角速度センサ１５、磁気センサ１６、送受信回路１７、ＲＯＭ１９ａ、ＲＡＭ１９ｂは、図示しない回路基板上に実装される。電子部品が実装された回路基板と、バッテリー１８とは、基部２１の内部に形成された空洞部に設けられる。このため、各種センサは、入力装置本体２０に収納されている。
【００３７】
加速度センサ１４及び角速度センサ１５は、入力装置１０の３次元空間内での動きを検出するセンサである。加速度センサ１４は、互いに直交する３軸方向の加速度を検出し、検出された加速度に応じた加速度値（変位値の一例）をＣＰＵ１１へ出力する。角速度センサ１５は、互いに直交する３軸回りの角速度を検出し、検出された角速度に応じた角速度値（変位値の一例）をＣＰＵ１１へ出力する。また、磁気センサ１６は、入力装置１０の３次元空間内における地磁気の方向（例えば、磁北）を検出した磁気値（変位値の一例）をＣＰＵ１１へ出力する。
【００３８】
タクトスイッチ１２、感圧センサ１３、タッチセンサ等は感圧部として用いられる。タクトスイッチ１２は、スイッチ機構がＯＮの状態となったときに、ＣＰＵ１１へ信号を出力する。感圧センサ１３は、入力装置１０がユーザに握られた力の大きさに応じた圧力値をＣＰＵ１１へ出力する圧力センサの一例である。
【００３９】
ＣＰＵ１１は、操作対象物６０ｂを制御するために、加速度センサ１４、角速度センサ１５、磁気センサ１６、感圧センサ１３から出力された角速度値、加速度値、磁気値、圧力値に基づいて、各種の演算を実行する。そして、ＣＰＵ１１は、表示装置６０に表示される操作対象物６０ｂの操作入力が入力装置１０になされると、入力装置１０の変位量に応じた変位値を出力する。この変位量には、例えば、加速度値、角速度値、磁気値、圧力値がある。そして、変位量は、１軸、直交する２軸、又は直交する３軸のいずれかの変位量によって求まる値である。
【００４０】
ＣＰＵ１１は、求めた加速度値、角速度値、磁気値、圧力値を送受信回路１７から制御装置５０に送信する。ただし、ＣＰＵ１１は、これらの値に基づいて、入力装置１０の空間内での移動量、回転量、磁北に対する角度等、入力装置１０が握られた力の大きさや、力が加えられた位置等を算出する場合もある。なお、ＣＰＵ１１は、タクトスイッチ１２のスイッチ機構からの信号が入力されている状態で、各種の演算を実行する。
【００４１】
送受信回路１７は、不図示のアンテナ等を有しており、ＣＰＵ１１の制御に基づいて、各種の情報を制御装置５０へ送信する。なお、送受信回路１７は、制御装置５０から送信された情報を受信することも可能である。
バッテリー１８としては、例えば、充電可能な二次電池が用いられ、不図示の充電部が入力装置本体２０に収納される。
報知機構９は、操作対象物６０ｂが変位したことをユーザに報知する。ここで、報知機構９は、操作対象物６０ｂが移動する１軸の変位量毎に異なる報知を行ってもよい。
【００４２】
次に、図７を参照して入力装置１０の機能構成について説明する。入力装置１０は、検出部４３、第１処理部４１、記憶部４６、第１送受信部４７及び電源部４８を有している。検出部４３は、第１操作検出部４４及び第２操作検出部４５を有している。第１処理部４１は、第１応答部４２、第１演算部４０及び第２応答部４９を有している。
【００４３】
検出部４３は、入力装置本体２０がユーザに所定の力以上の力で握られたことを検出する。例えば、検出部４３は、入力装置本体２０が握られた力の大きさを検出し、握られた力の大きさに応じた握り力検出値を出力する。第１操作検出部４４は、入力装置本体２０への第１の操作を検出する。第１の操作としては、例えば、入力装置１０を握る、入力装置１０をテーブルから持ち上げる、入力装置１０をたたく等が挙げられ、入力装置１０を握る場合のみに限られない。第１操作検出部４４は、例えば、入力装置本体２０が所定の圧力（例えば第１の閾値）以上で握られたことを検出してもよい。また、第１操作検出部４４は、その検出結果に基づき握られた力の大きさに応じた握り力検出値を出力してもよい。
【００４４】
第１の操作を検出後、第２操作検出部４５は、入力装置本体２０への第２の操作を検出する。第２の操作の検出は、第１の操作の検出後に行われ、同時に行われることはない。
【００４５】
第２の操作としては、例えば、入力装置１０をつかんで操作する（入力装置１０をつかんで振る）等が挙げられ、入力装置１０を握る場合のみに限られない。第１操作検出部４４及び第２操作検出部４５により検出される検出値は、感圧センサ１３、加速度センサ１４、角速度センサ１５及び磁気センサ１６によりセンシングされた値の少なくともいずれかである。第２操作検出部４５は、例えば、入力装置本体２０が所定の圧力（第２の閾値）以上で握られたことを検出する。第２の閾値は第１の閾値より大きい値に予め定められている。
【００４６】
第１応答部４２は、第１の操作の検出に基づき入力装置１０の第１の応答を行う。第１の応答としては、クリック音を鳴らす、入力装置１０に設けられたばねにより入力装置１０を持っているユーザの手に反発力を与える等が一例として挙げられる。ただし、第１の操作の検出に基づき必ずユーザに第１の応答を行う必要はない。例えば、第１応答部４２は、検出部４３により入力装置１０が握られたことが検出されたとき、及び入力装置１０が握られたことが検出されなくなったときに第１の応答をユーザに返してもよい。第１応答部４２は、少なくとも検出部４３により入力装置本体２０が握られたことが検出されたときに、第１処理部４１の制御によらず、ユーザに対して第１の応答を返してもよい。また、第１の応答は、基本的にＣＰＵ１１を介さない処理であるため即答性があるが、ＣＰＵ１１を介してもよい。
【００４７】
第１演算部４０は、第１の操作に応じた入力装置本体２０の動きに対する変位値に基づき、操作対象物６０ｂの操作のための演算（第１の処理）を行ってもよく、第２の操作に応じた入力装置本体２０の動きに対する動き検出に基づき操作対象物６０ｂの操作のための演算（第２の処理）を行ってもよい。
【００４８】
なお、第１操作検出部４４は、第１演算部４０を介さずに第１応答部４２に応答処理を促すことができる。このため、第１応答部４２から第１演算部４０に第１の応答を送らずに、ユーザへクリック音による応答を行うことができる。これにより、第１応答部４２によるクリック音による第１の応答を、第１演算部４０による演算結果に基づく処理より速く実行させることが可能となる。しかし、これに限られず、第１の応答（例えばクリック音による応答）を第１演算部４０に送り、第１演算部４０の演算開始のトリガーに利用してもよい。
【００４９】
また、第１の処理と第２の処理とは操作対象物６０ｂに対する異種の操作であり、同種の操作は含まない。異種の操作としては、第１の処理では入力装置１０を握る力が所定の第１の閾値による圧力以上になった場合にクリック音を発生させ、第２の処理では更に握りを強くして所定の第２の閾値による圧力以上になった場合に各種センサによる変位値に基づき操作対象物６０ｂの操作のための演算を実行する例が挙げられる。他の異種の操作としては、第１の処理では入力装置１０を２秒間握った場合にイネーブル（操作入力ＯＫ）とし、カーソル移動操作モードに遷移し、第２の処理では再度、入力装置１０を４秒間握った場合に操作対象物６０ｂを選択して操作モードに入る例が挙げられる。同種の操作としては、感圧センサ１３による検出値を３段階のレベルで検出することにより、弱く握ったら第１の処理に遷移し、強く握ったら第２の処理に遷移する場合が挙げられる。このような同種の操作は、各実施形態の第１の処理と第２の処理には含まない。
【００５０】
なお、第１応答部４２による入力装置のユーザへの第１の応答は操作対象物６０ｂを制御する制御装置５０へと送受信されず、第１演算部４０による操作対象物６０ｂの操作のための演算結果は制御装置５０へと送受信される。よって、第１応答部４２による第１の応答処理は、送受信処理を含まないルートであるため、送受信処理を含む第１演算部４０による演算結果に基づく処理より速いという効果を有する。
【００５１】
第２応答部４９は、第２の操作の検出に基づき入力装置１０の第２の応答を行う。第２の応答としては、入力装置１０に取り付けられた報知機構９に対して、ＬＥＤを点滅表示させたり、音声出力や力覚表示を行ったり、振動したりして、ユーザに対してフィードバックを行うことが例として挙げられる。第２の応答は、基本的にＣＰＵ１１を介さない処理であるため即答性があるが、ＣＰＵ１１を介して行ってもよい。
【００５２】
また、第１処理部４１及び制御装置側の第２処理部６１では、必要に応じて両方あるいは片方において、各検出結果を用いて所望の処理を行い、第２処理部６１を介して表示制御部６６に結果を出力する。
【００５３】
記憶部４６は、例えば半導体メモリ、磁気ディスク、または光学ディスクなどを用いるＲＯＭ１９ａ又はＲＡＭ１９ｂとして実現されうる。
【００５４】
第１送受信部４７は、所定の情報を入力装置１０及び制御装置５０間で送信又は受信する。第１送受信部４７及び第２送受信部６２の間は、有線又は無線にて接続されている。電源部４８は、バッテリー１８として例えば、充電式電池が用いられ、各部に電力を供給する。
【００５５】
［制御装置の構成］
次に、図６を参照して、制御装置５０の電気的な構成を説明する。
制御装置５０は、ＣＰＵ５１、送受信回路５２、ＲＯＭ５３ａ、ＲＡＭ５３ｂ、指示機構５４を含む。
ＲＯＭ５３ａは不揮発性のメモリであり、ＣＰＵ５１の処理に必要な各種のプログラムが記憶される。ＲＡＭ５３ｂは揮発性のメモリであり、ＣＰＵ５１の作業領域として用いられる。
送受信回路５２は、アンテナ等を有しており、入力装置１０から送信される各種の情報を受信する。また、送受信回路５２は、入力装置１０へ信号を送信することも可能である。
【００５６】
指示機構５４は、例えば、キーボードであり、ユーザは、この指示機構５４を介して初期設定、特種設定などの設定を行う。指示機構５４は、ユーザからの各種の指示を受付け、入力された信号をＣＰＵ５１へ出力する。
【００５７】
ＣＰＵ５１は、後述する第２演算部の処理、表示制御部の処理を行う第２処理部の機能を実行する。ＣＰＵ５１は、送受信回路１７によって受信された各種の情報に基づいて、表示装置６０に表示される操作対象物を制御する。
【００５８】
次に、図７を参照して、制御装置５０の機能構成について説明する。
制御装置５０は、第２処理部６１、記憶部６３、第２送受信部６２及び指示部６４を有している。第２処理部６１は、第２演算部６５及び表示制御部６６を有している。
【００５９】
第２送受信部６２は、所定の情報を第１送受信部４７に送信又は受信する。記憶部６３は、例えば半導体メモリ、磁気ディスク、または光学ディスクなどを用いるＲＯＭ５３ａ又はＲＡＭ５３ｂとして実現されうる。
【００６０】
例えばユーザがキーボード等の指示機構５４を用いて操作入力すると、指示部６４は、初期設定、特種設定などの設定を行う。具体的には、指示部６４は、ユーザからの各種の指示を受付け、入力された信号を第２処理部６１へ出力し、初期設定等を指示する。
【００６１】
第２演算部６５は、第１処理部４１からの検出結果や演算結果を用いて所望の処理を行い、表示制御部６６に結果を出力する。また、第２演算部６５は、入力装置１０から受信した変位値に基づいて後述するローカル座標系における入力装置１０の変位量を演算する。なお、入力装置１０の変位量は、入力装置１０内の第１演算部４０が演算して、演算した変位量を制御装置５０に送信する構成とすることもできる。
【００６２】
表示制御部６６は、得られた情報に基づき操作対象物６０ｂの表示を制御する。ここで、表示制御部６６は、後述するローカル座標系における入力装置１０の変位量を、グローバル座標系における変位量に変換する変換行列を用いて、操作対象物６０ｂをグローバル座標系における変位量に相当する位置に動かす表示を行う。この変換行列は、ローカル座標系における加速度値及び角速度値を、グローバル座標系における操作対象物６０ｂの加速度及び角速度に変換するために用いられる。なお、表示制御部６６の替わりに又は表示制御部６６に加えて、操作対象物６０ｂの表示以外の動作（例えば音や振動等）を表現できる表現部を設けてもよい。表現部では、得られた情報を用いて所望の操作入力に対して操作対象物６０ｂの表現を制御する。
【００６３】
［入力装置の動作］
次に、本実施形態に係る制御システム１００の動作について説明する。
図８は、本実施形態に係る制御システム１００の動作例を示すフローチャートである。図８Ａは、入力装置１０の処理を示し、図８Ｂは、制御装置５０の処理を示す。
この入力装置１０は、各種センサから取得した全ての値を制御装置５０に送信する。そして、制御装置５０は、入力装置１０から受信した値に基づいて、積分計算や座標変換を行っている。
【００６４】
まず、ユーザは、入力装置１０を持ち上げて、入力装置１０を操作しやすい位置まで移動させる。なお、このとき、表示部６０ａに表示される操作対象物６０ｂは動かない（ステップＳ１のＮＯ参照）。次に、ユーザが入力装置１０の操作を開始する意思を示して、入力装置本体２０の把持部２３を所定の力以上の力で握る。すると、入力装置本体２０の殻状部２２（プレート２５）と、タクトスイッチ１２の可動部１２ｂが入力装置１０の中心に近づく方向に移動される。タクトスイッチ１２の可動部１２ｂが入力装置１０の中心に向かう方向へ移動すると、クリック感発生機構によりクリック感が発生する。
【００６５】
入力装置１０は、このクリック感による応答（第１の応答の一例）により、ユーザの操作対象物６０ｂの操作を開始する意思に対して適切に応答することができる。そして、ユーザは、このクリック感により、操作対象物６０ｂの操作が開始されることを容易に認識することができる。また、クリック感発生機構によるクリック感による応答は、ＣＰＵを介さない応答であるので、ユーザに対して素早くクリック感による応答を返すことができる。
【００６６】
タクトスイッチ１２の可動部１２ｂが入力装置１０の中心に向かう方向へ移動すると、クリック感が発生するとともに、タクトスイッチ１２のスイッチ機構がＯＮの状態となり、スイッチ機構からＣＰＵ１１へ信号が入力される（ステップＳ１のＹＥＳ）。
【００６７】
タクトスイッチ１２からの信号が入力されると、ＣＰＵ１１は、加速度センサ１４、角速度センサ１５、磁気センサ１６からそれぞれ加速度値、角速度値、磁気値を取得し、感圧センサ１３から圧力値を取得する（ステップＳ２）。
【００６８】
次に、ＣＰＵ１１は、加速度値、角速度値、磁気値の平均化を行う（ステップＳ３）。
また、ＣＰＵ１１は、圧力値に基づいて、ベクトル計算等を利用した演算を実行することで、入力装置１０が握られた力の大きさ（プレート２５に加えられた力の大きさ）と、力が加えられた位置とを算出する。
【００６９】
次に、ＣＰＵ１１は、各情報（平均化した加速度値、角速度値、磁気値、入力装置１０が握られた力の大きさ、力が加えられた位置）を、送受信回路１７を介して、制御装置５０に送信する（ステップＳ４）。
【００７０】
制御装置５０のＣＰＵ５１は、入力装置１０から各情報が受信されたか否かを判定する（ステップ１１）。入力装置１０からの各情報が受信された場合、制御装置５０のＣＰＵ５１は、受信された各情報のうち、加速度値、角速度値を積分計算することにより入力装置１０の移動量、回転量を求めて操作対象物６０ｂを制御する（ステップＳ１２）。なお、制御装置５０のＣＰＵ５１は、ステップＳ１２において、受信された各情報について、さらに演算を実行し、操作対象物６０ｂの制御の精度を向上させる処理を実行してもよい。
【００７１】
例えば、操作対象物６０ｂが３次元的に表示されるキャラクタ画像である場合、ステップＳ１２において、ＣＰＵ５１は、入力装置１０の移動量、回転量の情報に基づいて、そのキャラクタ画像を３次元的に移動させたり、回転させたりする処理を実行する。また、ＣＰＵ５１は、握られた力の大きさの情報や、力の位置の情報に応じて、キャラクタ画像に特定の動き（例えば、ジャンプ、しゃがむ、笑う、怒る等）をさせる処理を実行する。なお、移動量、回転量、握られた力の大きさ、力の位置の情報に基づいて、操作対象物６０ｂがどのように制御されるかについては、特に限定されない。
【００７２】
図８に示す処理により、ユーザは、入力装置１０を所定の力以上の力で握った状態で、入力装置１０を移動させたり、回転させたり、入力装置１０をさらに強く握ったり、入力装置１０の特定の位置を強く押したりすることで、操作対象物６０ｂに任意の動きをさせることができる。
【００７３】
一方、ユーザが、操作対象物６０ｂの操作を（一時的に）停止させる場合、ユーザは、入力装置１０を握った力を弱める。ユーザが入力装置１０を握った力を弱め、握った力が上記所定の力未満の力となると、タクトスイッチ１２の可動部１２ｂと、入力装置本体２０の殻状部２２（プレート２５）とが入力装置１０の中心から離れる方向に移動される。タクトスイッチ１２の可動部１２ｂが入力装置１０の中心から離れる方向に移動すると、クリック感発生部によりクリック感が発生される。
【００７４】
入力装置１０は、このクリック感による応答により、ユーザの操作対象物６０ｂの操作を停止させる意思に対して適切に応答することができる。そして、ユーザは、このクリック感により、操作対象物６０ｂの操作が停止されることを容易に認識することができる。タクトスイッチ１２の可動部１２ｂが入力装置１０の中心から離れる方向へ移動すると、クリック感が発生するとともに、タクトスイッチ１２のスイッチ機構による信号の出力が停止される。これにより、タクトスイッチ１２からＣＰＵ１１への信号の入力が停止され（ステップＳ１のＮＯ）、操作対象物６０ｂの動きが停止される。
【００７５】
このため、ユーザは、入力装置１０を上記所定の力以上の力で握ったり、入力装置１０を握った力を弱めたりすることで、入力装置１０の操作（空間操作、握った力の大きさによる操作）を操作対象物６０ｂの操作に反映させるか否かを任意に切り替えることができる。
【００７６】
また、入力装置１０は、タクトスイッチ１２のクリック感発生部によりユーザの操作対象物６０ｂの操作を開始する意思に対して適切に応答することができる。そして、ユーザは、このクリック感により、操作対象物６０ｂの操作が開始されることを容易に認識することができる。また、クリック感発生機構によるクリック感による応答は、ＣＰＵ１１を介さない応答であるので、ユーザに対して素早くクリック感による応答を返すことができる。
【００７７】
さらに、入力装置１０は、クリック感による応答により、ユーザの操作対象物６０ｂの操作を停止させる意思に対して素早く応答することができる。そして、ユーザは、このクリック感により、操作対象物６０ｂの操作が停止されることを容易に認識することができる。
【００７８】
［入力装置の操作例］
次に、入力装置１０を用いた操作対象物６０ｂの操作例を説明する。
図９は、入力装置１０を画面の奥行き方向に移動させた場合における３次元表示された操作対象物６０ｂの操作例を示す説明図である。
【００７９】
ユーザは、入力装置１０を保持した持ち手を表示装置６０が置かれた方向（Ｘ方向）に移動させたとする。すると操作対象物６０ｂも表示装置６０の画面における奥行き方向（Ｘ方向）に対して入力装置１０と同じように動いて表示される。この動きは、人間の錯覚による３次元映像を利用して表現される。操作対象物６０ｂの動作軸は図９におけるＸ方向だけでなく、ＹＺ方向にもあり、さらに３軸を合成した斜め方向にもある。このため、入力装置１０はどのように持っていても、入力装置１０の前後左右上下への動きに追随して、操作対象物６０ｂも前後左右上下に動くようにする。
【００８０】
図１０は、入力装置１０を回転させた場合における３次元表示された操作対象物６０ｂの操作例を示す説明図である。
図９と同様に、入力装置１０をＹ軸回りに回転させると、操作対象物６０ｂもＹ軸回りに回転させることができる。この際も、入力装置１０の保持の方向に依存性はなく、ユーザがどのように入力装置１０を持っていても、入力装置１０をＸＹＺ軸回りに回転させれば、操作対象物６０ｂもＸＹＺ軸回りに回転するように表示される。また、回転軸は、図１０におけるＸ軸回りだけでなく、ＹＺ方向でも同様の回転が可能であり、さらに３軸を合成させた斜めの軸上にもある。
【００８１】
図１１は、入力装置１０を回転させた場合における２次元的に表示された操作対象物６０ｂの操作例を示す説明図である。
図９と図１０に示した操作対象物６０ｂは、人間の錯覚を利用した３次元映像であった。しかし、図１１に示すような奥行き情報を持った２次元映像による操作対象物６０ｂも同様に操作できる。この際、図９と図１０に示した操作と同様に、ＸＹＺ軸におけるユーザの手元の入力装置１０を移動し、回転する操作が、２次元的に表示された操作対象物６０ｂの動作に反映される。
【００８２】
次に、以降の数式に関する説明を行う際に用いる座標系及び軸の定義について、図１２と図１３を参照して説明する。
【００８３】
図１２は、グローバル座標系とローカル座標系の定義の例を示す説明図である。
以下の説明では、床面に対して平行な面を持つ座標系をグローバル座標系Ｘ、Ｙ、Ｚ（大文字）で表現し、入力装置１０に固有の座標系をローカル座標系ｘ、ｙ、ｚ（小文字斜体）で表現する。そして、表示装置６０の画面内に表示された操作対象物６０ｂの位置を規定する座標にグローバル座標系を用いることとし、例えば画面の上下の方向をＺ軸、画面の左右の方向をＸ軸、画面の奥行き方向をＹ軸とする。また、入力装置１０の位置を規定する座標にローカル座標系を用いることとし、入力装置１０の正面方向をｙ軸、入力装置１０の左右の方向をｘ軸、入力装置１０の上下の方向をｚ軸とする。
【００８４】
図１３は、ローカル座標系とグローバル座標系の関係を示す線図である。
ここで、グローバル座標系Ｙ軸は磁北方位Ｎを向くとする。このことは、表示装置６０の画面が北を向いていることを意味する。ベクトルＶは入力装置１０の向きを示すベクトルであり、ローカル座標系のｙ軸と平行となる。ベクトルＶ０はベクトルＶをＸＹ平面（水平面（床面））に投影したものであり、ＸＹ平面上のベクトルである。方位角αはＹ軸とベクトルＶ０がなす角に相当する。ピッチ角φは、ベクトルＶとベクトルＶ０がなす角に相当し、ローカル座標ｘ軸回りの回転角である。ロール角θは、ローカル座標ｘｙ平面のｙ軸回りの角度であり、ｙＺ平面とｙｚ平面の交角に相当する。ベクトルＨは地磁気の方向を示すベクトルであり、磁極Ｎに向いている。地磁気俯仰角θＨは、ＸＹ水平面と地磁気の方向がなす角であり、Ｙ軸とベクトルＨがなす角に相当する。
【００８５】
図１４は、入力装置１０に搭載される加速度センサ１４、角速度センサ１５及び磁気センサ１６のｘ，ｙ，ｚ軸の例を示す説明図である。
ローカル座標系におけるｘｙｚの各軸上に、加速度センサ１４、角速度センサ１５及び磁気センサ１６がそれぞれ３つずつ配置されることが示されている。なお、加速度センサ１４、角速度センサ１５及び磁気センサ１６は、少なくとも１つ以上あればよい。
【００８６】
図１５は、制御装置５０が入力装置１０から受け取った各種センサが出力する変位値を用いて、入力装置１０の操作と、操作対象物６０ｂの動作を一致させるための処理例を示すフローチャートである。
【００８７】
２次元又は３次元的に表示される操作対象物６０ｂを操作する際、入力装置１０の方向性に関係なくユーザの動作と操作対象物６０ｂの動作を一致させることができる入力装置１０を実現する。ここで、制御装置５０のＣＰＵ５１がローカル座標系で出力された各種センサからの変位値をグローバル座標系に変換する際、図１５に示すフローチャートに沿って演算することにより、計算誤差を小さくすることができる。
【００８８】
表示装置６０は、各ローカル座標上に配置された加速度センサ１４、角速度センサ１５、磁気センサ１６から受け取る変位値を補完し合うことで、計算を行っている。以下、各種センサから取得した変位値がどのように処理されるのかについて具体的に説明する。
【００８９】
始めに、ＣＰＵ５１は、入力装置１０からｘｙｚ軸方向における加速度値、角速度値及び磁気値を受け取って、入力装置１０が移動、回転等の動作を開始したか判別を行う（ステップＳ１）。そして、ＣＰＵ５１は、次に続く演算処理へ進むか否かを判別する。
【００９０】
入力装置１０が動作を開始したか否かは、以下のように判別される。
ローカル座標ｘ、ｙ、ｚ軸の加速度センサ１４の変位値を、それぞれＸaccl，Ｙaccl，Ｚacclとした場合、次式（１）により加速度の大きさが表される。
【００９１】
【数１】
2013210906.tif 000003
【００９２】
ここで、入力装置１０が動いていないことは、定数としての１（Ｇ）に等しいか否かで判別できる。つまり、式（１）で求めた加速度の大きさが１（Ｇ）に等しくなくなると、入力装置１０が動いていると判別できる。
【００９３】
式（１）が成立しなくなった場合、入力装置１０には、重力加速度以外に運動加速度が加わったことを意味する。このため、ＣＰＵ５１は、入力装置１０が動作を開始したと判別する。なお、所定の定数Ａ１、Ａ２を定義しておき、次式（２）により、入力装置１０の操作開始を判別してもよい。
【００９４】
【数２】
2013210906.tif 000004
【００９５】
ここで、例えば、定数Ａ１を０．９（Ｇ）、定数Ａ２を１．１（Ｇ）としておく。これにより、ＣＰＵ５１は、入力装置１０がわずかに動いても直ちに動作開始とは判別しない。そして、式（２）が成立しなくなった場合には、入力装置１０が動作を開始したと判別することができる。
【００９６】
なお、ＣＰＵ５１は、入力装置１０の動作開始を識別する際に、上記の数式（１）、（２）以外の変位値を用いて判別することもできる。
例えば、ローカル座標ｘ、ｙ、ｚ軸の角速度センサ１５の変位値Ｘgyro，Ｙgyro，Ｚgyroを用いると、入力装置１０が動かされていなければ、変位値Ｘgyro，Ｙgyro，Ｚgyroが０となる。このため、ＣＰＵ５１は、ローカル座標ｘ、ｙ、ｚ軸の角速度センサ１５の変位値Ｘgyro，Ｙgyro，Ｚgyroを、式（１）、（２）のＸaccl，Ｙaccl，Ｚacclに当てはめてることで、入力装置１０が動いているか否かを判別できる。また、ＣＰＵ５１は、磁気センサ１６の変位値を式（１）、（２）に当てはめて、入力装置１０の動作開始を判別することができる。
【００９７】
また、入力装置１０は、各種センサからの変位値ではなく、タクトスイッチ１２や感圧センサ１３からの操作入力によって、表示装置６０に動作開始を指示することができる。例えばタクトスイッチ１２を利用した場合、入力装置１０を保持したユーザが操作を開始したいタイミングでタクトスイッチ１２を押すと、移動回転状態に入ったとみなし演算を開始することもできる。このように動作開始の判別方法については、様々なセンサや機構を組み合わせることで実現することが可能となる。
【００９８】
次に、ＣＰＵ５１は、加速度センサ１４の変位値から得た重力加速度を利用して、入力装置１０がグローバル座標系に対してどのような傾きで保持されているかを判別する（ステップＳ２）。ここでは、図１３に示す各座標系を用いて、床面（グローバル座標系）に対する入力装置１０の姿勢（ローカル座標系）を算出する方法の例を示す。
【００９９】
まず、ローカル座標ｘｙ平面のｙ軸回りの角度であり、ｙＺ平面とｙｚ平面の交角であるロール角θの算出方法について述べる。ＣＰＵ５１は、入力装置１０から受け取ったローカル座標系における加速度値に基づいて、入力装置１０が表示装置６０に向く方向で入力装置１０が回転するロール角θを演算している。ここで、重力加速度１Ｇに対するｘ軸の加速度センサ１４の変位値をＡとし、測定されたｘ軸の加速度センサ１４の変位値をＸaccl、ｚ軸の加速度センサ１４の変位値をＺacclとすると、ロール角θは次式（３）、（４）を用いて以下のように求まる。
【０１００】
【数３】
2013210906.tif 000005
【０１０１】
ここで、式（３）のように、センサ変位値Ｘaccl、Ｚacclの正負によって場合分けを行うことで、ロール角θを０〜３６０°の系で表現することができる。しかし、関数arcsin（ｘ）は値域が−１＜ｘ＜１なので、加速度センサ１４がノイズ等の影響を受けた場合に式（３）ではまれに計算エラーが生じてしまう場合がある。その場合は、次式（４）に示すように値域を−∞＜ｘ＜∞とできる関数arctan（ｘ）を利用することで計算エラーを回避できる。なお、式（３）と式（４）は、値域の制限や操作したい姿勢の計算精度等によって使い分けることが望ましい。
【０１０２】
【数４】
2013210906.tif 000006
【０１０３】
次に、ベクトルＶとベクトルＶ０がなす角に相当し、ローカル座標ｘ軸回りの回転角であるピッチ角φの算出方法について述べる。ＣＰＵ５１は、入力装置１０から受け取った加速度値及び重力加速度に基づいて、グローバル座標系に対するローカル座標系のピッチ角φを演算している。ここで、重力加速度１Ｇに対するｙ軸の加速度センサ１４の変位値をＢとし、測定されたｙ軸の加速度センサ１４の変位値をＹaccl、ｚ軸の加速度センサ１４の変位値をＺacclとすると、ピッチ角φは式（５）のように表される。
【０１０４】
【数５】
2013210906.tif 000007
【０１０５】
【数６】
2013210906.tif 000008
【０１０６】
また、上述した式（３）、（４）と同様に、式（５）についても値域を広げるために関数arcsin（ｘ）ではなく、式（６）に示すように関数arctan（ｘ）を利用することで計算エラーを回避することができる。この式（５）、（６）も式（３）、（４）と同様に、値域の制限や操作したい姿勢の計算精度等によって式を使い分けることが望ましい。これら式（３）〜式（６）によって、ＣＰＵ５１は、入力装置１０のロール角θ及びピッチ角φを求めることができる。
【０１０７】
次に、ＣＰＵ５１は、上述の計算から得られた入力装置１０のロール角θ及びピッチ角φと、磁気センサ１６から得られる各ローカル座標上の磁気強度を利用して、方位角と地磁気俯仰角を求める（ステップＳ３）。これにより、表示装置６０に対する入力装置１０の傾きが分かる。
【０１０８】
まず、方位角αの算出方法について述べる。ローカル座標系の各ｘｙｚ軸上の磁気センサ１６の変位値をそれぞれ、Ｘmag、Ｙmag、Ｚmagとする。磁気センサ１６の変位値の合成ベクトルをグローバル座標ＸＹ平面に投影した値をＸＨ、ＹＨ、ＺＨとすると、上述のロール角θとピッチ角φを用いて式（７）が導出される。
【０１０９】
【数７】
2013210906.tif 000009
【０１１０】
ＣＰＵ５１は、式（７）を用いて、磁北（グローバル座標系Ｙ軸方向）に対して入力装置１０の正面方向が成す角度（方位）を求める。この方位は、操作対象物６０ｂと入力装置１０が成す角度へ変換するが、この変換方法については後述する。ここでは、ＸＹ水平面と地磁気の方向がなす角であって、Ｙ軸とベクトルＨがなす角に相当する地磁気俯仰角θＨの算出方法について述べる。ＣＰＵ５１は、入力装置１０から受け取ったローカル座標系における磁気値に基づいて、グローバル座標系における地磁気の地磁気俯仰角θＨ、及び入力装置１０の表示装置６０に対する方位角を演算している。地磁気俯仰角θＨは上記のＸＨ、ＹＨ、ＺＨを用いると式（８）のように算出できる。
【０１１１】
【数８】
2013210906.tif 000010
【０１１２】
次に、地磁気俯仰角θＨの他の算出例について述べる。予め入力装置１０の存在する場所の緯度φ、経度λが分かる場合、もしくはＧＰＳ等によって緯度φと経度λが分かる場合、θＨは以下の式（９）でも求める事ができる。
【０１１３】
【数９】
2013210906.tif 000011
【０１１４】
なお、式（９）は、地磁気俯角θＨの分布を緯度経度の２次式で近似したものであり、磁極の移動によって変化するため、定期的に更新して正確さを維持すればよい。また、地磁気俯仰角θＨの取得に対して要求される精度によっては、式（９）の第２項までの１次近似で求めた値を用いることもできる。
【０１１５】
次に、ＣＰＵ５１は、上述した計算によって得られた方位角と加速度センサ１４の変位値を利用して、ローカル座標系で検出された加速度と角速度をグローバル座標系に変換する最初の処理を行う（ステップＳ４）。この処理は、入力装置１０が静止している状態での計算処理に該当する。
【０１１６】
まず、ステップＳ４に示す演算処理を述べる前に、軸の定義について、図１６〜図１８を参照して説明する。
図１６は、ローカル座標系で検出された加速度ａ’及び角速度ω’の例を示す説明図である。
図１７は、グローバル座標系に変換された加速度ａ及び角速度ωの例を示す説明図である。
図１８は、グローバル座標系における単位ベクトルｉ、ｊ、ｋの例を示す説明図である。
【０１１７】
ＣＰＵ５１は、図１６に示すローカル座標系で検出された加速度ａ’及び角速度ω’を積分することで、入力装置１０の速度、移動距離及び回転角度を求める。この際、ローカル座標上の加速度ａ’及び角速度ω’を、図１７に示すグローバル座標上の加速度ａ及び角速度ωに変換する必要がある。
【０１１８】
そこでまず、図１６に示すようにローカル座標系ｘ、ｙ、ｚの各単位ベクトルをそれぞれｉ、ｊ、ｋとする。また、単位ベクトルｉ、ｊ、ｋとグローバル座標ＸＹ平面が成す角をそれぞれθｘ、θｙ、θｚとする（図１８を参照）。
【０１１９】
図１８に示したγは、操作対象物６０ｂが表示される表示装置６０と入力装置１０が成す角度である。ここで、図１３ではグローバル座標Ｙ軸上に操作対象物６０ｂが表示される表示装置６０があり、その方向は磁北であると仮定していた。しかし、実用上は表示装置６０が常に磁北に設置されるとは限らない。そこで、表示装置６０が設置される方位をＣとし、式（７）で求めた入力装置１０の方位角αを利用すると、操作対象物６０ｂが表示される表示装置６０と入力装置１０が成す角度γは、以下の式（１０）で定義される。
【０１２０】
【数１０】
2013210906.tif 000012
【０１２１】
ここで、図１６に示したローカル座標系の加速度ａ’及び角速度ω’は、次式（１１）を用いて、図１７に示すグローバル座標系の加速度ａ及び角速度ωで表現することができる。
【０１２２】
【数１１】
2013210906.tif 000013
【０１２３】
ここで、行列Ｅｎは、ローカル座標系の基準単位ベクトルｉ、ｊ、ｋを成分とする変換行列である。そして、ベクトルは、θｘ、θｙ、θｚとγから算出することができる。
【０１２４】
まず、現在のフローでは、入力装置１０が静止している状態で加速度ａ及び角速度ωを計算したものであるため、各ローカル座標上の加速度センサ１４の変位値をαｘ、αｙ、αｚとすると、θｘ、θｙ、θｚは次式（１２）のように表される。
【０１２５】
【数１２】
2013210906.tif 000014
【０１２６】
このとき、加速度センサ１４の加速度の大きさｇは、αｘ、αｙ、αｚを用いて次式（１３）のように表される。
【０１２７】
【数１３】
2013210906.tif 000015
【０１２８】
式（１３）のｇは、３軸の加速度センサ１４の静止時の合成ベクトルであって、重力加速度のみが出力されていることから、約９．８ｍ／ｓ２の値になる。そして、式（１２）で求めたθｘ、θｙ、θｚと、式（１０）で求めた、入力装置１０と表示装置６０の成す角度γから、基準単位ベクトルｉ、ｊ、ｋを成分とするｔ＝０（静止時）の座標変換行列Ｅ０は以下のようになる。
【０１２９】
【数１４】
2013210906.tif 000016
【０１３０】
次に、上述の計算から得られた座標変換行列Ｅ０を利用して、ローカル座標上の加速度ａ’及び角速度ω’を、グローバル座標上の加速度ａ及び角速度ωに変換する（ステップＳ５）。
【０１３１】
式（１４）から、ｔ＝０（静止時）における座標変換行列Ｅ０が求められた。このため、座標変換行列Ｅ０を用いてｔ＝０におけるローカル座標上の加速度ａ’０及び角速度ω’０を、グローバル座標上の加速度ａ０及び角速度ω０に変換する。式（１１）より、次式（１５）が求まる。
【０１３２】
【数１５】
2013210906.tif 000017
【０１３３】
【数１６】
2013210906.tif 000018
【０１３４】
ここで式（１５）、（１６）のａ’Ｘ０、ａ’Ｙ０、ａ’Ｚ０、ω’Ｘ０、ω’Ｙ０、ω’Ｚ０はローカル座標系での各ｘｙｚ軸の加速度センサ１４の変位値及び角速度センサ１５の変位値を示す。また、ａＸ０、ａＹ０、ａＺ０、ωＸ０、ωＹ０、ωＺ０は、グローバル座標系でのＸＹＺ軸の加速度及び角速度を示している。
【０１３５】
次に、ＣＰＵ５１は、上述の計算から得られたグローバル座標系の加速度ａ及び角速度ωを、それぞれグローバル座標系の移動距離及び回転角度に変換する（ステップＳ６〜Ｓ８）。この演算では、例えば積分処理が行われる。そして、ＣＰＵ５１は、グローバル座標系における操作対象物６０ｂの加速度から、グローバル座標系における操作対象物６０ｂの速度及び移動距離を演算する。また、ＣＰＵ５１は、グローバル座標系における操作対象物６０ｂの角速度から、グローバル座標系における操作対象物６０ｂが移動する角度を演算する。なお、図１５では、グローバル座標系の加速度、速度、移動距離、角速度、角度を、それぞれグローバル加速度、グローバル速度、グローバル移動距離、グローバル角速度、グローバル角度のように表記している。
【０１３６】
ＣＰＵ５１は、上記の式（１５）、（１６）を用いて、グローバル座標での各ＸＹＺ軸における入力装置１０の加速度ａＸ０、ａＹ０、ａＺ０、及び角速度ωＸ０、ωＹ０、ωＺ０を算出する。さらに、後述するｔ≠０での処理を経ることで、各種センサからの変位値を取得する度に、座標変換を行って、グローバル座標での各ＸＹＺ軸における入力装置１０の加速度ａ０及び角速度ω０を得られる。なお、加速度ａ０及び角速度ω０を入力装置１０の移動距離及び回転角度に変換するには、加速度ａ０及び角速度ω０を時間積分する必要がある。
【０１３７】
時間積分の方法については、台形法や中点法、シンプソン法等の各種積分処理を用いて行うが、各種積分方法についての詳細説明は割愛する。
【０１３８】
次に、入力装置１０が運動を開始してから任意のタイミングでの座標変換（例えばｔ＝０）が終わった後、さらにその次のサンプリングタイミングで得られた各種センサからの変位値（ｔ＝１）の座標変換を引き続き行うのか否かを判別する（ステップＳ９）。これにより入力装置１０が動作状態か停止状態かが分かる。
【０１３９】
式（１５）、（１６）によって、グローバル座標での各ＸＹＺ軸における入力装置１０の加速度ａＸ０、ａＹ０、ａＺ０、及び角速度ωＸ０、ωＹ０、ωＺ０が算出される。このｔ＝０の次のサンプリングタイミング（ｔ＝１）で、角速度センサ１５が検出したローカル座標系での角速度をω’１、その各要素をω’１Ｘ、ω’１Ｙ、ω’１Ｚとする。この際、以下の式（１７）が成立すれば、それは入力装置１０が動作状態であることを意味し、次のステップへ演算を進める。
【０１４０】
【数１７】
2013210906.tif 000019
【０１４１】
【数１８】
2013210906.tif 000020
【０１４２】
式（１８）が成立する場合は、それは入力装置１０が動作を止めて停止状態にあることを意味するので、式（１）の演算を行う、ステップＳ１の座標変換演算スタート判別の処理に戻る。
【０１４３】
一方、式（１７）が成立すると、ＣＰＵ５１は、動作中と判別された入力装置１０を、図１６のベクトルω’の回りにロール角θだけ回転させる３次元回転行列Ｒωθを求める（ステップＳ１０）。
【０１４４】
図１６と図１７より、入力装置１０がベクトルω’の回りにロール角θだけ回転した場合、各種センサからの変位値のサンプリング周期をΔｔとすると、次式（１９）が成立する。
【０１４５】
【数１９】
2013210906.tif 000021
【０１４６】
次に、ω’の単位ベクトルの各成分をλ、μ、νとすると、単位ベクトルは次式（２０）で表現することができる。
【０１４７】
【数２０】
2013210906.tif 000022
【０１４８】
式（１９）、（２０）より、図１６に示したベクトルω’の回りにロール角θだけ回転させる３次元回転行列Ｒωθは以下の式（２１）で示す事ができる。
【０１４９】
【数２１】
2013210906.tif 000023
【０１５０】
次に、ＣＰＵ５１は、式（１７）を経て運動中と判別された入力装置１０をベクトルω’の周りにロール角θだけ回転させた際の、ローカル座標系で検出された加速度と角速度をグローバル座標系に変換する座標変換行列を算出する（ステップＳ１１）。
【０１５１】
座標変換行列Ｅｎがベクトルω’の回りにロール角θだけ回転するとき、新たな座標変換行列であるＥｎ＋１は３次元回転行列Ｒωθによって次式（２２）のように表される。
【０１５２】
【数２２】
2013210906.tif 000024
【０１５３】
入力装置１０が運動中の座標変換行列の更新は、サンプリング周期ごとに式（２２）によって行われる。ここで、ＣＰＵ５１は、入力装置１０から受け取ったローカル座標系における角速度値に基づいて、グローバル座標系における操作対象物６０ｂの角速度に変換する変換行列Ｅｎを変換行列Ｅｎ＋１に更新する。このＥｎ＋１を式（１５）、（１６）に反映させることによりグローバル座標系での加速度及び角速度を求めることが可能になる。
【０１５４】
［視差の求め方］
ここで、図９と図１０に示すようなグローバル座標系のＸ軸上に立体表示される操作対象物６０ｂは、グローバル座標における入力装置１０の動きと、表示装置６０に表示される映像の視差を関連づけることで可能になる。
【０１５５】
図１９は、グローバル座標系におけるユーザと表示装置６０の位置関係を示す説明図である。
図２０は、図１９に示した位置関係に加えて、ユーザの視差の例を示す説明図である。
【０１５６】
入力装置１０を操作するユーザと、表示装置６０の距離をＬ、図２０のように表示装置６０の映像視差をＰ、映像奥行きをＤ、ユーザの眼球距離をＥとすると次式（２３）が成立する。
Ｄ：Ｐ＝（Ｄ＋Ｌ）：Ｅ  …（２３）
【０１５７】
【数２３】
2013210906.tif 000025
【０１５８】
これは、例えば、Ｅ＝６５ｍｍ、Ｌ＝２ｍ、として表示装置６０の奥２４ｍ（Ｄ＝２４ｍ）の位置に操作対象物６０ｂが表示されているように見せたい場合、Ｐ＝６ｃｍとなり、表示映像を６ｃｍずらせばよいことを意味する。ここで、図２０のＸ軸における入力装置１０の移動距離をＴとする。このとき、次式（２５）に示すように定数αによって映像視差Ｐを調整することで、錯覚による３次元映像である操作対象物６０ｂを、入力装置１０を利用して操作することができる。
【０１５９】
Ｐ＝αＴ  …（２５）
【０１６０】
図２１は、操作対象物６０ｂが表示装置６０の手前に出てくるように見せる場合における説明図である。
この場合においても、式（２３）、（２４）と同様に、次式（２６），（２７）より計算できる。
Ｄ：Ｐ＝（Ｄ−Ｌ）：Ｅ  …（２６）
【０１６１】
【数２４】
2013210906.tif 000026
【０１６２】
例えば、Ｅ＝６５ｍｍ、Ｌ＝２ｍ、として表示装置６０の手前１．２ｍ（Ｄ＝１．２ｍ）の位置に操作対象物６０ｂが表示されているように見せたい場合、Ｐ＝１０ｃｍとなり、表示映像を１０ｃｍずらせばよいことを意味する。そして、図２１に示すＸ軸における入力装置１０の移動距離をＴとすると、式（２５）に示した定数αによって映像視差Ｐを調整することで、錯覚による３次元映像である操作対象物６０ｂを、入力装置１０を利用して操作することができる。
【０１６３】
以上説明した一実施の形態例に係る制御システム１００では、複数のセンサから取得した変位値を利用して様々な数値処理を行う。このとき、第２の座標系における入力装置の変位量を、第１の座標系における変位量に変換する変換行列を用いて、第１の座標系における変位量に相当する位置に操作対象物を動かす表示を行う。これにより、ユーザが入力装置を用いて操作しようとする方向に操作対象物を自然に動かすことができ、方向性のない入力装置であっても操作性が向上する。
【０１６４】
ここで、入力装置１０に数値処理を行わせると、処理速度の遅延が起きたり、十分な計算精度得られなかったりする場合がある。このため、簡単な演算であるステップＳ１の箇所だけを入力装置１０で処理し、複雑な演算であるステップＳ２〜Ｓ１１の箇所はＣＰＵ５１で処理すればよい。また、入力装置１０から、各種センサからの変位値のみを送信し、複雑な計算は制御装置５０のＣＰＵ５１で行うこともできる。
【０１６５】
一方、入力装置１０に処理能力が高い演算集積回路を搭載することにより、入力装置１０が全ての演算を行うことも可能である。数値計算処理を入力装置１０で行うか、入力装置１０外部の装置で行うかは、コストやチップサイズ、演算処理能力等の環境から適宜選択することが望ましい。また、信号の伝送方法はＺｉｇｂｅｅ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の機器間通信でも、インターネットを経由した通信でも構わない。
【０１６６】
また、２次元又は３次元的に表示される操作対象物６０ｂを操作する際、入力装置１０の方向性に関係なくユーザの動作と操作対象物６０ｂの動作を一致させることができる。本開示の計算方法を利用することで、装置の動きと操作対象物６０ｂの動きの乖離を最小限に抑える事ができ、手元の確認等頻繁な視線変更を行う必要がなくなり、直感的な操作が可能になる。
【０１６７】
また、入力装置１０が回転中だったり、入力装置１０を保持しているユーザの手が細かく揺れていたりすることで、入力装置１０が僅かな距離でも移動している場合がある。この場合でも、入力装置１０は、ここに角速度センサ１５を備えているので、表示装置６０と入力装置１０の位置関係を特定し、入力装置１０そのもので操作対象物６０ｂの操作を行うことができる。
【０１６８】
＜２．変形例＞
［表示装置の構成例］
なお、上述した実施の形態では、制御装置５０が表示装置６０に表示される操作対象物６０ｂの動作表示を制御する構成としたが、表示装置７０が単独で制御してもよい。ここでは、表示装置７０の構成例を説明する。
【０１６９】
図２２は、表示装置７０の内部構成例を示すブロック図である。図２２Ａは、制御システム１００′の構成例を示し、図２２Ｂは、表示装置７０の内部構成例を示す。
【０１７０】
表示装置７０は、表示部６０ａを備え、一般的なコンピュータ装置としての機能を有するディスプレイ一体型のコンピュータ装置である。表示部６０ａには、操作対象物６０ｂとして、丸形のアイコンと、四角形のアイコンが表示されている。そして、表示装置７０の前には、入力装置１０が操作可能な状態で置かれている（図２２Ａ）。
【０１７１】
表示装置７０は、表示部６０ａ、ＣＰＵ７３、ＲＯＭ７４、ＲＡＭ７５、通信部７６、記憶部７７を備える。
ＲＯＭ７４は不揮発性のメモリであり、ＣＰＵ７３の処理に必要な各種のプログラムが記憶される。ＲＡＭ７５は揮発性のメモリであり、ＣＰＵ７３の作業領域として用いられる。
【０１７２】
通信部７６は、不図示のアンテナ等を有しており、入力装置１０から送信される各種の情報を受信する。また、通信部７６は、入力装置１０へ信号を送信することも可能である。
ＣＰＵ７３は、表示装置７０内の各部の処理を実行しており、上述した制御装置５０が備えるＣＰＵ５１と同様の制御を行うことができる。このため、ＣＰＵ７３は、送受信回路１７から受信した各種の情報に基づいて、表示部６０ａに表示される操作対象物を制御している。
【０１７３】
また、表示装置７０は、不図示の操作部を備える。この操作部には、例えば、キーボードであり、ユーザは、この操作部を用いて初期設定、特殊設定等の設定を行う。操作部は、ユーザからの各種の指示を受付け、入力された信号をＣＰＵ７３へ出力する。
このように、表示装置７０は、制御装置５０と上述した表示装置６０を一体化した構成としてあるため、制御システム１００′の構成を簡素化することができる。
【０１７４】
［他の変形例］
また、入力装置１０と表示装置６０との距離は操作感に寄与しないため、任意に設定できる。例えば、ロボットアーム、クレーン等を操作するための遠隔コントローラとして入力装置１０を用い、表示装置６０には実際に動くロボットアーム、クレーン等を表示することもできる。
【０１７５】
また、操作対象物６０ｂは、画面に表示される仮想的な物体であり、どのような物体であっても操作対象物６０ｂとして表示し、操作することができる。このため、コンピュータ装置の操作に不慣れなユーザであっても直感的に操作することが可能となる。
【０１７６】
また、入力装置１０の形状を球体としたが、球体以外の形状として形成してもよい。方向性のない形状として、例えば、正多面体、準正多面体の形状とすることもできる。
【０１７７】
また、入力装置１０は、９軸のセンサデータを用いることができるが、常に全ての軸のセンサデータを用いる必要はない。一部のセンサデータだけを取り出して、操作対象物６０ｂの操作に用いてもよい。
【０１７８】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【０１７９】
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１８０】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１８１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行う。その処理によって上述した実施の形態例の機能が実現される場合も含まれる。
【０１８２】
また、本開示は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【０１８３】
なお、本開示は以下のような構成も取ることができる。
（１）
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて変位値を出力する工程と、
前記変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する工程と、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う工程と、を含む
制御方法。
（２）
入力装置本体と、前記入力装置本体に収納され、前記入力装置本体の角速度を検知した角速度値を前記変位値に含めて出力する角速度センサを備える入力装置から受け取った前記第２の座標系における前記角速度値に基づいて、前記第１の座標系における前記操作対象物の角速度に変換する変換行列を更新する工程を含む
前記（１）記載の制御方法。
（３）
前記入力装置本体に収納され、前記入力装置本体の加速度及び重力加速度を検知した加速度値を前記変位値に含めて出力する加速度センサを備える入力装置から受け取った前記第２の座標系における前記加速度値に基づいて、前記入力装置が前記表示装置に向く方向で前記入力装置が回転するロール角を演算し、前記加速度値及び重力加速度に基づいて、前記第１の座標系に対する前記第２の座標系のピッチ角を演算する工程を含む
前記（１）又は（２）記載の制御方法。
（４）
前記変換行列は、前記第２の座標系における前記加速度値及び角速度値を、前記第１の座標系における前記操作対象物の加速度及び角速度に変換する
前記（１）〜（３）のいずれかに記載の制御方法。
（５）
前記入力装置本体に収納され、地磁気の方位を検知した磁気値を前記変位値に含めて出力する磁気センサを備える入力装置から受け取った前記第２の座標系における前記磁気値に基づいて、前記第１の座標系における前記地磁気の俯仰角、及び前記入力装置の前記表示装置に対する方位角を演算する工程を含む
前記（１）〜（４）のいずれかに記載の制御方法。
（６）
前記第１の座標系における前記操作対象物の加速度から、前記第１の座標系における前記操作対象物の速度及び移動距離を演算し、前記第１の座標系における前記操作対象物の角速度から、前記第１の座標系における前記操作対象物が移動する角度を演算する工程を含む
前記（１）〜（５）のいずれかに記載の制御方法。
（７）
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて出力された変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する演算部と、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う表示制御部と、を備える
制御装置。
（８）
第１の座標系によって位置が規定される表示装置に表示される操作対象物への操作入力が、第２の座標系によって位置が規定される入力装置になされると、前記入力装置の変位量に応じて変位値を出力する手順、
前記変位値に基づいて前記第２の座標系における前記入力装置の変位量を演算する手順、
前記第２の座標系における前記入力装置の変位量を、前記第１の座標系における変位量に変換する変換行列を用いて、前記操作対象物を前記第１の座標系における変位量に相当する位置に動かす表示を行う手順、を
コンピュータに実行させるプログラム。
【符号の説明】
【０１８４】
１０…入力装置、１１…ＣＰＵ、１４…加速度センサ、１５…角速度センサ、１６…磁気センサ、２０…入力装置本体、５０…制御装置、６０…表示装置、１００…制御システム
【図１】
2013210906.tif 000027
【図２】
2013210906.tif 000028
【図３】
2013210906.tif 000029
【図４】
2013210906.tif 000030
【図５】
2013210906.tif 000031
【図６】
2013210906.tif 000032
【図７】
2013210906.tif 000033
【図８】
2013210906.tif 000034
【図９】
2013210906.tif 000035
【図１０】
2013210906.tif 000036
【図１１】
2013210906.tif 000037
【図１２】
2013210906.tif 000038
【図１３】
2013210906.tif 000039
【図１４】
2013210906.tif 000040
【図１５】
2013210906.tif 000041
【図１６】
2013210906.tif 000042
【図１７】
2013210906.tif 000043
【図１８】
2013210906.tif 000044
【図１９】
2013210906.tif 000045
【図２０】
2013210906.tif 000046
【図２１】
2013210906.tif 000047
【図２２】
2013210906.tif 000048