(57)【特許請求の範囲】
【請求項１】
正多面体からなる操作端末と、この操作端末との間で無線通信が可能でありかつ操作対象のコンピュータとの間で通信が可能な操作情報処理装置とを具備し、
前記操作端末は、
自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を前記操作情報処理装置へ送信する手段と、
自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出し、その回転方向検出情報を前記操作情報処理装置へ送信する手段と
を備え、
前記操作情報処理装置は、
前記操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段と、
前記操作端末から送信された姿勢検出情報を受信し、この受信された姿勢検出情報をもとに、前記転がし操作により選択された操作端末の面を認識する手段と、
前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を前記コンピュータへ送信する送信手段と、
前記操作端末から送信された回転方向検出情報を受信し、この受信された回転方向検出情報をもとに前記操作端末の回転方向が第１の方向であるか当該第１の方向とは反対となる第２の方向であるかを判定し、この判定された第１及び第２の方向に応じて相反する処理を実行させる指示情報を前記コンピュータへ送信する手段と
を備えることを特徴とする操作情報入力システム。
【請求項２】
前記操作端末を転がす操作が行われたとき、その操作後の当該端末の底面と接触してその形状を表す情報を検出し、この面形状検出情報を前記操作情報処理装置へ送信するタッチスクリーンを、さらに具備し、
前記操作情報処理装置の記憶手段は、前記操作端末の種類ごとに、その各面を表す情報と操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶し、
前記操作情報処理装置の送信手段は、
前記タッチスクリーンから送信された面形状検出情報を受信し、この受信された面形状検出情報をもとに前記転がし操作された操作端末の種類を判定する手段と、
前記判定された操作端末の種類に該当し、かつ前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を前記コンピュータへ送信する手段と
を備えることを特徴とする請求項１記載の操作情報入力システム。
【請求項３】
前記タッチスクリーンは、転がし操作後の操作端末の底面の頂点の数及び辺の長さを検出し、この検出された底面の頂点の数及び辺の長さを表す情報を含む面形状検出情報を前記操作情報処理装置へ送信し、
前記操作端末の種類を判定する手段は、前記タッチスクリーンから送信された面形状検出情報に含まれる底面の頂点の数及び辺の長さを表す情報をもとに、前記転がし操作された操作端末の種類を判定することを特徴とする請求項２記載の操作情報入力システム。
【請求項４】
前記タッチスクリーンは、転がし操作後の操作端末の底面の各頂点の位置座標を検出して、この検出された各頂点の位置座標を表す情報を含む面形状検出情報を前記操作情報処理装置へ送信し、
前記操作端末の種類を判定する手段は、
前記タッチスクリーンから送信された面形状検出情報に含まれる底面の各頂点の位置座標をもとにその重心を算出し、この算出された重心に対し前記各頂点が同心円上にあるか否かを判定して、同心円上にあると判定された頂点群を１個の操作端末の底面を表す頂点群として認識する手段を、さらに有することを特徴とする請求項２又は３記載の操作情報入力システム。
【請求項５】
前記動作指示情報を前記コンピュータへ送信する手段は、前記操作端末から受信した回転方向検出情報をもとに前記操作端末の回転方向が第１の方向であるか当該第１の方向とは反対となる第２の方向であるかを判定し、この判定された第１及び第２の方向に応じてそれぞれ前記ショートカット情報の起動及び終了を指示する情報を生成し、この生成された起動／終了指示情報を前記コンピュータへ送信することを特徴とする請求項１乃至４のいずれかに記載の操作情報入力システム。
【請求項６】
正多面体からなり自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を送信する手段と、自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出してその回転方向検出情報を送信する手段とを備えた操作端末と共に使用される操作情報処理装置であって、
前記操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段と、
前記操作端末から送信された姿勢検出情報を受信し、この受信された姿勢検出情報をもとに、前記転がし操作により選択された操作端末の面を認識する手段と、
前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を操作対象のコンピュータへ送信する手段と、
前記操作端末から送信された回転方向検出情報を受信し、この受信された回転方向検出情報をもとに前記操作端末の回転方向が第１の方向であるか当該第１の方向とは反対となる第２の方向であるかを判定し、この判定された第１及び第２の方向に応じて相反する処理を実行させる指示情報を前記コンピュータへ送信する手段と
を具備することを特徴とする操作情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばポインティングデバイスを用いてコンピュータに操作情報を入力する操作情報入力システムと、このシステムで使用される操作情報処理装置に関する。
【背景技術】
【０００２】
近年、テーブルや机などに取り付け可能な大型なタッチスクリーンが登場し、タッチスクリーンを用いた様々な操作情報入力システムが提案されている。一方、パーソナル・コンピュータにおいては、アプリケーションやフォルダを選択し実行させる際に、マウス等のポインティングデバイスを用いた操作情報入力システムは依然して大きな役割を果たしている。
【０００３】
しかし、マウス等のポインティングデバイスを用いた入力システムでは、アプリケーションやフォルダを選択し実行させる際に、その都度ポインティングデバイスを移動させる必要があり、特に頻繁に利用するアプリケーションやフォルダを実行させる場合にはその操作が非常に面倒である。
【０００４】
そこで、例えばハンドジェスチァによってショートカット機能を実行することによりアプリの操作を可能にする操作情報入力システムが提案されている（例えば非特許文献１を参照）。このシステムを使用すると、ショートカット機能の早期記憶、簡易動作による作業の効率化等が期待できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「ＳＩＦＴ特徴量による手形状の相関分析とハンドジェスチャによるアプリ操作」、平山健一他、情報処理学会研究報告Vol.2010-CVIM-172 No.17 ２０１０年５月２７日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記システムではショートカット機能を使用するためにカメラの視野内に手を移動させる動作が必要となり、また手指が不自由なユーザにとっては複雑なハンドジェスチャを行うことが困難な場合があり、操作性に課題があった。  
この発明は上記事情に着目してなされたもので、その目的とするところは、カメラの視野を意識する必要がなく、かつ手指が不自由なユーザであっても簡単な操作で操作情報を入力することが可能な操作情報入力システムとその操作情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の１つの観点は、正多面体からなる操作端末と、この操作端末との間で無線通信が可能でかつ操作対象のコンピュータとの間で通信が可能な操作情報処理装置とを具備する操作情報入力システムにあって、操作端末に、自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を操作情報処理装置へ送信する手段と、自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出し、その回転方向検出情報を前記操作情報処理装置へ送信する手段を備える。一方、操作情報処理装置には、操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段を設ける。そして、操作端末から送信された姿勢検出情報をもとに上記転がし操作により選択された操作端末の面を認識し、この認識された操作端末の面に対応するショートカット情報を上記記憶手段から読み出してコンピュータへ送信する。また、操作端末から送信された回転方向検出情報を受信し、この受信された回転方向検出情報をもとに操作端末の回転方向が第１の方向であるか当該第１の方向とは反対となる第２の方向であるかを判定して、この判定された方向に応じて相反する動作を実行させる動作指示情報をコンピュータへ送信するように構成したものである。
【０００８】
このように構成すると、正多面体からなる操作端末を転がし操作して所望の面を選択すると、当該選択された面に対応するショートカット情報が操作情報処理装置からコンピュータに送られる。このため、ユーザは正多面体からなる操作端末を転がし操作するだけで、コンピュータのショートカット機能を使用することが可能となる。したがって、操作の都度カメラの視野内に手を移動させたり複雑なハンドジェスチャを行うことなくショートカット機能を使用することができ、これによりユーザの操作性を高めることが可能となる。特に手指が不自由なユーザにとっては、転がし操作という簡単な操作のみで多数のショートカット機能を選択使用でききわめて有用である。
【０００９】
また、この発明の１つの観点は以下のような態様を備えることを特徴とする。  
第１の態様は、タッチスクリーンを備え、このタッチスクリーン上で上記操作端末を転がす操作が行われたとき、その操作後の当該端末の底面の形状を表す情報を検出して操作情報処理装置へ送信する。これに対し操作情報処理装置の記憶手段には、操作端末の種類ごとに、その各面を表す情報と操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶しておく。そして、タッチスクリーンから送信された面形状の検出情報をもとに上記転がし操作された操作端末の種類を判定し、この判定された操作端末の種類に該当しかつ上記認識された操作端末の面に対応するショートカット情報を上記記憶手段から読み出し、この読み出されたショートカット情報をコンピュータへ送信するように構成したものである。  
このようにすると、面の数が異なる複数種類の正多面体操作端末を選択的に使用して、より多くのショートカット情報をコンピュータに入力することが可能となる。
【００１０】
第２の態様は、上記タッチスクリーンにより、転がし操作後の操作端末の底面の頂点の数及び辺の長さを検出してその検出情報を操作情報処理装置へ送信し、操作情報処理装置が操作端末の種類を判定する際に、上記タッチスクリーンから送信された底面の頂点の数及び辺の長さを表す情報をもとに上記転がし操作された操作端末の種類を判定するようにしたものである。  
このようにすると、面の数が異なるものの面形状が同一の複数種類の正多面体操作端末を使用した場合にも、これらの正多面体操作端末を識別することが可能となる。
【００１１】
第３の態様は、上記タッチスクリーンにより、転がし操作後の操作端末の底面の各頂点の位置座標を検出してその検出情報を操作情報処理装置へ送信し、操作情報処理装置が操作端末の種類を判定する際に、上記タッチスクリーンから送信された検出情報に含まれる底面の各頂点の位置座標をもとにその重心を算出し、この算出された重心に対し上記各頂点が同心円上にあるか否かを判定して、同心円上にあると判定された頂点群を１個の操作端末の底面を表す頂点群として認識するようにしたものである。  
このようにすると、タッチスクリーン上に複数の正多面体操作端末が同時に載置されている場合でも、これら複数の操作端末を個別に認識することが可能となる。
【００１２】
第４の態様は、操作端末により、自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出して操作情報処理装置へ送信し、操作情報処理装置において、上記操作端末から送信された回転方向検出情報をもとに操作端末の回転方向が第１の方向であるか当該第１の方向とは反対となる第２の方向であるかを判定し、この判定された方向に応じて前記ショートカット情報の起動又は終了を指示する情報を生成してコンピュータへ送信するようにしたものである。  
このようにすると、正多面体操作端末の転がし操作により所望のショートカット機能を選択したのち、当該正多面体端末を右又は左方向に回転させることで上記選択されたショートカット機能の起動／終了指示を入力することが可能となる。
【発明の効果】
【００１３】
すなわちこの発明によれば、カメラの視野を意識する必要がなく、かつ手指が不自由なユーザであっても簡単な操作で操作情報を入力することが可能な操作情報入力システムとその操作情報処理装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の第１の実施形態に係る操作情報入力システムの全体の構成を示す図。
【図２】図１に示したシステムで使用される正多面体操作端末の構成を示すもので、（ａ）は正６面体の操作端末、（ｂ）は正４面体の操作端末、（ｃ）は正８面体の操作端末をそれぞれ示す図。
【図３】図１に示したシステムで使用される正多面体操作端末のその他の構成を示すもので、（ａ）は正１２面体の操作端末、（ｂ）は正２０面体の操作端末をそれぞれ示す図。
【図４】図１に示したシステムで使用される操作情報処理装置の構成を示すブロック図。
【図５】図４に示した操作情報処理装置に設けられたショートカットマッピングデータベースに記憶されたマッピングデータの一例を示す図。
【図６】図２（ａ）に示した正６面体からなる操作端末の姿勢の変化を示す図。
【図７】図４に示した操作情報処理装置に設けられた接触面情報データベースに記憶された、接触面と加速度データとの関係を示す接触面情報の一例を示す図。
【図８】図４に示した操作情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図９】図８に示した全体の処理手順のうち操作端末信号受信処理の処理手順と処理内容を示すフローチャート。
【図１０】図８に示した全体の処理手順のうち多面体種別認識処理の処理手順と処理内容を示すフローチャート。
【図１１】図８に示した全体の処理手順のうち接触面認識処理の処理手順と処理内容を示すフローチャート。
【図１２】図８に示した全体の処理手順のうち操作制御処理の処理手順と処理内容を示すフローチャート。
【図１３】正多面体操作端末のスライド移動操作に応じたポインタの移動動作を説明するための図。
【図１４】正多面体操作端末を回転操作したときの加速度センサの状態変化の一例を示す図。
【図１５】この発明の第２の実施形態に係る操作情報入力システムの操作情報処理装置による接触面認識処理の処理手順と処理内容を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
（第１の実施形態）  
［構成］
図１は、この発明の第１の実施形態に係る操作情報入力システムの全体の構成を示す図である。この操作情報入力システムは、正多面体からなる操作端末１と、机上に配置されたタッチスクリーン２と、操作情報処理装置３とを備え、この操作情報処理装置３にはディスプレイ４が接続されている。
【００１６】
正多面体操作端末（以後操作端末と称する）１の形状の種類としては、図２（ａ），（ｂ），（ｃ）に示すように正６面体、正４面体、正８面体、及び図３（ａ），（ｂ）に示すように正１２面体、正２０面体等がある。  
操作端末１は、図２（ａ）に示す正６面体を例にとると、例えば樹脂製の筐体１１の各面の頂点部位にそれぞれ導電体１２を埋設すると共に、各面の中央部位にキー１３を配設し、さらに筐体１１内に加速度センサ１４と、制御回路及び通信インタフェース（図示省略）を収容したものとなっている。
【００１７】
導電体１２は、例えば導電性ゴムシートからなり、操作端末１の種類を識別するために用いられる。キー１３は、一般的なマウスに設けられている左右クリックキーと同じ機能を有する。加速度センサ１４は直方体をなし、操作端末１が転がし操作されたときの３次元方向（ｘ，ｙ，ｚ）における加速度を検出する。通信インタフェースは、Wire Fire（登録商標）やBluetooth（登録商標）等の微弱又は小電力を使用した無線インタフェースからなる。
【００１８】
制御回路は、予め設定された一定の周期で、上記加速度センサ１４により検出された加速度情報と、上記キー１３のオン／オフ情報とを含む操作情報を生成する。そして、この生成された操作情報を上記通信インタフェースから上記操作情報処理装置３に向け無線送信する機能を有する。
【００１９】
タッチスクリーン２は、例えば静電容量型のタッチパネルを用いたもので、予め設定された検出周期で上記操作端末１の各導電体１２の接触位置を示す位置座標情報を生成する。そして、この生成された位置座標情報を図示しない信号線を介して上記操作情報処理装置３へ送出する。
【００２０】
ところで、操作情報処理装置３は以下のように構成される。図４はその構成を示すブロック図である。  
すなわち、操作情報処理装置３は、操作端末信号受信ユニット１０と、タッチスクリーン信号受信ユニット２０と、記憶ユニット３０と、操作制御ユニット４０と、表示画面制御ユニット５０とを備えている。
【００２１】
記憶ユニット３０は、記憶媒体としてＨＤＤやＮＡＮＤ型フラッシュメモリ等の随時書込読出が可能な不揮発性メモリを使用したもので、テンキー及び加速度センサ情報蓄積部３１と、タッチスクリーン情報蓄積部３２と、ショートカットマッピングデータベース３３と、表示画像データベース３４と、接触面情報データベース３５が設けられている。
【００２２】
テンキー及び加速度センサ情報蓄積部３１は、上記操作端末１から送信されたキー１３のオン／オフ情報及び加速度センサ１４による加速度の検出情報を蓄積するために用いられる。  
タッチスクリーン情報蓄積部３２は、上記タッチスクリーン２から送信された、タッチスクリーン２に対する操作端末１の各導電体１２の接触位置を示す位置座標情報を蓄積するために用いられる。
【００２３】
ショートカットマッピングデータベース３３には、正多面体の種類ごとに、その各面に対応付けて操作内容として予め定義されたショートカット情報が、相互に関連付けられて記憶されている。図５はその一例を示すもので、ここでは正４面体、正６面体及び正８面体の場合を例示している。
【００２４】
表示画像データベース３４には、後述する操作制御ユニット４０で判断された操作内容に対応した表示画像を作成するための情報が記憶されている。  
接触面情報データベース３５には、上記操作端末１の加速度センサ１４の姿勢を表す情報と、タッチシート２に対する当該操作端末１の接触面を表す情報とが、相互に関連付けられて記憶されている。図７はその記憶データの一例を示すもので、図中の(1) 〜(6) は正６面体の面の識別番号を示している。図６は、この(1) 〜(6) で示される正６面体の面がタッチシート２に接触されているときの、操作端末１内の加速度センサ１４の姿勢を例示したものである。
【００２５】
操作端末信号受信ユニット１０は、操作端末１から無線送信された操作情報を受信し、この受信した操作情報に含まれる加速度センサ１４の検出情報とキー１３のオン／オフ情報をその検出時刻を表す情報と関連付けて、記憶ユニット３０内のキー及び加速度センサ情報蓄積部３１に記憶させる機能を有する。
【００２６】
タッチスクリーン信号受信ユニット２０は、タッチスクリーン２から送信された接触位置を示す位置座標情報を受信し、この受信した位置座標情報をその検出時刻を表す情報と関連付けて、記憶ユニット３０内のタッチスクリーン情報蓄積部３２に記憶させる処理を行う。
【００２７】
操作制御ユニット４０は、この発明を実施する上で必要な制御機能として、多面体種別認識部４１と、接触面認識部４２と、操作制御部４３を備えている。これらの処理機能又は制御機能はいずれも、図示しないプログラムメモリに格納されたプログラムを図示しないプロセッサに実行させることにより実現される。
【００２８】
多面体種別認識部４１は、上記タッチスクリーン情報蓄積部３２に記憶された、タッチスクリーン２に対する操作端末１の各導電体１２の接触位置を表す位置座標情報をもとに、操作端末１の種類を識別する処理を行う。
【００２９】
接触面認識部４２は、テンキー及び加速度センサ情報蓄積部３１に記憶された加速度検出情報をもとに、操作端末１のどの面がタッチスクリーン２に接触しているか、つまり転がし操作により選択された操作端末１の面を一意に認識する処理を行う。
【００３０】
操作制御部４３は、以下の処理機能を有する。  
(1) 操作端末１がその任意の面をタッチスクリーン２に接触させた状態でスライド移動操作された場合に、そのスライド移動量及び移動方向を表す情報をもとにディスプレイ４の表示画面上におけるマウスカーソルの移動方向及び移動量を計算し、この計算結果に基づいて上記ディスプレイ４の表示画面上におけるマウスカーソルの表示位置を移動させる処理。上記スライド移動量及び移動方向を表す情報は、タッチスクリーン情報蓄積部３２に記憶された、操作端末１の各導電体１２のタッチスクリーン２に対する接触位置を示す位置座標情報の変化から求められる。
【００３１】
(2) 操作端末１がその任意の面をタッチスクリーン２上に接触させた状態で回転操作された場合に、その回転方向が右方向か左方向かを判定する。そして、この回転方向の判定結果に応じて、アプリケーション又はフォルダのショートカットを起動又は終了させる処理。  
上記起動又は終了対象のショートカットは、上記多面体種別認識部４１により認識された操作端末１の正多面体の種類と、接触面認識部４２により認識されたタッチスクリーン２に対する操作端末１の接触面を表す情報とをもとに、上記ショートカットマッピングデータベース３３から読み出される。なお、上記回転方向も、タッチスクリーン情報蓄積部３２に記憶された、操作端末１の各導電体１２のタッチスクリーン２に対する接触位置を示す位置座標情報の変化から求められる。
【００３２】
表示画面制御ユニット５０は、上記操作制御ユニット４０により判断された操作内容と、表示画面データベース３４に記憶された表示画面データとをもとに、上記操作内容に応じた表示画面データを生成し、この生成された表示画面データをディスプレイ４へ出力して表示させる処理を行う。
【００３３】
［動作］
次に、以上のように構成されたシステムによる操作情報入力処理を説明する。  
（１）操作端末１及びタッチスクリーン２の動作
操作端末１では、一定の周期で、加速度センサ１４により加速度が検出されると共にキー１３のオン／オフ状態が検出され、これらの検出情報を含む操作情報が操作情報処理装置３に向け無線送信される。また、タッチスクリーン２では、一定の周期で、上記操作端末１に設けられた各導電体１２の接触位置を示す位置座標情報が生成され、この生成された位置座標情報が上記操作情報処理装置３へ送出される。
【００３４】
（２）操作情報処理装置３における処理
操作情報処理装置３では以下のような処理が実行される。図８はその全体の処理手順と処理内容を示すフローチャートである。  
（２−１）操作情報及び位置座標情報の受信処理
操作端末信号受信ユニット１０では、ステップＳ１，Ｓ２において以下のように操作情報の受信及び蓄積処理が行われる。すなわち、図９に示すように先ずステップＳ１１において操作端末１からの操作情報の受信が監視されている。この状態で操作情報が受信されると、ステップＳ１２において、この受信された操作情報から加速度センサ１４の検出情報及びキー１３のオン／オフ情報が抽出され、この抽出された検出情報がその検出時刻を表す情報と関連付けられてキー及び加速度センサ情報蓄積部３１に記憶される。
【００３５】
また、それと並行してタッチスクリーン信号受信ユニット２０においても、タッチスクリーン２からの位置座標情報の受信が監視されており、位置座標情報が受信されるとこの受信された位置座標情報がその検出時刻を表す情報と関連付けられてタッチスクリーン情報蓄積部３２に記憶される。
【００３６】
（２−２）操作端末１の種類の認識処理
上記キー及び加速度センサ情報蓄積部３１に、加速度の検出情報及びキー１３のオン／オフ情報が新たに記憶され、これに応じてキー及び加速度センサ情報蓄積部３１から記憶情報の更新通知が発生されたとする。そうすると、ステップＳ３により多面体種別認識部４１が起動され、この多面体種別認識部４１により使用中の操作端末１の種類を認識するための処理が以下のように実行される。図１０はその処理手順と処理内容を示すフローチャートである。
【００３７】
すなわち、先ずステップＳ３１において、タッチスクリーン情報蓄積部３２からタッチスクリーン２に対する操作端末１の各導電体１２の接触位置を示す位置座標情報がみ出され、この位置座標情報から、タッチスクリーン２に接触している上記操作端末１の面、つまりいま底面となっている面の頂点の数が検出される。そして、ステップＳ３２，Ｓ３４，Ｓ３６において、それぞれ上記検出された頂点の数が「５個」、「４個」、「３個」のいずれであるかが順次判定される。この判定の結果、頂点の数が「５個」であればステップＳ３３において上記操作端末１は正１２面体であると認識される。また、頂点の数が「４個」であればステップＳ３５において上記操作端末１は正６面体であると認識され、また「３個」であればステップＳ３７において上記操作端末１は正２０面体であると認識される。
【００３８】
（２−３）タッチスクリーン２に対し接触している操作端末１の面の認識処理
次に操作制御ユニット４０では、ステップＳ４により接触面認識部４２が起動され、この接触面認識部４２により、タッチスクリーン２に対し操作端末１のどの面が接触しているかを認識する処理が以下のように実行される。図１１はその処理手順と処理内容を示すフローチャートである。
【００３９】
先ずステップＳ４１において、上記キー及び加速度センサ情報蓄積部３１に記憶された加速度の検出情報をもとに、操作端末１に内蔵された加速度センサ１４が振動しているか静止しているかが判定される。加速度センサ１４の状態は、図１４に示すように振動状態と静止状態とに分けることができる。この加速度センサ１４の状態の判別方法としては例えば以下の方法が用いられる。
【００４０】
すなわち、上記キー及び加速度センサ情報蓄積部３１から、加速度センサ１４により検出された加速度の情報を最新のものから順番にいくつか読み出す。そして、その平均値と各加速度情報との差がすべてしきい値より小さい値であれば「静止状態」、差が一つでもしきい値以上であれば「振動状態」と判定する。この判定の結果、加速度センサ１４の状態が「振動状態」であればそのまま処理を終了する。
【００４１】
これに対し「静止状態」であれば、ステップＳ４２において、いまタッチスクリーン２に接触されている操作端末１の面が認識される。この接触面の認識処理は、接触面情報データベース３５に記憶された情報の中から、上記検出された加速度情報により表される加速度値に最も近いものを選択し、この選択された加速度値に対応する面の識別番号を選択することによりなされる。
【００４２】
（２−４）操作制御処理
次に操作制御ユニット４０では、ステップＳ５により操作制御部４３が起動され、この操作制御部４３の制御のもとで、上記ステップＳ３の多面体種別認識処理により認識された操作端末１の種類と、上記ステップＳ４の接触面認識処理Ｓ４により認識されたタッチスクリーン２に対する接触面を表す情報をもとに、以下のように操作制御が実行される。図１２はその処理手順及び処理内容を示すフローチャートである。
【００４３】
すなわち、先ずステップＳ５１，Ｓ５２において、ユーザが操作端末１をタッチスクリーン２上でスライド移動させたか、或いは回転させたかが判定される。判定手法としては例えば次のようなものが用いられる。  
すなわち、先ずタッチスクリーン２上における操作端末１の接触面の各導電体１２の位置座標をもとに当該操作端末１の接触面の重心座標を算出し、この算出された重心座標が予め設定された範囲内にあるか否かを判定する。この判定の結果、重心座標が設定範囲外へ移動している場合には、操作端子１は「スライド移動」と判定する。これに対し、重心座標が設定範囲内にある場合には、上記各導電体１２の位置座標、つまり接触面の頂点の位置座標が所定量以上変化しているか否かを判定する。そして、接触面の頂点の位置座標が所定量以上変化しているときは、上記操作端末１の操作は「回転」と判定する。
【００４４】
上記ステップＳ５１により「スライド移動」と判定された場合には、ステップＳ５２において上記操作端末１のスライド移動の方向と距離をもとに、ディスプレイ４の表示画面上に表示されるマウスカーソルの移動方向と移動距離を算出し、表示画面制御ユニット５０へ出力する。この結果、ディスプレイ４の表示画面上に表示されるマウスカーソルは、上記操作端末１のスライド移動操作に応じて表示位置が移動する。例えば、図１３に示すようにユーザがタッチスクリーン２上で操作端末１を図中Ｐ１からＰ２へスライド移動させたとすると、この操作に応じてディスプレイ４の表示画面上ではマウスカーソルの表示位置が図中Ｑ１からＱ２に移動する。
【００４５】
一方、上記ステップＳ５３において操作端末１の操作が「回転」と判定されたとする。この場合には、上記ステップＳ３の多面体種別認識処理により認識された操作端末１の種類と、上記ステップＳ４の接触面認識処理Ｓ４により認識されたタッチスクリーン２に対する接触面を表す情報をもとに、当該操作端末１の種類と接触面に対応するショートカット情報をショートカットマッピングデータベース３３から読み出す。そして、この読み出されたショートカット情報がアプリケーションのショートカットであるか、又はフォルダのショートカットであるかをステップＳ５４，Ｓ５６において判定する。
【００４６】
この判定の結果、アプリケーションのショートカットであれば、ステップＳ５５によりアプリケーションのショートカットを起動又は終了させる処理が実行される。例えば、いま正６面体からなる操作端末１が使用され、かつタッチスクリーン２に接触した面が(4) であれば、図５に示すマッピングデータをもとに「ゲームアプリケーション１」のショートカット機能が起動又は終了される。
【００４７】
これに対し、フォルダのショートカットであれば、ステップＳ５７においてアプリケーションのショートカットを起動又は終了させる処理が実行される。例えば、いま正８面体（図２（ｃ））からなる操作端末１が使用され、かつタッチスクリーン２に接触した面が(2) であれば、図５に示すマッピングデータをもとに「画像専用フォルダ」のショートカット機能が起動又は終了される。
【００４８】
かくして、上記操作端末１の種類と、タッチスクリーン２に対する当該操作端末１の接触面に対応するアプリケーション又はフォルダについて、そのショートカット機能を起動又は終了する処理が実行される。
【００４９】
なお、上記ショートカットを「起動」するか「終了」するかは、先に「回転」と判定されたときの、重心座標を中心に上記各頂点の位置座標が動いた方向が時計回りか反時計回りかを判定することにより判定される。例えば、時計回りの場合には「起動」、反時計回りの場合には「終了」とそれぞれ判定される。
【００５０】
またステップＳ５８において、操作端末１の面に設けられたキーが押下されているか否かが判定される。この判定の結果、キーが押下されている場合はステップＳ５９において押下されたキーに対応する処理が実行される。例えば、右クリックに対応するキーが押下されていれば右クリック操作に応じた処理が行われ、これに対し左クリックに対応するキーが押下されていれば左クリック操作に応じた処理が行われる。
【００５１】
最後にステップＳ６では、上記ステップＳ５による操作制御に伴う表示画像データが、表示画面データベース３４に記憶されたデータをもとに生成され、この生成された表示画像データがディスプレイ４の表示下面に表示される。
【００５２】
以上詳述したように第１の実施形態では、内部に加速度センサ１４を収容しかつ各面の頂点に導電体１２を設けた正多面体からなる操作端末１を用いる。そして、この操作端末１がタッチスクリーン２上で転がし操作及び回転操作されたとき、操作情報処理装置３において、タッチスクリーン２上における操作端末１の各導電体１２の接触位置座標をもとに操作端末１の種類を認識すると共に、上記加速度センサ１４の加速度情報をもとに操作端末１のどの面がタッチスクリーン２に接触しているかを認識する。そして、認識された種類と接触面に対応するショートカット機能を選択し、このショートカット機能を上記操作端末１の回転操作方向に応じて起動又は終了するようにしている。
【００５３】
したがって、正多面体からなる操作端末１をタッチスクリーン２上で転がし操作及び回転操作することにより所望のショートカット機能を起動又は終了することが可能となる。このため、操作の都度カメラの視野内に手を移動させたり複雑なハンドジェスチャを行うことなくショートカット機能を使用することができ、これによりユーザの操作性を高めることができる。特に手指が不自由なユーザにとっては、転がし操作及び回転操作という簡単な操作のみで多数のショートカット機能を選択使用できるので、きわめて有用である。
【００５４】
また、操作端末１のスライド移動をタッチスクリーン２により検出することで、ディスプレイ４の表示画面上におけるマウスカーソルを移動させることができる。さらに、操作端末１の各面にキー１３を設けたことにより、このキー１３によりクリック操作を行うことが可能となる。しかも、その際キー１３はすべての面に設けているので、転がし操作により操作端末１のどの面が選択されている場合でも、操作性を損なわずに済む利点がある。
【００５５】
（第２の実施形態）
第１の実施形態では、操作端末１として正６面体、正１２面体及び正２０面体を選択的に使用する場合を例にとって説明したが、これらに正４面体及び正８面体を含めるようにしてもよい。しかし、正４面体、正８面体及び正２０面体はいずれも面の形状が正三角形であるため、面の頂点の数だけでは正多面体の種類を識別することができない。
【００５６】
そこでこの発明の第２の実施形態は、マウスのように握りやすい正多面体のサイズが一意に決められており、同じ外接球の半径をもつ正多面体を用いるとすれば、正三角形をなす各面の辺の長さが異なることに着目し、接触面の頂点の数と辺の長さをもとに正多面体の種類を判別するようにしたものである。
【００５７】
すなわち、外接球の半径をＲとしたときの正４面体、正８面体、正２０面体の各辺の長さはそれぞれ下記の式で算出することができ、実際の辺の長さは頂点間の位置座標の差として計算することができる。そして、この算出された実際の辺の長さを、上記式により算出された辺の長さに基づくしきい値と比較することで、一意に正多面体の種類を識別することができる。
【表１】
0005439348.tif 000002
【００５８】
図１５は、この発明の第２の実施形態に係る操作情報処理装置による多面体種別認識処理の手順と処理内容を示すフローチャートである。なお、同図において前記図１０と同一ステップには同一符号を付して詳しい説明は省略する。  
ステップＳ３６において頂点が３個と判定されると、上記ステップＳ３７１，Ｓ３７３，Ｓ３７５において、先に述べた多面体種別認識処理の過程で頂点間の位置座標をもとに算出される接触面の一辺の長さが、予め設定したしきい値ＴＨ１，ＴＨ２と比較される。そして、辺の長さがしきい値ＴＨ１以上より長ければ、ステップＳ３７２において操作端末１は正４面体と判断される。また、辺の長さがしきい値ＴＨ１以下でかつしきい値ＴＨ２より長ければ、ステップＳ３７４において操作端末１は正８面体と判断される。さらに、辺の長さがしきい値ＴＨ２以下であれば、ステップＳ３７６において操作端末１は正２０面体と判断される。
【００５９】
したがって、第２の実施形態によれば、操作端末１として、正６面体及び正１２面体に加え、面形状がいずれも正三角形をなす正４面体、正８面体及び正２０面体を一意に判別することが可能となり、これによりショートカット機能を用いて操作する対象のタスクをさらに増やすことができる。
【００６０】
（第３の実施形態）
前記第１及び第２の実施形態では、タッチスクリーン２上に正多面体からなる操作端末１を同時に１個しか接触させない条件の下で操作制御を行う場合について述べた。しかし、実用上においてはタッチスクリーン２上に複数の操作端末を同時に置いた場合に、これらの操作端末を識別できるようにするとより利便性が向上する。
【００６１】
そこで、この発明の第３の実施形態では、多面体種別認識処理において、先ずタッチスクリーン２に接触している面の頂点の中から任意に例えば５個を選び出し、この選択した５個の頂点が面を形成していると仮定して重心を導出する。続いて、この算出された重心と各頂点との間の長さをそれぞれ計算し、計算された各長さが一定の誤差の範囲内で一致するか否かを判定する。そして、一致すると判定された場合には、上記選択した５個の頂点は同心円上にあると見なし、当該同心円上に５個の頂点を持つ操作端末を正１２面体と判別する。
【００６２】
同様に、選択する頂点の数を変化させながらすべての頂点の組み合わせについて上記アルゴリズムを実行し、選択した頂点がすべて同心円上にあった場合には、当該頂点の位置座標から操作端末１の種類を判別する。  
したがって、タッチスクリーン２上に複数種の正多面体操作端末が同時に載置されている場合でも、これらの操作端末の種類をそれぞれ識別することができる。
【００６３】
（その他の実施形態）  
フォルダのショートカット機能が実行されたときに、ただ単にフォルダを表示するだけでなく、そのフォルダ内に含まれるフォルダにマウスカーソルの位置を自動的に合わせるようにするとよい。このようにすると、ショットカット機能を実行した後のフォルダの選択に必要なマウスカーソルの移動距離を少なくすることができる。
【００６４】
また、正多面体操作端末を１種類のみ使用する場合には、正多面体操作端末の種類を識別するための構成要素と処理を省略することができる。さらに、前記各実施形態では操作情報処理装置１において多面体種別の認識や接触面の認識処理等を実行するようにしたが、これらの情報処理装置１において実行していた各処理機能をディスプレイ内に設けたり、また正多面体操作端末内に設けるようにしてもよい。  
その他、操作情報処理装置の構成やその各処理手順及び処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００６５】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６６】
１Ａ，１Ｂ…正多面体操作端末、２…タッチスクリーン、３…操作情報処理装置、４…ディスプレイ、１０…操作端末信号受信ユニット、１１…操作端末の筐体、１２…導電体、１３…キー、１４…加速度センサ、２０…タッチスクリーン信号受信ユニット、３０…記憶ユニット、３１…テンキー及び加速度センサ情報蓄積部、３２…タッチスクリーン情報蓄積部、３３…ショートカットマッピングデータベース、３４…表示画像データベース、３５…接触面情報データベース、４０…操作制御ユニット、４１…多面体種別認識部、４２…接触面認識部、４３…操作制御部、５０…表示画面制御ユニット。
【図１】
0005439348.tif 000003
【図２】
0005439348.tif 000004
【図３】
0005439348.tif 000005
【図４】
0005439348.tif 000006
【図５】
0005439348.tif 000007
【図６】
0005439348.tif 000008
【図７】
0005439348.tif 000009
【図８】
0005439348.tif 000010
【図９】
0005439348.tif 000011
【図１０】
0005439348.tif 000012
【図１１】
0005439348.tif 000013
【図１２】
0005439348.tif 000014
【図１３】
0005439348.tif 000015
【図１４】
0005439348.tif 000016
【図１５】
0005439348.tif 000017