(57)【要約】【課題】操作者が変位報知装置（例えば、マウス）を空中操作、すなわち、マウスを上下、左右方向に直線状に移動させる際に、直線状の移動基準線から外れることによるブレを生じると、当該ブレが生じたことを操作者に報知させる変位報知装置を提供する。【課題を解決するための手段】操作者が手Ｈで把持しながら空中を移動させてモニタ画面にデータを入力する入力デバイス本体１，１０に、入力デバイス本体１，１０が移動する移動基準線Ｌａ，ｌｂからブレを生じて移動したことを検知するジャイロセンサ２，１２と、ジャイロセンサ２，１２の指令に応じて作動する駆動手段３，１３，３１と、駆動手段３，１３，３１により操作者が把持する手指Ｈに刺激を付加してブレを生じたことを報知する触覚刺激手段４、１７とを設けた。【選択図】図１
2008015564.tif 000002
【特許請求の範囲】
【請求項１】
操作者が把持しながら操作し、２次元または３次元空間での位置を検知する変位報知装置であって、前記装置本体が外界に仮想的に設けられた基準指標から変位したことを検知する変位検知センサと、前記変位検知センサの検出情報に基づいて作動する駆動手段と、前記駆動手段により操作者の手指に触れる触子を動かして、前記装置の前記基準指標に対する変位方向または変位量を操作者に報知する触覚刺激手段とを備え、前記駆動手段は、前記装置本体の変位の動きに対して、連動または同期しながら前記触子を動かして、前記装置本体の変位方向または変位量を操作者の触覚を通じて報知することを特徴とする変位報知装置。
【請求項２】
前記触子に指の接触を検出するスイッチまたはタッチセンサを設け、前記触子に指が触れている間のみ、前記変位報知装置を機能させることを特徴とする請求項１に記載の変位報知装置。
【請求項３】
前記触覚刺激手段は、前記装置本体の変位量が所定の閾値に到達するか、または装置本体あるいは本体位置に対応してモニタ画面に表示されるカーソルが所定の境界位置に到達するまでは、前記装置本体の変位の動きに連動するように前記触子を連続的に動かして、前記基準指標からの微小なずれを補正するための手掛かりを操作者に報知し、前記閾値または前記境界位置を超えたときに触子を不連続的に中立位置に復帰すると共に、累積していた変位量をリセットし、閾値超過直後の装置本体位置を新たに前記基準指標に設定することを特徴とする請求項１または請求項２に記載の変位報知装置。
【請求項４】
前記触子は、前記装置本体を３次元空間内で左右、前後、または、上下方向に変位させるときに各変位方向と逆方向に動作し、手指があたかも外界中の前記基準指標上に静止している前記触子に触れているかのごとく操作者に錯覚させるように前記装置の変位方向と変位量を報知するように形成されたことを特徴とする請求項１から３のいずれか一項に記載の変位報知装置。
【請求項５】
前記触覚刺激手段は、前記装置本体に自在に変形する可塑性膜を介して支持された触子を用い、前記可塑性膜で密閉することで、防水性、防塵性を備えたことを特徴とする請求項１から４のいずれか一項に記載の変位報知装置。
【請求項６】
前記駆動手段は、回転軸から外周までの距離を回転角度に応じて不均等に形成したカムを用いて、前記触子を駆動することによって、所定の回転角度においてその実質上の外周半径を他の回転角度と比べて相対的に急速に変化させて、触子を中立位置に復帰させることを特徴とする請求項３から５のいずれか一項に記載の変位報知装置。
【請求項７】
前記駆動手段は、一つの触子を直交する２方向に動かす機構を備え、一つの触子の２次元的な動きによって、装置の２次元的な変位方向と変位量を触覚に報知することを特徴とする請求項１から６のいずれか一項に記載の変位報知装置。
【請求項８】
前記触覚刺激手段は、揺動自在に設けられた自由端部が前記装置本体を把持する手または指の腹に触れるように形成されたスティック状の触子を備え、かつ、前記装置本体が前記基準指標から変位するときに、前記触子を前記基準指標の方向に傾動させることを特徴とする請求項１から７のいずれか一項に記載の変位報知装置。
【請求項９】
前記装置本体が基準指標から変位したことを検知する前記センサとして、光学的な位置検出センサを用いることを特徴とする請求項１から８のいずれか一項に記載の変位報知装置。
【請求項１０】
前記装置本体が基準指標から変位したことを検知する前記変位検知センサとして、前記装置本体の動きを撮影するカメラ、または前記装置本体に実装されて外界の動きを撮影するカメラを用いることを特徴とする請求項１から９のいずれか一項に記載の変位報知装置。
【請求項１１】
前記装置本体が基準指標から変位したことを検知する前記変位検知センサとして、前記装置本体に実装されたジャイロスコープまたは加速度センサを用いることを特徴とする請求項１から９のいずれか一項に記載の変位報知装置。
【請求項１２】
前記駆動手段が、前記装置本体の変位に連動または同期するように前記触子を連続的に動かす際に、前記装置本体に生じる前記変位量に対して前記触子を動かす量を定める対応関係を変更する感度変更手段、または前記閾値を調整可能とする閾値調整手段を設けたことを特徴とする請求項１から１１のいずれか一項に記載の変位報知装置。
【請求項１３】
前記装置本体を所定の方向１へ変位させる操作によって所定の情報１を入力し、前記装置本体を前記方向１と異なる所定の方向２へ変位させる操作によって所定の情報２を入力変更するように構成されたメニュー項目選択方式に用いられる変位報知装置であって、操作者が前記情報１を入力しようとして前記装置本体を前記方向１の方向に動かしている最中に、前記装置本体が誤って前記方向２の方向に動いて、意図していない情報２が入力されてしまう不都合を防止する手段として、前記変位検知センサは、前記装置本体の前記方向２への変位を検知し、前記触覚刺激手段は、前記装置本体の前記方向２への変位量が所定の閾値に到達するまでは、前記装置本体の変位の動きに随時連動するように前記触子を連続的に動かして、前記基準指標からの微小なずれを補正するための手掛かりを操作者に報知し、前記閾値を超えたときに、触子を不連続的に中立位置に復帰すると共に、情報２を入力し、更に累積していた変位量をリセットし、閾値超過直後の装置位置を新たな基準指標に設定することを特徴とする請求項３〜１２のいずれか一項に記載の変位報知装置。
【請求項１４】
前記変位検知センサとして、撮影装置本体に別途実装されているカメラの撮影画像のぶれ補償のために導入されたジャイロスコープ、加速度センサまたは画像センサを共用することを特徴とする請求項１〜１３までのいずれか一項に記載の変位報知装置。
【請求項１５】
前記変位検知センサが検出する装置本体の変位速度に基づき、前記指刺激手段が駆動する触子の動きの振幅や周期を変更することを特徴とする請求項１〜１４までのいずれか一項に記載の変位報知装置。
【請求項１６】
変位報知装置から出力されるデータに基づいて動作するコンピュータ用のＧＵＩ（グラフィカル・ユーザ・インターフェイス）プログラムであって、
ディスプレイ装置のモニタ画面にメニューを表示するメニュー表示処理と、
メニュー内の所定の項目にハイライトを当ててその項目を他の項目と区別して表示するハイライト制御処理と、
前記変位報知装置と通信する通信処理と、
前記通信処理によって受信した前記変位報知装置本体の上下、左右または前後の変位方向と変位量に関する情報に基づき、前記モニタ画面上に表示されるカーソルを移動したり、メニュー内でハイライトを当てる項目を変更したりする処理と、
をコンピュータに実行させるためのＧＵＩプログラム。
【請求項１７】
請求項１６に記載のＧＵＩプログラムにおいて、前記通信処理は前記変位報知装置から送られてくる情報を受信する一方向的な通信処理であって、
当該前記変位報知装置本体の変位量が所定の閾値を超えるイベントが発生した時点で、前記変位報知装置から送られてくる前記イベントの発生及び前記変位報知装置本体の変位方向に関する情報を受信し、当該受信情報に基づいてメニュー内でハイライトを当てる項目を、前記変位報知装置本体の変位方向に対応した方向にある別の項目に変更する処理をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１６に記載のＧＵＩプログラムにおいて、前記通信処理は前記変位報知装置との間で双方向的な通信を随時行うものであって、
前記変位報知装置から送られてくる前記変位報知装置本体の変位に関する情報を前記通信処理によって随時受信し、この変位に関する情報あるいはその蓄積情報が所定の条件を満たすと、所定の機能を実行すると共に、前記通信処理によって、前記変位報知装置の前記駆動手段を動作させて、前記触子を不連続的に中立位置に復帰させると共に、累積していた変位に関する情報をリセットし、閾値超過直後の装置位置を新たな基準指標に設定するための指令を前記変位報知装置へ送信する処理をコンピュータに実行させるためのＧＵＩプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型の情報機器にデータを入力したり、カメラで画像を撮影したりする際に、操作者の手指の不測の動きによる誤入力や撮影画像のぶれを防止することを目的として、操作者の触覚に手指の動きに関する情報を呈示して、操作者がこの触覚呈示情報を手掛かりとして手指の動きを補正できるようにする、変位報知装置に関するものである。
【背景技術】
【０００２】
パーソナル・コンピューター（ＰＣ）にデータを入力する装置としては、マウスやトラックボールなどがある。これらは、ディスプレイ装置のモニタ画面に表示されるメニューの項目指定や座標データの入力に使用される。従来から、マウスやトラックボールに触覚情報を呈示する装置を付加することが試みられていた。例えば、特許文献１の触力覚呈示装置は、ポインタが画面上のオブジェクトを特定したとき、そのオブジェクトのプロパティ情報を取得し、取得したプロパティ情報を触力覚情報に変換して触力覚をマウスに付加するようにしている。これにより、操作者は画面を注視することから解放される。
【０００３】
また、特許文献２記載の触力覚呈示装置は、発光手段を設けたマウスを空間操作する際に、ＰＣが発光手段の位置を３Ｄ計測して演算する。その演算結果に基づいて発光手段の位置や動きを検出し、それに対応させてマウスに触覚情報を呈示できるようにしたものである。また、特許文献３や特許文献４の技術はいずれもトラックボールマウスに関するもので、前者はメニュー選択画面で相隣接するメニューの境をポインタが通過する毎にクリック感を付加するようにしたものである。また、後者はメニューの境を通過して隣のメニューにポインタが移動した場合において、トラックボールが惰性で選択を意図しない別のメニュー領域にオーバーランしてしまわないように選択したメニュー領域で確実に停止させるようにしたものである。
【特許文献１】特開２００１−２９６９５０号公報
【特許文献２】特開２００５−７８３１０号公報
【特許文献３】特開２００４−２６５１３４号公報
【特許文献４】特開２００４−２８７９０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２の技術は、マウスを空中操作する態様のものでないので、操作者はデスクに拘束される。また、特許文献３および４の技術は、トラックボールマウスを空中で振ることは可能であるが、操作者によるマウスの前後、左右、あるいは上下の方向への振り動作には必ず移動しようとする方向あるいは軌道からのブレ（変位）が生じる。操作者はこのブレ（変位）によって希望のメニュー項目を円滑に選択できないなどの問題が生じる。
【０００５】
本発明は以上の問題点に鑑みて工夫されたものであって、操作者が入力デバイスや撮影デバイスなどの変位報知装置を空中で上下、左右、前後方向に移動させる際に、そのブレを検知すると、当該ブレが生じたことを操作者の触覚に報知し、この報知された情報に基づき、操作者自身が装置の位置を直感的に補正することを可能にする変位報知装置を提供することを第１の目的（主目的）とする。
【０００６】
また、装置本体の回転も含めて６軸の動きについても、同様に基準点や基準方向、基準となる軌道を設定し、それらからの装置本体の位置や角度のブレを操作者の触覚に報知させる変位報知装置を提供することを第２の目的とする。
【０００７】
さらに、操作者が変位報知装置の位置を一定に保持することが求められる場合、例えば、カメラを一定位置に一定角度で保持することで撮影画像のブレを防ぎたい場合、あるいはロボットハンドなどのマニュピュレーションの最中に指示具を一定位置に保持したい場合、あるいはこれらの装置を規定の軌道に沿ってブレなく一定方向へ移動したい場合などに、操作者が、変位報知装置から呈示される触覚呈示情報を、自己の感覚・運動のフィードバックループの中に取り入れて、自己の手指の位置を一定に維持したり、特定の直線上や軌道を正確に移動したりできるように、ガイドする触覚呈示情報を装置本体の位置や姿勢応じて変化させて呈示する変位報知装置を提供することを第３の目的とする。
【０００８】
また、メニューの項目選択を中空に把持した変位報知装置を用いて正確に行えるように、本発明の変位報知装置と組み合わせて用いるグラフィカル・ユーザ・インターフェイス（ＧＵＩ）プログラムを提供することを第４の目的とする。
【課題を解決するための手段】
【０００９】
本発明は、操作者によるデータ入力装置等の移動操作時にブレ（変位）が生じたことを操作者に知らしめ、これを補正するための情報を触覚的に提供するものである。
【００１０】
特に操作者がこの変位を補正するには、変位を随時検出し、その変位の大きさに応じて連続的に刺激量を変え、随時操作者に提示し、また操作者が変位の大きさと方向を直感的に把握しやすいように、外界中に仮想的な基準点や基準線、基準面を想定し、その基準点や基準線、基準面からのブレを直感に合うように提示することを特徴としている。
【００１１】
さらに本発明は、メニューの選択やメニュー内でハイライトの当たる項目の変更時には、所定の閾値以下の移動量に関しては、それをブレと見なして、操作者がそれを補正できるように上記のような形で触覚情報を提示することが望ましいが、それが所定の閾値を超え、意図的なメニュー選択やハイライトの当たる項目を変更するための移動と判断される場合には、メニューが切り替わったこと、及びハイライトが別の項目へ移動したことを通知する明瞭な触覚刺激を呈示すると共に、上記の基準点そのものを、切り替わった新しいメニューあるいは項目の位置に合わせて再設定することを特徴としている。このように、補正を行うための連続的に変化する触覚刺激と、基準点が変更されたことを明瞭に通知するための急激に変化する触覚刺激を使い分けて呈示することによって、メニューあるいは項目の位置あわせの操作性を損なうことなくブレ発生時の触覚的なフィードバックが可能となる。
【００１２】
以下、本発明に係る変位報知装置及びＧＵＩプログラムの特徴を具体的に説明する。
【００１３】
（請求項１）本発明は、上記課題を解決するために、次のような手段を講ずることとした。すなわち、本発明に係る変位報知装置は、操作者が空中で把持しながら操作し、２次元または３次元空間での位置を検知する変位報知装置であって、前記装置本体が外界に仮想的に設けられた基準指標から変位したことを検知する変位検知センサと、前記変位検知センサの検出情報に基づいて作動する駆動手段と、前記駆動手段により操作者の手指に触れる触子を動かして、前記装置の前記基準指標に対する変位方向または変位量を操作者に報知する触覚刺激手段とを備え、前記駆動手段は、前記装置本体の変位の動きに対して、連動または同期しながら前記触子を動かして、前記装置本体の変位方向および変位量を操作者の触覚を通じて報知することを特徴とする。これにより、変位報知装置の本体（以下、装置本体という。）の操作者の意図と反する動きをブレが微小な段階で補正するための手掛かりを操作者に与えることができる。
【００１４】
本発明では、操作者が装置本体を握り、手首や腕を動かしながら装置本体を左右または上下方向等に振って空間を移動させる場合に、装置本体に内蔵された変位検知センサが２次元または３次元空間内に仮想的に設定された基準指標、すなわち、基準点、基準方向、または任意方向に設定された移動基準線や基準面、軌道からどれだけ変位を生じたか、その変位方向と変位量を計測する。そして、その計測値および計測値の蓄積量に基づいてＣＰＵで計算された変位に応じた制御信号が駆動手段に出力される。その結果、駆動手段が作動して触覚刺激手段が駆動され、手あるいは指（手指）に触覚的な刺激が付加される。
【００１５】
これにより、操作者に装置本体が基準点や移動基準線、基準面、基準方向からずれたことが報知される。このため、操作者は中空で何の手掛かりもなしに装置本体を移動または回転しているのにもかかわらず、装置本体の移動方向と移動量あるいは回転方向と回転量を、触覚刺激手段から与えられる刺激を通じて感じ取りながら、不測の変位が感じられた場合にはそれを補正するように軌道修正を行い、３次元空間中で装置本体を正確に移動または回転操作することができる。ここで重要なことは、触覚刺激呈示手段は、触覚刺激を散発的に間をおいて手指に与えるのではなく、装置本体の動きと連動してリアルタイムに連続的に随時与えることである。操作者はそのような形で触覚刺激が与えられれば、変位が少しでも生じるとそれを即時に把握して、装置本体が基準指標を大きく逸脱する前に、装置本体を動かす方向と量を補正することができる。さらに変位の方向と量を直感的に把握しやすいように触覚刺激の形態を工夫することが重要である。
【００１６】
ここで、「基準指標」とは、基準点、基準線、基準面、または、基準方向を意味する。
「変位」とは、位置の変化を意味し、いわゆる移動や回転を含む趣旨である。
「変位報知装置」とは、移動や回転などの変位を検知する機能を有する装置を意味し、コンピュータ用の入力装置やカメラなどの撮影装置も当該機能を有しているものは変位報知装置に含まれる。
【００１７】
（請求項２）上述した装置本体の絶対位置や角度ではなく、相対的な位置の変化量や角度の変化量によって、カーソルを動かしたり、ハイライトの当たる項目を変更したりする場合には、装置本体を動かすときにいつもカーソルが動いたり、ハイライトの当たる項目が変わってしまうのでは困る。これらを動かしたり、変えたりせずに装置本体を動かすことができるようにしておく必要がある。そこで指で所定のスイッチやタッチセンサ（例えば静電容量センサ）に触れながら装置本体を動かしたときにのみ、カーソルが動いたり、ハイライトの当たる項目が変わったりするようにする。特に触子に指が触れたことを検出して、触れたときにのみ、機能を有効にすると良い。
【００１８】
（請求項３）また、基準指標からの変位が操作者の意図に反して生じた不測の変位であるのか、それともメニュー項目を選択するなどの目的により、意図的に行った操作によって生じた変位であるのかを区別し、前者の場合には、変位を補正するのに適した随時連続的に変化する触覚情報を、後者の場合には、選択されている項目が切り替わったことを明瞭に示すのに適した不連続に急激に変化する触覚刺激を呈示することが望ましい。そのため変位量が所定の閾値を超えた場合に、操作者が意図的に別の目標地点へ装置本体を動かしたものと判断し、触覚刺激を急激に変化させて基準地点が変わることを呈示するようにする。また同時に、閾値を越えた時点の装置本体の位置を、新たに選択されたメニュー項目を選択するための基準位置として設定し直して、触覚刺激を中立時の刺激形態に復帰し、今度はその新たに設定された基準点からの変位について、変位量が閾値以内ならば、変位の補正を補助するための触覚刺激を、また閾値を越えたら別の項目に移ったことを示すための触覚刺激を呈示するようにする。
【００１９】
ここで、連続的とは、ユーザが連続していると感じることができれば足りる趣旨である。不連続的とは、ユーザが不連続である、あるいはそれまでの動きと比べ急な変化である、と感じることができれば足りる趣旨である。
【００２０】
（請求項４）装置本体の変位を補正するために、装置本体をどちらにどれだけ動かせばよいのか、触覚刺激手段から提示された触覚刺激から、操作者が直感的に判断できるようにする。そのために、現実の世界で、実際に外界の基準位置に静止している基準物体に手指の一部で触れながら、装置本体を動かしたときに感じる触感を再現するように、触覚刺激手段で触子を動かして、手指の触覚を刺激するようにする。現実の世界では、装置本体を保持している手指の一部が外界中に静止した基準物体に触れているときに、装置本体をある方向に動かせば、基準物体は手指に触れながら手指に対して装置本体と反対方向に動くことになる。またその動きは装置本体の動きに連動して連続的に動く。本発明では、触子は装置本体に実装されているのだが、装置本体を動かすときに、触子の指に接触している部分が、装置本体の動きと連動してその動きの方向と反対方向に動くように構成し、上記の基準物体が指に触れているときの触感を再現する。
【００２１】
（請求項５）触子が装置本体に対して動くようにすると、触子と装置本体の間に隙間ができて、そこから塵や水が浸入して装置が故障する恐れがある。そこで触子と装置本体の間を可塑性のあるシリコンゴムのような膜で覆い、塵や水の浸入を防ぐようにする。
【００２２】
（請求項６）モータなどで触子を直接駆動しようとすると、触子を急速に中立点に復帰しようとするときにモータを高速回転しなければならず、回転速度に限界がある場合には、触子の復帰速度は遅くなってしまう。そこで、回転軸から外周までの距離を回転軸からの角度に応じて不均等に形成したカムを用いて、このカムの外周で押し上げるようにして、触子を駆動するようにし、カムの外周半径を不均等にしてある角度で急に半径が変化するようにすれば、モータの回転速度を速くしなくても、カムが所定の回転角度に達した後には触子を急速に中立点に復帰させることができる。
【００２３】
（請求項７）触子は、装置本体の左右方向（水平方向）の変位を報知するもの、上下方向の変位を報知するもの、前後方向の変位を報知するもの、というように変位の方向別に別個に設けても良いが、そうすると操作者にとっては、刺激が複雑になり、変位の方向や量を把握にしにくくなる恐れがある。そこで駆動手段を工夫して、一つの共通の触子を直交する２方向に動かすようにして、２次元的に動く変位であっても操作者にとって、直感的に把握しやすくした。ただし、そうすると２つの方向の変位を混同しやすくなる別の問題が生じる恐れがある。
【００２４】
（請求項８）触子としては、スティック状のものを用い、スティックの先端が前後または左右または上下に大きく動くようにしながら、根元の動きを小さくし、さらにその根元と本体装置との隙間をシリコンゴムのように容易に変形する可塑的な膜で覆うことによって、防塵性、防水性を確保する。また装置本体を動かすときに、このスティックの先端が装置本体に対して傾動し、スティック先端は外界中に仮想的に設定された基準点の方向に動くようにすれば、このスティック先端部を手指の一部に当てながら、装置本体を動かすことで、外界中の仮想基準指標に対する装置本体の相対的な動きを把握できるようになる。その結果、操作者は基準指標に近づけるよう動きを修正しながら入力装置本体を移動することが可能となる。
【００２５】
（請求項９）装置本体が基準指標から変位したことを検知するセンサとして、光学的マウスパッドにおいて利用されている光学的な移動量検出センサや、光源またはマーカの位置を光学的に検出するセンサを用いるようにした。
【００２６】
（請求項１０）装置本体が基準指標から変位したことを検知するセンサとして、装置本体の動きを撮影するカメラ、または前記装置本体に実装されて外界の動きを撮影するカメラを用いるようにして、カメラが撮影する画像の変化から装置本体の動きを検出するようにした。
【００２７】
（請求項１１）装置本体が基準指標から変位したことを検知するセンサとして、装置本体に実装されたジャイロスコープまたは加速度センサを用いるようにした。ジャイロスコープを使って装置本体の３次元空間内の３軸周りの回転を検出することができる。また加速度センサを使って装置本体の３次元空間内の３軸方向への加速度を検出することができる。
【００２８】
（請求項１２）操作者によって、好みの触覚刺激量は異なる。また手指の制御能力の高い若齢者は、空間中の狭い範囲内で装置本体を正確に位置決めして、メニュー選択などの操作を行えるが、高齢者になると手指の震えも生じることから、空間中の広い範囲を使って、変位の許容量も大きくして装置本体の位置の誤差を許容できるようにして、メニュー選択などの操作を行うようにした。また入力する情報の種類の違いや、状況の違いによって、大きな範囲の情報を荒く読み飛ばしたい場合と、狭い範囲内の情報を精密に指定したい場合とがあり、こうした相違に対応するため、装置本体の移動量に対するカーソルやハイライトの移動量の対応関係を変えられるようにするのが好ましい。そのため、装置本体に生じる変位量に対して触子を動かす量やカーソルやハイライトの移動量を定める対応関係を変更する感度変更手段、または変位報知装置の基準位置を変更する際に用いる閾値を調整可能とする閾値調整手段を設けた。
【００２９】
（請求項１３）３次元空間の空中で保持する装置本体を意図通りに動かすことは難しい。特に装置本体の動きやモニタ画面に映し出されるカーソルの動きを視覚的に注意深く確認できない場合には、装置本体を正確に動かすことはほとんど困難である。例えば、モニタ画面に表示するメニューを、装置本体を前後方向へ移動する操作によって変更し、このメニュー内でハイライトを当てる項目を、装置本体を左右方向へ移動する操作によって変更する場合、操作者がハイライトを当てる項目を変更しようとして装置本体を左右方向にだけ動かしているつもりでも、装置本体が誤って前後方向にもブレて動いてしまうことは頻繁に起こりうる。そしてこのブレによって、表示されているメニューが変更されてしまうと、操作者は思い通りに入力できないことになる。そこで、こうした不都合を防止することを目的として、装置本体に触覚を通じて前後方向の動きのブレを通知する変位報知装置を導入し、装置本体が前後方向に微小に移動した段階で、そのブレを操作者に通知して、操作者がそのブレを補正できるようにする。操作者がブレを補正しないまま装置本体が所定の閾値を越えて前後方向に動いたときには、操作者がメニューを切り替えることを意図して装置本体を前後方向に動かしたと見なして、メニューを切り替えるようにする。また閾値を超えたときには触子を不連続的、急速に中立位置に復帰することにより、操作者にメニューが切り替わったことを通知し、今度は切り替わったメニューにおいて同様の変位報知を行うために、累積していた移動量または回転量をリセットし、閾値超過直後の装置位置を新たに基準指標として設定する。なお、これはメニューの選択時に限らず、二つの方向１と方向２への装置本体の動きを使って、それぞれ独立に情報１と情報２を入力する場合には常に直面する問題である。
【００３０】
（請求項１４）本変位報知装置を撮影装置に実装する場合には、装置本体の位置や角度の変化を検出するセンサとして、既にカメラの撮影画像のぶれ補償のために導入されているジャイロスコープ、加速度センサまたは画像センサを本変位報知装置のために共用することで変位報知装置のコストを下げる。
【００３１】
（請求項１５）好ましくは、変位検知センサが検出する装置本体の変位速度に基づき、指刺激手段が駆動する触子の動きの振幅あるいは周期を変更すると良い。たとえば、装置本体をゆっくり移動させた場合は、触子の動きを小さくするなどである。
【００３２】
さらに、変位速度に伴ってカードルの移動量も変化させることによって、限られた指動作範囲で広範囲のメニュー選択から狭範囲の選択までフレキシブルに行うことができる。
【００３３】
（請求項１６）以上に述べた変位報知装置と共に用いるＧＵＩ（グラフィカル・ユーザ・インターフェイス）プログラムであって、メニュー内の所定の項目にハイライトを当ててその項目を他の項目と区別して表示する際に、ハイライトを当てる項目や、項目を指すカーソルを装置本体の上下または左右または前後の変位方向と変位量に基づき移動するものである。
【００３４】
なおＧＵＩプログラムの実装されるコンピュータは、変位報知装置とは異なる場所に設置され、無線あるいは有線による通信によってデータの受け渡しを行う場合のみならず、変位報知装置内に設けられるような場合も含まれる。後者の例としては、デジタルカメラなどの撮影装置がある。
【００３５】
（請求項１７）ＧＵＩプログラムが変位報知装置と通信を行うコンピュータ装置側に実装される場合、このＧＵＩプログラムの通信処理は変位報知装置から送られてくる情報を受信する一方向的な通信処理であって、また電力節減のために通信回数も制限される場合に、こうした通信処理の制限を克服するように変位報知装置とＧＵＩプログラムを構成することが望ましい。そこで、変位報知装置から送信される信号をコンピュータ装置で受信する一方向的な通信を用いて、以上に述べたメニュー項目の選択を実現するために、変位報知装置は、装置本体の変位量が所定の閾値を超えるイベントが発生した時点で、そのイベントの発生及び装置本体の変位方向に関する情報を、一方向的な通信処理によって、コンピュータ装置に送信し、この情報を受信したコンピュータ装置は、受信後即座に、メニュー内でハイライトを当てる項目を、装置本体の変位方向に対応した方向にある別の項目に変更するようにＧＵＩプログラムを構成する。これによって、通信は上記イベントが発生したときにのみ実行されるので通信に要する電力を節約でき、また通信が一方向的であるので、従来のテレビなどのリモコンと同様の一方向的な赤外線通信によって、メニュー選択の操作を行えるようになる。
【００３６】
（請求項１８）変位報知装置とＧＵＩプログラムの実装されているコンピュータ装置間で双方向的な通信を随時行なえるときには、変位報知装置は、センサが検出する装置本体の変位量を、コンピュータ装置に随時伝送できるので、変位量が所定の閾値を超える前に、コンピュータ装置は、メニュー内でハイライトを当てる項目を、装置本体の変位方向に対応した方向にある別の項目に変更する準備を進めることができる。例えば、完全にハイライトを当てる項目を変更してしまう前にカーソルを動かして、操作者にカーソルを正しい方向に動かしているのか確認させることができる。またコンピュータ装置側で、ハイライトを当てる項目の変更を完了した後で、完了したことを通知する信号を変位報知装置側に伝送し、この信号を受けた後で、触子を不連続的、急速に中立位置に復帰させるようにすれば、操作者はハイライトの当たる項目が変更したことを確認しながら操作を進めることができる。
【発明の効果】
【００３７】
２次元または３次元空間の空中で入力装置や撮影装置を保持したり動かしたりするときには、装置の位置や動きに関するフィードバック情報は、従来視覚を通じてしか与えられなかったため、操作中に常に視覚的な注意が求められたが、本発明によれば、入力装置や撮影装置本体に内蔵した変位検知センサにより、装置の動きを検出し、その検出結果に基づいて指を刺激する触子を駆動することで、装置本体を空中で保持したり、動かしたりしてデータを入力する際に生じる基準点、基準線、あるいは、基準面からのブレを操作者の触覚にフィードバックし、操作者は視覚的に注意していなくとも、ブレを触覚的に確認し、ブレが閾値を越える前に装置本体の位置や動きを補正することが可能になる。
【００３８】
一方、こうした補正用の情報を与えているのにもかかわらず、装置本体の動きの量が閾値を超えるときには、メニュー選択画面で隣接するメニューの境を越えるなどの意図を持って、操作者が装置を動かしたと判定し、メニュー項目のハイライトを隣の項目に移動すると共に、触覚刺激手段を急峻に動かして中立位置に復帰し、ハイライトが別の項目に移ったことを報知し、また今度は移った先の項目について、移動後の装置本体位置を基準点として、同様の方法でブレと意図を持ったメニュー項目の変更を区別して、触覚的なフィードバックを与えるようにしたので、操作者は入力装置を正確に操作できるようになり、あるいは撮影装置で画像をぶれずに撮影できるようになる。またロボットアームのマニピュレーションも、触覚を通じて、指示装置の位置や軌道を正確に与えることができるようになる。
【発明を実施するための最良の形態】
【００３９】
[第一実施形態]
以下、本発明の第一実施形態を、図１〜図４に基づいて詳述する。図１は、変位報知装置である入力デバイス本体１を手Ｈで把持して空中移動操作する状態を示す外観図である。入力デバイス本体１は、手Ｈで把持できるほどの小型形状を有し、例えば、テレビ、ゲーム機器、コンピュータのモニタ画面、あるいはロボット等の制御対象を制御する空中マウス（コントローラ）として利用するものである。変位報知装置としての基本形態は入力デバイス本体１を有し、入力デバイス本体１には図示されない電子回路基板に二次元または三次元の空間座標を読み込むことができる自体公知のジャイロセンサ２が実装されて構成される。なおジャイロセンサは基本的には回転運動を検出するものであり、並進運動を検出する場合には加速度センサを用いることもできる。そして、この電子回路基板はＣＰＵ、ＲＡＭ、ＲＯＭ等のコンピュータ要素が組み込まれ、図示しないバッテリー、ステッピングモータあるいはラジコン用サーボモータ等でなる駆動手段３（本実施形態では２個の３ａ，３ｂ）、アプリケーションを実行する指令を付与するタクトスイッチ、および上記制御対象と入力デバイス本体１との間でワイヤレスで位置情報、操作信号、制御信号等の情報（データ）を電波で受発信する受発信手段あるいは赤外線ＬＥＤやＰＤ、およびアプリケーションを実行指令するタクトスイッチ等が実装されている。
【００４０】
上記ジャイロセンサや加速度センサなどのセンサは、手Ｈで保持したデバイス本体を振る等、手に保持したまま動かす際に、その振れ（動き）に基づく空間座標の変化を検出する機能を有し、入力デバイス本体１を手Ｈで保持して空中を移動する際に、基準点や直線状の基準線（あるいはより一般的には曲線状の軌道を基準線としても良い）、あるいは基準面からデバイス本体がずれたブレ量がコンピュータで演算され、その演算結果に基づいて駆動手段２ａ，２ｂに駆動信号が出力されるようになっている。ここで、「基準面」、「基準線」とは、デバイス本体１を上下あるいは左右、前後に振って移動操作させるときに、デバイスがその面上あるいはその線上で移動することが望ましい、面あるいは線（軌道）のことである。３次元の空中でこの軌道に沿ってデバイス本体を動かす場合に、空中に浮いている人の手は動きの方向や移動量、速さに関する触覚的手掛かりを感じ得ないため、正確に軌道上を移動するように動かすことは難しい。軌道修正に利用できる唯一の知覚手段は視覚であり、操作中にデバイス本体の動き、またはデバイス本体の動きを反映したモニタ画面上のカーソルの動きに常時注意を向けて、神経を集中し続けなければならない。
【００４１】
例えば、基準面として、デバイス本体の上下の動きの基準となる図３のＬａ（図中では紙面の都合で点線で示されているが実際には面）と、前後の動きの基準となる図４のＬｂといった基準面が考えられる。「ブレ」あるいは「変位」とは、デバイス本体の位置がこの基準面から反れる（外れる）際のずれ量のことをいう。
【００４２】
なお、現状のジャイロセンサなどの検出情報には誤差があり、基準位置からの移動量を正確に検出することは難しい。そこで特に変位報知装置を入力デバイスに実装して利用する場合には、以上の説明に用いた基準面、基準点や基準線は、実際に空間内の一定位置に固定したものでなくとも、微小にあるいは連続的に動くこともあり得る、仮想上の基準面、基準点あるいは基準線とする。この仮想基準面、基準点や基準線は一定に保たなくとも、それが時間的にゆっくりと連続的に徐々に動くのであれば、人の知覚も不完全であるため、その移動には気が付かず、混乱せずに入力操作を行うことができる。また撮影デバイスに実装して用いる場合にも、基準点が撮影に影響がない程度にゆっくりと動くのであれば、その基準点に合わせて撮影デバイスが動いてしまっても、撮影画像にブレを生じることはない。したがって基準面、基準線や基準点の位置は必ずしも絶対に一定に保つ必要はなく、３次元空間内に真に固定した基準点でなく、デバイスの移動または回転中に微小にあるいは連続的に動いてしまっても良いものとする。ただし不連続に大きく動いてしまうと操作中に人は混乱してしまい正しく操作できなくなるので困るし、撮影デバイスに用いる場合にも撮影画像がブレてしまうので不都合である。
【００４３】
このように実際の基準位置が動いていても、デバイス本体の位置によってではなく、下記に述べる触覚刺激手段がフィードバックしてくる触覚刺激の形態に基づき操作者が、入力する情報を決定するようにすれば、操作者が触覚刺激の形態に基づき判断する入力情報と実際に入力する情報は常に整合が取れるので、何も問題は生じない。ただしこの場合であっても、上記の基準位置の変動がゆっくりとした連続的なものでなければ、操作者は入力操作中に予測困難な触覚刺激の形態の変化を感じることになるので、入力操作に混乱を来たすことになる。
【００４４】
入力デバイス本体１には、操作者が把持する手指に刺激を付加してブレを生じたことを報知する触覚刺激手段４が設けられる。触覚刺激手段４は、その基部が入力デバイス本体に揺動自在に設けられ、自由端部が入力デバイス本体１を把持する指の腹に触れるスティック（スティックを含め、一般的に指に触れて指を刺激するものを触子と呼ぶ）で形成され、かつ、入力デバイス本体が基準面からブレを生じて移動したときに、スティックは基準面の方向に傾斜して動く（揺動）ようになっている。ここでスティック先端は必ずしも常に基準面上に正確に乗っている必要はない。もちろん乗っていればその方が望ましいが、上述したようにセンサには誤差があり、またスティック先端の移動可能範囲は限られるため、常に基準面上に乗せることには無理がある場合があり、そのような場合には、取り敢えず、スティックの傾斜方向によって、デバイス本体の移動方向を把握できるようにするだけも十分である。ただし撮影デバイスのブレ防止の目的には、スティック先端は常に基準線上に正確に乗っていることが望ましい。
【００４５】
具体的に一つの実施例で説明すると、上記スティックは、入力デバイス本体１の前側面で、人指し指に触れて、デバイス本体１の位置の上下のブレを、ブレと逆方向に上下に揺動（傾動）して報知する上下ブレ報知用スティック（以下、「人指し指スティック」という）４ａと、親指に触れて、デバイス本体１の位置の前後のブレを、ブレと逆方向に前後に揺動（傾動）して報知する前後ブレ報知用スティック（以下、「親指スティック」という）４ｂとで形成されている。人指し指スティック４ａまたは親指スティック４ｂは、ジャイロセンサ２の指令により、上記のようにブレ量に応じて上下または前後に傾動して指を刺激するが、その際に、人がこの情報を利用して、自己の手の運動を補正し得るような形態で触覚刺激を提示する必要がある。すなわち、ブレが大きくなった時点で急にスティックを動かしてブレが生じたことを通知したのでは、人の補正は間に合わない。まず、ブレの大きさに許容範囲を定め、ある閾値以下のブレは許容し、そのようなブレを生じても入力デバイスは同一の入力を生じるようにする。またブレが小さいうちから、それをスティックの傾動量に反映し、ブレの大きさを連続的に傾動量に反映させて指に提示する必要がある。また、デバイス本体の動きを人が直感的に把握しやすくなるような形態で、触覚刺激を指に与えることが望ましい。そのためには、実際に外界の静止している棒の一端が指に触れている状態で、指を動かしたときに指が感じる刺激を模擬するように、刺激を生成して加えると良い。
【００４６】
例えば、デバイス本体が変位したときに、指に触れるスティックの先端が外界に仮想的に設定された基準点に留まるように、スティックを傾動させると良い。ただしこれは厳密なものでなくとも良い。取り敢えず、デバイス本体の変位に同期させて、タイムラグなく連続的にスティックを傾動させて、その傾動の方向がデバイス本体の動きと逆であれば、ともかく人は、スティック先端部が外界中に静止しており、それに対して本体が相対的に動いているように錯覚するであろう。入力する情報の種類を、デバイス本体の外界中の絶対位置ではなく、スティック先端部に対するデバイス本体の相対位置によって定めるようにすれば、入力デバイスとしての目的上は、スティック先端部を実際に外界に静止させる必要はないのである。
【００４７】
こうして、ジャイロセンサ２が検出したデバイス本体１が基準面から外れた時のブレ量に基づき、必要に応じてコンピュータによる演算を介在し、演算結果が駆動手段３ａまたは３ｂに出力され、各スティック４ａ，４ｂが傾動されることとなる。
【００４８】
もっとも、人指し指スティック４ａは通常状態では外界に対して水平姿勢で静止し、入力デバイス本体１を基準面Ｌａ内で前後左右に動かしても水平姿勢を一定に保ち、また、親指スティック４ｂは入力デバイス本体をモニタ画面に平行な基準面Ｌｂ内で上下左右に動かしても、上下方向に起立した姿勢を一定に保持したままで静止するようになっている。
【００４９】
他方、入力デバイス本体１には、感度あるいは閾値調整用のダイヤル５が設けられている。ダイヤル５の操作により、センサ感度やデバイス変位量とスティック傾動量の対応関係を定める関数、あるいはブレの許容範囲を定める閾値を調整し、操作者の好みや感覚、運動能力の個人差、入力する情報の相違に応じて、変位報知装置の特性を調整できるようになっている。
【００５０】
第一実施形態の作用を説明する。図３は入力デバイス本体１が上下方向に変位する場合に指を刺激するスティック（触子）の動き方を説明する説明図である。図３において、基準面Ｌａは図示の関係上、紙面に左右方向に点線で示しているが、制御対象であるモニタ画面に操作者が向き合って移動操作する場合を基準にした場合には、モニタ画面に垂直に交差して、前後左右に広がる平面となる。
【００５１】
図３（ａ）に示すように、デバイス本体がこの基準平面Ｌａの高さにあるときには、人指し指スティック４ａは水平になっている。またこの基準平面Ｌａに対して、入力デバイス本体１が図３（ｂ）（ｃ）のように、上方あるいは下方に変位すると、人指し指スティック４ａは、それぞれ下方あるいは上方に傾動し、スティック先端は常に基準面Ｌａに乗っている。操作者はこのスティックの先端を外界中に高さが一定となるように保たれている基準棒の先端であるように錯覚し、デバイス本体の変位を直感的に分かり易く感知できる。そしてこの感知した結果に基づき、仮想的に知覚されている基準棒の先端に対してデバイス本体の高さが一定に保たれるように手を上下に動かす（デバイス本体の高さを補正する）ことで、デバイス本体の高さを一定に保ち、基準面Ｌａに沿って動くように軌道を修正しながら、デバイス本体を前後左右に動かすことができる。こうして視覚的に確認しなくとも、触覚手掛かりを利用して、デバイス本体の高さを基準面Ｌａ上に拘束しながら、基準面Ｌａ内でデバイス本体を前後左右に動かすことができるのである。
【００５２】
同様に、図４（ａ）（図４では「人指し指スティック４ａ」の図示を省略した）に示すように、親指スティック４ｂが垂直に立ち、中立状態にある入力デバイス本体１を基準面Ｌｂから前方（モニタ画面側に偏倚）にずれたとする。このずれ量をジャイロセンサで計測し、図４（ｂ）のように、この計測結果に基づいて駆動手段３ｂが駆動され、親指スティック４ｂは基準面Ｌｂ側に傾動（揺動）する。これにより、操作者の親指に刺激を付加することになり、デバイス本体が基準面の前方に変位したことを報知する。また、図４（ｃ）に示すように、入力デバイス本体１が基準面Ｌｂから後方にずれた場合には、親指スティック４ｂは前方に揺動し、入力デバイス本体１が基準面の後方にずれたことを報知する。
【００５３】
前後にブレが生じたことを報知された操作者は、親指スティック４ｂが図４（ａ）のように直立状態に復帰するように入力デバイス本体１位置を補正することで、デバイス本体の位置を基準面Ｌｂ内に拘束しながら面内を上下、左右の方向に自由に移動することができる。
【００５４】
このように、本第一実施形態によれば、操作者は入力デバイス本体１を握り、視覚的にモニタ画面やデバイス本体を確認しなくとも、触覚刺激手段から手指に与えられる情報を手掛かりにしてデバイス本体の位置を基準面内に拘束しながら、デバイス本体を動かすことができる。図３と図４で説明した原理を組み合わせれば、人差し指スティックと親指スティックをどちらも中立状態に保つようにしてデバイス本体を動かせば、その移動を基準面ＬａとＬｂの交線に拘束することができることも容易に理解できよう。さらに図１４に示すように人差し指スティック４ａと親指スティック４ｂのいずれとも直交しながら手指に触れるスティック４ｃを導入し、基準面ＬａとＬｂのいずれとも直交する基準面Ｌｃからのデバイス本体の変位も触覚的に把握できるようにすれば、デバイス本体の位置を３つの基準面の交点に拘束することができる。こうしてデバイス本体の位置や移動・回転などの操作によって、情報を入力する場合に、視覚的に本体の位置や運動を確認しなくとも、触覚的にデバイス本体の位置や運動を確認し、変位を補正しながら、正確・確実に入力データに対応した操作を実行できるようになる。また、デバイス本体の変位とスティックの動き量の関係を調整するダイヤル５を設けているので、個人差や入力する情報の種類に応じて、デバイス本体の動きに対するスティック４ａ，４ｂの傾動の度合いを適宜に調整できるようになる。
【００５５】
なお実際には、センサの誤差や、スティックの傾動量の制限のために、スティックが直立するようにデバイス本体の位置を補正していても、デバイス本体は動いてしまっていることがある。そのような場合には、外界中の本体の絶対位置によって入力する情報の種類を決めるのではなく、スティックの傾動の程度や、スティックの動き方に対応して入力する情報の種類を決める方が良い。すなわち実際にはデバイス本体の位置が変わっていても、スティックの傾動の程度が一定に保たれているのであれば、デバイス本体の位置は同じに保たれていると見なして、入力する情報の種類を定めるのである。操作者の感覚上は、デバイス本体の絶対位置ではなく、スティックの傾動状況だけから、自分が行っている操作の状況を把握するのであるから、スティックの状態から入力する情報を決定すれば、操作者が把握している状況と入力する情報の整合性は保たれるのである。
【００５６】
[第二実施形態]
次に、第二実施形態を説明する。図５，図６に示すように、第二実施形態に係る変位報知装置である入力デバイス本体１０の基本形態は、入力デバイス本体１０に生じる上下方向のブレに対してそのブレが生じたことを操作者に報知するように構成されている。この第二実施形態は上記第一実施形態ほぼ同様に、回路基板１１が内蔵される。さらに、この回路基板１１には、ジャイロセンサ１２、バッテリー１３，タクトスイッチ１４，モニタ側との通信手段として、モニタ側の受信部へ赤外線を発する赤外線ＬＥＤあるいはモニタ側の発光部から発しられた赤外線を受光する赤外線ＰＤとして機能する受発光部１５、および駆動手段１６が実装されている。また触覚刺激手段１７の構成が第一実施形態と大きく異なっている。
【００５７】
すなわち、第二実施形態における触覚刺激手段１７は、入力デバイス本体１０に薄いシリコンゴム製のリング状のゴム膜１７ｂを介して浮動的に支持された円盤状の可動板１７ａと、可動板１７ａの下面に配置され駆動手段１６により可動板１７ａを前後に傾動させる傾動手段１８とを備える。こうすると本体と可動板の間に隙間がなくなるため、防塵性や防水性が向上することになる。こうして傾動する可動板を触子として指を刺激してデバイス本体の変位を報知することになる。
【００５８】
可動板１７ａには、その上面の前後周縁に近い部分に小突起１７ｃが対峙するように設けられており、可動板１７ａの傾き方向をより明瞭に把握できるようになっている。なお、可動板１７ａ上に手指の接触を検出する静電容量センサ１９あるいは押圧によって動作する押しボタンスイッチを設けて、手指の接触時のみに変位を検出するようにしても良い。このようにすれば、操作者は狭い操作範囲でもカーソルを一定方向へ移動し続けることができる。
【００５９】
傾動手段１８は、可動板上面側の小突起１７ｃと対応する位置に形成された可動板下面側の突起１８ａと、可動板１７ａの下面側に配置され、駆動手段１６の回転軸１６ａに直交する回転半径方向に伸びるアーム１８ｂと、アーム１８ｂに回転自在に取付けたローラ１８ｃとからなる。アーム１８ｂが回転軸１６ａを中心に回転する際にローラ１８ｃが通る軌道上に突起１８ａが存在するので、駆動手段１６が作動して揺動アーム１８ｂがいずれかの方向に揺動（回転）すると、ローラ１８ｃがいずれかの突起１８ａに接触し、その突起を押し上げるため、可動板１７ａが下から突き上げられて傾動するように構成される。
【００６０】
第二実施形態において、可動板１７ａの上に親指を載せた状態で入力デバイス本体１０を把持し、空中を移動操作するが、移動中にデバイス本体の位置が外界中に仮想的に設定された基準面に乗っている間は、図６（ａ）、（ｂ）に示されるように、ローラ１８ｃと突起１８ａとは、互いに接触しない位置関係にあるので、可動板１７ａは水平状態に保持されている。一方、デバイス本体の位置が外界中に仮想的に設定された基準面から外れると、その変位量（ブレ量）に応じてアーム１８ｂが回転軸１６ａを中心に回転し、図６（ｃ）、（ｄ）あるいは、図６（ｅ）、（ｆ）に示すようにローラ１８ｃは突起１８ａに接触し、可動板１７ａを下から上方へ押し上げて可動板１７ａを傾動させる。これにより、親指に小突起１７ｃから刺激を与えられ、操作者はブレを生じていることが判る。こうして、入力デバイス本体１０を上記基準面内に拘束しながら移動させ、基準面内での移動に応じてモニタ画面上のカーソルやハイライト等を移動し、適宜の位置でタクトスイッチ１４を押すことで、制御対象へデータを入力してアプリケーションを実行できることとなる。
【００６１】
このように、第二実施形態によれば、可動板１７ａの傾動角度が一定に保たれるように入力デバイスの位置を補正しながら動かすことにより、入力デバイスの位置を特定の基準面内に拘束しながら基準面内を２次元的に動かすことができる。そして例えば、そのような基準面内の２次元的な動きにより、画面のカーソルを動かすようにし、可動板１７ａが傾動角度を変えるようにデバイスを動かすときには、画面に表示されているコンテンツが拡大あるいは縮小されるようにすると良い。そうすれば触覚刺激を手掛かりに、コンテンツの縮尺を一定に保ちながらカーソルのみを動かすことができる。一方、触覚刺激が与えられないと、デバイス本体を基準面内に拘束することが困難であるから、カーソルを移動しようと基準面内でデバイス本体を動かしているつもりでも、基準面と垂直方向にも動いてしまい、コンテンツの縮尺が不用意に変化して、操作に混乱を招くことになる。
【００６２】
なお、揺動アーム１８ｂは互いに直交する方向に伸びた構成であったが、伸びる方向は直交に限定されず、ハの字状に伸びるようにしてもよい。
【００６３】
また可動板１７ａにはタッチセンサや微小な力でＯＮ−ＯＦＦするフィルム上の接触スイッチなどを実装し、可動板１７ａ上に指が乗っているかどうかを検出するようにする。そして例えば上記でカーソルを動かすときには、可動板１７ａ上に指が乗っているときにだけ、本体の動きをカーソルの動きに伝えるようにする。
【００６４】
[第三実施形態]
第三実施形態の、図７に示す実施例では、デバイス本体を斜め前方に傾斜させた状態で移動操作して使用しているが、それはここでは光学的センサ２１を利用して、机の上に置かれた光学的マウスパッド２０表面の模様やマークを光学的に検出し、その動きからデバイスの動きを検出しようとしたためである。光学的センサとしては既存のマウスの座標入力用のセンサを用いても良いし、ＣＣＤ撮像センサ等を用いても良い。特に本装置をカメラ等の撮影デバイスに実装する場合には、撮影デバイスが元々備えている撮像センサを本装置の目的に共用すればよい。その場合には机上のマウスパッドの模様でなく、外景の動きを手掛かりとして、撮影デバイス本体の動きを検出しても良い。
【００６５】
図７に示す実施例では、入力デバイス本体１０はセンサ部２１が光学的マウスパッド２０上を移動し、その際にセンサ部に入力するマウスパッド表面のテクスチャーの動きから、デバイス本体１０の動きを計測する。この光学的センサにより、２次元あるいは３次元の位置情報を入力し、あるいは別途ジャイロセンサ１２等も合わせて利用し、デバイス本体１０の移動や回転を検出する。こうして検出されたデバイス本体１０の移動や回転に対して、可動板１７ａを傾動する方法と、その利用法は第二実施形態と同様である。
【００６６】
[第四実施形態]
第四実施形態は、図８，図９に示すように、可動板１７ａを傾動する方法が２軸になり、可動板１７ａが２方向に傾く点が、第二、第三実施形態と異なる。以下では相違する構成のみを説明する。なお、第二実施形態と同一または均等部材には同一符号を付す。
【００６７】
すなわち、傾動手段３０は、可動板１７ａ下面の横方向に伸びる駆動手段３１の回転軸と、回転軸に取り付けられ、可動板１７ａを傾動可能となるように互いに逆位相で、かつ、回転軸からの径が不均等になるように外周形状を形成した２個のカム体とで構成される。このカム体の外周の、カムの回転軸から見た径は、方位によって異なり、不均等になっているが、この径の方位に対する変化の仕方が、回転軸を回転したときの、可動板１７ａの傾動パターンを決める。またこの傾動パターンは回転軸の回転速度を変化させても、変化させることができる。この回転軸は１軸でもよいが、互いにクロスして交差する２軸を用いて２対のカム体を上記のように回転すれば、可動板１７ａを２軸の周りに独立に傾動させて、２次元的な傾動パターンを生成することができる。以下では、２軸タイプに形成した場合を例に挙げて説明する。
【００６８】
具体的に説明すると、駆動手段３１とそれによって駆動されて回転する回転軸を２対用意する。この２つの回転軸３２，３３は、可動板下面でほぼ十文字をなして交差するように配置される。回転軸３２はクランク状に下方に屈曲し、そこに回転軸３３が干渉しないように配置される。回転軸３２，３３の各々には、交差点から互いに等距離の位置に互いに逆位相で外周径を変化させるように、各２個のカム体３４，３５が設けられる。これらカム体３４，３５によって押し上げられて傾動する可動板１７ａの上面側には４個の小突起３６を設け、２軸の傾動による指への刺激を明瞭に識別できるようにしている。
【００６９】
本第四実施形態によれば、一つの可動板１７ａを用いて、その上に乗せた一つの指に、２次元の移動情報を可動板１７ａの傾動状況を介して伝達することができる。可動板が一つしかないので、操作者にとって２次元の移動情報を把握することが簡単で分かり易くなる。
【００７０】
[第五実施形態]
第五実施形態は、図１０に示すように、モニタ４０上部に２つ設置されているマーカ用の光源４３を入力デバイス本体１０に設けた光学的センサ４２を用いて撮影し、撮影された画像内に写っている光源４３の位置に基づき、入力デバイス本体１０の位置や移動量、回転量を算出しようとするものである。こうして算出された入力デバイス本体１０の位置や、移動、回転に関する情報に基づき、触覚刺激手段が触子（この場合は可動板１７ａ）を駆動することになる。例えば、入力デバイス本体１０を左右に動かすと可動板１７ａは左右に傾動し、上下に動かすと上下に傾動するようにする。３次元空間内で自由にデバイスを動かせる場合には、自由度が高すぎて、デバイス本体の運動を正確に把握できず、例えば左右に動かしている場合にも若干上下に動いてしまい入力が誤る場合がある。しかしながら、触子を通じて与えられる触覚刺激情報があれば、それを手掛かりにしてデバイス本体を正確に動かすことができる。
【００７１】
図１０には、モニタ画面４１にメニュー選択画面４１が表示されている。入力デバイス本体１０を上下または左右に移動させると上記のように触覚刺激が生成され、移動方向と移動量を正確に把握しながら、ハイライトを当てて他の項目と区別できるように表示した項目（図中ではハイライトの当たっている項目を太線で囲って他の項目と区別して表示している）を変更する（ハイライトを動かす）ことができる。
【００７２】
第五実施形態によれば、操作者はモニタ画面を凝視していなくとも、触覚刺激が一定に保たれるように注意していることによって、入力デバイス本体１０が不測に動いてハイライト位置が変わってしまう問題を防げるし、ハイライトの移動時にも、例えば左右に動かすときに上下に変位するとそれを触覚刺激を通じて感知して、変位を補正するようにデバイス本体を移動操作することができるので、正確、高速にメニュー項目を選択できるようになる。また後に述べるように、ハイライトがメニュー項目の境界を横切ることを把握できるように触覚刺激を生成することもできる。
【００７３】
[第六実施形態とＧＵＩプログラム]
本発明の変位報知装置１とＧＵＩプログラムは互いに関わり合いながらそれぞれの特徴を発揮するので、ここでは変位報知装置の第六実施形態と共にＧＵＩプログラムについて説明する。ＧＵＩプログラムの一つの実施例においては、例えば、図１１（ａ）、（ｂ）、（ｃ）に示すようなメニュー選択画面４１が、モニタ画面に表示される。ここで変位報知装置としては、第一実施形態から第五実施形態までのいずれを用いても構わないが、ジャイロセンサ等、入力デバイス本体１０の位置や方向、移動や回転を検出するセンサが検出するデバイス本体の移動量、回転量に基づいて、触覚刺激手段が触子を駆動して手指を刺激する。ここでデバイス本体の移動量、回転量と触子の駆動量の間に特殊な関係を定めた点に、第六実施形態とＧＵＩプログラムの特徴がある。まずこれは、マウスなど従来のポインティングデバイスでも発生していた問題であるが、さらに空中を移動する３次元ポインティングデバイスでは、次のような原因による操作誤りが、より顕著に発生する。すなわち、カーソルをメニュー項目の一つに合わせて、そこを選択していたつもりでも、クリックボタンを押す等の別操作の最中に、カーソル位置が変位して、クリックを押す瞬間には目標の項目から外れてしまい、誤入力が生じることになる。空中では、デバイス本体の位置は不安定になるし、操作者はデバイス本体の位置を把握するための触覚手掛かりを何も得ることができない。一方、従来のマウスやタッチパッドなどでは、手指の一部は基準となる机の表面とかパソコンの筐体に触れており、それらを基準にして、マウスは指位置を触覚的に把握することができた。
【００７４】
本発明では、上記の問題を解決するために、空中にある手指に仮想上の基準点を与えることを目標として、偏差報知装置を構成している。この仮想上の基準点は、必ずしも３次元空間内に実際に静止している必要はない。センサの誤差や触子の可動範囲の限界のために、実際上基準点を一定に保つことは困難であるが、触子の位置として与えられる基準点は、それが変動しても比較的にゆっくりと連続的に変動するのでれば、人はともかく指に当たる触子の位置を基準として、デバイス本体の位置や角度の変化を認識することになる。
【００７５】
この触子の与える仮想上の基準点を利用して、上に述べたメニュー操作の誤りを軽減するために次のような方法を取る。なお以下、カーソルを動かすというのはハイライト当てる項目を変更することを意味する。
【００７６】
（１）メニュー項目の領域の中央にカーソルが来るように位置を定めたときのデバイス本体の位置を基準点（基準位置）として、デバイスが基準点にいることを触子を中立状態にして報知する。
【００７７】
（２）この基準点からデバイス本体が変位し、カーソルがメニュー項目の領域の中心からずれると触子を動かして変位を通知し、操作者は触子が中立状態に戻るようにデバイス本体を動かすことで、この変位を補正する。
【００７８】
（３）カーソルがメニュー項目の領域の中央から周辺部に向かって変位するときに、その変位にリアルタイムに連動させて、触子を連続的に動かすようにして、カーソルがメニュー項目間の境界に至る前に、操作者が変位を把握して、それを補正できるようにする。
【００７９】
（４）操作者が、変位の方向と量を直感的に把握できるようにするために、外界の空間内に静止している仮想上の基準物体を想定し、それに触れている手指を動かしたときに感じるであろう触覚刺激を、触子を動かして生成するようにする。そのためには例えば、デバイス本体の位置が基準点から変位するときに、その変位と連動させて変位の方向と逆方向に触子を動かすと良い。ただしセンサの誤差や触子の可動範囲の限界のために、触子を実際に空間内に静止するように動かすのは困難であるので、操作者が上記のようにデバイス本体の位置を補正しても、その位置を外界中の基準点に維持できる保証はない。そこでデバイス本体の外界中の絶対位置によってではなく、デバイス本体の触子に対する相対位置に基づいて、入力する情報を決定するようにする。
【００８０】
（５）メニュー項目の領域がある程度の大きさを持てば、デバイス本体が変位して、カーソルの位置が多少動いても、カーソルがメニュー項目の領域からはみ出ることはなく、はみ出る前に操作者がデバイス本体の位置を補正することで、カーソルをメニュー項目の領域内に維持し続けることができると期待される。それでも、カーソルがメニュー項目の領域からはみ出て、次のメニュー項目の領域に入り込んだときには、操作者が意図的に次のメニュー項目を選ぶようにカーソルを移動したと判定し、カーソルを次のメニュー項目に移し、そこにハイライトを当てることになる。
【００８１】
（６）上記のようにカーソルを一つのメニュー項目の領域からその隣のメニュー項目の領域に移動するときには、変位を補正する必要はないので、触子を不連続・急峻に動かして、メニュー項目間の境界を通過したことを操作者に通知すると良い。また境界通過後には、カーソル位置を次のメニュー項目の領域の中央に自動的に持って行き、触子も中立状態に復帰すると良い。したがって、触子は、変位が微小でメニュー項目領域の境界に到達する前は、変位に連動して連続的にデバイス本体の移動方向と反対方向に動かし、メニュー項目領域間の境界を通過した瞬間に、急峻に動かして中立状態に復帰させると良い。そして今度はそのデバイス本体の位置を新たに標準位置として、今度はその標準位置からの変位について、上記の方法でデバイス本体の位置と触子の動きを関連付けると良い。
【００８２】
以上に述べたデバイス本体の動きに対する触子の動きを、図１１（ｅ）にグラフにして示す。図１１（ｅ）は、入力デバイス本体１０（指示器）の移動量と小突起３６ａ〜３６ｄ（指刺激子）の基準位置Ｐからの上昇量との関係を示すグラフである。図１１（ａ）に示すように、メニュー項目の一つにハイライトが当たっているときには、他の項目と区別するためにそのメニュー項目の枠が太く表示される。ここで触子が中立状態にあるならば、デバイス本体は、その項目の選択領域の中央（すなわち標準位置）にあり、デバイス位置が多少変位しても、選択領域からはみ出ることはなく、項目は安定に選択され続ける。ここでデバイス本体が標準位置から変位すると、その変位量に連動した大きさで触子が動くので、触子が動いたときにはそれを中立状態に復帰するようにデバイス本体を動かせば、元のメニュー項目を選択し続けることができる。ハイライトを隣のメニュー項目に移したいときには、操作者は触子の動きによる変位の通知を無視し、変位を補正することなくデバイス本体を動かし続ける。すると変位量がある閾値を越えた時に、触子は急速に中立状態に復帰すると共に、その時点のデバイス位置が隣のメニュー項目の選択領域の中心（基準位置）に設定され、ハイライトも隣のメニュー項目に移る。図１１（ｂ）はデバイス本体をｙ軸の正方向に動かして、その変位が閾値を越えたときにハイライトが上隣のメニュー項目に移った様子を、そして図１１（ｃ）はデバイス本体をｘ軸の正方向に動かして、その変位が閾値を越えたときにハイライトが右隣のメニュー項目に移った様子を示す。
【００８３】
入力デバイス本体１０（あるいはそれに実装された変位報知装置）とモニタ４０（あるいはそれに実装されたＧＵＩプログラム）との間に双方向の通信が行われるのであれば、変位が閾値を越えたかどうか、カーソルがメニュー項目の領域間の境界を横切ったかどうかの判定はモニタ側に内蔵される演算部で計算され、その結果が制御信号として入力デバイス本体１０に送信されて駆動手段を作動するようになっている。
【００８４】
また入力デバイス本体１０（あるいはそれに実装された変位報知装置）からモニタ４０（あるいはそれに実装されたＧＵＩプログラム）への一方向の通信しか行われないのであれば、変位が閾値を越えたかどうかの判定は、入力デバイス本体側の演算部で計算され、その結果に基づき入力デバイス本体側で触子の駆動手段が作動し、さらに制御信号がモニタ側に送信されて、変位が閾値を越えていたときには、カーソルが、変位方向に対応する方向にある、隣のメニュー項目に移動するようになっている。
【００８５】
このように構成された第六実施形態およびＧＵＩプログラムにおいて、図１１のように入力デバイス本体１０を(1)→(2)→(3)へ移動操作してメニュー選択画面４１のメニュー１２を選択する場合を例に挙げて説明する。入力デバイス本体１０を(1)から(2)へ上方に移動させるとき、可動板１７ａが傾動して指刺激子３６ａが上昇するようになる。境界を通過した後は、図１１（ｅ）の点Ｐで示すように可動板１７ａは基準位置まで高さを落として可動板１７ａは平坦を成す。これにより、図１１（ｂ）のようにメニュー１１の領域に入ったことを操作者は知ることができる。次いで、入力デバイス本体１０を(2)から(3)へ右方に移動させるとき、指刺激子３６ｂが上昇し、境目を通過し後は、可動板１７ａは基準位置Ｐまで高さを落とし、図１１（ｃ）に示すように目的とするメニュー１２が選択される。ここで、タクトスイッチ１４をＯＮすることにより、メニュー１２の内容が実行されることとなる。
【００８６】
上記に述べたように、デバイス本体の変位に対して触子の駆動量を定めることが望ましいので、デバイス本体（例えば指示器）を複数のメニュー項目を横切るように一方向に継続的に動かしたときに、触子の駆動量は、図１２（ｂ）のように右上がりの鋸波形によって変化することになる。デバイス本体の速度が速いときには、この鋸波形の周期を小さくし、また必要に応じて振幅も小さくし、デバイス本体の移動量が小さくとも、カーソル（ハイライト）は多くのメニュー項目を横切って、遠くのメニュー項目に至ることができるようにする。逆にデバイス本体の速度が遅いときは、鋸波形の周期を大きくして、デバイス本体の移動量を大きくしなければ、カーソルは隣のメニュー項目に到達できないようにして、デバイス本体の変位に対して安定にする。
【００８７】
両者の関係を表すグラフは、図１２（ａ）のように右下がりの鋸波形、（ｃ）の矩形波形の形態も考えられるが、これらをメニュー項目の選択時に使用することは、不適当であり、他の状況の報知するための触覚情報を区別して与えるために使用する。
【００８８】
[第七実施形態とＧＵＩプログラム]
第七実施形態は、第六実施形態において、さらにｚ軸方向のデバイス本体の動きを検出するセンサと、ｚ軸方向のデバイス本体の変位を報知するための触子を導入したものである。ここではｚ、ｙ軸方向の変位を通知する触子を省いているがそれは、ここでｚ軸方向の変位を報知する触子の働きのみを説明するので、図１３に示すようにモニタ画面４１に複数枚のメニューシート５０〜５２が表示される場合に、入力デバイス本体１０を奥行き（Ｚ軸方向）に移動操作することで、シートを選択する機能を付加した構成である。すなわち、モニタ画面４１に表示されるメニューシートは、奥行き方向に重なるように配置され、入力デバイス本体１０をモニタ画面の二次元方向だけでなく、奥行き方向（Ｚ軸方向）の(1)→(2)→(3)へと移動して、メニューシート５０〜５２を選択できるようにしている。
【００８９】
メニューシートの切り替えが行われるときに、デバイス本体（指示器）のｚ方向の変位量に対して触子３６ａ、３６ｃの上昇量は、図１３（ｅ）のグラフに示されるように変化する。すなわちｚ方向に対して特定シートを選ぶための、基準位置にデバイス本体があるときには、触子は中立状態にあるが、この基準位置に対してデバイス本体がｚ軸方向に変位すると、その変位に対して図１３（ｅ）に示すように、変位に連動して連続的に、触子のデバイス本体の移動方向に対応する側が上昇するように可動板が傾動する。そして変位が小さいうちは操作者はこの触覚情報を手掛かりにして、デバイス位置を基準位置に補正することができる。一方、操作者が触子によって与えられる報知を無視して更にデバイス本体を動かして変位量がある閾値を越えると、今度は図１３（ｅ）に示すように、触子は急激に動いて中立状態に復帰する。この触子の動きは操作者に明瞭な刺激として知覚され、メニューシートが切り替わったことを通知する報知情報となる。
【００９０】
またメニューシートが切り替わると即座にその時点でのデバイス本体のｚ軸上の位置が、新たにそのシートのための基準位置として設定される。図１３には、奥行き（Ｚ軸）方向に(1)→(2)→(3)へと入力デバイス本体１０を移動する例が示されている。(3)で目的とするシート５２が選択され、タクトスイッチをＯＮすることにより選択が確定される。メニューシート５２が確定された後でも、メニュー項目を選ぶためにデバイス本体をｘ、ｙ軸方向に動かそうとしても、上述したような触覚的な手掛かりがないと誤ってデバイス本体をｚ軸方向にも動かしてしまい、メニューシートが他のシートに切り替わってしまうことも起こり得る。しかし上記の触覚刺激があれば、触子を中立状態に保つようにデバイス本体の位置を補正しながら、ｘ、ｙ軸方向に動かせば、選択されているシートを一定に保ちながら、カーソルを動かしてメニュー項目を選択できる。
【００９１】
以上、本発明を各実施形態により詳述してきたが、具体的な構成はこれら実施形態に限られるものでなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明の範囲に含まれるものである。
【００９２】
たとえば、各実施形態の入力デバイス本体１の全体をシリコンゴムで被覆することにより、入力デバイス本体１０を把持しやすくなり、外部からの衝撃力や水、塵に対する保護に効果的である。
【００９３】
また、第一実施形態におけるボリューム調整機構としてのダイヤルは、第二実施形態乃至第七実施形態にも設けてもよい。
【００９４】
また、各実施形態では、スティックや可動板を傾動して指を刺激しているが、他の形態の触子を用いたり、傾動でなく、他の動きの形態により手や指を刺激しても良い。
【００９５】
また、スティック、可動板、および指刺激子を振動させたり、音を発音する態様にしたり、付加して併用する態様にしてもよい。
【００９６】
なお、上記は、変位報知装置としてコンピュータへデータを送信する機能を有する入力デバイスを例に説明したが、本発明はこれに限らず、カメラなどの撮影デバイスや原子炉、医療用機械、製造設備におけるロボット操作等における遠隔操作を行う制御手段として応用することが可能である。
【図面の簡単な説明】
【００９７】
【図１】本発明の第一実施形態に係り、入力デバイス（変位報知装置）が把持された状態を説明する外観図である。
【図２】入力デバイス本体の構成を模式的に示した側面図である。
【図３】入力デバイス本体を左右方向に移動操作する状態を説明する作用説明図である。
【図４】入力デバイス本体を上下方向に移動操作する状態を説明する作用説明図である。
【図５】第二実施形態に係り、（ａ）は側面図、（ｂ）は平面図である。
【図６】第二実施形態の作用を説明する図である。
【図７】第三実施形態に係り、（ａ）は側面図、（ｂ）は平面図である。
【図８】第四実施形態に係り、（ａ）は側面図、（ｂ）は平面図である。
【図９】第四実施形態の作用説明図である。
【図１０】第五実施形態の外観図である。
【図１１】第六実施形態に係り、（ａ）〜（ｃ）はメニュー選択画面、（ｄ）は入力デバイス本体の外観図、（ｅ）は制御信号の特性を示すグラフである。
【図１２】制御信号特性の変形例を示すグラフである。
【図１３】第七実施形態に係り、（ａ）〜（ｂ）はメニュー選択シートの選択画面、（ｄ）は入力デバイス本体の外観図、（ｅ）は制御信号特性のグラフである。
【図１４】手指を刺激する触子を３つ設けて、デバイス本体の３軸方向の動きを報知するようにした入力デバイスの外観図であり、図１４（ａ）は、入力デバイスが把持された状態を説明する外観図、図１４（ｂ）は、入力デバイス本体の構成を模式的に示した側面図である。
【符号の説明】
【００９８】
１  入力デバイス本体（変位報知装置本体）
２  ジャイロセンサ
３  駆動手段
４  触覚刺激手段
４ａ  人指し指スティック（触覚刺激手段）
４ｂ  親指スティック（触覚刺激手段）
４ｃ  中指または薬指スティック（触覚刺激手段）
５  ダイヤル（ボリューム調整手段）
１０  入力デバイス本体（変位報知装置本体）
１１  電子回路基板
１２  ジャイロセンサ
１３  バッテリー
１４  タクトスイッチ
１５  赤外線ＬＥＤ
１６  駆動手段
１６ａ  回転軸
１７  触覚刺激手段
１７ａ  可動板
１７ｂ  ゴム膜
１７ｃ  小突起
１８  傾動手段
１８ａ  カム部
１８ｂ  揺動アーム
１８ｃ  ローラ
１９  静電容量センサ
２１  移動量検出センサ
３０  傾動手段
３１  駆動手段
３２  、３３  回転軸
３４，３５  カム体
３６  小突起
３６ａ，３６ｂ，３６ｃ，３６ｄ  指刺激子
４０  モニタ
４１  メニュー選択画面
４２  光学的センサ
４３  マーカ用光源
４４  メニュー
５０〜５２  メニュー選択シート
Ｈ  手（手指）
Ｌａ  左右移動基準線
Ｌｂ  上下移動基準線
【図１】
2008015564.tif 000003
【図２】
2008015564.tif 000004
【図３】
2008015564.tif 000005
【図４】
2008015564.tif 000006
【図５】
2008015564.tif 000007
【図６】
2008015564.tif 000008
【図７】
2008015564.tif 000009
【図８】
2008015564.tif 000010
【図９】
2008015564.tif 000011
【図１０】
2008015564.tif 000012
【図１１】
2008015564.tif 000013
【図１２】
2008015564.tif 000014
【図１３】
2008015564.tif 000015
【図１４】
2008015564.tif 000016