(57)【要約】【課題】  既存の機器のタッチパネルを利用して、指の様々な運動を検出するとともに、操作を分かり易くするための触感を与える。【解決手段】  タッチパネルを装備した既存の機器に装着するか、指で保持して使用するタッチパネル入力補助装置によって、指の様々な運動を、転動体のタッチパネル上の転動運動や変形に変換し、転動体のタッチパネルとの接触位置や接触面積の変化として検出すると共に指に反力や抗力、振動、凹凸感といった触感を与える。さらに転動体のタッチパネルとの接触点の移動パターンや速度パターンを分析して指の運動を推定する触感連動型プログラムによって、指の運動や指に与える触感と連動して所定の動作を実行するようにした。【選択図】図２
2009037956.tif 000002
【特許請求の範囲】
【請求項１】
接触パターン検出手段を備えたタッチパネルと該タッチパネルを操作する指の間に介在して、該指の運動に連動するように該タッチパネルとの接触パターンを変化させる接触パターン生成手段と、
該タッチパネルまたは該指に着脱可能に装着する装着手段または指で保持する保持手段と、前記接触パターンの変化に同期して変化する反発力を該指に加える反発力生成手段と、
を備えたことを特徴とするタッチパネル入力補助装置。
【請求項２】
前記接触パターン生成手段は、前記指の運動に応じて前記タッチパネル上で転動して該タッチパネルとの接触位置を変える転動体を通じて接触パターンを生成し、
前記反発力生成手段は該転動体と該タッチパネルまたは該指との間に介在する弾性部材の復元力を利用して前記反発力を生成することを特徴とする請求項１に記載のタッチパネル入力補助装置。
【請求項３】
前記接触パターン生成手段は、前記タッチパネル表面に概垂直な方向の指の運動に連動するように該タッチパネルとの接触パターンを変化させることを特徴とする請求項１に記載のタッチパネル入力補助装置。
【請求項４】
前記接触パターン生成手段と前記装着手段を導電性と伸縮性を備えた素材で構成したことを特徴とする請求項１に記載のタッチパネル入力補助装置。
【請求項５】
前記接触パターン生成手段をタッチパネル表面上で円滑に滑る部材で構成したことを特徴とする請求項１乃至４のいずれか一に記載のタッチパネル入力補助装置。
【請求項６】
接触パターン検出手段を備えたタッチパネルと該タッチパネルを操作する指の間に介在して、該指の運動に連動するように該タッチパネルとの接触パターンを変化させる接触パターン生成手段と、該タッチパネルまたは該指に着脱可能に装着する装着手段または指で保持する保持手段と、前記接触パターンの変化に同期して変化する反発力を該指に加える反発力生成手段と、を備えたタッチパネル入力補助装置が該指に与える反発力と同期するようにコンピュータを動作させる方法であって、
前記タッチパネル入力補助装置固有の特性に依存して事前に定められてコンピュータ内部の記憶媒体に記憶された同期用データと、
前記コンピュータに接続されたタッチパネルを通じて入力する接触パターンをコンピュータの動作に写像する手続きと、
を用いて、タッチパネル入力補助装置が指に与える反発力とコンピュータの動作を同期させることを特徴とするコンピュータ動作方法。
【請求項７】
接触パターン検出手段を備えたタッチパネルと該タッチパネルを操作する指の間に介在して、該指の運動に連動するように該タッチパネルとの接触パターンを変化させる接触パターン生成手段と、該タッチパネルまたは該指に着脱可能に装着する装着手段または指で保持する保持手段と、前記接触パターンの変化に同期して変化する反発力を該指に加える反発力生成手段と、を備えたタッチパネル入力補助装置が該指に与える反発力と同期するようにコンピュータを動作させるプログラムであって、
前記タッチパネル入力補助装置固有の特性に依存して事前に定められてコンピュータ内部の記憶媒体に記憶された同期用データと、
前記コンピュータに接続されたタッチパネルを通じて入力する接触パターンをコンピュータの動作に写像する手続きと、
を用いて、タッチパネル入力補助装置が指に与える反発力とコンピュータの動作を同期させることを特徴とする触感連動型プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多様な指の運動をタッチパネル上の転動体の転動運動等で接触パターンに変換すると共に運動中の指に抗力や反力等の反発力を与えるタッチパネル入力補助装置、および、タッチパネル上の転動体の接触位置の変化パターンやその速度の変化パターンに基づいて元となった指運動や指に反発力が与えられるタイミングを検出してそれに同期させてコンピュータを動作させるコンピュータ動作方法、および触感連動型プログラムに関する。
【背景技術】
【０００２】
従来、タッチパネル表面には指やスタイラスと呼ばれるペン状の器具で接触して座標情報を入力していた。しかしながら、いずれの場合にも、触覚的手掛かりが不足していたため、接触位置を視覚的に確認する必要があり、また接触した結果、正しく入力が行われているか確認する場合にも、視覚や聴覚を通じて確認する必要があった。【０００３】
この問題に対処するため、本発明では、視覚や聴覚だけではなく、触覚を通じて、接触位置等の入力内容や入力に対する反応を確認できるようにして、ユーザインターフェイスやゲームの操作性や臨場感を向上することを目的とし、指とタッチパネルの間に介在するタッチパネル入力補助装置とそのタッチパネル入力補助装置を効果的に利用した触感連動型プログラムを与える。従来から各種の触覚フィードバックデバイスが開発されているが、タッチパネルと指の間に介在するデバイスを通じて上記問題を解決しようとする試みは従来なく、この点に本発明の新規性がある。【０００４】
本発明に関連する特許文献を以下に示す。
【特許文献１】特開平９−１２８１４９号公報
【特許文献２】特開２００１−３０６２３８号公報
【０００５】
特許文献１と２では、タッチパネル上でローラ状の転動体を転がす操作によってデータや指令を入力する方法が示されている。しかしながら、いずれの手法も転動体を情報入力の手段としてのみ用いており、触覚的手掛かりを付加する手段としては利用しておらず、そのための工夫も与えられていなかった。
【発明の開示】
【０００６】
それに対して本発明では転動体を指に凹凸感のみならず、反発力を加える手段として用いており、こうした触覚的手掛かりに同期してプログラムが動作するようにすることによって、プログラムの動作を触覚を通じて確認できるようにして、ユーザインターフェイスの操作性やゲームの臨場感を向上している。また本発明では、それ自体が単独に機能していて、指やスタイラスによっても操作できるタッチパネルに、タッチパネル入力補助装置を必要に応じて別途装着したり、指側に装着したり、または指で保持したりして使用する。そのためにタッチパネルまたは指にタッチパネル入力補助装置を着脱可能に装着する装着手段または指で保持するための保持手段を設けている。このように既存のタッチパネルのセンサ機能（接触位置検出機構）を活用して指の運動を検出するようにすることで、タッチパネル入力補助装置側のセンサ機能を省き、デバイスコストを大幅に削減することが可能になった。また本発明の一つの実施形態においてはタッチパネル入力補助装置を指に装着するための構造を設けているが、従来にはタッチパネル入力補助装置を指に装着してタッチパネルを操作するという発想自体が存在していなかった。従来のジョイスティック等には、見方によっては、位置検出機能を備えたセンサ上で、転動体とも解釈できる構造が動いてデータを入力しているものがあるかも知れないが、本発明と異なり、装置自体がセンサ機能を内蔵するため構造が複雑となりコストも高くなる。
【０００７】
本発明は、以上の状況に鑑みて考案されたものであり、触覚手掛かりが欠如していたタッチパネルの操作に対して、指とタッチパネルの間に特殊な器具を介在させることによって、操作中の指に反発力や凹凸感の触感を与え、これらの触感と同期するようにプログラムを制御することによって、ユーザインターフェイスの操作性やゲームの臨場感を向上させ、さらにタッチパネルのセンサ機能を活用することで低コストに実現することのできるタッチパネル入力補助装置、同装置を用いたコンピュータ動作方法、および触感連動型プログラムを提供することを目的とする。ここで反発力を指に与える手段を、以下、反発力生成手段と呼ぶことにする。
【０００８】
上記目的を達成するため、本発明では、例えば、指とタッチパネルの間に転動体と呼ぶ機構を介在させて、多様な指の運動をタッチパネル上の転動体の転動運動に変換し、転動運動によって生成される接触パターン、すなわちタッチパネルと転動体の接触位置及びその変化を、タッチパネルの接触位置検出機能を利用して検出することによって、元の指運動および指に加えられる反発力を検出するようにした。また、運動中の指に抗力や反力等の反発力を与えることによって操作者が指運動の適正さを触覚的に把握できるようにし、この触覚的手掛かりを用いて操作者が運動量や力加減を調整してアナログ的な情報を精度良く入力できるようにした。ここで指の多様な運動をタッチパネルが検出し得る接触パターンに変換する手段を以下、接触パターン生成手段と呼ぶことにする。なお本発明の接触パターンとは、タッチパネル入力補助装置がタッチパネルと接触する位置または面積等の接触形態及びそれらの時間変化の形態のことである。パターンには「形態」という意味の他に「型」という意味があるが本発明では前者の意味で使っている。
【０００９】
例えば、従来のタッチパネルでは、タッチパネルへの接触、離反、及びパネル表面に平行な方向への指やスタイラスの運動しか検出できなかった。しかしながら、本発明によれば、タッチパネル表面に対して垂直あるいは斜め方向の指の運動も転動体のタッチパネル上の転動運動に変換することによって検出できる。またトラックボールのような球体を転がす指の運動も、あるいは回転ダイヤルを回転するような指の運動も、転動体のタッチパネル上の転動運動に変換することによって検出できる。また転動体とタッチパネルの接触点は、それぞれの指の運動に応じて、特有の変化パターンや速度パターンで移動することになるので、この変化パターンをプログラムによって分析することによって、元の指の運動を推定することができる。なお従来のタッチパネルと指、スタイラスを用いた入力では、指の運動に対して抗力や反力、凹凸感、振動といった触覚的手掛かりを加えるすべがなかったが、転動体を介することによって、こうした触覚的手掛かりを与えることが可能になる。
【００１０】
本発明によれば、既存のタッチパネルを備えた機器を利用して、それに装着するか、または指に装着するか指で保持する簡易でコストの低いタッチパネル入力補助装置を使って、使い慣れた他の機器を操作する際に指が感じる触感を再現し、分かり易く正確に情報を入力することを可能にすると共に、この入力操作の際の指の運動を、タッチパネル入力補助装置に備わっている転動体とタッチパネルの接触位置の移動パターンや速度の変化パターンから推測する触感連動型プログラムを用いて、指の運動や指が感じる触感と連動して機器を動作させることができるため、さらに臨場感をもって、機器を操作することが可能になる。
【発明を実施するための最良の形態】
【００１１】
図１は、タッチパネル入力補助装置８０を用いてデータ入力を行うコンピュータ装置８９の機能ブロック図である。コンピュータ装置８９は、データを入力する入力部８５、入力したデータを用いてプログラムの演算処理を実行する演算処理部８７、演算結果を出力する出力部８６、および、データを保存する記憶部８８で構成されている。また、入力部８５は、パネル８１と接触位置検出手段８２とで構成されるタッチパネル２と、このタッチパネル２を介してデータを入力するタッチパネル入力補助装置８０とから構成されている。なお、コンピュータ装置８９は、汎用のパーソナルコンピュータでも良いし、専用のゲーム機や音楽演奏装置などであっても良い。本発明の実施の形態によるタッチパネル入力補助装置８０は、図１に示すようにそれと別個に用意されている接触位置検出手段８２を備えたパネル８１と組み合わせて使用する。以下、接触位置検出手段を備えたパネルをタッチパネル２と呼ぶことにする。このタッチパネル２は本発明のタッチパネル入力補助装置とは別個の既存の装置によって与えられる。また本発明の実施の形態による触感連動型プログラムは、図１の記憶部８８等に記録されて、演算処理部８７で実行されて、接触位置検出手段８２の与えるタッチパネルとタッチパネル入力補助装置８０の接触位置に関する情報及び必要に応じて接触面積に関する情報に基づいて、タッチパネル入力補助装置８０を操作する指の運動を検出する。【００１２】
触感連動型プログラムは、記憶部８８に格納され、演算処理部８７にロードされて実行される。例えば、転動体とタッチパネルの接触位置の変化パターンやその速度の変化パターンを事前に登録されたパターンと照合し、一致するパターンに関連付けられた所定の動作を実行する。あるいはもっと簡単に転動体がタッチパネルから離反する際に、接触中の接触点の移動量や移動速度に応じた動作を実行する。動作を実行するタイミングは、接触点の移動方向が反転する時点としても良いし、所定の位置や距離、速度に到達した時としても良い。この際に接触パターン生成手段が生成できる接触位置や速度は、タッチパネル入力補助装置の特性から定まる上限値、下限値の範囲に制限されてしまうので、その制限された範囲の値で必要とされる動作を実行できるように、タッチパネル入力補助装置８０の特性を考慮して、該パターンと該動作の間の写像関係を定める必要がある。【００１３】
（写像関係の演算方法）
タッチパネル入力補助装置８０の接触パターン生成手段が生成する接触パターンは、例えば、接触位置の変化量ΔＸ、接触点の移動速度Ｖ、移動方向θの時系列信号として、タッチパネルの接触パターン検出手段８２によって検出される。タッチパネル入力補助装置８０を保持している指が所定の運動を行った時に、この時系列信号が具体的にどのような値を取るのかということは、タッチパネル入力補助装置８０とタッチパネルの特性に応じて定まる。例えば、タッチパネル入力補助装置８０の反発力生成手段が指に適正な反発力を加えるようにタッチパネル入力補助装置を操作した時に接触パターン生成手段が与える信号ΔＸはそのままでは値が小さ過ぎて、その値をプログラムの動作量としても動作量が不十分かも知れない。その場合には、例えば、次式で適正な範囲の値を取るように定数αを掛けてスケール調整した上でプログラムの動作量を定める必要がある。ここでΔＺは例えばゲームの画面内のキャラクタを動かす量である。
ΔＺ＝αΔＸ  （接触パターンとプログラム動作量の写像関係を定める式１）。【００１４】
また移動方向θについても、その基準方向Ｓがどうなるのかということはタッチパネル入力補助装置８０とタッチパネル２の特性に応じて定まる。指の動かす方向あるいは指が感じる反発力の方向とキャラクタの動く方向の間に直感にあった対応が取れるようにするためには、例えば次式でキャラクタの動く方向Ｏと接触パターンのθとの間の写像関係を定める必要がある。
Ｏ＝θ−Ｓ  （接触パターンとプログラム動作量の写像関係を定める式２）。【００１５】
あるいはタッチパネル入力補助装置８０をタッチパネル８１に接触させた後でタッチパネル８１から離す際には反発力生成手段が指に所定の反発力を加えるが、その離すタイミングあるいは反発力が生成されるタイミングをプログラム側で検出する場合には、ΔＸと移動速度Ｖの過去の時系列の平均値Ｖｍがそれぞれ所定値以上になっていて、かつ速度の方向が反転することで以って検出することができる。この場合はプログラムの次の手続きによって、接触パターンのΔＸ、Ｖ、Ｖｍ、θとプログラムの動作を定める変数Ｆの間の写像関係を定めることになる。
ＩＦ  ΔＸ>β  ＡＮＤ  Ｖｍ>γ  ＡＮＤ  θ=１８０度  ＴＨＥＮ  Ｆ＝ＴＲＵＥ
ＥＬＳＥ  Ｆ＝ＦＡＬＳＥ  （接触パターンとプログラム動作の写像関係を定める手続）。ここでβやγの値は、タッチパネル入力補助装置８０が指に適切な触感を与えるように定めたり、誤動作が生じにくくなるように適当なマージンを持たせるように定めたりするので、タッチパネル入力補助装置８０とタッチパネル２の特性に合わせて調整して定めることになる。【００１６】
さらに一般的には、事前に所定の指の動作で所定の触感を得る際の接触パターン（ΔＸ、Ｖ、θ）の時系列信号（ΔＸ（１）、Ｖ（１）、θ（１））、（ΔＸ（２）、Ｖ（２）、θ（２））…を、その接触パターンに対応するプログラムの動作と対にして、テーブルに事前に登録しておき（ここで括弧内の数字は各信号が検出された時刻を意味する）、タッチパネル８１が検出する接触パターンをテーブルに登録されているパターンと随時比較し、一致する登録パターンがあったら、それと対をなすプログラムの動作を実行するようにしても良い。これは定義テーブルによって写像関係を実現する例になっているが、やはり登録するパターンはタッチパネル入力補助装置を用いて（したがってその特性に依存して）定められることになる。こうしたパラメータα、β、γ、Ｓや登録パターンは、指の運動や指に加わる反発力とプログラムの動作が適正な大きさやタイミングで連動、同期するように定めるものであるので同期用データと呼ぶ。同期用データは、事前にコンピュータ動作方法の手続き中に、あるいはコンピュータのメモリに記憶されて、これを用いるとことによって、触感連動型プログラムは、プログラム動作中に別途同期用信号が与えられなくとも、接触パターンそのものから同期のための手掛かりを得て、指の運動や指が感じる触感とプログラムの動作の同期を取ることができる。【００１７】
図１１には、この同期用データを使った、指が感じる反発力（指でタッチパネル入力補助装置を操作する際に反発力生成手段が指に加える反発力）とコンピュータの動作あるいはプログラムの動作の同期方法と、通常用いられる同期用信号を使った同期方法とを比較して、本発明の同期方法の特徴を示す。ここでは簡単のために上記の各種写像方式の中で最も簡単な式で写像関係を定める場合を例として図示しているが、写像関係を手続きで定める場合についても、図中の写像を手続きで定義して、同期用データを手続きで使われるパラメータや登録パターンに置き換えることによって図示できる。【００１８】
図１１では（ａ）には本発明のコンピュータ動作方式または触感連動型プログラムの実施例を示し、（ｂ）にはそれとは異なる通常例を示している。それぞれタッチパネル入力補助装置はコンピュータ外に設けられ、本発明の対象となるコンピュータ動作方式または触感連動型プログラムは、タッチパネル入力補助装置とは独立にコンピュータ内に設けられる。またやはりタッチパネル入力補助装置とは独立に設けられたタッチパネルを通じて、タッチパネル入力補助装置が生成する接触パターンがコンピュータに入力する。（ａ）ではコンピュータの動作中にタッチパネル入力補助装置とコンピュータ間でやり取りされる情報は接触パターンだけであるが、（ｂ）では接触パターンの他に同期用信号もやり取りされる。（ａ）ではコンピュータ動作前に事前にタッチパネル入力補助装置の各種特性（指の適正な運動範囲に対して接触パターンが取り得る値の範囲や所定の強さの反発力が生成する時の接触パターンの大きさ等）を同期用データとしてコンピュータ内部のメモリや手続き中のパラメータに記憶しておくことにより、同期用信号がなくとも、接触パターンの情報だけから所定の指運動が行われたタイミングや所定の反発力が生成されたタイミングを推定し、それに同期するようにコンピュータを動作させることが特徴となっている。【００１９】
図１１（ａ）では、図中の写像は、コンピュータに入力した接触パターンがタッチパネル上の接触点の変位量ΔＸである場合に、ゲーム画面上の物体を動かす量ΔＺをΔＺ＝αΔＸの式で定義される写像を用いて定めている。ゲームをプレイする時には、指を自然に動かすことのできる運動範囲あるいは指が対応できる反発力の強さの範囲がある。その運動範囲あるいは反発力の範囲の中でゲーム画面上の物体を適正な量動かすためには、αの値を適正値に定める必要があるが、そのためにはタッチパネル入力補助装置が指の自然な運動範囲あるいは自然な反発力の範囲に対して接触パターンをどの範囲の値で生成するかということ、すなわちタッチパネル入力補助装置の特性を事前に調べて、同期用データとしてメモリに記録しておかなければならない。コンピュータ側ではこのαの値を用いることによって同期用信号がなくとも、接触パターンのみからプログラム動作量を決定できるようになるので、αを同期用データと呼ぶ。【００２０】
図１２には、図３に示したタッチパネル入力補助装置について、それを指で操作する場合に適正な反発力が生じる指の運動範囲、あるいは指を自然に動かせる範囲を２０６の破線の楕円で示す。またこの指の運動範囲に対して転動体３１とタッチパネルとの接触点が動く範囲を２０７の破線の楕円で示す。２０７の範囲はタッチパネル入力補助装置の特性によって決まるものであり、この例では指の運動範囲の半分の範囲となる。この範囲で生成される接触点の変位量によって、画面上の物体が適正な量動くようにαを定めなければならない。なお図１２のタッチパネル入力補助装置は図３に示したものと若干異なるが、図３の例では指に巻くバンド４２にバックル４３を用いてバンドを締めて指に装着するのに対して、図１２の実施例では、真直ぐな状態に復元しようとするバンドの膨らみ部２０５の復元力を用いてバンドを指に引き付けて装着する方法を採用している。【００２１】
なお本発明では、接触位置検出手段を備えたパネルをその検出手段によらずにタッチパネルと総称している。接触位置検出手段が抵抗膜方式のような感圧方式である場合には、転動体は、タッチパネル面上の局在した範囲に接触し、所定の圧力を加え得るものである必要がある。また静電容量方式である場合には、転動体、あるいは転動体とタッチパネルの間に介在する膜は、所定の導電率や誘電率を備えた材質で出来ている必要があり、さらに場合によってはその一部が人体やパネルの基準電極等に接している必要がある。さらに光センサ方式である場合には、転動体表面が所定のマーカを備えて識別されたり、光源から照射される変調された光を反射し得る素材で構成されたりする必要がある。【００２２】
あるいはタッチパネルは、電極間の接触関係を通じて加圧位置を検出するようにマトリックス状に配列した電極によって構成され、その表面上で転がる転動体が直接的または間接的にパネルに接触する位置を検出する。直接的に接触する場合には、転動体下部の表面はタッチパネルの表面に直接接触するが、間接的に接触する場合には、転動体はゴムや布のように柔軟性を備えた素材でできた膜や帯を間に介してタッチパネル２に接触する。例えば、図２の構成例では、シリコンゴム膜５０がタッチパネル２の表面から所定の間隙を隔てて張られており、指で押された転動体３１は転動するにつれて異なる位置でシリコンゴム膜を押して、押されて変形したシリコンゴム膜がタッチパネルに接触して、接触位置（５１、５２）の情報が入力する。【００２３】
図２には、ボール状の転動体３１を縦に割った断面図を示している。このボール状転動体３１にはその底部から円柱状の穴が開けられており、その中にバネ４４が収納されている。バネの上端は円柱状の穴の上部に取り付け金具４５で取り付けられている。またバネの下端は、シリコンゴム膜５０に取り付け部材４１を介して接続されている。シリコンゴム膜５０は支持部材５３を介してタッチパネル２のパネル表面から一定の間隙をおいて張られており、指でボール状転動体３１の上部を下方向に押すと（ｂ）のようにシリコンゴム膜が変形し、ボール状転動体下部は、間にシリコンゴム膜や取り付け部材４１を挟んで、タッチパネル２に５１の位置で接触する。また（ｃ）に示すように指でボール状転動体３１をタッチパネル２に押しつけながら、指を図に向かって左方向に動かすと、バネ４４が伸びた上で、ボール状転動体３１は左側に転動し、押されて変形したシリコンゴム膜を介して、５２の位置でタッチパネル表面に接触する。この際にバネ４４は元の長さに戻ろうとして、反発力Ｆ１が図中の矢印の向きに指に加わり、これがこの方式の反発力生成手段として機能する。この反発力の大きさは、タッチパネル上の接触位置５２に基づき算出することができる。なお図５に示すようにバネ４４の代わりに伸縮性のあるシリコンゴム７７を用い、これをやはりシリコンゴムでできた膜５０と一体形成し、７７の細くなった先端部７８を（ｃ）に示すようにシリコンゴムでできたボール状転動体３１の穴に通した後で、これを引っ張ることで、（ｄ）に示すように７７の膨らんだ部分７６をボール状転動体３１内部の空洞部７５に引きずり込んで７７と３１を接合し、その後で（ｄ）の破線７９で７８を切断することによって、低コストかつ簡易に（ａ）に示す構造を生産することができる。【００２４】
ここで転動体の陥没部の底にバネ４４を接続することでその長さを確保して転動体を操作して転動させる際に素材に加わるストレスを分散している。またゴム膜５０や転動体３１の素材を導電性のゴムとすれば、静電容量型のタッチパネルによって転動体の転動運動を検出することができる。以下の別形態の実施例においても素材を導電性ゴムなどの導電性素材として装置を構成すれば、静電容量型のタッチパネルによって接触パターンを検出できる。【００２５】
本発明の一実施例によるタッチパネル入力補助装置８０は、転動体を介してタッチパネルに接触する。転動体は指に装着されていても、指の表面上で転動できる自由度を持つように、例えば、バネやゴム紐の弾力性によって指に引き付けるように固定される。そのようなタッチパネル入力補助装置８０の構成例を図３に示す。ここでボール状転動体３１は図２と同じ構造を持ち、図２と同じ原理で取り付け部材４１を介して、指側に巻きつけたバンド４２ａに取り付ける。４３はバンドのバックル、バンド４２ｂは４２ａのバックル通過後の延長部分であり、図には含まれていないが、さらに、その延長上の端部はタッチパネル２の筺体につながり、タッチパネル入力補助装置８０の紛失を防ぐとともに、タッチパネル筺体の落下を防ぐストラップとしても機能する。（ｂ）には（ａ）を親指先端側から見た側面図を示す。【００２６】
図４には、図３のボール状転動体の断面と転動の原理を示す。（ａ）は親指の先端側から見た側面図で、ボール状転動体３１については縦に割った時の断面を示している。４２ｃは親指の周りをぐるりと巻いたバンドであり、このバンドに、取り付け部材４１を介してバネ４４の一端が取り付けられている。このバネはボール状転動体３１に開けられた円柱状の穴を通り、その他端が取り付け金具４５によって穴の底に接合されている。（ｂ）には親指の横方向から見た側面図を示す。４６は転動する前に転動体３１がパネル２と接触している点である。（ｃ）には指を横に動かしてボール状転動体を転動させたときの様子を、また（ｄ）には指を後方に動かしてボール状転動体を転動させたときの様子を示す。いずれの場合にも指の動きと共にボール状転動体が転動し、接触点が４７に移動している。またこのときにバネ４４が伸びて、それが縮んで元に戻ろうと指をＦ１方向に押す反発力を発生する。これが反発力生成手段として機能することになる。【００２７】
図７に係るタッチパネル入力補助装置８０では、転動体を叩いたり潰したりした時に転動体３１が変形し、その変形量に応じて反発力を生じる。例えば転動体３１のタッチパネル２と接触する側の面をシリコンゴム等の柔軟性と弾力性を備えた材料で曲面状に形成すると、転動体３１に圧力をかけてタッチパネル２に押し付けるときに上記曲面は潰れて、広い面積でタッチパネル２に接触する。またそれが復帰しようとするときに指に反発力を返すようになる。またタッチパネル２との接触面積を通じて転動体の変形量や転動体に加わる圧力、及び指に返る反発力を算出できる。もちろん別に圧電素子などの圧力センサを用意して、タッチパネル２に加わる圧力を検出して、そこから指に返る反発力を算出してもよい。転動体３１とタッチパネル２の接触面積はタッチパネル２側のセンサが検出する抵抗値や静電容量値、あるいは導通する電極の数等を通じて検出することができる。このような原理に基づくタッチパネル入力補助装置８０を図７に示す。ここで円形の断面５５は上述したボール状転動体３１の断面である。いずれの場合にも転動体が中空のゴムなどで変形しやすい素材で形成されていると、（ａ）のように軽い力でパネル２に押し付けられている場合の転動体３１とパネル２の接触点５６における接触面積は小さくなり、（ｂ）のように強い力で押しつけられて転動体が変形して潰れている場合の転動体３１とパネルの接触点５７における接触面積は大きくなる。また（ｂ）では押し潰された転動体３１が元の形状に復帰しようとして、反発力Ｆ２を発生する。この反発力の大きさは５７の接触面積を何らかの方法で計測することで算出できる。【００２８】
例えば、抵抗膜方式のタッチパネル２では、同時に２点でタッチパネル２に接触する場合に、それらの接触点位置に接触面積を重み付けて平均化した位置（重心位置）を接触位置として検出する。図７では、Ｐ、Ｑが検出される重心位置となる。そこで、接触面積の大きさが転動体の変形の程度に応じて変わると、変形の程度によって接触している二点の重心位置が変わるので、タッチパネルが検出する重心位置を通じて変形の程度を検出することが可能になる。【００２９】
以上に述べてきたタッチパネル入力補助装置８０ではいずれも、転動体をタッチパネル２に押しつけながら指を動かすと、転動体を支持するバネやゴム紐が伸びて、転動体は指表面とタッチパネル表面に挟まれたまま、これらの両表面との接触点を変えながら転動する。この際にタッチパネル上の接触点を検出すれば、転動体の転動量を算出することができる。また転動する時にバネやゴム紐が伸びるため、これらが元の長さに戻ろうとして反発力が生じる。この反発力は、転動体がタッチパネルに接触してから、接触したまま転動して接触点が移動する際の接触位置の移動量（変化量）を通じて算出することができるので、反発力に同期するようにプログラムを制御することができる。接触位置の移動量で間接的に反発力を算出する代わりに、転動体を引っ張る紐の張力を力センサや歪センサ等で直接検出して反発力を算出することもできるが、パネル側で検出できる接触点の移動量を通じて反発力を算出することが望ましい。【００３０】
本発明の一実施例による触感連動型プログラムでは、上述したように算出される反発力とプログラム中の所定の変数値を連携させる（関連付けて定める）ことによって、反発力を通じて操作内容を把握できるようにしたり、ゲームの臨場感を向上したりする。すなわち操作者は転動体を転がす際に指の感じる反発力の大きさによって、プログラム中の所定の変数に設定している値がどの程度の大きさか分かるし、また反発力の方向を通じて、プログラム中の所定のベクトルの方向をどのように定めているのか把握することもできる。もちろんベクトルの代わりに角度を定める変数の値を反発力の方向に合わせて定めても良い。またゲームでは、例えばシューティングゲームでボールや玉をシュートする力の強さを反発力に関連付け、あるいはシュートする方向を反発力の方向に合わせて定めることで、指の感じる力とゲーム中のオブジェクトに作用する力が一致して臨場感を高めることができる。特にパチンコ等、現実にも弾性のある紐を引いたり、離した時の反発力やはじけたりする感覚が操作上重要となるゲームでは、本発明のタッチパネル入力補助装置８０が生成する反発力が現実の反発力と類似したものとなるため臨場感は高くなる。【００３１】
触感連動型プログラムは、前記タッチパネル入力補助装置と組み合わせて使用されるプログラムであって、前記転動体が前記パネルから離反するとき、前記転動体と前記パネルの接触点が所定量移動するときまたは所定位置に到達するとき、あるいは前記接触点の移動パターンまたは移動速度パターンが所定のパターンとなる時、のいずれかに応じて所定の動作を実行することを特徴とする。この際に接触パターン生成手段が生成できる接触位置や速度の変化可能範囲は特定の範囲（下限と上限の間）に制限されてしまうので、その制限された範囲の値の中で前記動作を実行できるように（すなわちタッチパネル入力補助装置の特性を考慮して）、該パターンと該動作の間の写像関係を定める必要がある。【００３２】
このプログラムは、上述したタッチパネル入力補助装置によって、タッチパネル上の転動体の転動運動に変換された指の運動を、転動体とタッチパネルの接触位置の変化や、その移動速度の変化に関する情報に基づき検出し、さらに必要に応じて指の運動の具体的形態を推定し、指の運動に同期して所定の動作を実行する手順に関するプログラムである。例えば、指がタッチパネルに接近する運動を検出する場合には、転動体とタッチパネルの接触点の運動が、ある所定の大きさの速度を超えた後で停止して方向を反転すると、指がタッチパネルに接近した後でタッチパネルに接触して静止し、離反していると判断することができる。そして接触点の運動が静止したタイミングや反転したタイミングでプログラムが所定の動作を実行するようにすると指の運動とプログラムの動作を同期させることができる。あるいはもっと簡単に接触が終了して離反したり、接触点が所定の位置に到達したり、その移動速度が所定の速度に到達したり、相対的移動量が所定量になったりした時点に同期して所定の動作を実行する。さらに一般的には接触点の運動パターン（接触位置の変化パターン、接触点の速度の変化パターン）が事前に登録してある所定の運動パターンに一致した時点に同期してプログラムが所定の動作を実行するようにすると良い。転動体がその転動量に応じて指に返す反力を変える場合には、転動体とタッチパネルの接触点が接触状態を保ったまま移動する量を計測することによって反力の大きさを推定できる。そこで転動体がタッチパネルから離反した時点に同期して、この反力の大きさに基づきプログラムの動作を定めて実行すると良い。転動体表面に凹凸や角がある場合には転動体を転動させたときに転動体表面とパネルの接触位置が不連続に変化する。そこでタッチパネルを通じて接触位置が不連続に変化することを検出した際に、転動体表面の所定位置がタッチパネルに接触して転動するような指の運動を実行したものと判断して、プログラムが所定の動作を実行するようにする。【００３３】
例えば、図８にはバット６０でボール６１を打つゲームのシーンを示すが、バットを構えて引く際の角度やスイング量６２あるいはバットがボールを打つ強さ等を、タッチパネル入力補助装置８０の転動量や指に返す反発力と大小関係の対応が取れるように定めると、ゲームのプレイヤーは指に加わる反発力を通じてバットを引く角度やボールを打つ力の強さを把握できる。すなわちゲームの中の力を現実の力で把握できるのでゲームの臨場感が高まる。また画面中のバットの角度を注視しなくとも、力の加減で触覚的にバットの角度やボールを打つ強さを把握できる。６３はボールの軌跡を示すが、ボールがバットに当たって跳ね返る時の速度やバットを振る力が、転動体を引いて放す時の速度や力に対応して定まるようにすると良い。またボールとバットが衝突するかどうかを、転動体を放す時刻と放す直前に指に加わっている反発力等に基づき決定すると良いが、これらの時刻と反発力はいずれもタッチパネルの接触状況・接触位置検出機能によって検出できる。この際にバットの角度と指に加わる反発力あるいは指を動かす量の間に適正な関係が生じるように、プログラム中のバットの角度を定める変数値と反発力あるいは接触パターンの間に写像関係を定めなければならない。そのためプログラムはタッチパネル入力補助装置の特性に依存して設計されることになる。【００３４】
別の例では、図７に示すように転動体に圧力を加えて変形させたときの変形量や反発力に連動させて（関連付けて）プログラム中の変数値を定める。例えば、ボクシングゲームやモグラたたきゲーム等でオブジェクトを叩いたり潰したりする要素がゲームのプレイ内容に含まれる場合には、転動体を叩いて潰した時の変形量や反発力を検出し、その変形量や反発力の大きさに関連付けて、相手やモグラに与えるダメージ等の変数値を定めると、ゲームの内容と転動体に加える操作とが直観的に連携が取れるようになり、ゲームの臨場感が増すようになる。ここでも変形量や反発力の大きさとダメージ等の変数値との間に適当な写像関係を与える必要があり、そのためにプログラムはタッチパネル入力補助装置の特性に依存して設計することになる。【００３５】
本発明のタッチパネル入力補助装置の一実施例では、接触位置検出手段を備えたパネル上に装着されるか、指に装着されるか、または指で保持されて、前記パネルに直接的または間接的に接触してその上で転動する転動体を備え、また前記パネル面に概直交する方向から該パネル面に接近する指の運動を、前記転動体がパネルに接触しながら転動する運動に変換する運動変換手段を備える。そして、前記転動体の転動によって接触パターンを生成することによって接触パターン生成手段を実現し、前記転動体が転動する際に、前記パネル面に接近する指の運動に対して抗力または反力を与えることで反発力生成手段を実現する。【００３６】
通常のタッチパネルではタッチパネル面に平行な指やスタイラスの運動を検出するが、上記のタッチパネル入力補助装置では、タッチパネル面に垂直や斜めの方向から指がパネルに接近する運動を検出する。そのために指の運動を転動体がタッチパネル上で転動する運動に変換し、指の接近運動を転動体とタッチパネルの接触点の移動として検出する。ここで間接的に接触するとは、転動体とパネルの間に容易に変形する膜や布などを介在して接触することを意味する。また上記の転動体とは、パネル上でパネルとの接触点の位置を変えながら転がったり、傾いたりする物体を意味するので、その形状は必ずしも球体や車輪形状になっていなくとも構わない。例えば、シーソーのように傾斜するだけの物体であっても、傾斜する際にパネルとの接触点の位置が変わるのであれば転動体と呼ぶ。転動体とパネルの接触部分が連続的に曲がる曲面を成していれば、接触点は連続的に移動するし、歯車など角のある面を成していれば、接触点は不連続に移動するが、そのいずれであっても転がったり、傾斜したりする際にパネルとの接触点が移動する場合には、転動体と呼ぶことにする。特に角のある面を転動させるときには接触点が所定の跳躍距離で不連続に移動するので、そのことでもって通常のスタイラスなどの接触とは区別して扱うことができる。【００３７】
図６のタッチパネル入力補助装置８０は、指がタッチパネルに接近する運動を転動体がタッチパネル面上に接触したまま転動する運動に変換することができる。なお図６の（ｄ）（ｅ）（ｆ）には（ａ）（ｂ）（ｃ）と同様の原理で動作するタッチパネル入力補助装置８０をゴムで一体形成した例を示す。（ｄ）は上面図であり、３２は指（破線で示す）の上面を這うフレーム、３４は親指を当てて押さえるための押さえ部である。（ｅ）（ｆ）は側面図であり、指をタッチパネルに近づけるにつれて転動体３３がタッチパネル２上を転動して行く様子を示す。（ｅ）は転動体３３がタッチパネル２に３６の位置で接触したところを示す。（ｆ）は指をさらにタッチパネルに近づけた時に転動体３３がタッチパネル２上を転動し、接触点が３７に移動したところを示す。全体が変形可能なゴムでできているため転動体３３が転動する際には転動体３３とフレーム３２の間が曲がり、また指に反発力と触感を与えるために導入した触感付加部１０１の部位が曲がり、復帰力を発生するとともに指の下面に触れて接触感を生じる。なおタッチパネル２と接触する転動体３３の表面にはテフロン（登録商標）加工等を施し、タッチパネル表面上を接触したまま円滑に滑って移動できるようにすると良い。【００３８】
図１０には、本発明のタッチパネル入力補助装置の一実施例を示す。このタッチパネル入力補助装置は全体が一体のゴム素材または導電性を備えたゴム素材でできており、３３が転動体（接触パターン生成手段）、３９が保持手段、１０１が指に接触して潰れる感触を与える触感付加部、１０２はタッチパネルと接触する突起部である。（ａ）（ｂ）（ｃ）はこのタッチパネル入力補助装置を異なる視点から見たときの見え方を示す。（ｄ）（ｅ）（ｆ）にはタッチパネル表面に対して概垂直な方向から指で力Ｆを加えて、指をタッチパネルに接近させたときに、転動体３３がタッチパネル上を転動して接触点がＰ１、Ｐ２，Ｐ３と移動して行く様子を示す。このときに装置を構成する一体のゴム素材が変形し、その弾性によって元の形状に戻ろうとするときに指に反発力を返すのでそれが反発力生成手段を構成する。また（ｆ）においては、保持手段３９を保持する指がタッチパネルに対して所定位置まで接近し、転動体が所定量転動すると、突起部１０２がタッチパネルに触れて接触パターンが突然変化するので、この接触パターンの変化を検出して、指が所定位置まで接近したことを判定できる。【００３９】
図９には、触感連動型プログラムの実施例をフローチャートで示している。本発明のタッチパネル入力補助装置は、その接触パターン生成手段において、指の様々な運動を転動体のタッチパネル上の転動運動に変換し、指運動に応じて、転動体とタッチパネルの接触点の移動パターン、速度パターンが特有の形態を取るようにする。また同時に指運動または生成される接触パターンの所定の特徴に同期して、その反発力生成手段において、指に抗力や反力、振動、凹凸感といった触覚刺激（触感）を加え、操作者がそうした触覚刺激を手掛かりにして、指運動を高精度に制御できるようにする。一方、本発明の触感連動型プログラムは、こうした特有の形態を持つ転動体とタッチパネルの接触点の移動パターン、速度パターンを分析し、元の指運動を推定し、指運動や指が感じる触感に連動（同期）するように所定の動作を実行する。【００４０】
例えば、転動体がタッチパネルから離反するとき、転動体とパネルの接触点が所定量移動するとき、または所定位置に到達するとき、あるいは接触点の移動パターンまたは移動速度パターンが所定のパターンとなる時、接触点が急に静止した時点または運動方向を反転した時点等のいずれかに応じて所定の動作を実行する。図９のフローチャートにはそのための手順が簡単な例について具体的に記載されている。まずプログラム中の各変数を初期化して手順を開始する。手順の間、タッチパネルの接触状態に関する信号にはチャタリング処理を施し、極めて短時間の離反は無視し、継続して接触しているものとして扱う。【００４１】
このチャタリング処理を施した上で、Ｓｔｅｐ  １では、転動体がタッチパネルに接触しているかどうかを検出する。タッチパネルに転動体が接触している時に、Ｓｔｅｐ  ４で前時点に接触していないことが分かった場合には、その時点で初めて接触したことになるので接触が開始したものと判断してタイマの時刻を０にリセットして、Ｓｔｅｐ  ５で接触位置と時刻の情報を記録する。そして接触点の接触状態と座標のモニターを継続する。また前の時点でも接触していたならば、接触が継続していたとみなして、Ｓｔｅｐ  ６で接触点の速度と平均速度を求める。【００４２】
そしてＳｔｅｐ７で、転動体とタッチパネルの接触点が所定の位置に到達したか、所定量移動したか、速度が閾値を超えたか、あるいは接触点の運動が、ある所定の大きさの速度を超えた後で停止したか、あるいは移動方向を反転したか、を判断し、いずれかが満たされ場合、あるいはいくつかの条件が組み合わされて満たされた場合、Ｓｔｅｐ  ８でそれらの条件に応じて所定の動作を実行する。なおこの動作の量は、接触中の接触点の平均速度や最大速度、移動量等に応じて定めるようにする。接触点の運動パターンから様々な指運動を推定でき、例えば、接触点の移動パターンが所定の閾値を超える速度を出した後で、停止し、反転している場合には、指がタッチパネルに接近した後でタッチパネルに接触して静止し、離反していると判断することができる。以上の説明で各種の「所定の」量が出てきたが、これらの所定の量はタッチパネル入力補助装置の特性に依存して決まる同期用データであり、事前にコンピュータ動作方法の手続き中に、あるいはコンピュータのメモリに記憶されて、触感連動型プログラムで、指の運動や指が感じる触感とプログラムの動作の同期を取るために使われることになる。【００４３】
このように接触点の移動パターンや速度パターンから指の運動または指に加わる反発力を推定し、それに応じて所定の動作を所定の量で実行する。Ｓｔｅｐ  ２１で前の時点には転動体がタッチパネルに接触していたのにもかかわらず、現時点では接触していないことが検出された場合には、転動体がパネルから離反したと判断する。そこでＳｔｅｐ２２で離反時の位置を記録し、さらにＳｔｅｐ  ２４で音の再生を停止する。これは実物のピアノで鍵盤を押している間は音が継続するが、鍵盤から指を離すと音が即座に減衰することを模擬しようとしたものである。そしてＳｔｅｐ  ２５ですべての変数をリセットした上でＳｔｅｐ  １に戻って上記の手順を繰り返す。【００４４】
（請求の範囲の各手段の名称と実施形態の各図の構成要素との対応関係）
図２の転動体３１は、パターン生成手段に相当する。
図２のシリコンゴム膜５０と支持部材５３は、装着手段に相当する。
図２の金具４５，バネ４４，取り付け部材４１，および、シリコンゴム膜５０は、反発力生成手段に相当する。
図３，図４の転動体３１は、パターン生成手段に相当する。
図３，図４の指側に巻きつけ用バンド４２ａ，４２ｂ，４２ｃ、および、バックル４３は、装着手段に相当する。
図３，図４の巻きつけ用バンド４２ａ，４２ｃ、取り付け部材４１、バネ４４、および、金具４５は、反発力生成手段に相当する。
図５の転動体３１は、パターン生成手段に相当する。
図５のシリコンゴム膜５０は、装着手段に相当する。
図５のシリコンゴム７７シリコンゴム膜５０は、反発力生成手段に相当する。
図６の転動体３３は、パターン生成手段に相当する。
図６のフレーム３２と押さえ部３４は、装着手段に相当する。
図６の回転軸３５、フレーム３２、および、触感付加部１０１は、反発力生成手段に相当する。
図１０の転動体３３と突起部１０２は、パターン生成手段に相当する。
図１０の３９は、保持手段である。
図１０の触感付加部１０１、転動体３３、および、保持手段３４は、反発力生成手段に相当する。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施の形態によるタッチパネル入力補助装置と触感連動型プログラムを利用するコンピュータ装置の機能ブロック図である。
【図２】タッチパネル上に張った弾性膜に球状転動体を一本のバネで引き付けるように留めることによって、球状転動体を前後左右のいずれの方向にも対称に同じ力で転動できるようにし、また反発力も等方的に生成されるようにしたタッチパネル入力補助装置を示す側面断面図である。（ａ）は中立状態、（ｂ）は転動体を下方に指で押した様子、（ｃ）は転動体を転動させた様子を示す。
【図３】本発明の実施の形態によるタッチパネル入力補助装置のうちで指に装着するタイプを示す図である。親指にバンドで装着した様子で（ａ）は横側面図、（ｂ）は指の前方から見た側面図である。
【図４】図３に示した指装着型転動体を転動させる様子を示す図である。（ａ）はタッチパネルに接触して転動する前の様子、（ｂ）は転動後の様子を指の前方から見た側面図で示す。（ｂ）は（ａ）に対応する横側面図であり、（ｄ）は別の方向に転動させる様子を横側面図で示す。
【図５】図２に示すタッチパネル入力補助装置を、バネの代わりに膜と一体になったシリコンゴムを用いて低コストに生産する方法を示す図である。
【図６】タッチパネル入力補助装置の指に装着する（保持する）タイプの実施例によるタッチパネル入力補助装置で指がタッチパネルに接近する運動を転動体の転動運動に変換し、転動体の転動と共に接触点が移動する様子を示す。転動体がパネルに接触した状態、接触後、指を少しパネルに接近させた状態、指がパネルに限界まで接近して衝突感を得た状態を、それぞれ（ａ）（ｂ）（ｃ）に示す。また同様の原理で動作するタッチパネル入力補助装置をゴム素材で一体形成したものをパネルに接触させたところと指を少しパネルに接近させたところをそれぞれ（ｄ）（ｅ）に示す。
【図７】転動体を指で圧迫して変形させた際の変形量を転動体のタッチパネルとの接触面積の変化を通じて検出する手段を示す図である。（ａ）は変形前の様子、（ｂ）は変形後の様子をいずれも側面図で示す。
【図８】バットでボールを打つゲームで画面に表示された１シーンを示す図である。
【図９】触感連動型プログラムの実施例をフローチャートで示す。
【図１０】本発明の他の実施例によるタッチパネル入力補助装置の外形図（図１０（ａ）〜（ｃ））と使用状態の説明図（図１０（ｄ）〜（ｆ））である。
【図１１】本発明の実施の形態におけるコンピュータ動作方法または触感連動型プログラムの特徴を説明する構成図である。
【図１２】タッチパネル入力補助装置の特性に依存して同期用データを定める理由を説明する図である。
【図１】
2009037956.tif 000003
【図２】
2009037956.tif 000004
【図３】
2009037956.tif 000005
【図４】
2009037956.tif 000006
【図５】
2009037956.tif 000007
【図６】
2009037956.tif 000008
【図７】
2009037956.tif 000009
【図８】
2009037956.tif 000010
【図９】
2009037956.tif 000011
【図１０】
2009037956.tif 000012
【図１１】
2009037956.tif 000013
【図１２】
2009037956.tif 000014
【国際調査報告】
2009037956.tif 000015
2009037956.tif 000016
2009037956.tif 000017
2009037956.tif 000018