(57)【要約】【課題】４個の圧力エレメントでタッチパネルを押下する各指の押下圧力を推定する。【解決手段】入力システムは、タッチパネル２９と４個の圧力エレメントＳ０〜Ｓ３を備える。押下した８本の指の押下座標（Ｘａ１，Ｙａ１）〜（Ｘｂ１，Ｙｂ１）を検出する。圧力を検出した４個の圧力エレメントから検出圧力を受け取る。タッチパネルで認識した各指の座標と検出圧力から左手の指と右手の指のそれぞれの押下圧力Ｆａ１〜Ｆｂ４に対する重心の重心圧力Ｇａ、Ｇｂと重心座標（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）を推定する。推定した重心圧力と重心座標から検出圧力に対する重心圧力Ｇａによる寄与成分と重心圧力Ｇｂによる寄与成分を分離する。寄与成分と各指の座標から各指の押下圧力を推定する。【選択図】図６
2014229029.tif 000002
【特許請求の範囲】
【請求項１】
Ｘ−Ｙ座標が定義されたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備える入力システムにおいて各指の押下圧力を検出する方法であって、
前記タッチパネルを押下圧力Ｆで押下した指の座標Ｘ，Ｙを検出するステップと、
前記４個の圧力センサから検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３を受け取るステップと、
前記入力システムを式（１）、（２）、（３）、（４）
S0=(1-X)(1-Y)F      (1)
S1=(1-X)YF      (2)
S2=X(1-Y)F      (3)
S3=XYF      (4)
が解けるように機能させるステップと、
前記指の座標と前記検出圧力と式（１）、（２）、（３）、（４）を利用して前記押下圧力Ｆを計算するステップと
を有する方法。
【請求項２】
前記押下圧力Ｆを計算するステップが、
左右の指を合わせて５本以上の指の座標を検出するステップと、
各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
推定した前記重心圧力と前記重心座標から前記検出圧力に対する前記左手の重心圧力による寄与成分と前記右手の重心圧力による寄与成分を分離するステップと、
各指の座標と前記寄与成分と式（１）、（２）、（３）、（４）を利用して各指の押下圧力Ｆを計算するステップと
を有する請求項１に記載の方法。
【請求項３】
前記重心圧力および重心座標を推定するステップが、
左手の重心圧力をＧａとし重心座標をＸａ，Ｙａとし、右手の重心圧力をＧｂとし重心座標をＸｂ，Ｙｂとしたときに
重心座標Ｘａ、Ｘｂの推定値を取得するステップと、
取得した前記重心座標Ｘａ、Ｘｂの推定値と前記検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３から重心圧力Ｇａ、Ｇｂと重心座標Ｙａ、Ｙｂを計算するステップと
を含む請求項２に記載の方法。
【請求項４】
前記重心座標Ｘａ、Ｘｂの推定値を取得するステップが、
右手の４本の指の座標を検出したときに、右手の重心座標をＸａとし右手の各指の押下圧力をＦａ１、Ｆａ２、Ｆａ３、Ｆａ４として前記入力システムを式（５）
【数１】
2014229029.tif 000004
が解けるように機能させるステップと、
各指の押下圧力Ｆａ１、Ｆａ２、Ｆａ３、Ｆａ４を推定するステップと
を含む請求項３に記載の方法。
【請求項５】
前記４個の圧力センサが、Ｘ軸上またはＸ軸に平行な第１のライン上に配置された第１の圧力センサおよび第２の圧力センサと、Ｘ軸に平行な第２のライン上に配置された第３の圧力センサおよび第４の圧力センサで構成され、
前記各指の押下圧力Ｆａ１、Ｆａ２、Ｆａ３、Ｆａ４を推定するステップが、前記右手の重心圧力を前記第１の圧力センサと前記第３の圧力センサだけが検出し、前記左手の重心圧力を前記第２の圧力センサと前記第４の圧力センサだけが検出すると推定するステップを含む請求項３に記載の方法。
【請求項６】
前記各指の押下圧力Ｆａ１、Ｆａ２、Ｆａ３、Ｆａ４を推定するステップが、
前記第１のラインのＹ座標に前記第１の圧力センサの検出圧力を割り当て、前記第２のラインのＹ座標に前記第３の圧力センサの検出圧力を割り当て、Ｘ軸に前記検出圧力を設定して前記第１のライン上の前記第１の圧力センサの検出圧力と前記第２のライン上の前記第３の圧力センサの検出圧力の間に近似線を設定するステップと、
右手の各指のＹ座標と前記近似線からＸ軸上で右手の各指の押下圧力を推定するステップと
を含む請求項５に記載の方法。
【請求項７】
前記重心圧力Ｇａ、Ｇｂと重心座標Ｙａ、Ｙｂを計算するステップが、
前記入力システムを式（６）、（７）、（８）、（９）
S0=(1-Xa)(1-Ya)Ga+(1-Xb)(1-Yb)Gb      (6)
S1=(1-Xa)YaGa+(1-Xb)YbGb      (7)
S2=Xa(1-Ya)Ga+Xb(1-Yb)Gb      (8)
S3=XaYaGa+XbYbGb      (9)
が解けるように機能させるステップと、
前記重心座標Ｘａ、Ｘｂの推定値と式（６）、（７）、（８）、（９）を利用して重心圧力Ｇａ、Ｇｂと重心座標Ｙａ、Ｙｂを計算するステップと
を含む請求項３から請求項６のいずれかに記載の方法。
【請求項８】
前記寄与成分を分離するステップが、
式（６）、（７）、（８）、（９）の右辺第１項を利用して前記重心圧力Ｇａの寄与成分を計算し、右辺第２項を利用して前記重心圧力Ｇｂの寄与成分を計算するステップを含む請求項７に記載の方法。
【請求項９】
前記押下圧力Ｆを計算するステップが、
前記重心圧力Ｇａの寄与成分と式（１）、（２）、（３）、（４）を利用して左手の各指の押下圧力Ｆを計算するステップと、
前記重心圧力Ｇｂの寄与成分と式（１）、（２）、（３）、（４）を利用して右手の各指の押下圧力Ｆを計算するステップと
を含む請求項８に記載の方法。
【請求項１０】
前記押下圧力Ｆを計算するステップが、
親指の座標を検出するステップと、
前記検出圧力に対する、親指の押下圧力に対する重心の重心圧力による寄与成分と残りの指の押下圧力に対する重心の重心圧力による寄与成分を分離するステップ
を有する請求項２から請求項９のいずれかに記載の方法。
【請求項１１】
前記押下圧力Ｆを計算するステップが、
１０本の指の座標を検出するステップと、
２本の親指の押下圧力に対する重心の重心圧力をＦ２とし重心座標をＸ２，Ｙ２としたときに前記入力システムを式（１０）、（１１）、（１２）
F2=S1+S3      (10）
S1=(1-X2)Y2F2      (11)
S3=X2Y2F2      (12)
が解けるように機能させるステップを含む請求項１０に記載の方法。
【請求項１２】
筐体の裏面に設けたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備える携帯式端末装置に文字を入力する方法であって、
前記タッチパネルを所定値以上の押下圧力で押下した複数の指の座標を検出するステップと、
前記４個の圧力センサから検出圧力を受け取るステップと、
前記検出した指の座標に基づいてタッチパネルに仮想キーボードを定義するステップと、
各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
前記重心圧力と前記重心座標から前記検出圧力に対する前記左手の重心圧力の寄与成分と前記右手の重心圧力の寄与成分を分離するステップと、
前記寄与成分と各指の座標から各指の押下圧力を算出するステップと、
押下した各指の座標と、押下した座標に定義された前記仮想キーボードのキーからキー・コードを生成するステップと
を有する方法。
【請求項１３】
筐体の裏面に設けたタッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサとタッチスクリーンを備える携帯式端末装置において前記タッチスクリーンが表示する画面に対するポインティング操作をする方法であって、
前記タッチパネルを押下した複数の指の座標を認識するステップと、
各指および各指の組み合わせまたはいずれかに対して所定の前記ポインティング操作を定義するステップと、
前記４個の圧力センサから検出圧力を受け取るステップと、
各指の座標と前記検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定するステップと、
前記重心圧力と前記重心座標から前記検出圧力に対する前記左手の重心圧力の寄与成分と前記右手の重心圧力の寄与成分を分離するステップと、
前記寄与成分と各指の座標から各指の押下圧力を算出するステップと、
押下した指または指の組み合わせに対して定義されたポインティング操作に対応するポインティング・データを生成するステップと
を有する方法。
【請求項１４】
ディスプレイを備える携帯式端末装置であって、
操作する指の座標を検出するタッチパネルと、
前記タッチパネルの荷重を検出する４個の圧力センサと、
前記タッチパネルから受け取った座標から操作する指の本数を認識する操作パターン認識部と、
各指の座標と前記圧力センサから受け取った検出圧力から前記左手の指および前記右手の指のそれぞれについて重心圧力と重心座標を推定し、前記重心圧力と前記重心座標から前記検出圧力に対する前記左手の重心圧力の寄与成分と前記右手の重心圧力の寄与成分を分離し、各寄与成分と各指の座標から各指の押下圧力を算出する押下圧力計算部と、
操作した指の種類、座標および押下圧力を含む出力データを出力する出力部と
を有する携帯式端末装置。
【請求項１５】
前記タッチパネルが前記ディスプレイと反対側の面に取り付けられている請求項１４に記載の携帯式端末装置。
【請求項１６】
前記出力部から出力データを受け取ってキーボードのキー・コードを生成するキーボード・データ生成部を有する請求項１５に記載の携帯式端末装置。
【請求項１７】
前記キーボード・データ生成部は、左手の人指し指および右手の人指し指が操作した位置を基準にして前記タッチパネルに仮想キーボードを形成する請求項１６に記載の携帯式端末装置。
【請求項１８】
前記出力部から出力データを受け取って前記ディスプレイに表示する画面を操作する入力データを生成するポインティング・データ生成部を有する請求項１５から請求項１７のいずれかに記載の携帯式端末装置。
【請求項１９】
前記ポインティング・データ生成部は、指ごとに画面のスクロール操作機能、およびマウス・ポインタの移動操作機能のいずれかを割り当てる請求項１８に記載の携帯式端末装置。
【請求項２０】
前記ポインティング・データ生成部は、各指の押下圧力から画面のスクロール速度またはマウス・ポインタの移動速度に対応するデータを生成する請求項６に記載の携帯式端末装置。
【請求項２１】
タッチパネルと押下された該タッチパネルの荷重を検出する４個の圧力センサを備えるコンピュータに、
前記タッチパネルを押下した指の座標を検出する機能と、
前記４個の圧力センサから検出圧力を受け取る機能と、
各指の座標と前記検出圧力から複数の指の押下圧力に対する第１の重心の重心圧力と他の複数の指の押下圧力に対する第２の重心の重心圧力を推定する機能と、
前記検出圧力に対する前記第１の重心圧力の寄与成分と前記第２の重心圧力の寄与成分を分離する機能と、
前記分離した第１の寄与成分および前記第２の寄与成分と各指の座標から各指の押下圧力を算出する機能と
を実現させるためのコンピュータ・プログラム。
【請求項２２】
電子機器の入力デバイスであって、
複数の指の座標を検出する操作パネルと、
押下された前記操作パネルの荷重を検出する４個の圧力センサと、
前記操作パネルが検出した座標を認識する操作パターン認識部と、
押下する各指の座標と前記圧力センサから受け取った検出圧力から前記左手の指および前記右手の指のそれぞれについて各指の押下圧力に対する重心の重心圧力と重心座標を推定し、前記重心圧力と前記重心座標から前記検出圧力に対する前記左手の重心圧力の寄与成分と前記右手の重心圧力の寄与成分を分離し、各寄与成分と各指の座標から各指の押下圧力を算出する押下圧力計算部と
を有する入力デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを複数の指が同時に押下する際の各指の押下圧力を検出する技術に関し、さらにはそのような技術を利用した携帯式端末装置の新たな入力デバイスに関する。
【背景技術】
【０００２】
スマートフォン、タブレット端末、コンパーチブル・モードで利用可能なタブレット式のノートブック型パーソナル・コンピュータ（ノートＰＣ）などでは、タッチスクリーンを指で操作して入力することができる。タッチスクリーンは、フラットパネル型ディスプレイとそれに積層された透明なタッチパネルで構成されている。タッチパネルは静電容量式、抵抗膜式または赤外線式などのさまざまな原理でタッチする指の座標を検出する。タッチスクリーンでは、同時に複数の指の座標を検出して操作するマルチタッチ・ジェスチャの入力を実現することができる。近年、タッチスクリーンに圧力センサを組み合わせたより高度な入力装置の開発が行われている。
【０００３】
非特許文献１は、米国のSynaptics（登録商標）社が開発したForcePad（登録商標）という入力装置について開示している。ForcePad（登録商標）は、静電容量式のセンサ・アレイの下の４隅にそれぞれ圧力センサを設けて、５本の指の押下圧力を同時に検出することができる。特許文献１は、表示画面上の複数の操作位置それぞれにおける圧力値を推定することが可能な情報処理装置を開示する。同文献には、表示画面の四隅にそれぞれ圧力センサＳ１〜Ｓ４を配置して３点の各タッチ位置の押下圧力を推定する方法を記載している。
【０００４】
同文献の発明では、最初にタッチ位置の座標をタッチスクリーンで検出し、当該座標に対する重心位置候補情報を生成して重心位置を導出する。重心位置候補情報は、各タッチ位置における押下圧力の候補値とそれに対応する重心圧力との可能性のある複数の組み合わせ情報である。つぎに、４個の圧力センサの検出結果とそれに対応する重心圧力を関係づけた複数の組み合わせ情報を用意する。
【０００５】
そして、圧力センサの検出結果に基づく重心位置に一致する重心位置候補情報の重心位置に対応するタッチ位置の押下圧力を実際の押下圧力と推定する。同文献には、圧力センサの数は４個に限定せず、重心位置を特定することが可能な任意の数の圧力センサを備えることが記載されている。また、４点以上の重心位置を導出する場合も３点に基づき導出する場合と同様に処理するので説明を省略するとしている。特許文献２は、押下した画面の座標と押下圧力の検出が可能なタッチパネルを開示する。同文献には、タッチパネルの１点を押下したときにタッチパネルの４隅に配置された４個の圧力センサの荷重から、押下位置の座標と押下圧力を計算する式を記載している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４４２５２号公報
【特許文献２】特開２００６−１２６９９７号公報
【非特許文献】
【０００７】
【非特許文献１】Synaptics ForcePadTM 、［online］、［平成２５年５月２日検索］、インターネット、URL〈http://www.synaptics.com/solutions/products/forcepad〉
【発明の概要】
【発明が解決しようとする課題】
【０００８】
タッチスクリーンの平面的な位置に多数の圧力センサを設けることで、複数の指で同時に押下したときに各指による押下圧力を検出することは可能だが、精度を向上するためには圧力センサの数を増やす必要があり構造が複雑になってかつコストも増大する。これに対して特許文献１の発明では、原理的には４個の圧力センサで同時に４個以上の操作位置での押下圧力を推定することができると思われる。
【０００９】
引用文献１の方法では、タッチ位置が３点の場合に重心位置Ｘｇ、Ｘｙはともに３点の押下圧力Ｐａ、Ｐｂ、Ｐｃがわかれば計算できるが、４つの圧力センサの検出値では直接的にタッチ位置の押下圧力Ｐａ、Ｐｂ、Ｐｃを求めることができないため、３つのタッチ位置の座標に対する３つの押下圧力の組み合わせとそれに対応する１点の重心座標からなる重心位置候補情報を生成する必要がある。また、圧力センサの値と重心位置の関係も各圧力センサの値が取り得る範囲においてすべての値の組み合わせと１点の重心座標を計算し、重心位置候補情報の重心位置と比較する必要がある。
【００１０】
したがって、タッチ位置が増大するにしたがってプロセッサの演算量が増大し、応答速度が低下したり他の処理の時間が増大したり消費電力が増大したりする。この問題を現実的に解決するには、少なくとも圧力センサの数を増やす必要があると思われる。また、タブレット端末やスマートフォンでは、一方の手でタッチスクリーンを操作するために筐体を他方の手で保持する必要があり、使用状況によっては安定して保持できないために落下させたり、操作が不便であったりすることがある。このとき筐体を両手で保持しながら裏面に設けたタッチパネルでタッチスクリーンに対する操作と同等の操作ができればタブレット端末やスマートフォンの操作が容易になる。また、裏面から操作すれば画面が指の陰に隠れることもない。本発明はこのような背景に鑑みて携帯式端末装置に適した新たな入力デバイスを提供するものである。
【００１１】
そこで本発明の目的は４個の圧力センサで荷重を検出できるタッチパネルを複数の指で同時に押下したときに各指の押下圧力を検出する方法を提供することにある。さらに本発明の目的は、プロセッサの少ない計算量で押下圧力を検出する方法を提供することにある。さらに本発明の目的は、タッチパネルから携帯式端末装置に文字を入力する方法を提供することにある。さらに本発明の目的は、タッチパネルからタッチスクリーンに対して行う操作と同等の操作をする方法を提供することにある。さらに本発明の目的はそのような方法を実現する携帯式端末装置、入力デバイスおよびコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の態様は、Ｘ−Ｙ座標が定義されたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサを備える入力システムにおいて各指の押下圧力を検出する方法を提供する。入力システムはタッチパネルを押下圧力Ｆで押下した指の座標Ｘ，Ｙを受け取り、さらに４個の圧力センサから検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３を受け取る。
【００１３】
入力システムは、各指の座標と特許請求の範囲に記載する式（１）〜（４）を利用して押下圧力Ｆを計算する。入力システムは、押下する指が４本以下の場合は、特許請求の範囲に記載する式（１）、（２）、（３）、（４）に４個の検出圧力と各指の座標を入力して各指の押下圧力を計算することができる。入力システムは、特許請求の範囲に記載する式（１）〜（４）を利用することでプロセッサの少ない計算量で押下圧力を得ることができるため、消費電力の低減が求められる携帯式端末装置の入力デバイスに適している。
【００１４】
押下する指が５本以上のときは、各指の座標と検出圧力から左手の指の押下圧力に対する重心の重心圧力および重心座標と右手の指の押下圧力に対する重心の重心圧力および重心座標を推定し、推定した重心圧力と重心座標から検出圧力に対する左手の重心圧力による寄与成分と右手の重心圧力による寄与成分を分離し、特許請求の範囲に記載する式（１）、（２）、（３）、（４）と寄与成分から各指の押下圧力Ｆを計算することができる。
【００１５】
重心圧力および重心座標は、左手の重心圧力をＧａ、重心座標をＸａ，Ｙａとし、右手の重心圧力をＧｂ、重心座標をＸｂ，Ｙｂとしたときに、さまざまな方法でいずれか２つの未知数の推定値を先に取得してから、残りの未知数を計算して推定することができる。未知数の推定値の取得は、各手の重心に近い圧力センサが検出した検出圧力を利用することができる。このとき利用する検出圧力の数は２個が望ましい。
【００１６】
たとえば、重心座標Ｘａ、Ｘｂの推定値を先に取得し、取得した重心座標Ｘａ、Ｘｂの推定値と検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３から、残りの未知数である重心圧力Ｇａ、Ｇｂと重心座標Ｙａ、Ｙｂを計算することができる。あるいは先に重心座標Ｙａ、Ｙｂの推定値を取得し、取得した重心座標Ｙａ、Ｙｂの推定値と検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３から、重心圧力Ｇａ、Ｇｂと重心座標Ｘａ、Ｘｂを計算することができる。重心座標Ｘａ、Ｘｂの推定値は特許請求の範囲に記載する式（５）で、複数の右手の指で押下するときに各指のＸ座標に対する各指の押下圧力Ｆａ１、Ｆａ２、Ｆａ３、Ｆａ４を重みとする加重平均で計算することができる。
【００１７】
重みとなる右手の各指の押下圧力は、４個の圧力センサが、Ｘ軸上またはＸ軸に平行な第１のライン上に配置された第１の圧力センサおよび第２の圧力センサと、Ｘ軸に平行な第２のライン上に配置された第３の圧力センサおよび第４の圧力センサで構成されるときに、右手の重心圧力を第１の圧力センサと第３の圧力センサだけが検出し、左手の重心圧力を第２の圧力センサと第４の圧力センサだけが検出すると仮定して推定することができる。
【００１８】
重みとなる右手の各指の押下圧力はまた、第１のラインのＹ座標に第１の圧力センサの検出圧力を割り当て、第２のラインのＹ座標に第３の圧力センサの検出圧力を割り当て、Ｘ軸に検出圧力を設定して第１の圧力センサの検出圧力と第３の圧力センサの検出圧力の間に近似線を設定し、右手の各指のＹ座標と近似線から推定することができる。
【００１９】
重心圧力Ｇａ、Ｇｂと重心座標Ｙａ、Ｙｂは、取得した重心座標Ｘａ、Ｘｂの推定値と特許請求の範囲に記載する式（６）〜（９）を利用して計算することができる。寄与成分の分離は、特許請求の範囲に記載する式（６）〜（９）の右辺第１項を利用して重心圧力Ｇａの寄与成分を計算し、右辺第２項を利用して重心圧力Ｇｂの寄与成分を計算して行うことができる。各指の押下圧力Ｆは、重心圧力Ｇａの寄与成分と特許請求の範囲に記載する式（１）〜（４）を利用して左手の各指の押下圧力Ｆを計算し、重心圧力Ｇｂの寄与成分と特許請求の範囲に記載する式（１）、（２）、（３）、（４）を利用して右手の各指の押下圧力Ｆを計算することができる。
【００２０】
押下した指の中に親指を含む場合は、検出圧力に対する、親指の押下圧力に対する重心の重心圧力による寄与成分と残りの指の押下圧力に対する重心の重心圧力による寄与成分を分離して押下圧力Ｆを計算することができる。１０本の指の座標を検出したときは、２本の親指の押下圧力に対する重心の重心圧力をＦ２とし重心座標をＸ２，Ｙ２としたときに入力システムを特許請求の範囲に記載する式（１０）〜（１２）が解けるように機能させて押下圧力Ｆを計算することができる。
【００２１】
本発明の他の態様では、筐体の裏面に設けたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサを備える携帯式端末装置に文字を入力する方法を提供する。このとき検出した指の座標に基づいてタッチパネルに仮想キーボードを定義する。そして押下した各指の座標と、押下した座標に定義された仮想キーボードのキーからキー・コードを生成する。
【００２２】
本発明のさらに他の態様では、筐体の裏面に設けたタッチパネルと押下されたタッチパネルの荷重を検出する４個の圧力センサとディスプレイを備える携帯式端末装置においてディスプレイが表示する画面に対するポインティング操作をする方法を提供する。各指および各指の組み合わせまたはいずれかに対して所定のポインティング操作を定義する。そして押下した指または指の組み合わせに対して定義されたポインティング操作に対応するポインティング・データを生成する。筐体の裏面で文字を入力したりポインティング操作をしたりすることで、筐体を両手で安定的に保持し、かつ、ディスプレイの表示範囲を確保しながら操作することができる。
【発明の効果】
【００２３】
本発明により、４個の圧力センサで荷重を検出できるタッチパネルを複数の指で同時に押下したときに各指の押下圧力を検出する方法を提供することができた。さらに本発明により、プロセッサの少ない計算量で押下圧力を検出する方法を提供することができた。さらに本発明により、タッチパネルから携帯式端末装置に文字を入力する方法を提供することができた。さらに本発明により、タッチパネルからタッチスクリーンに対して行う操作と同等の操作をする方法を提供することができた。さらに本発明によりそのような方法を実現する携帯式端末装置、入力デバイスおよびコンピュータ・プログラムを提供することができた。
【図面の簡単な説明】
【００２４】
【図１】タブレット端末１０のハードウェアの構成を説明するための機能ブロック図である。
【図２】タブレット端末１０のタッチパネルを操作するときの様子を説明するための図である。
【図３】圧力エレメントＳ０〜Ｓ３の検出圧力からタッチパネル２９の一点を押下したときの押下圧力を求める基本方程式を導く方法を説明する図である。
【図４】入力システム１００の構成を説明するための機能ブロック図である。
【図５】タッチパネル２９に形成した仮想キーボードを説明するための図である。
【図６】親指を除く８本の指で押下したときの各指の押下圧力の推定方法を説明するための図である。
【図７】１０本の指で押下したときの各指の押下圧力の推定方法を説明するための図である。
【図８】入力システム１００の動作を説明するためのフローチャートである。
【図９】８本の指の押下圧力を推定する手順を説明するためのフローチャートである。
【図１０】圧力エレメントＳ０〜Ｓ３の配置を説明する図である。
【発明を実施するための形態】
【００２５】
［タブレット端末とタッチパネルの操作方法］
図１は、本実施の形態にかかる携帯式端末装置の一例となるタブレット端末１０のハードウェアの構成を説明するための機能ブロック図である。タブレット端末１０は、チップセット１７に接続されたＣＰＵ１１、ＨＤＤ１９、入力コントローラ２７を含んでいる。ＣＰＵ１１には、メイン・メモリ１３、ビデオカード１５が接続されている。ビデオカード１５にはディスプレイ２１が接続されている。
【００２６】
入力コントローラ２７には、表面タッチパネル２３、圧力センサ２５、裏面タッチパネル２９および圧力センサ３１が接続されている。表面タッチパネル２３および裏面タッチパネル２９は、指のタッチ位置の座標からアナログの座標信号を生成して入力コントローラ２７に送る。本発明においては、タッチパネルが指の座標を検出する原理を限定する必要はなく、静電容量式、抵抗膜式、または赤外線式などのさまざまなタイプのタッチパネルを採用することができる。
【００２７】
入力コントローラ２７は、表面タッチパネル２３または裏面タッチパネル２９から受け取った座標信号から座標データを生成しＣＰＵ１１に割り込みをかけて実行中のプログラムに送る。入力コントローラ２７は、マルチタッチ操作に適応しており、同時にタッチした複数の指の座標信号を認識することができる。表面タッチパネル２３は透明な材料で形成されておりディスプレイ２１に積層されてタッチスクリーン２０を構成する。
【００２８】
圧力センサ２５、３１はそれぞれ４個の圧力エレメントで構成され入力コントローラ２７に接続されている。４個の圧力エレメントは、表面タッチパネル２３または裏面タッチパネル２９の荷重を分担して計測し、それぞれがアナログの圧力信号（検出圧力）を入力コントローラ２７に送る。圧力センサ２５、３１は、表面タッチパネル２３または裏面タッチパネル２９に対する押下圧力を検出するために設ける。本発明においては、圧力センサ２５、３１のいずれか一方だけを設けるようにしてもよい。
【００２９】
入力コントローラ２７は圧力センサ２５、３１の各４個の圧力エレメントについて検出圧力から圧力データを生成してＣＰＵ１１が実行しているプログラムに送る。ＨＤＤ１９は、オペレーティング・システム（ＯＳ）、アプリケーション・プログラム、デバイス・ドライバなどのプログラムを格納する。ＨＤＤ１９はまた、本実施の形態にかかる入力システム１００（図４参照）を実現するためのプログラムを格納する。
【００３０】
図２は、タブレット端末１０のタッチパネルを操作するときの様子を説明するための図である。表面タッチパネル２３を含むタッチスクリーン２０は筐体の表面に配置され裏面タッチパネル２９は筐体の裏面に配置される。図２（Ａ）は、タブレット端末１０を両手で抱えながら裏面タッチパネル２９を右手と左手の親指を除いた残り８本の指で操作している様子を示している。
【００３１】
図２（Ｂ）は机上においたタブレット端末１０のタッチスクリーン２０にソフトウェア・キーボードを表示して右手と左手の合計１０本の指で操作している様子を示している。タッチスクリーン２０にソフトウェア・キーボードを表示する場合には、９インチ型ないし１１インチ型のタブレット端末が適している。また図２（Ａ）のように裏面タッチパネル２９を操作する場合は、それよりも小さい５インチ型ないし７インチ型のタブレット端末またはスマートフォンにも適している。
【００３２】
［１点での押下圧力と４個の圧力センサの検出圧力との関係を示す基本方程式］
図３は、裏面タッチパネル２９が任意の１点の押下座標（Ｘ，Ｙ）において指で押下されたときの押下圧力Ｆと４個の圧力エレメントＳ０〜Ｓ３の検出圧力の関係を示す基本方程式を導出する方法を説明する図である。ここでは圧力センサ３１を構成する４個の圧力エレメントＳ０、Ｓ１、Ｓ２、Ｓ３が長方形の裏面タッチパネル２９の４隅に配置され、裏面タッチパネル２９を支持しているものとする。圧力エレメントＳ０は、裏面タッチパネル２９に定義したＸ−Ｙ座標の原点（０，０）に配置されている。圧力エレメントＳ１はＹ軸上に配置され圧力エレメントＳ２はＸ軸上に配置されている。また、圧力エレメントＳ３は残りのコーナーに配置されている。
【００３３】
裏面タッチパネル２９は所定の剛性を備えており、圧力エレメントＳ０〜Ｓ３の位置より内側の１点が押下されたときの反力または荷重は、押下位置からの距離に応じた大きさで４個の圧力エレメントＳ０〜Ｓ３が分担する。以下においては、記号Ｓ０、Ｓ１、Ｓ２、Ｓ３を各圧力エレメントが検出した検出圧力の意味でも使用し、押下圧力Ｆで押下座標Ｘ、Ｙを押下したときに、圧力エレメントがそれぞれ検出圧力Ｓ０〜Ｓ３を示すものとする。
【００３４】
このとき押下圧力Ｆとそれに対抗する圧力エレメントＳ０〜Ｓ３の反力による力の釣り合いから式（１）を導くことができる。
F=S0+S1+S2+S3      (1)
つぎに、圧力エレメントＳ０とＳ２を結ぶ線上に力Ｆｍが作用する座標ａを設定し、圧力エレメントＳ１とＳ３を結ぶ線上に力Ｆｎが作用する座標ｂを設定したときに、押下圧力Ｆは座標ａ、ｂに作用する力Ｆｍ、Ｆｎの合力に相当してＦ＝Ｆｍ＋Ｆｎの関係があること、および力のモーメントの釣り合いを示す（１−Ｙ）：Ｙ＝Ｆｍ：Ｆｎの関係を使って式（２）、（３）を得る。
Fm=(1-Y)F      (2)
Fn=YF      (3)
【００３５】
つづいて式（２）、（３）とＦｍ＝Ｓ０＋Ｓ２、Ｆｎ＝Ｓ１＋Ｓ３、Ｘ：（１−Ｘ）＝Ｓ２：Ｓ０、およびＸ：（１−Ｘ）＝Ｓ３：Ｓ１の関係より式（４）〜（７）を得る。
S0=(1-X)Fm      (4)
S1=(1-X)Fn      (5)
S2=XFm      (6)
S3=XFn      (7)
【００３６】
式（４）〜（７）に式（２）、（３）を代入して、押下座標（Ｘ，Ｙ）を押下圧力Ｆで押下したときの検出圧力Ｓ０、Ｓ１、Ｓ２、Ｓ３を求める４個の式（８）〜（１１）で構成された基本方程式を得る。
S0=(1-X)(1-Y)F      (8)
S1=(1-X)YF      (9)
S2=X(1-Y)F      (10)
S3=XYF      (11)
基本方程式は、表面タッチパネル２３についても適用することができる。
【００３７】
タッチパネル２９は、裏面タッチパネル２９に同時にタッチした複数の指の座標を周知の方法で検出することができる。したがって、基本方程式を利用して同時に複数の指で押下したときの各指の押下圧力Ｆを計算する場合、４つの検出圧力Ｓ０〜Ｓ３と各押下座標Ｘ、Ｙが既知数で、押下する指の本数に相当する数の押下圧力Ｆが未知数となる。多元連立１次方程式は、未知数の数と方程式の本数が一致すればクラメルの公式やガウスの消去法などの手法を使ってコンピュータが一意の解を求めることができる。
【００３８】
式（８）〜（１１）の４元連立１次方程式は未知数である押下圧力Ｆが４個以下であれば一意に解を求めることができるため、同時に押下する指の数が４本以下であれば、４個の圧力エレメントの検出圧力Ｓ０〜Ｓ３から各押下圧力Ｆを計算することができる。しかし、図２で説明したように左右の８本または１０本の指で同時に押下するような場合は、４個の検出圧力Ｓ０〜Ｓ３では８個の押下圧力Ｆを未知数とする基本方程式を解くことはできない。本実施の形態にかかる図４に示す入力システム１００は、以下に説明するように基本方程式を使って５本以上の指で同時に押下したときの各指の押下圧力Ｆを推定することができる。
【００３９】
［入力システム］
図４は、入力システム１００の構成を説明するための機能ブロック図である。入力システム１００は、図１、図２に示した表面タッチパネル２３、裏面タッチパネル２９、圧力センサ２５、３１および入力コントローラ２７のハードウェア要素に加えて、押下圧力推定部１１３、キーボード・データ生成部１１５、およびポインティング・データ生成部１１７を含んでいる。入力システム１００を構成するには、表面タッチパネル２３と圧力センサ２５の組または裏面タッチパネル２９と圧力センサ３１の組のいずれか一方だけを含むようにしてもよい。
【００４０】
押下圧力推定部１１３の各要素、キーボード・データ生成部１１５、およびポインティング・データ生成部１１７はＣＰＵ１１、メイン・メモリ１３、およびチップセット１７などのハードウェアとＨＤＤ１９に格納されたプログラムとの協働により機能が形成される。押下圧力推定部１１３は、操作パターン認識部１１３ａ、押下圧力計算部１１３ｂ、出力部１１３ｃおよびタイミング調整部１１３ｄを含んでいる。操作パターン認識部１１３ａは、入力コントローラ１１１から、表面タッチパネル２３または裏面タッチパネル２９の座標データを受け取って、押下位置の座標データの生成、当該座標を押下する指の種類の特定、指の本数の計算、親指を含むか否かの判断、および両手操作か片手操作かの判断などの押下パターンの認識を行う。
【００４１】
押下圧力計算部１１３ｂは、操作パターン認識部１１３から受け取った押下パターンを示すデータに基づいて、各指の押下圧力を推定するために必要なすべての計算を行う。計算のアルゴリズムは、以下において詳細に説明する。出力部１１３ｃは、押下圧力計算部１１３ｂから受け取った各指の押下圧力から出力データを生成してキーボード・データ生成部１１５またはポインティング・データ生成部１１７に送る。
【００４２】
出力データは、押下する指の識別子、座標、および押下圧力を含む。複数の指を同時に押下したときは、出力部１１３は出力データを指ごとに生成する。入力システム１００は、キーボード・モードまたはポインティング・モードのいずれか一方で動作することができる。キーボード・モードは、タッチスクリーン２０に表示されたソフトウェア・キーボードをタッチ操作する場合と同じように表面タッチパネル２３または裏面タッチパネル２９を指で押下してシステムにキーボードで定義された文字や記号を入力する動作モードである。
【００４３】
ポインティング・モードは、ディスプレイ２１にマウス・カーソルを表示して、ノートＰＣのポインティング・デバイスを操作したり、タッチスクリーン２０を指で操作したりする場合と同じように画面のスクロール、マウス・ポインタの移動、画面の拡大・縮小、またはアイコンの指示入力などを行う動作モードである。ポインティング・モードは、タッチスクリーン２０に対する操作をしないで、裏面タッチパネル２９から画面を操作する場合に利用すると便利である。出力部１１３ｃは、キーボード・データ生成部１１５またはポインティング・データ生成部１１７からの切り換え信号により入力システム１００の動作モードをキーボード・モードまたはポインティング・モードのいずれか一方に切り換える。
【００４４】
出力部１１３ｃは、キーボード・モードのときに出力データをキーボード・データ生成部１１５に出力し、ポインティング・モードのときにポインティング・データ生成部１１７に出力する。タイミング調整部１１３ｄは、押下圧力推定部１１３の動作タイミングを調整する。タイミング調整部１１３ｄは、キーボード・モードのときに入力コントローラ１１１から所定値以上の検出圧力のデータを受け取ったタイミングに同調してキーボード・データ生成部１１５に出力データを送るように押下圧力推定部１１３を動作させる。タイミング調整部１１３ｄはポインティング・モードのときにＣＰＵ１１がポーリングする一定の周期でポインティング・データ生成部１１７に出力データを送るように押下圧力推定部１１３を動作させる。
【００４５】
キーボード・データ生成部１１５およびポインティング・データ生成部１１７は、押下圧力推定部１１３が生成する出力データの利用形態の一例であり、本発明における押下圧力推定部１１３が生成した出力データの用途はキーボード・モードまたはポインティング・モードの形成に限定するものではない。キーボード・データ生成部１１５およびポインティング・データ生成部１１７はいずれか一方だけを設けるようにしてもよい。
【００４６】
キーボード・データ生成部１１５は出力部１１３ｃから受け取った出力データから、ソフトウェア・キーボードと同等のキー・コードを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７は、出力部１１３ｃから受け取った出力データからタッチスクリーン２０が表示する画面に対する操作またはノートＰＣのポインティング・デバイスの操作に対応するポインティング・データを生成してユーザ・ファンクション１１９に送る。ユーザ・ファンクション１１９は、キーボード・データ生成部１１５またはポインティング・データ生成部１１７の出力を利用するＯＳやアプリケーションなどのプログラムで構成される。
【００４７】
［キーボード・データ生成部］
図５は、キーボード・データ生成部１１５の構成を説明する図である。キーボード・データ生成部１１５は一例としてキーボード・モードで裏面タッチパネル２９に対する操作が行われるときに動作する。タブレット端末１０を図２（Ｂ）のように利用する場合は、タッチスクリーン２０にソフトウェア・キーボードを表示して文字を入力することができる。ソフトウェア・キーボードを両手の指で操作するときに、左手の人指し指をＦキーにおき、右手の人指し指をＪキーにおいたときの各指の位置をホームポジションという。
【００４８】
キーボード・データ生成部１１５は、入力システム１００がキーボード・モードのときに裏面タッチパネル２９に仮想キーボードを形成する。仮想キーボードは左キー群３０１ａと右キー群３０１で構成された座標上にだけ存在する視認できないキーボードである。キーボード・データ生成部１１５は、出力部１１３ｃから受け取った出力データの中から左手の人指し指の座標にＦキーを割り当て右手の人指し指の座標にＦキーを割り当てて、座標上に左キー群３０１ａ、および右キー群３０１ｂを定義する。左キー群３０１ａはソフトウェア・キーボードにおいては左手の指で操作するキー群で、右キー群３０１ｂは右手の指で操作するキー群である。キーボード・データ生成部１１５は、所定値以上の押下圧力で押下されたキーのキー・コードをユーザ・ファンクション１１９に送る。
【００４９】
このとき図２（Ａ）に示すようにユーザはタッチスクリーン２０をみながら裏面タッチパネル２９に形成された仮想キーボードを操作する。タッチスクリーン２０に、ソフトウェア・キーボードを表示しないようにすれば、アプリケーションの表示領域を確保できるため利便性が向上する。あるいは、アプリケーションの表示の上に薄くソフトウェア・キーボードのキーを表示してもよい。また、図２（Ｂ）に示すようにタッチスクリーン２０の画面の一部が手の陰に隠れることがないため、広い表示範囲を確保できる。
【００５０】
裏面タッチパネル２９を利用した仮想キーボードはタブレット端末１０を手で保持しながら両手の指を使用して操作できるため操作時の安定性にも優れている。キーボード・データ生成部１１５は表面タッチパネル２３にソフトウェア・キーボードに相当する配列の仮想キーボードを形成することもできる。出力部１１３ｃは仮想キーボードに対する所定の入力を受け取ったときに、入力システム１００をポインティング・モードに切り換えることができる。
【００５１】
［ポインティング・データ生成部］
ポインティング・データ生成部１１７は、一例としてポインティング・モードで裏面タッチパネル２９に対する操作が行われるきに動作して裏面タッチパネル２９をポインティング・デバイスとして機能させる。以下、各指に対するポインティング機能の割り当て方法の一例を説明する。ポインティング・データ生成部１１７は、左手の人指し指、中指、薬指および小指の各押下圧力から画面の上方向、左方向、右方向および左方向へのスクロール・データを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７が出力するスクロール・データは、押下圧力の大きさに対応する情報を含む。したがってユーザ・ファンクション１１９は、押下圧力の大きさに応じてスクロール速度を変更することができる。
【００５２】
ポインティング・データ生成部１１７は、タッチスクリーン２０にマウス・ポインタを表示する。ポインティング・データ生成部１１７は右手の人指し指、中指、薬指および小指の各押下圧力からマウス・ポインタの上方向、左方向、右方向および左方向への移動データを生成してユーザ・ファンクション１１９に送る。ポインティング・データ生成部１１７が出力する移動データは、押下圧力の大きさに対応する情報を含む。したがってユーザ・ファンクション１１９は、押下圧力の大きさに応じてマウス・ポインタの移動速度を変更することができる。
【００５３】
ポインティング・データ生成部１１７は、右手の人指し指と中指を同時に所定値以上の押下圧力で押下したときに、マウス・ポインタの座標においてタッチスクリーン２０に対するタッチが行われた場合に相当する入力データを生成してユーザ・ファンクション１１９に送ることができる。ポインティング・データ生成部１１７は、左右の２本の人指し指を同時に所定値以上の押下圧力で押下したときに、ディスプレイ２１が表示する画面を拡大し、左右の２本の薬指を同時に所定値以上の押下圧力で押下したときに画面を縮小することができる。
【００５４】
このときポインティング・データ生成部１１７はユーザ・ファンクション１１９に押下圧力の大きさに対応する情報を送ることで画面の拡大、縮小の速度を変えることができる。裏面タッチパネル２９をポインティング・デバイスとして利用することで、タブレット端末１０を両手で支えながら操作することができる。出力部１１３ｃはポインティング・データ生成部１１７から所定のポインティング・データを受け取ったときに、入力システム１００をキーボード・モードに切り換えることができる。
【００５５】
［左右８本の指で押下する場合の押下圧力の推定方法］
つぎに裏面タッチパネル２９を例にして、図２（Ａ）に示すように左右の８本の指で操作するときに、基本方程式を使って各指の押下圧力を推定する方法を説明する。図６（Ａ）は、左右の指の各押下位置Ｌ１〜Ｌ４、Ｒ１〜Ｒ４における押下圧力Ｆａ１〜Ｆａ４、Ｆｂ１〜Ｆｂ４、および押下座標（Ｘａ１，Ｙａ１）〜（Ｘａ４〜Ｙａ４）、（Ｘｂ１，Ｙｂ１）〜（Ｘｂ４，Ｙｂ４）を示している。また、左の指の押下圧力に対する重心の押下圧力（重心圧力）Ｇａ、重心座標Ｘａ、Ｙａと右の指の押下圧力に対する重心圧力Ｇｂ、重心座標Ｘｂ、Ｙｂを示している。
【００５６】
裏面タッチパネル２９にはＸ軸とＹ軸が定義され、座標の原点を含む４隅には４個の圧力エレメントＳ０〜Ｓ３が配置されている。座標の原点には、圧力エレメントＳ０が配置されている。入力コントローラ２７は、裏面タッチパネル２９に対する指のタッチ位置の座標を検出する。前述のように８本の指を同時に押下したときの未知数となる８本の指の押下圧力Ｆａ１〜Ｆｂ４を４個の検出圧力Ｓ０〜Ｓ３を既知数にして基本方程式から求めるには、未知数を４個以下にする必要がある。
【００５７】
本実施の形態では、未知数を減らすために最初に左指の押下圧力Ｆａ１〜Ｆａ４と右指の押下圧力Ｆｂ１〜Ｆｂ４を、それぞれ重心圧力Ｇａ、Ｇｂで代表させる。ここに、Ｇａ＝ΣＦａ、Ｇｂ＝ΣＦｂの関係が成立する。基本方程式に８本の指の押下圧力を代表する重心圧力Ｇａ、Ｇｂを導入すると検出圧力Ｓ０〜Ｓ３はそれぞれ、左指の重心圧力Ｇａの寄与成分と右指の重心圧力Ｇｂの寄与成分が合成された値になるため、基本方程式（８）〜（１１）を式（１２）〜（１５）のように表すことができる。
S0=(1-Xa)(1-Ya)Ga+(1-Xb)(1-Yb)Gb      (12)
S1=(1-Xa)YaGa+(1-Xb)YbGb      (13)
S2=Xa(1-Ya)Ga+Xb(1-Yb)Gb      (14)
S3=XaYaGa+XbYbGb      (15)
【００５８】
式（１２）〜（１５）の右辺第１項が左手の重心圧力Ｇａの寄与成分Ｓ０’〜Ｓ３’で、右辺第２項が右手の重心圧力Ｇｂの寄与成分Ｓ０’’〜Ｓ３’’に相当する。式（１２）〜（１５）では、未知数をＧａ、Ｘａ、Ｙａ、Ｇｂ、Ｘｂ、Ｙｂの６個まで減らすことができるが、まだ方程式を解くことはできない。ここで、図２（Ａ）に着目すると、裏面タッチパネル２９を操作するときの両手の指は、Ｘ軸方向で相互に大きく離れ結果として重心圧力Ｇａはタッチスクリーン２０側からみたときの左端の近くに発生し重心圧力Ｇｂは右端の近くに発生する。本実施の形態では両手の重心圧力Ｇａ、ＧｂがＸ軸方向で離れていることを利用して、後に説明する方法で重心座標ＸａとＸｂの近似解（推定値）を求めて基本方程式を解く。
【００５９】
式（１２）〜（１５）に対して実測値である４個の検出圧力Ｓ０〜Ｓ３と推定値である重心座標Ｘａ、Ｘｂを代入すると、４個の未知数Ｙａ、Ｙｂ、Ｇａ、Ｇｂを含む４元連立１次方程式になるためこれを解くことができる。式（１２）〜（１５）から左手の寄与成分Ｓ０’〜Ｓ３’だけの基本方程式を作成すると式（１６）〜（１９）を得る。
S0'=(1-Xa)(1-Ya)Ga      (16)
S1'=(1-Xa)YaGa      (17)
S2'=Xa(1-Ya)Ga      (18)
S3'=XaYaGa      (19)
【００６０】
同様に右手の寄与成分Ｓ０’’〜Ｓ３’’だけの基本方程式を作成すると式（２０）〜（２３）を得る。
S0''=(1-Xb)(1-Yb)Gb      (20)
S1''=(1-Xb)YbGb      (21)
S2''=Xb(1-Yb)Gb      (22)
S3''=XbYbGb      (23)
【００６１】
Ｇａ、Ｘａ、Ｙａ、Ｇｂ、Ｘｂ、Ｙｂは後に説明する方法で推定値を求めるため、式（１６）〜（２３）に代入して、左手の寄与成分Ｓ０’〜Ｓ３’と右手の寄与成分Ｓ０’’〜Ｓ３’’を算出することができる。ここで基本方程式（８）〜（１１）により、左手の寄与成分Ｓ０’〜Ｓ３’と各指の押下座標（Ｘａ１、Ｙａ１）、（Ｘａ２、Ｙａ２）、（Ｘａ３、Ｙａ３）、（Ｘａ４、Ｙａ４）を既知数とし、押下圧力Ｆａ１、Ｆａ２、Ｆａ３、Ｆａ４を未知数とする式（２４）〜（２７）を得る。
S0'=(1-Xa1)(1-Ya1)Fa1+(1-Xa2)(1-Ya2)Fa2+(1-Xa3)(1-Ya3)Fa3+(1-Xa4)(1-Ya4)Fa4      (24)
S1'=(1-Xa1)Ya1Fa1+(1-Xa2)Ya2Fa2+(1-Xa3)Ya3Fa3+(1-Xa4)Ya4Fa4      (25)
S2'=Xa1(1-Ya1)Fa1+Xa2(1-Ya2)Fa2+Xa3(1-Ya3)Fa3+Xa4(1-Ya4)Fa4      (26)
S3'=Xa1Ya1Fa1+Xa2Ya2Fa2+Xa3Ya3Fa3+Xa4Ya4Fa4      (27)
【００６２】
右手の寄与成分Ｓ０’’〜Ｓ３’’についても同様に各指の押下圧力Ｆｂ１、Ｆｂ２、Ｆｂ３、Ｆｂ４を未知数とする式（２８）〜（３１）を得ることができる。
S0''=(1-Xb1)(1-Yb1)Fb1+(1-Xb2)(1-Yb2)Fb2+(1-Xb3)(1-Yb3)Fb3+(1-Xb4)(1-Yb4)Fb4      (28)
S1''=(1-Xb1)Yb1Fb1+(1-Xb2)Yb2Fb2+(1-Xb3)Yb3Fb3+(1-Xb4)Yb4Fb4      (29)
S2''=Xb1(1-Yb1)Fb1+Xb2(1-Yb2)Fb2+Xb3(1-Yb3)Fb3+Xb4(1-Yb4)Fb4      (30)
S3''=Xb1Yb1Fb1+Xb2Yb2Fb2+Xb3Yb3Fb3+Xb4Yb4Fb4      (31)
【００６３】
式（２４）〜（２７）と式（２８）〜（３１）はともに４つの押下圧力Ｆａ１〜Ｆａ４または押下圧力Ｆｂ１〜Ｆｂ４を未知数とする４元連立１次方程式であるため、一意に解を求めることができる。以上において、８本指を例示して各指の押下圧力を推定する手順を説明したが、上記の手順は指の本数が５本以上７本以下の場合にも適用することができる。なお、指の本数が４本以下のときは、上記の手順によらないでも基本方程式（８）〜（１１）からより正確な押下圧力を計算することができる。
【００６４】
［重心のＸ座標を推定する方法］
図６（Ｂ）は左手または右手の重心座標Ｘａ、Ｘｂを推定する方法を説明する図である。重心座標Ｘａ、Ｘｂを計算する理論式は各指の押下圧力を重みとする式（３２）、（３３）となる。式（３２）は押下圧力Ｆａ１〜Ｆａ４を押下座標Ｘａ１〜Ｘａ４の重みとし、式（３３）は押下圧力Ｆｂ１〜Ｆｂ４を押下座標Ｘｂ１〜Ｘｂ４の重みとして各指の座標を加重平均する。
【００６５】
【数１】
2014229029.tif 000003
【００６６】
ここで、押下圧力Ｆａ１〜Ｆｂ４が未知数であるため、式（３２）、（３３）から重心座標Ｘａ，Ｘｂを求めることはできない。押下圧力Ｆａ１〜Ｆｂ４を推定するために本実施の形態では、最初に、図２（Ａ）に示すように操作するときの各指の位置の特徴から左手の指と右手の指が検出圧力Ｓ０〜Ｓ３に与える影響を分離して考える。すなわち、圧力センサＳ２、Ｓ３の検出圧力は左手の指の押下圧力Ｆａ１〜Ｆａ４による影響が大きく、圧力センサＳ０、Ｓ１の検出圧力は右手の指の押下圧力Ｆｂ１〜Ｆｂ４による影響が大きいと想定する。
【００６７】
以後右手の指について説明すると、各指が任意の押下圧力Ｆｂ１〜Ｆｂ４で押下したときに、検出圧力Ｓ０と検出圧力Ｓ１の合計がＧｂ＝ΣＦｂに相当すると想定する。このとき、人指し指や中指の押下圧力が大きい場合は検出圧力Ｓ０が検出圧力Ｓ１よりも大きくなり、小指や薬指の押下圧力が大きい場合は検出圧力Ｓ１が検出圧力Ｓ０よりも大きくなる。
【００６８】
図６（Ａ）に示すように右手の４本の指はＹ軸方向にほぼ直線５３に沿って並んでいるため、近似的に重力座標Ｘｂは直線５３上を各指の押下圧力のバランスに応じて移動すると考えられる。図６（Ｂ）において、Ｘ座標に検出圧力を設定し、圧力エレメントＳ０のＹ座標０に対して検出圧力Ｓ０を割り当て、圧力エレメントＳ１のＹ座標Ｙ１に対して検出圧力Ｓ１を割り当てた近似直線５１を用意する。
【００６９】
各指の押下圧力Ｆｂ１〜Ｆｂ４と重心座標Ｘｂは近似線５１上に存在すると考えられるため、近似直線５１のＹ座標Ｙｂ１〜Ｙｂ４に対応するＸ座標から各押下圧力Ｆｂ１〜Ｆｂ４の推定値Ｆｂ１’〜Ｆｂ４’を求めることができる。図６（Ｂ）は検出圧力Ｓ０がＳ１より大きい場合を例示しているが、小指または薬指の押下圧力が大きいために検出圧力Ｓ１がＳ０より大きい場合もそれに対応する近似直線５１を設定して推定値Ｆｂ１’〜Ｆｂ４’を求めることができる。
【００７０】
推定した押下圧力Ｆｂ１’〜Ｆｂ４’を式（３３）に代入すると、右指の重心座標の推定値Ｘｂを求めることができる。左指の重心座標Ｘａの推定値も同様の手順で検出圧力Ｓ２、Ｓ３から求めることができる。上記手順では、近似直線５１上に押下圧力Ｆｂ１〜Ｆｂ４が存在すると想定し、各指のＹ座標と近似直線５１の式から加重平均の重みとなる各指の押下圧力の推定値Ｆｂ１’〜Ｆｂ４’を求めて右指の重心座標Ｘｂを推定したが、近似直線５１を直線に限定する必要はない。たとえば、ユーザごとの指の力や操作位置などの個性を押下圧力推定部５１が学習して曲線で近似させることもできる。
【００７１】
式（１２）〜（１５）は、未知数を４個にすると解くことができるため重心座標Ｙａ、Ｙｂの推定値または重心圧力Ｇａ、Ｇｂの推定値を先に求めるようにしてもよい。たとえば、図２（Ｂ）に示すような操作方法では、検出圧力Ｓ０、Ｓ１は左手の重心圧力の影響が強く検出圧力Ｓ２、Ｓ３は右手の重心圧力の影響が強いといえる。そして左手と右手のそれぞれの薬指から小指まではＹ軸方向にほぼ直線的に並んでいると想定することができる。
【００７２】
そしてＸ座標が０と圧力エレメントＳ２までの中間に検出圧力Ｓ０、Ｓ１の合計値に応じた近似線を引いて各指の押下圧力の推定値を求める、式（３２）、（３３）を重心座標Ｙａ、Ｙｂを求める形に変形した式で重心座標Ｙａ、Ｙｂの推定値を求めることができる。つぎに重心座標Ｙａ、Ｙｂの推定値を式（１２）〜（１５）に代入して未知数である重心座標Ｘａ、Ｘｂと重心圧力Ｇａ、Ｇｂを求めることができる。図６（Ａ）では最初に推定する重心座標（Ｘ軸）が左右の手が並ぶ方向に直角な方向であるのに対し、図２（Ｂ）では最初に推定する重心座標（Ｙ軸）が左右の手が並ぶ方向と同一になる。
【００７３】
先に重心圧力Ｇａ、Ｇｂを推定する場合は、Ｇａ＝Ｓ２＋Ｓ３、Ｇｂ＝Ｓ０＋Ｓ１とみなすことができる。このように、右手または左手の押下圧力に対する重心と当該重心に近い検出圧力Ｓ０〜Ｓ３を利用していずれかの未知数を推定し、未知数を４個にした後に、式（１２）〜（１５）を解くことができる。このとき、４個の検出圧力Ｓ０〜Ｓ３の中で、重心に近い２個の検出圧力を利用することが望ましい。なお、重心座標の推定は、出力部１１３ｃが出力データを出力するタイミングに同調した頻度で行うことができる。
【００７４】
［１０本指で操作する場合の押下圧力の推定方法］
つぎに表面タッチパネル２３を、図２（Ｂ）に示すように左右の１０本の指で操作するときに、基本方程式（８）〜（１１）を使って各指の押下圧力を推定する方法を説明する。図７は、左右の指の各押下位置Ｌ１〜Ｌ５、Ｒ１〜Ｒ５における押下圧力Ｆａ１〜Ｆａ５、Ｆｂ１〜Ｆｂ５、および押下座標（Ｘａ１，Ｙａ１）〜（Ｘａ５〜Ｙａ５）、（Ｘｂ１、Ｙｂ１）〜（Ｘｂ５、Ｙｂ５）を示している。また、左手の親指を除いた４本の指の重心圧力Ｇａと重心座標Ｘａ、Ｙａおよび右手の親指を除いた４本の指の重心圧力Ｇｂと重心座標Ｘｂ、Ｙｂを示している。押下位置Ｌ５、Ｒ５はそれぞれの手の親指の押下位置である。
【００７５】
図７には、さらに、親指２本の押下圧力Ｆａ５、Ｆｂ５に対する重心の重心圧力Ｆ２と重心座標Ｘ２、Ｙ２、残りの８本の指の押下圧力Ｆａ１、〜Ｆａ４、Ｆｂ１、〜Ｆｂ４に対する重心の重心圧力Ｆ８と重心座標Ｘ８、Ｙ８を示している。この場合、親指の重心座標Ｘ２、Ｙ２は、圧力エレメントＳ１とＳ３を結ぶライン５４に近い位置に存在し、８本の指の重心座標Ｘ８、Ｙ８はそれより圧力センサＳ０とＳ２を結ぶライン５５に近い位置に存在して２つの重心座標Ｙ２，Ｙ８はＹ軸方向で所定の距離だけ離れる。
【００７６】
ここで、検出圧力Ｓ０、Ｓ２の合計は重心圧力Ｆ８による影響が大きく、検出圧力Ｓ１、Ｓ３の合計は重心圧力Ｆ２による影響が大きいと想定できるため、式（３４）、（３５）を得る。
F2=S1+S3      (34）
F8=S0+S2      (35)
【００７７】
つぎに式（９）、（１１）から式（３６）、（３７）を得る。
S1=(1-X2)Y2F2      (36)
S3=X2Y2F2      (37)
式（３４）、（３６）、（３７）は、未知数が３個の３元連立１次方程式であるため、これを解いてＦ２、Ｘ２、Ｙ２の推定値を求めることができる。つぎに式（８）、（１０）から式（３８）、（３９）を得る。
S0=(1-X8)(1-Y8)F8      (38)
S2=X8(1-Y8)F8      (39)
式（３５）、（３８）、（３９）は、未知数が３個の３元連立１次方程式であるため、これを解いてＦ８、Ｘ８、Ｙ８の推定値を求めることができる。
【００７８】
つぎに、式（１６）〜（２３）を利用して、検出圧力Ｓ０〜Ｓ３に対する重心圧力Ｆ８の寄与成分Ｓ０’〜Ｓ３’と重心圧力Ｆ２の寄与成分Ｓ０’’〜Ｓ３’’を分離する。寄与成分Ｓ１’’、Ｓ３’’を式（２４）〜（２７）に適用すると親指の押下圧力Ｆａ５、Ｆｂ５の推定値を求めることができる。また、寄与成分Ｓ０’〜Ｓ３’を式（１２）〜（１５）のＳ０〜Ｓ３に適用すると、すでに説明した８本の指で押下する場合の推定方法を適用して各指の押下圧力Ｆａ１〜Ｆａ４、およびＦｂ１〜Ｆｂ４を推定することができる。
【００７９】
なお、上記の計算において、Ｆ２の寄与成分Ｓ０’’〜Ｓ３’’を検出圧力Ｓ０〜Ｓ３から引き算して８本の指の寄与成分Ｓ０’〜Ｓ３’を求めるようにしてもよい。以上において、１０本の指で操作する場合を例示して各指の押下圧力を推定する手順を説明したが、上記の手順は親指を含む指の本数が６本以上９本以下の場合にも適用することができる。
【００８０】
［片手の５本指で操作する場合の押下圧力の推定方法］
図７においてたとえば左手の５本の指で操作する場合は、押下位置Ｌ５が親指の重心座標Ｘ２、Ｙ２となり、検出圧力Ｓ０〜Ｓ３に対する押下圧力Ｆａ５の寄与成分Ｓ０’’〜Ｓ３’’と残りの４本指の重心圧力Ｇａの寄与成分Ｓ０’〜Ｓ３’を分離することができる。そして、式（２４）〜（２７）のＳ０’〜Ｓ３’に分離した寄与成分Ｓ０’〜Ｓ３’を適用して押下圧力Ｆａ１〜Ｆａ４の推定値を求めることができる。
【００８１】
［押下圧力推定の手順］
つぎに図８のフローチャートを参照して、入力システム１００の動作を説明する。両手の１０本の指による操作を含めて入力システム１００の全体動作を説明するために、表面タッチパネル２３を通じて図２（Ｂ）のように入力するときの各指の押下圧力を推定する手順を説明する。ただし、ユーザは図２（Ｂ）のような典型的な位置に指を配置して押下するとは限らず、また、操作する指の数も１本から１０本までさまざまな態様を含んでいるものとする。
【００８２】
ブロック２０１で表面タッチパネル２３を押下すると入力コントローラ２７は、圧力センサ２５から検出圧力を取得して圧力データを出力する。また入力コントローラ２７は、表面タッチパネル２３から座標信号を取得してタッチした指の座標データを出力する。ブロック２０３で押下パターン認識部１１３ａは、受け取った座標データから押下した指の本数を計算する。指の本数が４本以下のときはブロック２０５に移行して、押下圧力計算部１１３ｂが式（８）〜（１１）を使って各指の押下圧力を推定する。指の構成は、片手の指だけで４本以下でも両手の指を合わせて４本以下でもよい。また、４本以下の指の中には親指を含んでいてもよい。
【００８３】
押下した指の本数が５本以上だと判断したときは、ブロック２０７で押下パターン認識部１１３ａは、操作した各指のＸ座標とＹ座標から親指を含むか否かを判断する。親指を含まない場合はブロック１２７に移行する。ブロック１２７に移行するときの指の構成は、左右について４本＋４本の合計８本、４本＋３本の合計７本、４本＋２本、３本＋３本の合計６本、または４本＋１本、３本＋２本の合計５本のいずれかとなる。
【００８４】
親指を含む場合にブロック２０９で押下パターン認識部１１３ａは、操作した各指のＸ座標とＹ座標から操作した指が片手の指か両手の指かを判断する。片手と判断したときは５本指で操作したことになるため、ブロック２１１で押下圧力計算部１１３ｂは上述のように検出圧力Ｓ０〜Ｓ３に対する親指の押下圧力の寄与成分と残りの４本指の重心圧力の寄与成分を分離する。そして、ブロック２１３で押下圧力計算部１１３は親指の押下圧力を算出しブロック２１５で式（２４）〜（２７）に検出圧力Ｓ０〜Ｓ３に対する４本の指による重心圧力の寄与成分を代入して４本の各指の押下圧力を推定する。
【００８５】
ブロック２０９で押下パターン認識部１１３ａは、操作が両手であると判断したときは、ブロック２１７で親指の座標と残りの指の座標から検出圧力Ｓ０〜Ｓ３に対する親指の寄与成分を分離できるか否かを判断する。親指の座標がＹ軸方向の中央部付近である場合は、親指の寄与成分の推定誤差が多くなるためブロック２２１でユーザ・ファンクション１１９にメッセージを送ってディスプレイ２１に操作位置の変更のためのプロンプトを表示する。
【００８６】
ブロック２１９で押下パターン認識部１１３ａは、親指を除いた残りの指のＸ座標または左人指し指のＸ座標および右人指し指のＸ座標から、左手の重心のＸ座標と右手の重心のＸ座標を簡単に推定して、検出圧力Ｓ０〜Ｓ３に対する各重心圧力の寄与成分を分離できるか否かを判断する。右手と左手が接近しすぎて分離できないと判断したときはブロック２２１に移行し、分離できると判断したときはブロック２２３に移行する。
【００８７】
ブロック２２３で押下圧力計算部１１３ｂは、検出圧力Ｓ０〜Ｓ３に対する親指の重心圧力と残りの指の重心圧力の寄与成分を分離し、ブロック２２５で親指の押下圧力を算出する。ブロック２２７で押下圧力計算部１１３ｃは残りの各指の押下圧力を推定する。ブロック２２９で出力部１１３ｃは、各指の識別子、座標および押下圧力を含む出力データを出力する。
【００８８】
図９は、図８のブロック２２７の手順を詳細に説明するためのフローチャートである。ブロック３０１では、図６（Ｂ）の近似線と式（３２）、（３３）を使って重心座標Ｘａ、Ｘｂの推定値を取得する。ブロック３０３では、重心座標Ｘａ、Ｘｂの推定値と式（１６）〜（２３）から重心座標Ｙａ、Ｙｂと重心圧力Ｇａ、Ｇｂを計算する。ブロック３０５では、推定した重心圧力Ｇａ、Ｇｂ、重心座標Ｘａ、Ｘｂ、Ｙａ、Ｙｂから検出圧力Ｓ０〜Ｓ１に対する左右の手の重心圧力Ｇａ、Ｇｂ、の寄与成分Ｓ’、Ｓ’’を計算する。ブロック３０７では、寄与成分Ｓ’と式（２４）〜（２７）から左手の各指の押下圧力Ｆａ１〜Ｆａ４を計算し、ブロック３０９では寄与成分Ｓ’’と式（２８）〜（３１）から右手の各指の押下圧力Ｆａ１〜Ｆａ４を計算する。
【００８９】
［圧力エレメントの配置］
図６、図７では、圧力エレメントＳ０〜Ｓ３を矩形状のタッチパネルの検出領域を画定する長辺と短辺が交差する４つのコーナーにそれぞれ配置したが、圧力エレメントＳ０〜Ｓ３は図１０（Ａ）〜（Ｃ）に示すように座標が定義された長辺と短辺の検出領域に対してさまざまな位置に配置することができる。図１０（Ａ）では圧力エレメントＳ０、Ｓ１とＳ２、Ｓ３がそれぞれ短辺上で近付くように配置され、図１０（Ｂ）では、圧力エレメントＳ０、Ｓ２とＳ１、Ｓ３がそれぞれ長辺上で近付くように配置されている。また、図１０（Ｃ）では、圧力エレメントＳ０〜Ｓ３が長辺と短辺で囲まれた領域より内側に入り込んだ位置に配置されている。
【００９０】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００９１】
１０  タブレット端末
２０  タッチスクリーン
２３  表面タッチパネル
２５  裏面タッチパネルに対する押下圧力を検出する圧力センサ
２９  裏面タッチパネル
３１  裏面タッチパネルに対する押下圧力を検出する圧力センサ
Ｓ０〜Ｓ３  圧力センサ２５、３１を構成する圧力エレメントまたは検出圧力
Ｆ  押下圧力
Ｇａ、Ｇｂ、Ｆ２、Ｆ８  指の押下圧力に対する重心の重心圧力
１１３  押下圧力推定部
【図１】
2014229029.tif 000005
【図２】
2014229029.tif 000006
【図３】
2014229029.tif 000007
【図４】
2014229029.tif 000008
【図５】
2014229029.tif 000009
【図６】
2014229029.tif 000010
【図７】
2014229029.tif 000011
【図８】
2014229029.tif 000012
【図９】
2014229029.tif 000013
【図１０】
2014229029.tif 000014