(57)【要約】【課題】システム資源の浪費を効果的に削減するマルチフィンガージェスチャコードシステム及びそのコード方法を提供する。  【解決手段】タッチコントロールモジュール２上で操作されるマルチフィンガージェスチャを分析するマルチフィンガージェスチャコードシステムである。マルチフィンガージェスチャを検知するために、タッチコントロールモジュール２に電気的に接続されたセンサーモジュール３１と、マルチフィンガージェスチャを複数のジェスチャ要素に分解し、ジェスチャ要素にそれぞれ対応する複数の軌跡コードを導き出す分析モジュール３２と、それら軌跡コードを出力する出力モジュール３３とを備えるマルチフィンガージェスチャコードシステム及びそのコード方法である。【選択図】図６
2009251965.tif 000002
【特許請求の範囲】
【請求項１】
タッチコントロールモジュール上で操作されるマルチフィンガージェスチャを分析するマルチフィンガージェスチャコードシステムであって、
前記マルチフィンガージェスチャを検知するために、前記タッチコントロールモジュールに電気的に接続されたセンサーモジュールと、
前記マルチフィンガージェスチャを複数のジェスチャ要素に分解し、ジェスチャ要素にそれぞれ対応する複数の軌跡コードを導き出す分析モジュールと、
それら前記軌跡コードを出力する出力モジュールとを備えることを特徴とするマルチフィンガージェスチャコードシステム。
【請求項２】
前記分析モジュールは、前記センサーモジュールがマルチフィンガージェスチャを検知した結果に基づき、ジェスチャ要素にそれぞれ対応する複数の相関パラメータをさらに導き出し、出力モジュールは複数の相関パラメータをさらに出力することを特徴とする請求項１に記載のマルチフィンガージェスチャコードシステム。
【請求項３】
センサーモジュールがタッチコントロールモジュール上で操作されたマルチフィンガージェスチャを検知するステップＡと、
前記マルチフィンガージェスチャがジェスチャ要素に分解されるステップＢと、
前記ジェスチャ要素にそれぞれ対応する軌跡コードを導き出すステップＣと、
前記軌跡コードを出力するステップＤとを含むことを特徴とするマルチフィンガージェスチャコード方法。
【請求項４】
前記ステップＣにおいて、ジェスチャ要素にそれぞれ対応する複数の相関パラメータをさらに導き出し、前記ステップＤにおいて、複数の相関パラメータをさらに出力することを特徴とする請求項３に記載のマルチフィンガージェスチャコード方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報機器のタッチコントロールモジュール等に用いるマルチフィンガージェスチャコードシステム及びそのコード方法に関する。
【背景技術】
【０００２】
現在、タッチパネル(touch panel)やタッチパッド(touch pad)などのタッチコントロールモジュールは、例えば、ＰＤＡ(personal digital assistant)やアップルコンピューターのｉＰｏｄなどの各種情報機器に用いられていることが多い。タッチコントロールモジュールの開発初期において、１つのジェスチャ(gesture)による単一軌跡しか検出することができなかったが、今ではマルチフィンガージェスチャ(multi finger gesture)による操作が可能となった。タッチコントロールモジュールは、コンデンサ式、電気抵抗式またはその他の技術のタッチパネルであった。マルチフィンガージェスチャとは、タッチコントロールモジュールが同時に複数の物体による軌跡を検出することができることである。
【０００３】
以下、従来のタッチコントロールモジュール１１を図面に基づいて説明する。図１は、従来のタッチコントロールモジュールを備える情報機器を示すブロック図である。図１に示すように、情報機器（パソコン、携帯電話、ＰＤＡ、ＭＰ３など）は、タッチコントロールモジュール１１および演算ユニット１２を備える。演算ユニット１２は、ＣＰＵ(central processing unit）、ＭＣＵ(microcomputer unit)、ＤＳＰ(digital signal processor)、ＡＳＩＣ(application‐specific integrated circuit)などである。タッチコントロールモジュール１１は、シングルフィンガージェスチャまたはマルチフィンガージェスチャによりタッチされると、ジェスチャ信号を発生してから軌跡信号に演算し、この軌跡信号を情報機器の演算ユニット１２に送信する。演算ユニット１２は、軌跡の組合せを計算し、シングルフィンガージェスチャを解析し、それに対応する動作を行なう。ここで注意しなければならないのは、ジェスチャ信号は、異なるタッチコントロールモジュール１１の技術によるということで、電圧値の変化またはその他の信号などである。
【０００４】
特許文献１および特許文献２で開示される従来技術は、情報機器本体の演算ユニット１２を用いて軌跡信号を計算して操作コマンドを得るものである。しかし、前者には、ある短所があった。それは、演算ユニット１２が自ら軌跡信号を計算してジェスチャを解析するため、システム上の消費がとても大きかった。特に、省エネ効率を満足させるため、演算速度が遅い携帯型情報機器の場合、システム資源の浪費がさらに顕著であった。
【０００５】
図２は、従来のタッチコントロールモジュールを備えるもう１つの情報機器を示すブロック図である。図２に示すように、演算ユニット１２が自ら軌跡信号を計算してジェスチャを解析することにより、効率が悪くなってしまう（特に、マルチフィンガージェスチャ解析時において）という短所を改善するため、マルチフィンガージェスチャによるタッチコントロールモジュール１１への入力がタッチコントロールモジュール１１によりマルチフィンガージェスチャに対応するマルチフィンガージェスチャコードに変換される。
【０００６】
演算ユニット１２は、あらかじめ設定してあるマルチフィンガージェスチャ資料表(データベース：テーブル)１２１を実行する。上記のマルチフィンガージェスチャコードに基づき、マルチフィンガージェスチャ資料表１２１で調べた後、対応する操作コマンドを実行する。例えば、演算ユニット１２が画像再生ソフトを実行している場合、タッチコントロールモジュール１１上で二本指により指が互いに離れていく動作を行なうと、タッチコントロールモジュール１１は、指定されたマルチフィンガージェスチャコードを送信し、演算ユニット１２は、マルチフィンガージェスチャ資料表１２１で調べた後、マルチフィンガージェスチャコードが画面拡大の動作であることを確認して、画像再生ソフトに画像を拡大させる。特許文献３で開示される従来技術は、マルチフィンガージェスチャのジェスチャ辞書（上記のマルチフィンガージェスチャ資料表１２１と同様のものである）を用いてマルチタッチ機能を有するものである。
【０００７】
タッチコントロールモジュール１１が出力するマルチフィンガージェスチャコードは、専門のジェスチャ辞書に限定されるため、システム設計上フレキシブルでなく、ユーザの要求を満たすことが難しかった。そのため、システム設計上フレキシブルで、システムの負担を軽減するマルチフィンガージェスチャを有する情報機器が求められていた。
【特許文献１】米国特許第６００２９４６号明細書
【特許文献２】米国特許第６６３９５８４号明細書
【特許文献３】米国特許出願公開第２００７／０１７７８０４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記の問題点に鑑みてなされたもので、本発明の第１の目的は、システム資源の浪費を効果的に削減するマルチフィンガージェスチャコードシステムを提供することにある。
本発明の第２の目的は、独自のマルチフィンガージェスチャコントロール方式を作り出し、効果的にシステムのフレキシビリティを向上させマルチフィンガージェスチャコード方法を提供することにある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するため、本発明は、マルチフィンガージェスチャコードシステムおよびそのコード方法を提供する。
本発明のマルチフィンガージェスチャコードシステムは、タッチコントロールモジュール上で操作されるマルチフィンガージェスチャを分析するものである。マルチフィンガージェスチャを検知するために、タッチコントロールモジュールに電気的に接続されたセンサーモジュールと、マルチフィンガージェスチャを複数のジェスチャ要素に分解し、ジェスチャ要素にそれぞれ対応する複数の軌跡コードを導き出す分析モジュールと、それら軌跡コードを出力する出力モジュールとを備える。
【００１０】
本発明のマルチフィンガージェスチャコード方法は、センサーモジュールがタッチコントロールモジュール上で操作されたマルチフィンガージェスチャを検知するステップと、マルチフィンガージェスチャがジェスチャ要素に分解されるステップと、ジェスチャ要素にそれぞれ対応する軌跡コードを導き出すステップと、軌跡コードを出力するステップとを含む。
【発明の効果】
【００１１】
本発明のマルチフィンガージェスチャコードシステムおよびそのコード方法によれば、操作する複数の指のセンサーモジュールでの接触軌跡であるマルチフィンガージェスチャを検知し、基本的な軌跡コードとして認識し、メインコントロールユニットがマルチフィンガージェスチャを解析する際のシステム資源の浪費を効果的に削減することができる。また、メインコントロールユニットは、必要に応じて独自の軌跡動作変換表を作製して、独自のマルチフィンガージェスチャコントロール方式を作り出すことができ、効果的にシステムのフレキシビリティを向上させ、ユーザのオリジナリティを満足させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。
図３は、本発明の一実施形態によるマルチフィンガージェスチャコードシステム３を示すブロック図である。図７は、本発明の一実施形態による操作する複数の指のタッチパッドでの接触軌跡であるタッチマルチフィンガージェスチャコードシステム３を用いた情報機器を示すブロック図である。図３および図７に示すように、本発明の情報機器は、タッチコントロールモジュール２、メインコントロールユニット４およびマルチフィンガージェスチャコードシステム３を含む。タッチコントロールモジュール２は、コンデンサ式で、マルチフィンガージェスチャに対応するタッチパネル（図示せず）、および専用の制御ＩＣチップ（図示せず）を有する。また、タッチコントロールモジュール２は、電気抵抗式で、マルチフィンガージェスチャに対応するタッチパネル、またはタッチパッドでもよい。タッチコントロールモジュール２は、少なくとも１つの物体（二本以上の指、タブレットなど）によるマルチフィンガージェスチャ操作が行なわれ、複数の軌跡が入力される。メインコントロールユニット４は、情報機器内のＣＰＵである。本発明のマルチフィンガージェスチャコードシステム３は、ＩＣチップのハードウェアであるが、これに限定されるものではない。マルチフィンガージェスチャコードシステム３は、タッチコントロールモジュール２の制御ＩＣチップ内に統合されてもよい。
【００１３】
図３に示すように、マルチフィンガージェスチャコードシステム３は、センサーモジュール３１、分析モジュール３２および出力モジュール３３を含む。センサーモジュール３１は、タッチコントロールモジュール２に接続され、タッチコントロールモジュール２上で物体によりマルチフィンガージェスチャ操作が行なわれると、タッチコントロールモジュール２の電圧などの条件変化に基づいてマルチフィンガージェスチャを検知し、信号に変換する。図４は、タッチコントロールモジュール２上でマルチフィンガージェスチャ操作が行なわれた状態を示す図である。図３および図４に示すように、マルチフィンガージェスチャＸは、軌跡Ａおよび軌跡Ｂからなる。軌跡Ａおよび軌跡Ｂは、人差し指および中指を同時に用いてタッチコントロールモジュール２に接触することにより、マルチフィンガージェスチャＸを完了する。
【００１４】
図３に示すように、分析モジュール３２は、センサーモジュール３１から信号として送信されたマルチフィンガージェスチャを受信して、そのマルチフィンガージェスチャを複数のジェスチャ要素に分解し、ジェスチャ要素に対応する複数の関連情報を解析する。
本実施形態においては、分析モジュール３２は、表１に示すジェスチャ要素に基づき、マルチフィンガージェスチャの構造を分解する。ただし、ジェスチャ要素は、これらに限定されるものではない。状況により必要なジェスチャ要素を加えてもよい。
表１は、操作する指のセンサーモジュール（タッチパッド等）での接触軌跡であるジェスチャ要素および軌跡コードを示す表である。図５は、タッチコントロールモジュール２上でもう１つのマルチフィンガージェスチャ操作が行なわれた状態を示す図である。図３、５および表１に示すように、例えば、タッチコントロールモジュール２にマルチフィンガージェスチャＹが入力されると、分析モジュール３２がマルチフィンガージェスチャＹを３つのジェスチャ要素Ｃ、Ｄ、Ｅ（それぞれ表１のLine_E、Line_SE、Line_SWに相当する）に分解する。分析モジュール３２は、ジェスチャ要素Ｃ、Ｄ、Ｅを分解解析した後、表１に基づき、ジェスチャ要素Ｃ、Ｄ、Ｅに対応する軌跡コードをそれぞれ導き出す。例えば、ジェスチャ要素Ｃ（Line_E）の軌跡コードは、１３で、ジェスチャ要素Ｄ（Line_SE）の軌跡コードは、１２で、ジェスチャ要素Ｅ（Line_SW）の軌跡コードは、１０である。
【００１５】
（  表１  ）
2009251965.tif 000003
【００１６】
また、マルチフィンガージェスチャＹの３つのジェスチャ要素Ｃ、Ｄ、Ｅは、ユーザによりタッチコントロールモジュール２の異なる位置において、異なる圧力および異なる速度で操作されて発生したもので、これらの位置、圧力および速度情報は、センサーモジュール３１により検知され、ジェスチャ要素Ｃ、Ｄ、Ｅに対応する関連情報となる。
【００１７】
出力モジュール３３は、分析モジュール３２が受信したジェスチャ要素Ｃ、Ｄ、Ｅの軌跡コードおよび対応する関連情報を情報機器のメインコントロールユニット４に出力する。
【００１８】
図６は、本発明の一実施形態によるマルチフィンガージェスチャコード方法を示す流れ図である。図５〜７に示すように、本発明のフィンガージェスチャコード方法が用いられた上記のジェスチャコードシステムは、ステップ５１、ステップ５２、ステップ５３およびステップ５４を含む。
ステップ５１において、センサーモジュール３１がタッチコントロールモジュール２上で操作されたマルチフィンガージェスチャを検知する。ステップ５２において、分析モジュール３２がマルチフィンガージェスチャＹをジェスチャ要素Ｃ、Ｄ、Ｅに分解する。ステップ５３において、分析モジュール３２が表１に基づき、ジェスチャ要素Ｃ、Ｄ、Ｅにそれぞれ対応する軌跡コードおよび関連情報を導き出す。ステップ５４において、出力モジュール３３が軌跡コードおよび関連情報をメインコントロールユニット４に出力する。
【００１９】
本発明の好適な実施形態で、本発明のマルチフィンガージェスチャコードシステムの優秀さを説明する。図７に示すように、情報機器は、タッチコントロールモジュール２、マルチフィンガージェスチャコードシステム３およびメインコントロールユニット４を含む。マルチフィンガージェスチャコードシステム３は、ジェスチャコードチップのハードウェアとして作製される。
【００２０】
メインコントロールユニット４は、変換モジュール４１を含み、応用プログラム４２を実行する。変換モジュール４１は、メインコントロールユニット４により実行されるプログラムで、応用プログラム４２は、音楽再生プログラムである。
【００２１】
タッチコントロールモジュール２がマルチフィンガージェスチャＹを入力されると、マルチフィンガージェスチャコードシステム３は、マルチフィンガージェスチャＹのプログラムを解析し始める。マルチフィンガージェスチャコードシステム３の処理後、ジェスチャ要素Ｃ、Ｄ、Ｅに対応する軌跡コード１３、１２、１０を出力する。
【００２２】
表２は、操作する指のセンサーモジュール(タッチパッド等）での軌跡を動作コードに変換する軌跡動作変換表である。メインコントロールユニット４の変換モジュール４１は、表２に示す軌跡動作変換表を有する。軌跡動作変換表には、複数の動作コード、および動作コードに対応し、これらの動作コードからなる複数の動作コード組合せがある。例えば、変換モジュール４１は、軌跡コード１３、１２、１０および対応する関連情報を受信すると、軌跡動作変換表に基づき、軌跡コード組合せが動作コードＰＬＡＹであることを確認する。
【００２３】
（  表２  ）
2009251965.tif 000004
【００２４】
このとき、メインコントロールユニット４の応用プログラム４２は、動作コードを受信すると、動作コードに対応して、対応する指定動作を実行する。表２に示すように、応用プログラム４２は、音楽再生プログラムであるため、応用プログラム４２が受信する動作コードがＰＬＡＹの場合、音楽を再生し、動作コードがＳＴＯＰの場合は、音楽を停止し、動作コードがＮＥＸＴの場合は、次の曲を再生し、動作コードがＰＲＥＶの場合は、前の曲を再生する。
【００２５】
メインコントロールユニット４が実行する応用プログラム４２は、変換モジュール４１の軌跡動作変換表を変更してもよく、本発明のマルチフィンガージェスチャコードシステム３に組合せると、非常にフレキシブルなマルチフィンガージェスチャ制御方式を得ることができる。ここで注意しなければならないのは、本実施形態は、変換モジュール４１を用いて軌跡コードを動作コードに変換して応用プログラム４２を制御するが、これに限定されるものではなく、応用プログラム４２も変換モジュール４１を介さずに、軌跡コードを設定して動作を実行してもよいことである。
【００２６】
本発明には、以下の３つの長所がある。第１に、マルチフィンガージェスチャを複数の軌跡コードに変換することは、複雑なマルチフィンガージェスチャを複数の簡潔なジェスチャ要素に分解することである。メインコントロールユニット４において、ソフトウェアの方式でマルチフィンガージェスチャコードシステムとしても、マルチフィンガージェスチャの複雑さによりメインコントロールユニット４のシステム資源を浪費することがない。
【００２７】
第２に、マルチフィンガージェスチャコードシステム３が独立したＩＣチップのハードウェアとして製作されると、メインコントロールユニット４が実行する応用プログラム４２は、動作コード（変換モジュール４１により提供される）または軌跡コードを受信するだけで、指定された動作を実行することができ、コストを掛け、余分なシステムを設けてマルチフィンガージェスチャを分析する必要がなく、メインコントロールユニット４の演算における負担を大幅に軽減させることができる。
【００２８】
第３に、情報機器のメインコントロールユニット４の変換モジュール４１の軌跡動作変換表は、マルチフィンガージェスチャコードシステム３の出力する軌跡コードを用い、応用プログラム４２の必要に応じて独自の軌跡動作変換表を作製することができる。これにより、どの応用プログラム４２も軌跡コードに基づき、独自のマルチフィンガージェスチャコントロール方式を作り出すことができ、効果的にシステムのフレキシビリティを向上させることができる。
【００２９】
本発明では好適な実施形態を前述の通りに開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知する者は誰でも、本発明の精神と領域を脱しない範囲内で各種の変更や修正を加えることができることは勿論である。
【図面の簡単な説明】
【００３０】
【図１】従来のタッチコントロールモジュールを備える情報機器を示すブロック図である。
【図２】従来のタッチコントロールモジュールを備えるもう１つの情報機器を示すブロック図である。
【図３】本発明の一実施形態によるマルチフィンガージェスチャコードシステムを示すブロック図である。
【図４】タッチコントロールモジュール上でマルチフィンガージェスチャ操作が行なわれた状態を示す図である。
【図５】タッチコントロールモジュール上でもう１つのマルチフィンガージェスチャ操作が行なわれた状態を示す図である。
【図６】本発明の一実施形態によるマルチフィンガージェスチャコード方法を示す流れ図である。
【図７】本発明の一実施形態によるマルチフィンガージェスチャコードシステムを用いた情報機器を示すブロック図である。
【符号の説明】
【００３１】
２  タッチコントロールモジュール
３  マルチフィンガージェスチャコードシステム
４  メインコントロールユニット
３１  センサーモジュール
３２  分析モジュール
３３  出力モジュール
４１  変換モジュール
４２  応用プログラム
Ａ  軌跡Ａ
Ｂ  軌跡Ｂ
Ｃ  ジェスチャ要素Ｃ
Ｄ  ジェスチャ要素Ｄ
Ｅ  ジェスチャ要素Ｅ
Ｘ  マルチフィンガージェスチャＸ
Ｙ  マルチフィンガージェスチャＹ
５１  ステップ５１
５２  ステップ５２
５３  ステップ５３
５４  ステップ５４
【図１】
2009251965.tif 000005
【図２】
2009251965.tif 000006
【図３】
2009251965.tif 000007
【図４】
2009251965.tif 000008
【図５】
2009251965.tif 000009
【図６】
2009251965.tif 000010
【図７】
2009251965.tif 000011