(57)【特許請求の範囲】
【請求項１】
タッチインタラクション処理方法であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するステップであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、受信するステップと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するステップであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、生成するステップと、
前記タッチ指示に対応するインタラクション処理を実行するステップと、
を有する方法。
【請求項２】
当該方法は更に、
前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信された前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とを継続的に受信し、前記タッチ指示を更新するステップを有する、請求項１記載の方法。
【請求項３】
前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む、請求項１記載の方法。
【請求項４】
当該方法は更に、
前記筋電図信号収集装置によって送信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とを持続的に受信し、前記タッチ指示を更新するステップを有する、請求項３記載の方法。
【請求項５】
当該方法は更に、
前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示を削除するステップを有する、請求項４記載の方法。
【請求項６】
タッチインタラクション処理方法であって、
筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
前記筋電図信号収集装置が、第１の情報を処理装置に送信するステップであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信するステップと、
を有する方法。
【請求項７】
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断するステップは、
前記筋電図信号収集装置が、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断するステップを含む、請求項６記載の方法。
【請求項８】
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するステップであって、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、判断するステップを更に有する、請求項６記載の方法。
【請求項９】
前記ユーザが前記タッチを実行した操作力を判断するステップは、
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用するステップを含む、請求項８記載の方法。
【請求項１０】
前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断するステップは、
前記ハンドジェスチャ及び前記操作力を取得した後、テーブルを検索することによって前記第１のタッチスタート時間を判断するステップであって、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶される、判断するステップと、
前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用するステップと、
を含む、請求項８記載の方法。
【請求項１１】
前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む、請求項６乃至１０何れか一項記載の方法。
【請求項１２】
処理装置であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュールであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュールと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュールであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、指示生成モジュールと、
前記タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュールと、
を有する処理装置。
【請求項１３】
前記指示生成モジュールは更に、
前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される、請求項１２記載の処理装置。
【請求項１４】
前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む、請求項１２記載の処理装置。
【請求項１５】
前記指示生成モジュールは更に、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される、請求項１４記載の処理装置。
【請求項１６】
前記指示生成モジュールは更に、
前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示が終了したと判断し、前記タッチ指示を削除するよう構成される、請求項１５記載の処理装置。
【請求項１７】
筋電図信号収集装置であって、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュールと、
前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュールであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、処理モジュールと、
第１の情報を処理装置に送信するよう構成される送信モジュールであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信モジュールと、
を有する収集装置。
【請求項１８】
処理モジュールが、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、
前記処理モジュールが、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断することを含む、請求項１７記載の収集装置。
【請求項１９】
前記処理モジュールは更に、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するよう構成され、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、請求項１７記載の収集装置。
【請求項２０】
前記処理モジュールが、前記ユーザが前記タッチを実行した操作力を判断することは、
前記処理モジュールが、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含む、請求項１９記載の収集装置。
【請求項２１】
前記処理装置が、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することは、
前記ハンドジェスチャ及び前記操作力を取得した後、前記処理モジュールが、テーブルを検索することによって前記第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶され、
前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用することを含む、請求項１９記載の収集装置。
【請求項２２】
前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む、請求項１７乃至２１何れか一項記載の収集装置。
【請求項２３】
タッチ処理システムであって、
位置キャプチャリング装置と、
請求項１２乃至１６何れか一項記載の処理装置と、
請求項１７乃至２２何れか一項記載の少なくとも１つの筋電図信号収集装置と、
を有し、
前記筋電図信号収集装置と前記位置キャプチャリング装置との双方は、前記処理装置に通信接続されるタッチ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、マンマシーンインタラクションの分野に関し、特にタッチインタラクション処理方法、装置及びシステムに関する。
【背景技術】
【０００２】
タッチ技術はマンマシーンインタラクションの重要な技術の１つであり、タッチポイントの数に応じてシングルタッチ技術とマルチタッチ技術に分類される。シングルタッチ技術は、毎回１本の指だけを使用して実行されるタップ又はタッチを識別し、サポートすることができる。マルチタッチ技術は、マルチタッチ及びマルチポイント検知技術とも呼ばれ、５本の指を同時に使用することによって実行されたタップ又はタッチ動作の識別及びサポートを実現するため、同時にマルチポイント信号を収集してジェスチャを識別することができる。タッチ操作は便利であって、自然であって、ユーザフレンドリであるため、タッチ操作は様々な分野に広く適用されている。
【０００３】
従来技術では、インタフェース上のタッチポイントを検出することによってタッチ命令が識別され、１つのタッチポイントはシングルタッチ操作を示し、複数のタッチポイントはマルチタッチ操作を示しているが、タッチ操作を実行するユーザと、タッチ操作を実行するのに使用される手及び指とは識別することはできない。１人のユーザが片手でマルチタッチ操作を実行するとき、指は識別できないため、少数のマルチタッチ指示しか識別できず、例えば、人差し指と親指を使用することによって実行された動きと、中指と親指を使用することによって実行された動きとの双方が、スケーリング操作として識別される。１人のユーザが両手でタッチ操作を実行するとき、左手と右手は識別できないため、混乱しやすいタッチ指示が容易に生じ、例えば、左手の１本の指と右手の１本の指の同時の動きは、片手の人差し指と親指を使用することによって実行されるスケーリング操作として誤って識別される。複数のユーザがタッチ操作を実行するとき、ユーザは識別できないため、複数のユーザが同時に同じ領域でタッチ操作を実行することは実現できない。
【０００４】
結論として、従来技術は以下の短所を有する。１人のユーザが両手でタッチ操作を実行するとき、又は、複数のユーザが同じ領域において同時にタッチ操作を実行するとき、混乱しやすいタッチ指示が容易に生じる。
【発明の概要】
【０００５】
本発明の実施例は、１人のユーザが両手でタッチ操作を実行し、又は複数のユーザが同じ領域においてタッチインタラクション操作を同時に実行することを実現するため、タッチインタラクション処理方法、装置及びシステムを提供する。
【０００６】
第１の態様によると、本発明の実施例は、タッチインタラクション処理方法であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するステップであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、受信するステップと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するステップであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、生成するステップと、
前記タッチ指示に対応するインタラクション処理を実行するステップと、
を有する方法を提供する。
【０００７】
第１の態様を参照して、第１の態様の第１の可能な実現方式では、当該方法は更に、
前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信された前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とを継続的に受信し、前記タッチ指示を更新するステップを有する。
【０００８】
第１の態様を参照して、第１の態様の第２の可能な実現方式では、前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む。
【０００９】
第１の態様の第２の可能な実現方式を参照して、第１の態様の第３の可能な実現方式では、当該方法は更に、前記筋電図信号収集装置によって送信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とを持続的に受信し、前記タッチ指示を更新するステップを有する。
【００１０】
第１の態様の第３の可能な実現方式を参照して、第１の態様の第４の可能な実現方式では、当該方法は更に、前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示を削除するステップを有する。
【００１１】
第２の態様によると、本発明の実施例は、タッチインタラクション処理方法であって、
筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
前記筋電図信号収集装置が、第１の情報を処理装置に送信するステップであって、前記処理装置は、位置キャプチャリング装置によって送信される前記第１の情報及び第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信するステップと、
を有する方法を提供する。
【００１２】
第２の態様を参照して、第２の態様の第１の可能な実現方式では、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断するステップは、前記筋電図信号収集装置が、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断するステップを含む。
【００１３】
第２の態様を参照して、第２の態様の第２の可能な実現方式では、当該方法は更に、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するステップであって、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、判断するステップを更に有する。
【００１４】
第２の態様の第２の可能な実現方式を参照して、第２の態様の第３の可能な実現方式では、前記ユーザが前記タッチを実行した操作力を判断するステップは、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用するステップを含む。
【００１５】
第２の態様の第２の可能な実現方式を参照して、第２の態様の第４の可能な実現方式では、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断するステップは、前記ハンドジェスチャ及び前記操作力を取得した後、テーブルを検索することによって前記第１のタッチスタート時間を判断するステップであって、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶される、判断するステップと、前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用するステップとを含む。
【００１６】
第２の態様又は第２の態様の第１〜４の可能な実現方式の何れか１つを参照して、第２の態様の第５の可能な実現方式では、前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む。
【００１７】
第３の態様によると、本発明の実施例は、処理装置であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュールであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュールと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュールであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、指示生成モジュールと、
前記タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュールと、
を有する処理装置を提供する。
【００１８】
第３の態様を参照して、第３の態様の第１の可能な実現方式では、前記指示生成モジュールは更に、前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される。
【００１９】
第３の態様を参照して、第３の態様の第２の可能な実現方式では、前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む。
【００２０】
第３の態様の第２の可能な実現方式を参照して、第３の態様の第３の可能な実現方式では、前記指示生成モジュールは更に、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される。
【００２１】
第３の態様の第３の可能な実現方式を参照して、第３の態様の第４の可能な実現方式では、前記指示生成モジュールは更に、前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示が終了したと判断し、前記タッチ指示を削除するよう構成される。
【００２２】
第４の態様によると、本発明の実施例は、筋電図信号収集装置であって、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュールと、
前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュールであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、処理モジュールと、
第１の情報を処理装置に送信するよう構成される送信モジュールであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信モジュールと、
を有する収集装置を提供する。
【００２３】
第４の態様を参照して、第４の態様の第１の可能な実現方式では、処理モジュールが、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、前記処理モジュールが、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断することを含む。
【００２４】
第４の態様を参照して、第４の態様の第２の可能な実現方式では、前記処理モジュールは更に、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するよう構成され、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである。
【００２５】
第４の態様の第２の可能な実現方式を参照して、第４の態様の第３の可能な実現方式では、前記処理モジュールが、前記ユーザが前記タッチを実行した操作力を判断することは、前記処理モジュールが、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含む。
【００２６】
第４の態様の第３の可能な実現方式を参照して、第４の態様の第４の可能な実現方式では、前記処理装置が、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力を取得した後、前記処理モジュールが、テーブルを検索することによって前記第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶され、前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用することを含む。
【００２７】
第４の態様又は第４の態様の第１〜４の可能な実現方式の何れか１つを参照して、第４の態様の第５の可能な実現方式では、前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む。
【００２８】
第５の態様によると、本発明の実施例は、タッチ処理システムであって、位置キャプチャリング装置と、第３の態様又は第３の態様の第１〜４の可能な実現方式の何れか１つによる処理装置と、第４の態様又は第４の態様の第１〜５の可能な実現方式の何れか１つによる少なくとも１つの筋電図信号収集装置とを有し、前記筋電図信号収集装置と前記位置キャプチャリング装置との双方は、前記処理装置に通信接続されるタッチ処理システムを提供する。
【００２９】
本発明の実施例において提供されるタッチインタラクション処理方法、装置及びシステムによると、タッチ指示は、筋電図信号収集装置によって送信される第１の情報と、位置キャプチャリング装置によって送信される第２の情報とに従って生成され、対応するインタラクション処理が実行される。筋電図信号収集装置に対応する装置識別子が、異なるユーザによって実行されるタッチ操作の１つと、左手と右手とを使用することによって同一ユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱しやすいタッチ指示を生じさせることなく、１人のユーザが両手によりタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現される。
【図面の簡単な説明】
【００３０】
本発明の実施例又は従来技術における技術的解決策をより明確に説明するため、以下は、実施例又は従来技術を説明するのに必要な添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は本発明のいくつかの実施例を示し、当業者は、創作的な努力なく、これらの添付図面から他の図面を依然として導出してもよい。
【図１】図１は、本発明によるタッチインタラクション処理方法の第１実施例のフローチャートである。
【図２】図２は、本発明によるタッチインタラクション処理方法の第２実施例のフローチャートである。
【図３】図３は、本発明による処理装置の第１実施例の概略的な構成図である。
【図４】図４は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。
【図５】図５は、本発明によるタッチ処理システムの第１実施例の概略的な構成図である。
【図６】図６は、本発明による処理装置の第１実施例の概略的な構成図である。
【図７】図７は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。
【図８】図８は、本発明によるタッチ処理システムの第２実施例の概略的な構成図である。
【発明を実施するための形態】
【００３１】
本発明の実施例の課題、技術的解決策及び効果をより明確にするため、以下は、本発明の実施例における添付図面を参照して、本発明の実施例における技術的解決策を明確且つ完全に説明する。明らかに、説明される実施例は本発明の実施例の全てでなく一部である。創作的な努力なく本発明の実施例に基づき当業者により取得される他の全ての実施例は、本発明の保護範囲内に属する。
【００３２】
図１は、本発明によるタッチインタラクション処理方法の第１実施例のフローチャートである。タッチインタラクション処理方法は、チップ又はモバイル端末などの処理装置によって実行されてもよい。処理装置は処理装置に統合されてもよく、処理装置は、モバイル端末、コンピュータ、サーバなどであってもよく、チップは、モバイル端末、コンピュータなどに統合されてもよい。処理装置及び処理装置は、本発明の本実施例において限定されない記憶又は計算機能を有する装置及び何れかの装置であってもよい。図１に示されるように、タッチインタラクション処理方法は以下を含むものであってもよい。
【００３３】
ステップ１０１：筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信する。
【００３４】
第１の情報は、筋電図（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃ、略してＥＭＧ）信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
【００３５】
本実施例では、筋電図信号収集装置と位置キャプチャリング装置は、同一のタッチ操作領域におけるユーザのタッチ操作イベントを別々に識別してもよい。筋電図信号収集装置は、マルチチャネル表面筋電図（ｓｕｒｆａｃｅ  ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃ、略してｓＥＭＧ）信号を収集可能な何れかの装置であってもよいことに留意すべきである。好ましくは、筋電図信号収集装置は、ユーザの腕に配置され、位置キャプチャリング装置は、ユーザのタッチ操作を識別可能な何れかの装置であってもよい。筋電図信号収集装置によって識別されるユーザのタッチ操作イベントは、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義されてもよい。位置キャプチャリング装置によって識別されるユーザのタッチ操作イベントは、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓとして定義されてもよい。筋電タッチイベントＴｏｕｃｈ＿ＥＭＧは、それぞれ筋電図信号収集装置の装置識別子（ｄｅｖｉｃｅ  ＩＤ）、ユーザがタッチを実行するハンドジェスチャ（Ｇ）、及び第１のタッチスタート時間（Ｔ１）である３つのパラメータを含む。トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓは、それぞれユーザがタッチを実行したタッチポイントの数（Ｎ２）、第２のタッチスタート時間（Ｔ２）、及び各タッチポイントの座標情報（Ｌ）である３つのパラメータを含む。
【００３６】
装置ＩＤは、筋電図信号収集装置を一意的に区別するために使用されてもよい。装置ＩＤは、数字、文字又は他の何れかの形式であってもよく、本発明の本実施例では限定されない。例えば、２人のユーザが同時にタッチ操作を実行し、ユーザＡが左手と右手の両方を用いてタッチ操作を実行し、ユーザＢが右手のみを用いてタッチ操作を実行するとき、筋電図信号収集装置は、ユーザの各腕に配置される必要がある。装置ＩＤ２１０を有する筋電図信号収集装置は、ユーザＡの左手のマルチチャネル表面筋電図信号を収集し、装置ＩＤ２１１を有する筋電図信号収集装置は、ユーザＡの右手のマルチチャネル表面筋電図信号を収集し、装置ＩＤ２２０を有する筋電図信号収集装置は、ユーザＢの右手のマルチチャネル表面筋電図信号を収集する。装置ＩＤ２１０、装置ＩＤ２１１及び装置ＩＤ２２０は、異なる筋電図信号収集装置を一意的に区別するのに利用されてもよいため、左手を利用することによってユーザＡによって実行されるタッチ操作、右手を利用することによってユーザＡによって実行されるタッチ操作、及び右手を利用することによってユーザＢによって実行されるタッチ操作が識別されてもよい。従って、筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を用いることによって同一のユーザによって実行されるタッチ操作とを区別するのに利用可能であり、これにより、混同しうるタッチ操作を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域においてタッチ操作を同時に実行することが実現できる。
【００３７】
ユーザがタッチを実行するハンドジェスチャＧは、片手の１本の指のハンドジェスチャであってもよいし、又は片手の複数の指のハンドジェスチャであってもよい。タッチポイントの対応する数（Ｎ１）は、ハンドジェスチャＧに従って決定されてもよい。例えば、片手の１本の指のハンドジェスチャは、親指、人差し指又は薬指のハンドジェスチャであってもよく、この場合、ハンドジェスチャＧに対応するタッチポイントの数Ｎ１は１であり、片手の複数の指のハンドジェスチャは人差し指と薬指の組み合わせのハンドジェスチャであってもよく、この場合、ハンドジェスチャＧに対応するタッチポイントの数Ｎ１は２である。任意的に、筋電図信号収集装置は、ハンドジェスチャセットを予め定義し、当該セットにおけるハンドジェスチャのみが識別可能である。セットにおけるハンドジェスチャは、当該技術分野において一般的なハンドジェスチャを含むことができ、又は所定の新しいハンドジェスチャであってもよく、本発明の本実施形態では限定されない。
【００３８】
第１のタッチスタート時間Ｔ１は、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧのスタート時間を表し、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間Ｔ２は、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓのスタート時間を表し、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
【００３９】
各タッチポイントの座標情報Ｌは、タッチ領域において位置キャプチャリング装置によって識別されるＮ２個のタッチポイントの位置座標を表し、Ｌ＝｛ｌ１，ｌ２，．．．，ｌＮ２｝であり、ここで、ｌｉ（ｉ＝１，２，．．．，Ｎ２）は、位置キャプチャリング装置によって識別される各タッチポイントの２次元座標を表す。
【００４０】
ステップ１０３：第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。
【００４１】
所定の閾値Ｔ＿ｔｈは、必要に応じて設定されてもよい。
【００４２】
具体的には、筋電図信号収集装置によって識別される筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおける第１のタッチスタート時間Ｔ１と、位置キャプチャリング装置によって識別されるトラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓにおける第２のタッチスタート時間Ｔ２との間の時間差Ｔ＿ｇａｐは、｜Ｔ１−Ｔ２｜に等しい。時間差Ｔ＿ｇａｐが所定の閾値Ｔ＿ｔｈ未満であり、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおけるハンドジェスチャＧに対応するタッチポイントの数Ｎ１が、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓにおいてユーザがタッチを実行したタッチポイントの数Ｎ２と同じであるとき、すなわち、Ｔ＿ｇａｐ＝｜Ｔ１−Ｔ２｜＜Ｔ＿ｔｈであって、Ｎ１＝Ｎ２であるとき、それは、筋電図信号収集装置によって識別された筋電タッチイベントＴｏｕｃｈ＿ＥＭＧと、位置キャプチャリング装置によって識別されたトラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓとが、同じタッチ操作イベントであることを示し、タッチ操作に応じてタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよい。タッチ指示Ｔｏｕｃｈ＿ｅｆｆは、それぞれ筋電図信号収集装置の装置識別子（ｄｅｖｉｃｅ  ＩＤ）、ユーザがタッチを実行したハンドジェスチャ（Ｇ）、及び各タッチポイントの座標情報（Ｌ）である３つのパラメータを含む。
【００４３】
任意的には、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは、選択、移動、スケーリング又は回転などの一般的なタッチ指示であってもよいし、又はユーザにより定義されたライン描画又はボリューム調整などの新しく追加されたタッチ指示であってもよく、本発明の本実施例では限定されない。
【００４４】
ステップ１０５：タッチ指示に対応するインタラクション処理を実行する。
【００４５】
具体的には、タッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成された後、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに対応するインタラクション処理が実行される。
【００４６】
なお、タッチ指示Ｔｏｕｃｈ＿ｅｆｆはハンドジェスチャＧを含み、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに含まれる情報を充実させるため、追加的な特徴がハンドジェスチャＧについて定義されてもよいことが留意されるべきである。例えば、ハンドジェスチャＧが片手の１本の指のジェスチャであるとき、異なる指に従って異なるタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよく、親指がオブジェクトパニングを表し、人差し指がタッピングによる選択を表すなどが定義されてもよく、ハンドジェスチャＧが片手の１本の指のジェスチャであり、生成されたタッチ指示がライン描画であるとき、異なる指が異なる色又はラインタイプを表すことが定義されてもよいし、又は、ハンドジェスチャＧが片手の複数の指のジェスチャであるとき、異なる指の組み合わせに従って異なるタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよく、親指プラス人差し指がスケーリングを表し、親指プラス薬指が明るさ調整を表し、人差し指プラス薬指がボリューム調整を表すなどが定義されてもよい。ハンドジェスチャＧの具体的な定義は、本発明の本実施例では限定されない。
【００４７】
さらに、ステップ１０５の後、当該方法は更に以下を含んでもよい。
【００４８】
ステップ１０７：ユーザがタッチを実行し、筋電図信号収集装置によって送信されたハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とを継続的に受信し、タッチ指示を更新する。
【００４９】
本発明の本実施例において提供されるタッチインタラクション処理方法によると、タッチ指示が、筋電図信号収集装置によって送信される第１の情報と、位置キャプチャリング装置によって送信される第２の情報とに従って生成され、対応するインタラクション処理が実行される。筋電図信号収集装置の装置識別子は異なるユーザにより実行されるタッチ操作の１つと、左手と右手とを使用することによって同一のユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱させるタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現可能である。
【００５０】
任意的には、上記の実施例では、第１の情報は更に、ユーザがタッチを実行する操作力を含み、タッチ指示は更に操作力を含む。
【００５１】
ユーザがタッチ操作を実行する操作力（Ｓ）は、ユーザがタッチを実行したハンドジェスチャＧに対応し、ユーザがタッチ操作を実行した操作力のレベルを表す。有効なタッチ操作は操作力が必要であると理解されてもよく、操作力が過度に軽い場合、タッチ操作はタッチ領域において偶然にユーザによって実行されたタッチであり、有効なタッチ操作ではないことが理解されうる。任意的に、筋電図信号収集装置は、各ハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）を予め定義する。ハンドジェスチャＧに対応する操作力Ｓが、ハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きいとき、ハンドジェスチャＧは有効なハンドジェスチャであると考えられ、タッチ操作は筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義される。第１の所定の閾値Ｓ＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。
【００５２】
なお、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは操作力Ｓを含んでもよく、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに含まれる情報を充実させるため、操作指示Ｓについて追加的な特徴が定義されてもよい。例えば、生成されたタッチ指示Ｔｏｕｃｈ＿ｅｆｆがライン描画であるとき、操作力Ｓの値はラインの幅を表すことが定義されてもよく、生成されたタッチ指示Ｔｏｕｃｈ＿ｅｆｆがボリューム調整であるとき、操作力Ｓの値はボリュームの値を表すことが定義されてもよい。操作力Ｓの具体的な定義は、本発明の本実施例では限定されない。
【００５３】
さらに、上記の実施例では、ステップ１０５の後、当該方法は更に以下を含んでもよい。
【００５４】
ステップ１０９：筋電図信号収集装置によって送信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とを持続的に受信し、タッチ指示を更新する。
【００５５】
ステップ１１１：操作力が第２の所定の閾値未満であると判断された場合、タッチ指示を削除する。
【００５６】
処理装置は、各ハンドジェスチャＧに対応する第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）を予め定義してもよい。ハンドジェスチャＧに対応する操作力Ｓが、ハンドジェスチャＧに対応する第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）未満であるとき、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは終了したと考えられ、タッチ指示Ｔｏｕｃｈ＿ｅｆｆが削除される。第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。
【００５７】
任意的に、ステップ１１１は、ステップ１０９の前に実行されてもよい。
【００５８】
任意的に、上記の実施例では、当該方法は更に、タッチ指示を記憶するため、タッチ指示リストを維持することを含んでもよい。新しいタッチ指示が生成されると、当該タッチ指示はタッチ指示リストに追加され、タッチ指示が終了したと判断されると、タッチ指示リストからタッチ指示は削除される。
【００５９】
図２は、本発明によるタッチインタラクション処理方法の第２実施例のフローチャートである。タッチインタラクション処理方法は、筋電図信号収集装置、例えば、複数の筋電図信号収集電極プレート、又はリストストラップ型の筋電図信号収集装置によって実行されてもよい。筋電図信号収集装置は、本発明の本実施例では限定されないマルチチャネル表面筋電図信号を収集することができる何れかの装置であってもよい。本実施例では、筋電図信号収集装置は、ユーザのタッチ操作イベントを識別し、ユーザのタッチ操作イベントを筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義してもよい。図２に示されるように、タッチインタラクション処理方法は以下を含むものであってもよい。
【００６０】
ステップ２０１：筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集する。
【００６１】
筋電図信号収集装置は、表面筋電図信号を収集することができる複数の電極を含んでもよく、各電極は、１つのチャネルから表面筋電図信号を収集する。ユーザがマルチタッチ操作を実行すると、筋電図信号収集装置は、複数のチャネルから周期的に表面筋電図信号Ｓ１を収集する。収集期間は、必要に応じて設定されてもよい。任意的に、前処理が、複数のチャネルからの表面筋電図信号Ｓ１に対して実行されてもよい。前処理は、複数のチャネルから収集された表面筋電図信号Ｓ１に対して、信号増幅処理、電力周波数干渉及びトラッピング処理、フィルタリング処理などを実行することを含むものであってもよい。
【００６２】
好ましくは、筋電図信号収集装置は、ユーザの腕に配置されてもよい。ユーザの左手と右手の両方がタッチ操作を実行するのに使用される場合、筋電図信号収集装置は、各腕に配置される必要がある。各筋電図信号収集装置は、筋電図信号収集装置に対応する装置識別子（ｄｅｖｉｃｅ  ＩＤ）を有する。装置ＩＤは、筋電図信号収集装置を一意的に区別するのに使用されてもよい。装置ＩＤは、数字、文字又は他の形式であってもよく、本発明の本実施例では限定されない。ユーザがマルチタッチ操作を実行すると、筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手とを使用して同じユーザによって実行されるタッチ操作とを区別するのに利用可能であり、これにより、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが混乱するタッチ操作を生じさせることなく同じ領域においてタッチ操作を同時に実行することが実現可能である。
【００６３】
ステップ２０３：筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断する。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。
【００６４】
任意的には、筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行するハンドジェスチャ（Ｇ）を判断することは、具体的には以下を含んでもよい。
【００６５】
筋電図信号収集装置は、ハンドジェスチャのタイプに基づき、表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャＧを判断する。具体的には、ハンドジェスチャＧのタイプは、線形判別分析（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ、略してＬＤＡ）アルゴリズム又はサポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、略してＳＶＭ）アルゴリズムを使用することによって決定される。ハンドジェスチャのタイプを判断する方法は、本発明の本実施例では限定されない。
【００６６】
ハンドジェスチャＧのタイプは、片手の１本の指のハンドジェスチャであってもよいし、又は、片手の複数の指のハンドジェスチャであってもよい。ハンドジェスチャＧの各タイプは、ハンドジェスチャＧのタイプに対応するタッチポイントの数Ｎ１を有する。例えば、片手の親指のジェスチャに対応するタッチポイントの数Ｎ１は１であり、片手のものある人差し指と薬指の組み合わせのジェスチャに対応するタッチポイントの数Ｎ１は２である。ハンドジェスチャＧのタイプは、本発明の本実施例では限定されない。任意的には、ハンドジェスチャを識別するため、ハンドジェスチャセットが予め定義され、当該セットにおけるハンドジェスチャのみが識別可能である。セットにおけるハンドジェスチャは、当該技術分野において一般的なハンドジェスチャを含むものであってもよいし、又は、予め定義された新たなハンドジェスチャであってもよく、本発明の本実施例では限定されない。
【００６７】
任意的には、ハンドジェスチャＧによる第１のタッチスタート時間（Ｔ１）の決定は、具体的には、ハンドジェスチャＧを取得した後、筋電図信号収集装置は、タッチ操作を筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義し、現在のシステム時間を取得し、現在のシステム時間を筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおける第１のタッチスタート時間Ｔ１として使用する。
【００６８】
ステップ２０５：筋電図信号収集装置が、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
【００６９】
本発明の本実施例において提供されるタッチインタラクション処理方法によると、筋電図信号収集装置は、複数のチャネルから表面筋電図信号を周期的に収集し、タッチ操作のハンドジェスチャを判断し、ハンドジェスチャに従って第１のタッチスタート時間を判断する。筋電図信号収集装置は、装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。筋電図信号収集装置の装置識別子は異なるユーザにより実行されるタッチ操作の１つと、左手と右手とを使用することによって同一のユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱させるタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現可能である。
【００７０】
任意的には、上記の実施例では、当該方法は更に、筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断することを含むものであってもよい。第１の情報は更に操作力を含む。ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
【００７１】
任意的には、ユーザがタッチを実行した操作力（Ｓ）を判断することは、具体的には、
筋電図信号収集装置が、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
【００７２】
スライディング時間ウィンドウは、スライディング時間ウィンドウの幅Ｉと、スライディング時間ウィンドウのスライディングステップＪとを含む。パラメータの値は、必要に応じて設定されてもよい。任意的には、スライディング時間ウィンドウは、スライディング時間ウィンドウの計算回数Ｋをさらに含んでもよく、ここで、Ｋは１より大きい整数である。スライディング時間ウィンドウの幅Ｉは、シングルチャネル筋電図信号Ｓ２のＩ値に対して平均化を実行することによって、平均振幅Ｚ１を取得することを表す。スライディング時間ウィンドウのスライディングステップＪは、一定時間間隔Ｊでシングルチャネル筋電図信号Ｓ２のＩ値の平均振幅を計算することを表す。スライディング時間ウィンドウの計算回数Ｋは、Ｋ個の計算結果に対して平均化を実行することによって平均振幅Ｚ２を取得することを表す。平均振幅Ｚ１又は平均振幅Ｚ２は、操作力Ｓとして利用されてもよい。例えば、Ｉが５秒であり、Ｊが１秒であり、Ｋが３であることが設定される。スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用する具体的なステップは、５秒でシングルチャネル筋電図信号Ｓ２の平均振幅Ｚ１を計算し、毎秒平均振幅Ｚ１を計算し、３つの連続する平均振幅Ｚ１に対して平均化を実行することによって平均振幅Ｚ２を取得し、操作力Ｓとして平均振幅Ｚ２を使用することである。
【００７３】
任意的には、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、具体的には、
ハンドジェスチャＧ及び操作力Ｓを取得した後、テーブルを検索することによって第１のタッチスタート時間Ｔ１を判断し、ここで、各ハンドジェスチャＧに対応する操作力の第１の所定の閾値Ｓ＿ｔｈ（Ｇ）はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力Ｓが第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間Ｔ１として現在のシステム時間を使用することを含むものであってもよい。
【００７４】
予め定義されたハンドジェスチャセットにおいて、各ハンドジェスチャＧについて対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）が予め定義される。第１の所定の閾値Ｓ＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。ハンドジェスチャＧ及び対応する操作力Ｓが取得された後、操作力ＳがハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きい、すなわち、Ｓ＞Ｓ＿ｔｈ（Ｇ）であると判断された場合、タッチ操作は有効なタッチ操作であると考えられ、タッチ操作は筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義され、現在のシステム時間が取得され、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧの第１のタッチスタート時間Ｔ１として使用される。
【００７５】
任意的には、上記の実施例では、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含む。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行する操作力を含むものであってもよい。
【００７６】
なお、タッチ指示はハンドジェスチャＧを含み、タッチ指示に含まれる情報を充実させるため、ハンドジェスチャＧに対して追加的な特徴が定義されてもよいことが留意されるべきである。例えば、ハンドジェスチャが片手の１本の指のジェスチャであるとき、異なるタッチ指示が異なる指に従って生成されてもよく、親指がオブジェクトパニングを表し、人差し指がタッピングによる選択を表すなどが定義されてもよく、ハンドジェスチャが片手の１本の指のジェスチャであり、生成されたタッチ指示がライン描画であるとき、異なる指が異なる色又はラインタイプを表すことが定義されてもよいし、又はハンドジェスチャが片手の複数の指のジェスチャであるとき、異なるタッチ指示が異なる指の組み合わせに従って生成されてもよく、親指プラス人差し指がスケーリングを表し、人差し指プラス薬指がボリューム調整を表し、親指プラス薬指が明るさ調整を表すことが定義されてもよい。ハンドジェスチャＧの具体的な定義は、本発明の本実施例では限定されない。
【００７７】
なお、タッチ指示は更に操作力Ｓを含んでもよく、タッチ指示に含まれる情報を充実させるため、操作力Ｓについて追加的な特徴が定義されてもよいことが留意されるべきである。例えば、生成されたタッチ指示がライン描画であるとき、操作力の値がラインの幅を表し、生成されたタッチ指示がボリューム調整であるとき、操作力の値がボリュームの値を表すことが定義されてもよい。操作力Ｓの具体的な定義は、本発明の本実施例では限定されない。
【００７８】
図３は、本発明による処理装置の第１実施例の概略的な構成図である。図３に示されるように、処理装置は、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュール１１であって、第１の情報は、筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間であり、第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュール１１と、
第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュール１３であって、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む、指示生成モジュール１３と、
タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュール１５と、を有してもよい。
【００７９】
さらに、指示生成モジュール１３は更に、ユーザがタッチを実行し、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信されるハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成される。
【００８０】
任意的には、第１の情報は更に、ユーザがタッチを実行する操作力を含んでもよく、タッチ指示は更に操作力を含んでもよい。
【００８１】
任意的には、指示生成モジュール１３は更に、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成される。
【００８２】
任意的には、指示生成モジュール１３は更に、操作力が第２の所定の閾値未満であると判断された場合、タッチ指示が終了したと判断し、タッチ指示を削除するよう構成される。
【００８３】
任意的に、筋電図信号収集装置は更に、タッチ指示リストを維持するよう構成され、タッチ指示を記憶するよう構成される記憶モジュール１７を含んでもよい。
【００８４】
なお、処理装置の形態は本発明の本実施例では限定されないことが留意されるべきである。処理装置は、チップ、スマートフォン、コンピュータ、サーバなどであってもよく、計算又は記憶能力を有する他の装置であってもよい。
【００８５】
本発明の本実施例において提供される処理装置によると、情報受信モジュールは、筋電図信号収集装置によって送信された第１の情報と、位置キャプチャ装置によって送信された第２の情報とを受信し、指示生成モジュールはタッチ指示を生成し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含み、指示実行モジュールは、タッチ指示に対応するインタラクション処理を実行する。筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するために使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
【００８６】
図４は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。図４に示されるように、筋電図信号収集装置は、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュール２１と、
表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュール２３であって、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である、処理モジュール２３と、
第１の情報を処理装置に送信するよう構成される送信モジュール２５であって、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する送信モジュール２５とを有してもよい。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
【００８７】
任意的には、処理モジュール２３が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、処理モジュール２３が、ハンドジェスチャのタイプに基づき表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャを判断することを含む。
【００８８】
任意的には、処理モジュール２３は更に、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断するよう構成されてもよい。第１の情報は更に操作力を含む。従って、ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
【００８９】
任意的には、処理モジュール２３が、ユーザがタッチを実行した操作力を判断することは、処理モジュール２３が、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
【００９０】
任意的には、処理モジュール２３が、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力を取得した後、処理モジュール２３が、テーブルを検索することによって第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力が第１の所定の閾値より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間として現在のシステム時間を使用することを含むものであってもよい。
【００９１】
任意的には、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含むものであってもよい。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行した操作力を含むものであってもよい。
【００９２】
なお、筋電図信号収集装置の形態は本発明の本実施例に限定されないことが留意されるべきである。筋電図信号収集装置は、リストストラップ又は腕時計などのウェアラブル装置の形態であってもよく、表面筋電図信号を収集することが可能な複数の電極であってもよい。
【００９３】
本発明の本実施例において提供される筋電図信号収集装置によると、収集モジュールが、複数のチャネルから表面筋電図信号Ｓ１を収集し、処理モジュールが、ユーザがタッチを実行したハンドジェスチャ及び第１のタッチスタート時間を決定し、送信モジュールが、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置に対応する装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するのに使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行したり、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
【００９４】
図５は、本発明によるタッチ処理システムの第１実施例の概略的な構成図である。図５に示されるように、タッチ処理システムは、位置キャプチャリング装置１０５、処理装置１０３及び少なくとも１つの筋電図信号収集装置１０１を含んでもよい。位置キャプチャリング装置１０５は、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得可能な何れか既存の装置であってもよい。処理装置１０３は、図３における装置の実施例の構成を使用してもよく、従って、図１における方法の実施例の技術的解決策を実行してもよい。筋電図信号収集装置１０１は、図４における装置の実施例の構成を使用してもよく、従って、図２における方法の実施例の技術的解決策を実行してもよい。
【００９５】
筋電図信号収集装置１０１及び位置キャプチャリング装置１０５の双方は、処理装置１０３に通信可能に接続される。筋電図信号収集装置１０１及び位置キャプチャリング装置１０５は、有線ネットワーク、無線ネットワーク、ブルートゥース、ＷｉＦｉなどを使用することによって、処理装置１０３と別々に通信してもよい。
【００９６】
任意的には、位置キャプチャリング装置１０５は、容量検知モジュール１０３１、赤外線検知モジュール１０３３及び超音波検知モジュール１０３５を含んでもよい。容量検知モジュール１０３１は、容量タッチスクリーンを使用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。赤外線検知モジュール１０３３は、赤外線タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。超音波検知モジュール１０３５は、超音波タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。
【００９７】
任意的には、位置キャプチャリング装置１０５及び処理装置１０３は、統合されていてもよいし、独立に配置されてもよい。
【００９８】
任意的には、タッチ処理システムは更に、タッチ指示の実行結果を表示するよう構成されるユーザフィードバック装置１０７を有してもよく、例えば、ユーザフィードバック装置１０７は、ＬＥＤ表示画面、プロジェクタ表示装置、ラウドスピーカ又は触覚フィードバック装置である。任意的には、ユーザフィードバック装置１０７は、表示モジュール１０７１、音声モジュール１０７３及び触覚フィードバックモジュール１０７５を含んでもよい。
【００９９】
なお、本発明の本実施例において提供されるタッチ処理システムは、タッチ携帯電話又はタッチコンピュータなどの従来の電子タッチ装置に適用されてもよいし、又は教育、企業オフィス、エンターテイメント及び広告ディスプレイなどの複数の分野に適用されてもよいことが留意されるべきであり、例えば、机のデスクトップは美術教育に使用され、机のデスクトップは絵画用紙として使用され、指は絵画ペンとして使用され、また、複数の生徒は絵画用紙上で１つの絵を完成させる。
【０１００】
図６は、本発明による処理装置の第１実施例の概略的な構成図である。図６に示されるように、処理装置は、受信機３１、第１のメモリ３３及びプロセッサ３５を有してもよく、ここで、受信機３１及び第１のメモリ３３は、バスを使用することによってプロセッサ３５に別々に接続される。
【０１０１】
受信機３１は、筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される。第１の情報は、筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
【０１０２】
第１のメモリ３３は、指示を記憶するよう構成される。
【０１０３】
プロセッサ３５は、以下のステップを実行するため、第１のメモリ３３に記憶された指示を実行するよう構成される。
【０１０４】
第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含み、
タッチ指示に対応するインタラクション処理を実行する。
【０１０５】
任意的には、プロセッサ３５は更に、以下の、ユーザがタッチを実行し、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信されるハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とに従って、タッチ指示を更新するステップを実行するよう構成されてもよい。
【０１０６】
任意的には、第１の情報は更に、ユーザがタッチを実行する操作力を含んでもよく、タッチ指示は更に操作力を含んでもよい。
【０１０７】
任意的には、プロセッサ３５は更に、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成されてもよい。
【０１０８】
任意的には、プロセッサ３５は更に、操作力が第２の所定の閾値未満であると判断された場合、タッチ指示が終了したと判断し、タッチ指示を削除するよう構成されてもよい。
【０１０９】
任意的には、処理装置は更に、タッチ指示リストを維持するよう構成される第２のメモリ３７を有してもよく、タッチ指示はタッチ指示リストに記憶される。第２のメモリ３７は、バスを使用することによってプロセッサ３５に接続される。
【０１１０】
なお、処理装置の形態は本発明の本実施例では限定されないことが留意されるべきである。処理装置は、チップ、スマートフォン、コンピュータ、サーバなどであってもよく、計算又は記憶能力を有する他の装置であってもよい。
【０１１１】
本発明の本実施例において提供される処理装置によると、受信機は、筋電図信号収集装置によって送信された第１の情報と、位置キャプチャ装置によって送信された第２の情報とを受信し、プロセッサはタッチ指示を生成し、タッチ指示に対応するインタラクション処理を実行し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するために使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
【０１１２】
図７は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。図７に示されるように、筋電図信号収集装置は、プロセッサ４１、送信機４３及び第３のメモリ４５を有してもよく、ここで、送信機４３及び第３のメモリ４５は、バスを使用することによってプロセッサ４１に別々に接続される。
【０１１３】
第３のメモリ４５は、指示を記憶するよう構成される。
【０１１４】
プロセッサ４１は、以下のステップを実行するため、第３のメモリ４５に記憶される指示を実行するよう構成され、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
である。
【０１１５】
任意的には、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、ハンドジェスチャのタイプに基づき表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャを判断することを含むものであってもよい。
【０１１６】
送信機４３は、第１の情報を処理装置に送信するよう構成され、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
【０１１７】
任意的には、プロセッサ４１は更に、以下の、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断するステップを実行するよう構成されてもよい。第１の情報は更に操作力を含む。従って、ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
【０１１８】
任意的には、ユーザがタッチを実行した操作力を判断することは、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
【０１１９】
任意的には、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力を取得した後、テーブルを検索することによって第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力が第１の所定の閾値より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間として現在のシステム時間を使用することを含むものであってもよい。
【０１２０】
任意的には、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含むものであってもよい。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行した操作力を含むものであってもよい。
【０１２１】
なお、筋電図信号収集装置の形態は本発明の本実施例に限定されないことが留意されるべきである。筋電図信号収集装置は、リストストラップ又は腕時計などのウェアラブル装置の形態であってもよく、表面筋電図信号を収集することが可能な複数の電極であってもよい。
【０１２２】
本発明の本実施例において提供される筋電図信号収集装置によると、プロセッサが、複数のチャネルから表面筋電図信号Ｓ１を収集し、ユーザがタッチを実行したハンドジェスチャ及び第１のタッチスタート時間を決定し、送信機が、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置に対応する装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するのに使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行したり、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
【０１２３】
図８は、本発明によるタッチ処理システムの第２実施例の概略的な構成図である。図８に示されるように、タッチ処理システムは、位置キャプチャリング装置２０５、処理装置２０３及び少なくとも１つの筋電図信号収集装置２０１を含んでもよい。位置キャプチャリング装置２０５は、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得可能な何れか既存の装置であってもよい。処理装置２０３は、図６における装置の実施例の構成を使用してもよく、従って、図１における方法の実施例の技術的解決策を実行してもよい。筋電図信号収集装置２０１は、図７における装置の実施例の構成を使用してもよく、従って、図２における方法の実施例の技術的解決策を実行してもよい。
【０１２４】
筋電図信号収集装置２０１及び位置キャプチャリング装置２０５の双方は、処理装置２０３に通信可能に接続される。筋電図信号収集装置２０１及び位置キャプチャリング装置２０５は、有線ネットワーク、無線ネットワーク、ブルートゥース、ＷｉＦｉなどを使用することによって、処理装置２０３と別々に通信してもよい。
【０１２５】
任意的には、位置キャプチャリング装置２０５は、容量センサ２０３１、赤外線センサ２０３３及び超音波センサ２０３５を含んでもよい。容量センサ２０３１は、容量タッチスクリーンを使用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。赤外線センサ２０３３は、赤外線タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。超音波センサ２０３５は、超音波タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。
【０１２６】
任意的には、位置キャプチャリング装置２０５及び処理装置２０３は、統合されていてもよいし、独立に配置されてもよい。
【０１２７】
任意的には、タッチ処理システムは更に、タッチ指示の実行結果を表示するよう構成されるユーザフィードバック装置２０７を有してもよく、例えば、ユーザフィードバック装置２０７は、ＬＥＤ表示画面、プロジェクタ表示装置、ラウドスピーカ又は触覚フィードバック装置である。任意的には、ユーザフィードバック装置２０７は、表示装置２０７１、音声装置２０７３及び触覚フィードバック装置２０７５を含んでもよい。
【０１２８】
なお、本発明の本実施例において提供されるタッチ処理システムは、タッチ携帯電話又はタッチコンピュータなどの従来の電子タッチ装置に適用されてもよいし、又は教育、企業オフィス、エンターテイメント及び広告ディスプレイなどの複数の分野に適用されてもよいことが留意されるべきであり、例えば、机のデスクトップは美術教育に使用され、机のデスクトップは絵画用紙として使用され、指は絵画ペンとして使用され、また、複数の生徒は絵画用紙上で１つの絵を完成させる。
【０１２９】
最後に、上記の実施例は本発明を限定するためのものでなく、本発明の技術的解決策を説明することを単に意図していることが留意されるべきである。本発明が上記の実施例を参照して詳細に説明されるが、当業者は、本発明の実施例に技術的解決策の範囲から逸脱することなく、上記の実施例において説明された技術的解決策に修正を行うか、又はその一部又はすべての技術的特徴に等価な置換を依然として行ってもよいことを理解すべきである。
【図１】
0006353982.tif 000002
【図２】
0006353982.tif 000003
【図３】
0006353982.tif 000004
【図４】
0006353982.tif 000005
【図５】
0006353982.tif 000006
【図６】
0006353982.tif 000007
【図７】
0006353982.tif 000008
【図８】
0006353982.tif 000009