(57)【要約】      （修正有）【課題】簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を提供する。【解決手段】入力情報処理装置１は、ユーザに装着された加速度センサ２によって測定された信号を、加速度信号および筋音信号に分離する信号分離部３と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部４とを備える。【選択図】図１
2008192004.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴とする入力情報処理装置。
【請求項２】
前記操作対象は、前腕部および上腕部を有する義手型機器であり、
前記制御部は、
前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、
前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部とを備え、
前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、
前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えることを特徴とする請求項１に記載の入力情報処理装置。
【請求項３】
前記手先動作推定部は、
前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、
前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えることを特徴とする請求項２に記載の入力情報処理装置。
【請求項４】
前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えることを特徴とする請求項３に記載の入力情報処理装置。
【請求項５】
前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えることを特徴とする請求項３または４に記載の入力情報処理装置。
【請求項６】
前記制御部は、
前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別部と、
前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、
ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、
前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備えることを特徴とする請求項１に記載の入力情報処理装置。
【請求項７】
前記ジェスチャ推定部は、
前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、
前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えることを特徴とする請求項６に記載の入力情報処理装置。
【請求項８】
人体に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含むことを特徴とする入力信号制御方法。
【請求項９】
請求項１〜７のいずれか１項に記載の入力情報処理装置の前記各部としてコンピュータを機能させるための入力情報処理プログラム。
【請求項１０】
請求項９に記載の入力情報処理装置の入力情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、高齢者や障害者が増加傾向にあり、機器を用いた人間支援に関する研究が数多く行われている。このような人間支援のための機器としては、例えば、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等が挙げられる。
【０００３】
体肢を切断した障害者の動力義肢の制御手段として、あるいは、ほとんど身動きができない重度障害者の外部環境への伝達手段として、生体信号の一種である筋電位（ＥＭＧ）信号の利用が数多く試みられている。ＥＭＧ信号は、人の筋収縮レベルに応じて発生する信号であり、動作や力、運動の柔らかさ等の有益な情報を数多く含んでいる。そのため、動力義肢の動作制御にＥＭＧ信号を用いることにより、より自然な感覚で動力義肢の動作を制御することが可能である。
【０００４】
また、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置では、ジェスチャの種類を識別するために、従来から磁気センサや加速度センサ等を用いてユーザの身体運動成分を取得する技術が数多く提案されている。また、ジェスチャの種類を識別するために、ユーザの身体運動成分以外の成分を用いる技術も提案されている。例えば、特許文献１には、ジェスチャを作り出す筋肉運動を表す時間進展信号から、ユーザが行ったジェスチャを決定する技術が開示されている。
【０００５】
また、前腕部および上腕部を有する義手型装置の動作制御や、ユーザが行ったジェスチャの種類の識別には、筋の電気活動を表すＥＭＧ信号と、ユーザの上肢の身体運動成分とを両方用いる技術も提案されている。このように、ユーザの筋活動成分と、身体運動成分とを両方用いることにより、上記義手型装置では動作を自由に制御することが可能となり、上記ジェスチャの識別では力の利用も識別することが可能となる。
【特許文献１】特開２００４−１５７９９４号（平成１６年６月３日公開）
【特許文献２】特開２００２−３６６９２７号（平成１４年１２月２０日公開）
【非特許文献１】T.Tsuji, O.Fukuda, H.Ichinobe and M.Kaneko:“A Log-Linearized Gaussian Mixture Network and Its Application to EEG Pattern Classification”IEEE Transactions on Systems, Man, and CyberneticsPart C, vol. 29, no.1, pp.60-72, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、動力義肢やジェスチャを用いた制御装置等の動作を制御するためには、ユーザの身体運動成分および筋活動成分が用いられている。このような機器は、ユーザの身体運動成分および筋活動成分のどちらか１つを用いて制御を行う場合よりも、両方を用いて制御を行う方が、より自由にまたはより直感的に動作を制御することが可能となる。
【０００７】
しかしながら、ユーザの身体運動成分および筋活動成分の両方を得るためには、例えば、身体運動成分を得るための三次元位置センサおよび筋活動成分を得るためのＥＭＧセンサの２つのセンサを用いる必要があり、装置が複雑になってしまうという問題がある。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の入力情報処理装置は、上記課題を解決するために、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
【００１０】
本発明の入力情報処理装置では、１つの加速度センサによって測定された信号を、信号分離部によって加速度信号および筋音信号の２つの信号に分離することができる。そのため、加速度センサが装着されたユーザの操作対象の動作を制御するために、上記加速度信号および上記筋音信号の２つの信号を用いることが可能となる。
【００１１】
ここで、加速度信号とは、ユーザの身体運動の加速度を表した信号である。また、筋音信号とは、ユーザの活動筋の機械的な活動を表した信号であり、筋の収縮レベルにしたがって信号の振幅が変化する等、ＥＭＧ信号と同等の性質を有している。
【００１２】
すなわち、本発明の入力情報処理装置では、筋活動成分としてＥＭＧ信号ではなく筋音信号を用いることにより、１つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために２つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を提供することができる。
【００１３】
また、従来では、一般に、筋活動成分を得るためにＥＭＧ信号を利用しているが、ＥＭＧ信号は、発汗等の皮膚インピーダンス変化の影響を受けてしまうために、筋活動成分の測定が困難になる可能性がある。そこで、本発明の入力情報処理装置では、筋活動成分として、皮膚インピーダンス変化の影響を受けない筋音信号を用いることにより、加速度センサによって確実に測定することが可能となる。
【００１４】
また、本発明の入力情報処理装置では、前記操作対象は、前腕部および上腕部を有する義手型機器であり、前記制御部は、前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部とを備え、前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えていてもよい。
【００１５】
上記構成により、ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、１つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号を上腕部の駆動を制御するために、該筋音信号を前腕部の駆動を制御するために用いることが可能である。
【００１６】
具体的には、手先移動変位推定部は、信号分離部によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離を推定する。また、手先動作推定部は、信号分離部によって分離された筋音信号から、ユーザが意図する義手型機器の手先の動作を推定する。
【００１７】
そして、上腕制御部は、上記手先移動変位推定部によって推定された、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離に基づいて、上腕部の駆動を制御する。また、前腕制御部は、手先動作推定部によって推定された義手型機器の手先の動作に基づいて、前腕部の駆動を制御する。
【００１８】
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該筋音信号からユーザが意図する手先の動作を推定するだけでなく、該加速度信号からユーザが意図する目標位置までの移動距離および移動方向の推定も行うことができる。その結果、１つの加速度センサを用いて、前腕部および上腕部を有する義手型機器を自由に制御することができる。
【００１９】
また、本発明の入力情報処理装置では、前記手先動作推定部は、前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えていてもよい。
【００２０】
本発明の入力情報処理装置では、ユーザが意図する手先の動作を推定するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)を用いている。ＬＬＧＭＮは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
【００２１】
そのため、特徴パターンベクトル算出部によって筋音信号から算出された特徴パターンベクトルは、手先動作識別部において上記ニューラルネットを用いることにより、該特徴パターンベクトルに対する予め学習させた義手型機器の手先の動作の事後確率を算出することができる。その結果、手先動作識別部は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
【００２２】
また、ＬＬＧＭＮの学習能力により、個人差による筋音信号の違いや、加速度センサの装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが意図する義手型機器の手先動作を高精度に識別することが可能である。
【００２３】
また、本発明の入力情報処理装置では、前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えていてもよい。
【００２４】
上記構成により、本発明の入力情報処理装置では、タイミング推定部は、手先動作識別部によって識別されたユーザの意図する義手型機器の手先の動作が、どのタイミングで行われたかを筋音信号から推定することができる。そのため、ユーザが意図する義手型機器の手先の動作を、ユーザが意図するタイミングで行うことができ、該義手型機器をより自由に制御することが可能となる。
【００２５】
また、本発明の入力情報処理装置では、前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えていてもよい。
【００２６】
ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、手先動作推定部の手先動作識別部において、ユーザが意図する該義手型機器の動作の推定を誤識別してしまうと、日常生活に支障をきたす可能性がある。そのため、手先動作識別部における動作識別では、できるだけ誤識別を防止する必要がある。
【００２７】
そこで、本発明の上記構成により、ユーザが意図する義手型機器の手先の動作を識別する際に、誤識別が生じる可能性を低くすることが可能である。
【００２８】
また、本発明の入力情報処理装置では、前記制御部は、前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別部と、前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備えていてもよい。
【００２９】
上記構成により、１つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号をユーザが行ったジェスチャの種類を識別するために、該筋音信号をユーザの筋収縮レベルを推定するために用いることが可能である。
【００３０】
具体的には、ジェスチャ識別部は、信号分離部によって分離された加速度信号から、ユーザが行ったジェスチャの種類を識別する。また、筋収縮レベル推定部は、信号分離部によって分離された筋音信号から、ユーザの筋収縮レベル、すなわち力の入れ具合を推定する。
【００３１】
そして、動作決定部は、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、ジェスチャ識別部によって識別されるジェスチャおよび筋収縮レベル推定部によって推定される筋収縮レベルに対応するユーザの操作対象の動作を読み出す。そして、動作制御部は、動作決定部によって決定された動作に基づいて、ユーザの操作対象の動作を制御する。
【００３２】
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該加速度信号からジェスチャの推定を行うだけでなく、該筋音信号から力の入れ具合の推定も行うことができる。その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
【００３３】
また、本発明の入力情報処理装置では、前記ジェスチャ推定部は、前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えていてもよい。
【００３４】
本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を識別するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)を用いている。Ｒ−ＬＬＧＭＮは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
【００３５】
そのため、識別パターンベクトル算出部によって加速度信号から算出された識別パターンベクトルは、ジェスチャ識別部において上記ニューラルネットを用いることにより、該識別パターンベクトルに対する予め学習させたジェスチャの種類の事後確率を算出することができる。その結果、ジェスチャ識別部は、算出された事後確率から、上記識別パターンベクトルが、どのジェスチャに対応するか識別することができる。
【００３６】
また、Ｒ−ＬＬＧＭＮの学習能力により、個人差による加速度信号の違いや、加速度センサの装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。
【００３７】
また、本発明の入力信号制御方法は、人体に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含むことを特徴としている。
【００３８】
入力情報処理方法の各工程においては、入力情報処理装置の各部と同様の処理が実現されているので、入力情報処理装置と同様の作用効果を得ることができる。
【００３９】
なお、上記入力情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記入力情報処理装置をコンピュータにて実現させる入力情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４０】
本発明の入力情報処理装置は、以上のように、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
【００４１】
本発明の入力情報処理装置では、筋活動成分としてＥＭＧ信号ではなく筋音信号を用いることにより、１つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために２つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を実現できる。
【発明を実施するための最良の形態】
【００４２】
本発明の一実施形態について図１〜図１４に基づいて説明すると以下の通りである。
【００４３】
本発明の入力情報処理装置は、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離し、該加速度信号および該筋音信号に基づいて、ユーザの操作対象の動作を制御する。
【００４４】
〔第１実施形態〕
まず、本発明の第１実施形態の入力情報処理装置について図１〜図７を参照して説明する。図１は、本実施形態の入力情報処理装置１の概略構成を示すブロック図である。
【００４５】
本実施形態の入力情報処理装置１は、ユーザが意図する動作を加速度センサ２によって測定された信号から推定し、該信号に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部３と、制御部４とから構成されている。
【００４６】
本実施形態では、ユーザの操作対象として、図２に示すような、上腕部１４および前腕部１３を有する義手型装置（義手型機器）１２が挙げられる。なお、以下の説明において、入力情報処理装置１は、義手型装置１２の動作を制御するものとして説明する。
【００４７】
加速度センサ２は、義手型装置１２を操作するユーザの腕に装着され、ユーザの腕の動きに応じた信号を測定するためのものである。加速度センサ２によって測定された上記信号には、ユーザの上肢運動の加速度信号（acceleration:ACC）と、加速度センサ２を装着した活動筋の機械的な活動を示す筋音信号（mechanomyogram:MMG）とが含まれている。
【００４８】
信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号と筋音信号とに分離するためのものである。信号分離部３は、各信号の周波数帯域の差を利用して、加速度センサ２によって測定された上記信号を加速度信号と筋音信号とに分離する。
【００４９】
ここで、加速度センサ２によって測定された上記信号と、加速度信号と、筋音信号との関係について図３を参照して説明する。図３（ａ）は、ユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ２によって測定された信号における時間と加速度との関係を示すグラフであり、図３（ｂ）は、図３（ａ）の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、図３（ｃ）は、図３（ａ）の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。なお、図３（ａ）〜（ｃ）において、横軸は時間（秒）を、縦軸は加速度（ｍ／ｓ２）を、陰影をつけた箇所は把持を行っていることを示している。
【００５０】
ここで、図３（ｂ）に示す筋音信号を得るために、図３（ａ）に示す加速度センサ２によって測定された信号を、通過帯域が２５〜１５０〔Ｈｚ〕のバンドパス型バタワースフィルタを用いて分離している。また、図３（ｃ）に示す加速度信号を得るために、図３（ａ）に示す加速度センサ２によって測定された信号を、通過帯域が１〜３〔Ｈｚ〕のバンドパス型バタワースフィルタを用いて分離している。
【００５１】
筋音信号は、図３（ｂ）に示すように、図中の陰影をつけた箇所のみ、すなわち把持を行っているときのみに検出されていることが分かる。すなわち、筋の随意収縮時の筋音信号は、比較的高周波帯域の周波数成分が含まれているために、加速度センサ２によって測定された信号を、適切なフィルタ処理を施すことにより、加速度信号と筋音信号とに分離することができる。
【００５２】
制御部４は、信号分離部３によって分離された加速度信号および筋音信号を用いて、義手型装置１２の上腕部１４および前腕部１３の駆動を制御するためのものであり、手先移動変位推定部５と、上腕制御部６と、手先動作推定部７と、前腕制御部８とから構成されている。
【００５３】
手先移動変位推定部５は、信号分離部３によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型装置１２の手先の移動方向および移動距離を算出するためのものである。
【００５４】
ここで、手先移動変位推定部５が加速度信号から義手型装置１２の手先の移動方向および移動距離を算出する方法について図４を参照して説明する。図４は、上肢を動作させた場合の加速度信号を示すグラフである。なお、図４において、横軸は時間（秒）を、縦軸は加速度（ｍ／ｓ２）を示している。
【００５５】
まず、手先移動変位推定部５が、正確な義手型装置１２の手先の移動方向および移動距離を算出するためには、図４に示す加速度信号からバイアス成分の影響を除去する必要がある。そのため、加速度信号からユーザの上肢の動作に対応する動作期間の切り出しを行う。ここでは、加速度信号の閾値ＡＣＣｔｈが予め設定されている。
【００５６】
図４に示すように、加速度信号ＡＣＣ（ｔ）が閾値ＡＣＣｔｈを初めて超えた時点を時刻Ｔとし、時刻Ｔから加速度信号ＡＣＣ（ｔ）が最初にゼロ交差する時刻を動作開始時刻Ｔｓｔｒとする。また、動作開始時刻Ｔｓｔｒから加速度信号ＡＣＣ（ｔ）が２回ゼロ交差した時点の時刻を動作終了時刻Ｔｅｎｄとする。そして、動作開始時刻Ｔｓｔｒから動作終了時刻Ｔｅｎｄまでの区間、すなわち図４の陰影をつけた区間を動作期間とする。
【００５７】
上述した方法によって抽出した加速度信号の動作期間を、台形積分法を用いて、下記数式１により速度Ｖ（ｔ）を算出する。
【００５８】
【数１】
2008192004.tif 000003
【００５９】
そして、上記数式１によって算出された速度Ｖ（ｔ）を用いて、下記数式２により位置Ｐ（ｔ）を算出する。
【００６０】
【数２】
2008192004.tif 000004
【００６１】
上腕制御部６は、手先移動変位推定部５によって算出された義手型装置１２の手先の目標位置Ｐ（ｔ）に基づいて、義手型装置１２の上腕部１４の駆動を制御するためのものである。
【００６２】
手先動作推定部７は、義手型装置１２の前腕部１３における手先の動作を推定するためのものであり、特徴パターンベクトル算出部９と、手先動作識別部１０と、タイミング推定部１１とから構成されている。
【００６３】
特徴パターンベクトル算出部９は、信号分離部３によって分離された筋音信号から、特徴パターンベクトルを算出するためのものである。特徴パターンベクトルは、筋音信号から下記数式３によって算出される。
【００６４】
【数３】
2008192004.tif 000005
【００６５】
ここで、ｘｉ（ｔ）（ｉ＝１，・・・，Ｌ）は、特徴パターンベクトルの各要素を示している。また、ＭＭＧｉ（ｔ）は信号分離部３によって分離された時刻ｔにおける筋音信号を示しており、ＭＭＧｉｓｔは安静時に計測したＭＭＧｉ（ｔ）の平均値を示している。なお、Ｌは加速度センサの個数を示している。
【００６６】
手先動作識別部１０は、特徴パターンベクトル算出部９によって算出された特徴パターンベクトルから、ニューラルネットを用いてユーザの意図する義手型装置１２の手先の動作を識別するためのものである。
【００６７】
ここで、ニューラルネットとしては、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)が用いられる。ＬＬＧＭＮは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
【００６８】
そのため、手先動作識別部１０は、上記ニューラルネットを用いることにより、特徴パターンベクトル算出部９によって筋音信号から算出された特徴パターンベクトルに対する、予め上記ニューラルネットに学習させた義手型装置１２の手先の動作の事後確率を算出することができる。その結果、手先動作識別部１０は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
【００６９】
また、ＬＬＧＭＮの学習能力により、個人差による筋音信号の違いや、加速度センサ２の装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、入力情報処理装置１では、ユーザが意図する義手型装置１２の手先動作を高精度に識別することが可能である。なお、ＬＬＧＭＮについては、非特許文献１に具体的に記載されている。
【００７０】
また、手先動作識別部１０において、ユーザが意図する義手型装置１２の動作を誤識別してしまうと、ユーザは日常生活に支障をきたす可能性がある。そのため、手先動作識別部１０における動作識別では、できるだけ誤識別を防止する必要がある。
【００７１】
そこで、本実施形態の入力情報処理装置１では、手先動作識別部１０がユーザが意図する義手型装置１２の手先の動作の誤識別を防止するための誤識別防止部（図示せず）を備えることにより、ユーザが意図する義手型装置１２の手先の動作を識別する際に、誤識別が生じる可能性を低くすることができる。
【００７２】
上記誤識別防止部としては、上記ニューラルネットによって算出された事後確率から、該ニューラルネットが学習している各手先動作のエントロピーを求め、該エントロピーが所定の閾値Ｈｔｈを下回った場合には識別動作を行い、該エントロピーが所定の閾値Ｈｔｈを超えた場合には識別動作を保留するエントロピー判定部が挙げられる。また、上記誤識別防止部として、上記ニューラルネットによって識別された識別結果に対し安定識別回数Ｔｉｓｔｂを設定し、同じ識別結果が連続し安定識別回数Ｔｉｓｔｂ回繰り返された場合のみ制御を行う安定識別回数判定部が挙げられる。
【００７３】
タイミング推定部１１は、ユーザが意図する手先動作のタイミングを推定するためのものである。筋音信号は、筋収縮レベルに対応して、その振幅が大きくなる。そのため、筋音信号からユーザの筋力を推定することにより、ユーザが手先動作を行うタイミングを推定することができる。ユーザの筋力の推定は、下記数式４および下記数式５から求めることができる。
【００７４】
まず、下記数式４によって、筋音信号から筋音信号のＲＭＳ（Root-mean-square）値であるＲＭＳｉ（ｔ）を算出する。ここで、ｎはＲＭＳの履歴数を示す。
【００７５】
【数４】
2008192004.tif 000006
【００７６】
次に、上記数式４によって算出されたＲＭＳｉ（ｔ）を、チャネル毎に最大随意筋収縮時のＲＭＳ値で正規化する。正規化した各信号から、下記数式５によってチャネル数で平均化し、推定筋力ＦＭＭＧ（ｔ）を算出する。ここで、ＲＭＳｉｍａｘは最大随意収縮時のＲＭＳｉ（ｔ）、ＲＭＳｉｓｔは安静時に測定したＲＭＳｉ（ｔ）の平均値である。
【００７７】
【数５】
2008192004.tif 000007
【００７８】
そして、算出された推定筋力ＦＭＭＧ（ｔ）に対し、予め閾値Ｆｔｈを設定しておき、動作発生のタイミングを調べる。推定筋力ＦＭＭＧ（ｔ）が閾値Ｆｔｈを超えたときに動作発生と判定し、ＬＬＧＭＮにより推定された手先動作を行い、推定筋力ＦＭＭＧ（ｔ）が閾値Ｆｔｈを下回ったときに動作停止と判定する。
【００７９】
前腕制御部８は、手先動作識別部１０によって識別されたユーザが意図する義手型装置１２の手先の動作と、タイミング推定部１１によって推定された手先動作を行うタイミングとを取得し、それらの情報に基づいて前腕部１３の駆動を制御するためのものである。
【００８０】
ここで、本実施形態の入力情報処理装置１における処理手順について図５を参照して説明する。図５は、本実施形態の入力情報処理装置１における処理手順を示すフローチャートである。
【００８１】
まず、ユーザに装着された加速度センサ２は、ユーザの動きに応じた信号を測定する（Ｓ１）。そして、信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号および筋音信号に分離する（Ｓ２）。
【００８２】
次に、手先移動変位推定部５は、信号分離部３によって分離された加速度信号を取得し、該加速度信号からユーザが意図する義手型装置１２の手先の移動変位を推定する（Ｓ３）。そして、上腕制御部６は、手先移動変位推定部５によって推定されたユーザが意図する義手型装置１２の手先の移動変位に基づいて、義手型装置１２の上腕部１４の駆動を制御する（Ｓ４）。
【００８３】
また、Ｓ３およびＳ４と同時に、手先動作推定部７は信号分離部３によって分離された筋音信号を取得し、該筋音信号からユーザが意図する義手型装置１２の手先の動作を推定する（Ｓ５）。そして、前腕制御部８は、手先動作推定部７によって推定されたユーザが意図する義手型装置１２の手先の動作に基づいて、義手型装置１２の前腕部１３の駆動を制御する（Ｓ６）。
【００８４】
次に、Ｓ５の「手先動作を推定」する処理について、図６を参照して具体的に説明する。図６は、図５に示すフローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。
【００８５】
まず、特徴パターンベクトル算出部９は、信号分離部３によって分離された筋音信号を取得し、該筋音信号に基づいて特徴パターンベクトルを算出する（Ｓ７）。そして、手先動作識別部１０は、特徴パターンベクトル算出部９によって算出された特徴パターンベクトルを取得し、該特徴パターンベクトルをニューラルネットを用いて識別し（Ｓ８）、ユーザが意図する義手型装置１２の手先の動作を推定する（Ｓ９）。
【００８６】
また、Ｓ７〜Ｓ９と同時に、タイミング推定部１１は、信号分離部３によって分離された筋音信号を取得し、該筋音信号に基づいて、ユーザの推定筋力を算出する（Ｓ１０）。そして、タイミング推定部１１は、上記推定筋力からユーザが意図する義手型装置１２の手先の動作を行うタイミングを推定する（Ｓ１１）。
【００８７】
次に、図４のＳ６に戻り、手先動作識別部１０によって識別されたユーザの意図する義手型装置１２の手先の動作と、タイミング推定部１１によって推定されたユーザが意図する義手型装置１２の手先の動作を行うタイミングに基づき、前腕制御部８が前腕部１３の駆動を制御する。
【００８８】
ここで、本実施形態の入力情報処理装置１が、加速度信号から義手型装置１２の手先の移動変位を、筋音信号から義手型装置１２の手先の動作を制御することが可能であるか否かについて、図７（ａ）および図７（ｂ）を参照して説明する。図７（ａ）は、健常者のユーザが行う４種類の手先動作を示す図であり、図７（ｂ）は、入力情報処理装置１においてユーザが図７（ａ）に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置１２の上腕部１４の変位との関係を示すグラフである。なお、図７（ｂ）において、エントロピーの閾値Ｈｔｈは０．４、推定筋力の閾値Ｆｔｈは０．３、安定識別回数であるＴｉｓｔｂを４００としている。
【００８９】
まず、入力情報処理装置１が筋音信号から義手型装置１２の手先の動作を制御することが可能であるかを検証するために、加速度センサ２を装着した健常者のユーザが、図７（ａ）に示すように、１開き、２握り、３掌屈、４背屈の４種類の手先動作を行った場合に、手先動作識別部１０において各手先動作を識別できるかを調べる。
【００９０】
なお、ここでは、加速度センサ２として、３軸加速度センサを１つ、１軸加速度センサを３つ用いており、全てのセンサを被験者の右腕前腕部に装着している。したがって、筋音信号は、３軸加速度センサのｚ軸と１軸加速度センサ３個の計４チャネルから取得し、加速度信号は３軸加速度センサのｘ、ｙ、ｚ軸から取得する。
【００９１】
また、手先動作識別部１０のＬＬＧＭＮでは、特徴パターンベクトル算出部９において、図７（ａ）に示す各動作２００組の特徴パターンベクトルを算出し、各動作２００組の特徴パターンベクトルを教師信号として学習を行っている。
【００９２】
図７（ｂ）の１〜４列に示すように、図７（ａ）に示す１〜４の手先動作を行った場合、加速度信号はほとんど検出されていないが、筋音信号は検出されており、上記各手先動作が正確に識別されていることが分かる。すなわち、本実施形態の入力情報処理装置１は、筋音信号から義手型装置１２の手先の動作を制御することが可能であるといえる。
【００９３】
次に、本実施形態の入力情報処理装置１が加速度信号から義手型装置１２の手先の移動変位を制御することが可能であるか検証するために、加速度センサ２を装着した健常者のユーザが、上腕の動作ができるだけｘ、ｙ、ｚ軸上に沿うように腕の往復運動を行った場合に、手先移動変位推定部５において手先の移動変位を推定することができるかを調べる。なお、図７（ｂ）においては、ｘ軸方向の移動を５列目に、ｙ軸方向の移動を６列目に、ｚ軸方向の移動を７列目に示している。
【００９４】
図７（ｂ）の５〜７列に示すように、上腕の上記各動作を行った場合、筋音信号はほとんど検出されていないが、加速度信号は検出されており、上腕の上記各動作の移動変位が正確に推定されていることが分かる。すなわち、本実施形態の入力情報処理装置１は、加速度信号から義手型装置１２の手先の移動変位を制御することが可能であるといえる。
【００９５】
また、手先動作識別部１０は、安定識別判定およびエントロピーによる判断基準を設けているために、図７（ｂ）から、ユーザの意図する手先動作を安定して識別できていることが分かる。
【００９６】
〔第２実施形態〕
次に、本発明の第２実施形態の入力情報処理装置２１について図８〜図１４に基づいて説明する。図８は、本発明の第２実施形態に係る入力情報処理装置２１の概略構成を示すブロック図である。なお、第１実施形態の入力情報処理装置１における構成要素と、同等の機能を有する構成要素については同一の符号を付記している。
【００９７】
本実施形態の入力情報処理装置２１は、ユーザが行ったジェスチャおよび筋収縮を、加速度センサ２が測定した信号から推定し、該推定結果に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部３と、制御部２４と、記憶部２８とから構成されている。
【００９８】
本実施形態では、ユーザの操作対象として、図９に示すような、パーソナルコンピュータ３４の表示装置３５に表示された画像が挙げられる。図９では、本実施形態の入力情報処理装置２１は、パーソナルコンピュータ３４に搭載されている。
【００９９】
図９では、ユーザがジェスチャおよび筋収縮を行うことにより、加速度センサ２によって測定された信号が、例えばＢｌｕｅｔｏｏｔｈを介してパーソナルコンピュータ３４に送信される。パーソナルコンピュータ３４に搭載された入力情報処理装置２１は、受信した上記信号に基づいて表示装置３５に表示された画像の動作を制御する。そして、入力情報処理装置２１は、表示装置３５に表示された画像の動作に対応付けられた処理、例えばランプ３６を点灯させる。なお、以下の説明において、入力情報処理装置２１は、表示装置３５に表示された画像の動作を制御するものとして説明する。
【０１００】
ここで、本実施形態の入力情報処理装置２１の構成要素と、第１実施形態の入力情報処理装置１の構成要素とで異なる構成について説明する。
【０１０１】
制御部２４は、信号分離部３によって分離された加速度信号および筋音信号を用いて、表示装置３５に表示された画像の動作を制御し、その制御結果に基づいてランプ３６を点灯させるためのものであり、ジェスチャ推定部２５と、筋収縮レベル推定部２６と、動作決定部２７と、動作制御部２９とから構成されている。
【０１０２】
ジェスチャ推定部２５は、ユーザが行ったジェスチャの種類を推定するものであり、識別パターンベクトル算出部３０と、ジェスチャ識別部３１とから構成されている。
【０１０３】
識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出するためのものである。
【０１０４】
ジェスチャ識別部３１は、識別パターンベクトル算出部３０によって算出された識別パターンベクトルから、ニューラルネットを用いてユーザが行ったジェスチャの種類を識別するためのものである。
【０１０５】
ここで、ニューラルネットとしては、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)が用いられる。Ｒ−ＬＬＧＭＮは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
【０１０６】
そのため、ジェスチャ識別部３１は、上記ニューラルネットを用いることにより、識別パターンベクトル算出部３０によって加速度信号から算出された識別パターンベクトルに対する、予め上記ニューラルネットに学習させた数種類のジェスチャの事後確率を算出することができる。その結果、ジェスチャ識別部３１は、算出された事後確率から、上記識別パターンベクトルが、どの種類のジェスチャに対応するか識別することができる。
【０１０７】
また、Ｒ−ＬＬＧＭＮの学習能力により、個人差による加速度信号の違いや、加速度センサ２の装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、入力情報処理装置２１では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。なお、Ｒ−ＬＬＧＭＮについては、特許文献２に具体的に記載されている。
【０１０８】
また、ジェスチャ識別部３１において、ユーザが行ったジェスチャの種類を正確に推定するためには、識別パターンベクトル算出部３０が加速度信号から識別パターンベクトルを算出する際に、ユーザがジェスチャを行っている区間の加速度信号を用いて識別パターンベクトルを算出することが望ましい。
【０１０９】
そのため、まず、加速度信号のどの区間でユーザがジェスチャを行っているか検出する必要がある。そこで、識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号から、下記数式６および下記数式７によって、ジェスチャの検出の指標であるジェスチャ検出信号を算出する。ここで、ｇｉｍａｘ（ｉ＝ｘ、ｙ、ｚ）は、ユーザがジェスチャを行っている場合のｇｉ（ｔ）（ｉ＝ｘ、ｙ、ｚ）の絶対値の最大値を示す。
【０１１０】
【数６】
2008192004.tif 000008
【０１１１】
【数７】
2008192004.tif 000009
【０１１２】
識別パターンベクトル算出部３０によって、上記数式６および上記数式７を用いて算出されたジェスチャ検出信号を図１０に示す。図１０は、ジェスチャ検出信号を示すグラフである。なお、図１０において、横軸は時間（秒）、縦軸は加速度（ｍ／ｓ２）を示す。
【０１１３】
次に、識別パターンベクトル算出部３０が、図１０に示すジェスチャ検出信号から、ユーザがジェスチャを行っている区間を切り出し、その区間を用いて識別パターンベクトルを算出する方法について説明する。ここでは、その値を越えると動作が開始しているとみなされる動作開始閾値Ｔｈｓｔｒと、その値を下回ると動作が終了したとみなされる動作終了閾値Ｔｈｅｎｄとが予め設定されている。
【０１１４】
図１０に示すように、ジェスチャ検出信号が動作開始閾値Ｔｈｓｔｒ以上になる時点の時刻をジェスチャ開始時刻tｓｔｒとする。また、ジェスチャ開始時刻tｓｔｒ以降、ジェスチャ検出信号が動作終了判定時間Ｔｅｎｄの間連続して動作終了閾値Ｔｈｅｎｄを下回った最初の時点の時刻をジェスチャ終了時刻ｔｅｎｄとする。そして、ジェスチャ開始時刻tｓｔｒからジェスチャ終了時刻ｔｅｎｄまでの区間のうち、ジェスチャ検出信号の最初の極大値から最後の極大値までの区間をジェスチャ識別区画とする。
【０１１５】
次に、識別パターンベクトル算出部３０は、ジェスチャ識別区画のジェスチャ検出信号から、下記数式８によって、識別パターンベクトルＧｉ（ｔ）（ｉ＝ｘ、ｙ、ｚ）を算出する。
【０１１６】
【数８】
2008192004.tif 000010
【０１１７】
筋収縮レベル推定部２６は、ユーザの筋収縮レベルを推定するためのものであり、筋収縮情報抽出部３２と、閾値判定部３３とから構成されている。
【０１１８】
筋収縮情報抽出部３２は、信号分離部３によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出するためのものである。筋音は筋側方への振動であるために、ｘ、ｙ、ｚ軸成分からなる筋音信号から、ユーザの体表面に垂直なｚ軸成分のｍｚ（ｔ）を筋収縮レベルの推定に用いる。筋収縮レベルの増加に伴い、筋音信号の振幅が大きくなるために、筋音信号の振幅からユーザの力の入れ具合を求めることができる。筋収縮情報抽出部３２は、ｍｚ（ｔ）から下記数式９によって筋収縮情報を算出する。
【０１１９】
【数９】
2008192004.tif 000011
【０１２０】
ここで、平均値ｍｚｇｅｓ（ｔ）、平均値ｍｚｃｏｎ（ｔ）は、それぞれ事前に測定したジェスチャ時および筋収縮時の平均値ｍｚ（ｔ）の最大値を示す。
【０１２１】
閾値判定部３３は、筋収縮情報抽出部３２によって抽出された筋収縮情報が、所定の閾値Ｔｈを越えた時点で、ユーザが力を入れて筋収縮を行ったと判定するためのものである。
【０１２２】
動作決定部２７は、ジェスチャ推定部２５のジェスチャ識別部３１によって推定されたジェスチャの種類と、筋収縮レベル推定部２６の閾値判定部３３によって判定された筋収縮レベルとに基づいて、記憶部２８に記憶されている動作テーブルから、該ジェスチャの種類および該筋収縮レベルに対応する動作を検索し、動作を決定するためのものである。ここで、記憶部２８は、ジェスチャと、筋収縮レベルと、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作とを対応付けた動作テーブルを記憶している。すなわち、動作決定部２７は、ユーザが行ったジェスチャの種類および筋収縮レベルに対応する、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作を決定する。
【０１２３】
動作制御部２９は、動作決定部２７によって決定された動作に基づいて、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作を制御するためのものである。さらに、動作制御部２９は、表示装置３５に表示された画像の動作に対応付けられた処理、例えばランプ３６を点灯させる。
【０１２４】
ここで、本実施形態の入力情報処理装置２１における処理手順について図１１を参照して説明する。図１１は、本実施形態の入力情報処理装置２１における処理手順を示すフローチャートである。
【０１２５】
まず、ユーザに装着された加速度センサ２は、ユーザの動きに応じた信号を測定する（Ｓ２１）。そして、信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号および筋音信号に分離する（Ｓ２２）。
【０１２６】
次に、ジェスチャ推定部２５の識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出する（Ｓ２３）。そして、ジェスチャ推定部２５のジェスチャ識別部３１は、識別パターンベクトル算出部３０によって算出された識別パターンベクトルを取得し、該識別パターンベクトルをニューラルネットで識別し（Ｓ２４）、ユーザが行ったジェスチャを推定する（Ｓ２５）。
【０１２７】
また、Ｓ２３〜Ｓ２５と同時に、筋収縮レベル推定部２６の筋収縮情報抽出部３２は、信号分離部３によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出する（Ｓ２６）。そして、筋収縮レベル推定部２６の閾値判定部３３は、筋収縮情報抽出部３２によって抽出された筋収縮情報が所定の閾値を超えるか否かを判定することにより、筋収縮レベルを推定する（Ｓ２７）。
【０１２８】
次に、動作決定部２７は、ジェスチャ推定部２５によって推定されたユーザが行ったジェスチャと、筋収縮レベル推定部２６によって推定された筋収縮レベルとに基づいて、記憶部２８に記憶された動作テーブルを参照して、ユーザの操作対象の動作を決定する（Ｓ２８）。
【０１２９】
次に、動作制御部２９は、動作決定部２７によって決定された動作に基づいて、上記操作対象を制御する（Ｓ２９）。
【０１３０】
ここで、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とを、それぞれ別々に行うことが可能か否かについて、図１２および図１３を参照して説明する。
【０１３１】
図１２は、ジェスチャの種類を示す図である。また、図１３は、入力情報処理装置２１において、ユーザが図１２に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【０１３２】
なお、図１３において、ａｘ（ｔ）はｘ軸方向の加速度信号、ａｙ（ｔ）はｙ軸方向の加速度信号、ａｚ（ｔ）はｚ軸方向の加速度信号を示す。また、ｇ（ｔ）はジェスチャ検出信号、Ｍ（ｔ）は筋収縮情報信号を示す。また、図１３において、陰影をつけた領域は、ジェスチャの識別区画もしくは筋収縮レベルの推定区画を示している。
【０１３３】
上記検証を行うために、ユーザの右前腕部に加速度センサ２を装着し、ユーザが図１２に示す６つのジェスチャ、すなわち、１．右、２．上、３．左、４．下、５．奥、６．手前を行った後、無ジェスチャ状態で２回把持を行った場合、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とが、それぞれ別々に行われるか否かを調べる。
【０１３４】
ここで、加速度センサ２としては、３軸加速度センサを用いている。また、識別パターンベクトル算出部３０において、動作開始閾値Ｔｈｓｔｒを０．２、動作終了閾値Ｔｈｅｎｄを０．２５、動作終了判定時間Ｔｅｎｄを０．１５として、ジェスチャ識別区画を抽出している。また、閾値判定部３３において、閾値Ｔｈを０．３としている。
【０１３５】
図１３の１〜６列に示すように、ユーザが図１２に示すジェスチャ１〜６を行った場合には、加速度信号およびジェスチャ検出信号が検出され、筋収縮情報信号は所定の閾値Ｔｈを超えていない。また、図１３の７、８列に示すように、無ジェスチャ状態で把持を行った場合には、加速度信号およびジェスチャ検出信号は検出されず、筋収縮情報信号のみが所定の閾値Ｔｈを超えている。そして、識別結果では、各ジェスチャおよび筋収縮レベルが正確に推定されていることが分かる。
【０１３６】
すなわち、図１３に示す結果から、本実施形態の入力情報処理装置２１は、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とを、それぞれ別々に行うことが可能であるといえる。
【０１３７】
次に、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるかについて、図１４を参照して説明する。図１４は、ユーザが力を入れながら図１２の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別・推定結果との関係を示すグラフである。なお、図中のａｘ（ｔ）、ａｙ（ｔ）、ａｚ（ｔ）、ｇ（ｔ）、Ｍ（ｔ）については、図１３と同じであるために、ここでは説明は省略する。また、図中の陰影をつけた領域は、ジェスチャの識別区間または筋収縮レベルの推定区間を示している。すなわち、図中の濃い陰影の領域は、ジェスチャの識別区間および筋収縮レベルの推定区間が重なっており、力を入れながらジェスチャを行ったと認識されている領域である。
【０１３８】
上記検証を行うために、ユーザの右前腕部に加速度センサ２を装着し、ユーザが力をいれながら、図１２に示す６つのジェスチャ、すなわち、１．右、２．上、３．左、４．下、５．奥、６．手前を行った場合、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるか調べる。
【０１３９】
図１４の１〜６列に示すように、ユーザが力を入れながら図１２に示すジェスチャ１〜６を行った場合には、加速度信号およびジェスチャ検出信号が検出されるとともに、筋収縮情報信号が所定の閾値Ｔｈを超えている。そして、識別結果では、力を入れているにも関らず、各ジェスチャが正確に推定されていることが分かる。
【０１４０】
すなわち、図１４に示す結果から、本実施形態の入力情報処理装置２１は、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるといえる。
【０１４１】
以上のように、本実施形態の入力情報処理装置２１では、加速度センサ２によって測定された信号を、信号分離部３によって加速度信号と筋音信号に分離することにより、ジェスチャ推定部２５によって該加速度信号からジェスチャの推定を行うだけでなく、筋収縮レベル推定部２６によって該筋音信号から力の入れ具合の推定も行うことができる。
【０１４２】
その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
【０１４３】
また、本実施形態の入力情報処理装置２１は、例えば、テレビゲームのようなゲーム機にも好適に適用することができる。入力情報処理装置２１は、上述したように、筋音信号から力の入れ具合の推定も行うことができるため、テレビゲームにおいて表示装置に表示された画像の動作、例えばテニスゲームやゴルフゲーム等のキャラクターの動作とユーザの動作とを連動させることによって、ユーザはキャラクターにより複雑な動作を行わせることが可能となる。
【０１４４】
例えば、テニスゲームにおいて、ゲームのキャラクターの動作とユーザの動作とを連動させた場合、ユーザがサーブやスマッシュ等を行うときに、入力情報処理装置２１は、身体運動成分から動作を推測するだけでなく、筋音信号から筋収縮レベルの推定も行うことができるために、ユーザが意図するプレーをより的確にゲームのキャラクターに行わせることができる。
【０１４５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１４６】
最後に、入力情報処理装置１、２１の各ブロック、特に信号分離部３、制御部４、２４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１４７】
すなわち、入力情報処理装置１、２１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力情報処理装置１、２１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記入力情報処理装置１、２１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１４８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１４９】
また、入力情報処理装置１、２１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１５０】
本発明の入力情報処理装置は、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等、ユーザの身体運動成分および筋活動成分を用いて動作を制御する機器に好適に用いられる。
【図面の簡単な説明】
【０１５１】
【図１】本発明の第１実施形態に係る入力情報処理装置の概略構成を示すブロック図である。
【図２】前腕部および上腕部を有する義手型装置を示す図である。
【図３】（ａ）はユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ２によって測定された信号における時間と加速度との関係を示すグラフであり、（ｂ）は（ａ）の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、（ｃ）は（ａ）の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。
【図４】上肢を動作させた場合の加速度信号を示すグラフである。
【図５】上記入力情報処理装置における処理手順を示すフローチャートである。
【図６】上記フローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。
【図７】（ａ）は健常者のユーザが行う４種類の手先動作を示す図であり、（ｂ）は上記入力情報処理装置において、ユーザが（ａ）に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置の上腕部の変位との関係を示すグラフである。
【図８】本発明の第２実施形態に係る入力情報処理装置の概略構成を示すブロック図である。
【図９】ユーザが行ったジェスチャおよび筋収縮により、動作を制御するユーザの操作対象の一例を示す図である。
【図１０】ジェスチャ検出信号を示すグラフである。
【図１１】本実施形態の入力情報処理装置における処理手順を示すフローチャートである。
【図１２】ジェスチャの種類を示す図である。
【図１３】上記入力情報処理装置において、ユーザが図１２に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【図１４】ユーザが力を入れながら図１２の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【符号の説明】
【０１５２】
１、２１  入力情報処理装置
２        加速度センサ
３        信号分離部
４        制御部
５        手先移動変位推定部
６        上腕制御部
７        手先動作推定部
８        前腕制御部
９        特徴パターンベクトル算出部
１０      手先動作識別部
１１      タイミング推定部
１２      義手型装置（義手型機器）
１３      前腕部
１４      上腕部
２４      制御部
２５      ジェスチャ推定部
２６      筋収縮レベル推定部
２７      動作決定部
２８      記憶部
２９      動作制御部
３０      識別データパターン算出部
３１      ジェスチャ識別部
３２      筋収縮情報抽出部
３３      閾値判定部
【図１】
2008192004.tif 000012
【図２】
2008192004.tif 000013
【図３】
2008192004.tif 000014
【図４】
2008192004.tif 000015
【図５】
2008192004.tif 000016
【図６】
2008192004.tif 000017
【図８】
2008192004.tif 000018
【図９】
2008192004.tif 000019
【図１０】
2008192004.tif 000020
【図１１】
2008192004.tif 000021
【図１２】
2008192004.tif 000022
【図１３】
2008192004.tif 000023
【図１４】
2008192004.tif 000024
【図７】
2008192004.tif 000025