(57)【要約】【課題】ユーザに負担をかけることなく誤動作の発生を抑えた操作システムを提供する。【解決手段】操作システム１０００は、第１機器１００が移動する加速度を計測する加速度計測部１０１と、ユーザの身体のうちの、手を動かすための部位であって、第２機器２００が装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部２０１と、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があるか否かを判定する比較部２０７と、相関関係があると判定された場合、計測された加速度または筋電位に対応する操作を実行操作として決定する決定部１０７とを備える。【選択図】図３
2016177340.tif 000002
【特許請求の範囲】
【請求項１】
操作対象機器を第１機器および第２機器によって操作する操作システムであって、
前記第１機器が移動する加速度を計測する加速度計測部と、
ユーザの身体のうちの、手を動かすための部位であって、前記第２機器が装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部と、
前記加速度計測部によって計測された加速度と、前記筋電位計測部によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部と、
前記相関関係があると判定された場合、計測された前記加速度または前記筋電位に対応する操作を実行操作として決定し、決定された前記実行操作を示す操作コマンドを前記操作対象機器に出力する決定部と
を備える操作システム。
【請求項２】
前記第１機器は、前記手に保持される携帯端末であって、
前記第２機器は、前記電位計測部位である前記手の手首に装着される
請求項１に記載の操作システム。
【請求項３】
前記操作システムは、さらに、
前記加速度計測部によって計測された加速度に基づいて、所定の動作が前記ユーザによって行われたか否かを判定する動作判定部と、
前記所定の動作が行われたと判定された場合、前記筋電位計測部によって計測された筋電位に対応する前記ユーザの動作を認識する動作認識部とを備え、
前記相関判定部は、
前記所定の動作と、認識された前記ユーザの動作とを比較し、それぞれの動作が一致する場合に、前記相関関係があると判定し、
前記決定部は、
前記相関関係があると判定された場合、前記所定の動作に予め関連付けられている操作を前記実行操作として決定する
請求項１または２に記載の操作システム。
【請求項４】
前記加速度計測部は、
前記第１機器の加速度を、当該第１機器に設定されている軸方向ごとに計測し、
前記動作判定部は、
前記加速度計測部によって計測された軸方向ごとの加速度に基づいて、前記第１機器の移動形態を特定し、
前記第１機器に対する動作ごとに、当該動作に関連付けられた前記第１機器の移動形態を示す判定辞書情報を参照し、
当該判定辞書情報において、特定された前記移動形態が示されていれば、特定された前記移動形態に関連付けられている動作が、前記所定の動作として前記ユーザによって行われたと判定する
請求項３に記載の操作システム。
【請求項５】
前記筋電位計測部は、
前記電位計測部位のうちの各位置に生じる筋電位を計測し、
前記動作認識部は、
前記筋電位計測部によって計測された各位置の筋電位に基づいて、前記電位計測部位における筋電位のパターンを特定し、
動作ごとに、当該動作に関連付けられた筋電位のパターンを示す認識辞書情報を参照し、
当該認識辞書情報において、特定された前記筋電位のパターンに関連付けられている動作を、前記ユーザの動作として認識する
請求項３または４に記載の操作システム。
【請求項６】
前記相関判定部は、
前記ユーザが前記第１機器を振る動作が、（ａ）前記所定の動作として前記ユーザによって行われたと、前記動作判定部によって判定され、かつ、（ｂ）計測された前記筋電位に対応する前記ユーザの動作として、前記動作認識部によって認識された場合に、
前記相関関係があると判定し、
前記決定部は、
前記相関関係があると判定された場合、前記第１機器を振る動作に予め関連付けられている操作を前記実行操作として決定する
請求項３〜５の何れか１項に記載の操作システム。
【請求項７】
前記操作システムは、さらに、
前記加速度計測部によって計測された加速度に基づいて、所定の動作が前記ユーザによって行われたか否かを判定する動作判定部と、
前記所定の動作が行われたと判定された場合、前記筋電位計測部によって計測された筋電位に対応する前記ユーザの動作を認識する動作認識部とを備え、
前記相関判定部は、
前記操作対象機器に対する操作ごとに、当該操作に関連付けられた、加速度に基づく第１動作と、筋電位に基づく第２動作とを示す操作辞書情報を参照し、
前記操作辞書情報において、前記所定の動作と、認識された前記ユーザの動作とがそれぞれ、前記第１動作および前記第２動作として同一の操作に対して関連付けられていれば、前記相関関係があると判定し、
前記決定部は、
前記相関関係があると判定された場合、前記操作辞書情報において、前記所定の動作に関連付けられている操作を前記実行操作として決定する
請求項１または２に記載の操作システム。
【請求項８】
前記加速度計測部は、さらに、前記第１機器における重力加速度を計測し、
前記動作判定部は、さらに、計測された前記重力加速度に基づいて、前記第１機器の向きを特定し、
前記操作辞書情報は、前記操作対象機器に対する操作ごとに、さらに、当該操作に関連付けられた前記第１機器の向きを示し、
前記決定部は、
前記操作辞書情報を参照し、当該操作辞書情報において、特定された前記向きと、前記所定の動作とに関連付けられている操作を、前記実行操作として決定する
請求項７に記載の操作システム。
【請求項９】
前記操作システムは、さらに、
前記筋電位計測部によって計測された筋電位に基づいて、前記手が前記第１機器を保持する保持力を特定する保持力特定部を備え、
前記操作辞書情報は、前記操作対象機器に対する操作ごとに、さらに、当該操作に関連付けられた保持力を示し、
前記決定部は、
前記操作辞書情報を参照し、当該操作辞書情報において、特定された保持力と、前記所定の動作とに関連付けられている操作を、前記実行操作として決定する
請求項７に記載の操作システム。
【請求項１０】
前記相関判定部は、さらに、
前記加速度計測部によって計測される第１閾値以上の加速度の発生タイミングと、前記筋電位計測部によって計測される第２閾値以上の筋電位の発生タイミングとの差が、予め定められた時間以内であるか否かを判別し、
前記予め定められた時間以内であると判別したときには、前記相関関係があると判定する
請求項１または２に記載の操作システム。
【請求項１１】
前記決定部は、さらに、
前記相関関係があると判定された場合、前記筋電位の発生タイミング以降に計測された筋電位が、前記第１閾値より高い基準値未満であるときには、前記第１機器を前記手で強く保持するように前記ユーザに促すための画像を前記操作対象機器に表示させる操作を、前記実行操作として決定する
請求項１０に記載の操作システム。
【請求項１２】
前記決定部は、
前記第１機器を前記手で強く保持するように前記ユーザに促すメッセージが記載された前記画像を前記操作対象機器に表示させる操作を、前記実行操作として決定する
請求項１１に記載の操作システム。
【請求項１３】
前記決定部は、
前記筋電位の発生タイミング以降に計測された筋電位に相当する長さを有する第１オブジェクトと、前記基準値を示す第２オブジェクトとを互いに対比させて表示させる操作を、前記実行操作として決定する
請求項１１に記載の操作システム。
【請求項１４】
前記決定部は、
前記操作対象機器に表示される前記第１オブジェクトの長さを、前記筋電位計測部によって随時計測される筋電位に応じてリアルタイムに変更させる
請求項１３に記載の操作システム。
【請求項１５】
操作対象機器を第１機器および第２機器によって操作する操作方法であって、
前記第１機器が移動する加速度を計測し、
ユーザの身体のうちの、前記手を動かすための部位であって、前記第２機器が装着された部位である電位計測部位に生じる筋電位を計測し、
計測された前記加速度と、計測された前記筋電位との間に、相関関係があるか否かを判定し、
前記相関関係があると判定された場合、計測された前記加速度または前記筋電位に対応する操作を実行操作として決定し、決定された前記実行操作を示す操作コマンドを前記操作対象機器に出力する
操作方法。
【請求項１６】
操作対象機器を第１機器および第２機器によって操作するためのプログラムであって、
前記第１機器が移動する加速度を計測し、
ユーザの身体のうちの、前記手を動かすための部位であって、前記第２機器が装着された部位である電位計測部位に生じる筋電位を計測し、
計測された前記加速度と、計測された前記筋電位との間に、相関関係があるか否かを判定し、
前記相関関係があると判定された場合、計測された前記加速度または前記筋電位に対応する操作を実行操作として決定し、決定された前記実行操作を示す操作コマンドを前記操作対象機器に出力する
ことをコンピュータに実行させるプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象機器を操作する操作システムに関する。
【背景技術】
【０００２】
従来、ユーザの手または腕の筋電信号から撮影者の手の動きを検出し、その検出結果に基づいて、カメラを操作する電子カメラシステムが開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３８８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の電子カメラシステムでは、誤動作の発生を抑えるために、カメラを操作するユーザに負担をかけてしまうという問題がある。
【０００５】
そこで、本発明は、ユーザに負担をかけることなく誤動作の発生を抑えた操作システムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る操作システムは、操作対象機器を第１機器および第２機器によって操作する操作システムであって、前記第１機器が移動する加速度を計測する加速度計測部と、ユーザの身体のうちの、手を動かすための部位であって、前記第２機器が装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部と、前記加速度計測部によって計測された加速度と、前記筋電位計測部によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部と、前記相関関係があると判定された場合、計測された前記加速度または前記筋電位に対応する操作を実行操作として決定し、決定された前記実行操作を示す操作コマンドを前記操作対象機器に出力する決定部とを備える。
【０００７】
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本発明の操作システムは、ユーザに負担をかけることなく誤動作の発生を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態における操作システムの一例を示す図である。
【図２】図２は、実施の形態における第２機器の外観および使用例を示す図である。
【図３】図３は、実施の形態における操作システムの第１機器および第２機器の機能的な構成を示すブロック図である。
【図４】図４は、実施の形態における加速度計測部によって計測される加速度の向きを示す図である。
【図５】図５は、実施の形態における第１機器がユーザによって動かされる様子の一例を示す図である。
【図６】図６は、実施の形態における加速度計測部から出力される加速度情報の一例を示す図である。
【図７】図７は、実施の形態における第１辞書に格納されている判定辞書情報の一例を示す図である。
【図８】図８は、実施の形態における筋電位計測部から出力される筋電位情報の一例を示す図である。
【図９】図９は、実施の形態における、各チャンネルの整流化された筋電位を加算することによって得られる波形の一例を示す図である。
【図１０】図１０は、実施の形態における、各チャンネルの筋電位のＲＭＳの一例を示す図である。
【図１１】図１１は、実施の形態における第２辞書に格納されている認識辞書情報の一例を示す図である。
【図１２】図１２は、実施の形態における決定部によって決定される操作の一例を示す図である。
【図１３】図１３は、実施の形態における操作システムの処理動作を示すフローチャートである。
【図１４】図１４は、実施の形態の変形例１に係る操作システムの第１機器および第２機器の機能的な構成を示すブロック図である。
【図１５】図１５は、実施の形態の変形例１に係る第１辞書に格納されている第２判定辞書情報の一例を示す図である。
【図１６】図１６は、実施の形態の変形例１に係る第２辞書に格納されている認識辞書情報の一例を示す図である。
【図１７】図１７は、実施の形態の変形例１に係る第３辞書に格納されている操作辞書情報の一例を示す図である。
【図１８】図１８は、実施の形態の変形例１に係る操作システムの処理動作を示すフローチャートである。
【図１９】図１９は、実施の形態の変形例２に係る操作システムの第１機器および第２機器の機能的な構成を示すブロック図である。
【図２０】図２０は、実施の形態の変形例２に係る第３辞書に格納されている操作辞書情報の一例を示す図である。
【図２１】図２１は、実施の形態の変形例２に係る操作システムの処理動作を示すフローチャートである。
【図２２】図２２は、実施の形態の変形例３に係る操作システムの第１機器と第２機器の機能的な構成を示すブロック図である。
【図２３】図２３は、実施の形態の変形例３に係る比較部の処理を説明するための図である。
【図２４】図２４は、実施の形態の変形例３に係る比較部の他の処理を説明するための図である。
【図２５】図２５は、実施の形態の変形例３に係る通知情報に基づいて表示される画像の一例を示す図である。
【図２６】図２６は、実施の形態の変形例３に係る通知情報に基づいて表示される画像の他の例を示す図である。
【図２７Ａ】図２７Ａは、本発明の一態様に係る操作システムの構成を示す図である。
【図２７Ｂ】図２７Ｂは、本発明の一態様に係る操作方法を示す図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１の電子カメラシステムに関し、以下の問題が生じることを見出した。
【００１１】
上記特許文献１の電子カメラシステムは、カメラである操作対象機器を操作する操作システムであって、ユーザの腕の筋電信号（筋電位）を計測し、その計測結果に基づいて、ユーザの腕の動きを検出する。そして、この電子カメラシステムは、ユーザが意図しない普段の何気ない動作で電子カメラシステムのコマンドが実行されないように、つまり、誤動作（または誤操作）しないように、その腕を肩の位置付近にまで上げる動作が検出されたときにのみ、ユーザの手のジェスチャーに応じたコマンドを実行する。
【００１２】
したがって、上記特許文献１の電子カメラシステム、つまり操作システムでは、ジェスチャーを行うことができる範囲が限定されるという問題がある。また、その操作システムにおいて、カメラの代わりに、スマートフォンのなどの携帯電話を操作する場合にも、その操作を行うたびに腕を肩の高さまで上げることは、ユーザの大きな負担になってしまう。このように、上記特許文献１の操作システムでは、誤動作の発生を抑えるために、操作対象機器を操作するユーザに大きな負担をかけてしまうという問題がある。
【００１３】
このような問題を解決するために、本発明の一態様に係る操作システムは、操作対象機器を第１機器および第２機器によって操作する操作システムであって、前記第１機器が移動する加速度を計測する加速度計測部と、ユーザの身体のうちの、手を動かすための部位であって、前記第２機器が装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部と、前記加速度計測部によって計測された加速度と、前記筋電位計測部によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部と、前記相関関係があると判定された場合、計測された前記加速度または前記筋電位に対応する操作を実行操作として決定し、決定された前記実行操作を示す操作コマンドを前記操作対象機器に出力する決定部とを備える。例えば、前記第１機器は、前記手に保持される携帯端末であって、前記第２機器は、前記電位計測部位である前記手の手首に装着される。 
【００１４】
これにより、第１機器の加速度と、手を動かすための部位に生じる筋電位との間に相関関係があれば、その加速度または筋電位に対応する操作が決定される。例えば、ユーザが手に第１機器を保持した状態でその手を動かすときには、その加速度と筋電位との間には相関関係がある。したがって、このようなときには、その手の動きは、操作対象機器を操作するための動きであって、他の目的の動きではないと判定される。その結果、その手の動きに応じて計測される上述の加速度または筋電位に対応する操作が決定されることによって、操作対象機器の誤動作の発生を抑えることができる。例えば、第１機器をユーザのポケットの中に入れた状態でユーザが歩いたときに、そのユーザの動きによって操作対象機器が誤動作してしまうことを防ぐことができる。また、操作対象機器を操作するために、腕を肩の高さまで上げる必要はない。したがって、ユーザの動きに制限を与えないため、ユーザに負担をかけることなく誤動作の発生を抑えることができる。
【００１５】
なお、筋電位が計測される電位計測部位は、手首以外の腕であってもよい。また、第１機器はスマートフォンなどの携帯電話であってもよい。また、操作対象機器は、第１機器、第１機器に内蔵されている機器、第２機器、または、第２機器に内蔵されている機器であってもよく、テレビまたはエアコンなどの家電であってもよい。
【００１６】
また、前記操作システムは、さらに、前記加速度計測部によって計測された加速度に基づいて、所定の動作が前記ユーザによって行われたか否かを判定する動作判定部と、前記所定の動作が行われたと判定された場合、前記筋電位計測部によって計測された筋電位に対応する前記ユーザの動作を認識する動作認識部とを備え、前記相関判定部は、前記所定の動作と、認識された前記ユーザの動作とを比較し、それぞれの動作が一致する場合に、前記相関関係があると判定し、前記決定部は、前記相関関係があると判定された場合、前記所定の動作に予め関連付けられている操作を前記実行操作として決定してもよい。
【００１７】
これにより、加速度に基づいて行われたと判定された所定の動作と、筋電位に基づいて認識されたユーザの動作とが一致する場合に、その所定の動作に予め関連付けられている操作が実行操作として決定される。したがって、ユーザによって所定の動作が行われたと間違いなく判断される場合にのみ、その所定の動作に応じた操作が行われるため、誤動作の発生をさらに抑えることができる。
【００１８】
また、前記加速度計測部は、前記第１機器の加速度を、当該第１機器に設定されている軸方向ごとに計測し、前記動作判定部は、前記加速度計測部によって計測された軸方向ごとの加速度に基づいて、前記第１機器の移動形態を特定し、前記第１機器に対する動作ごとに、当該動作に関連付けられた前記第１機器の移動形態を示す判定辞書情報を参照し、当該判定辞書情報において、特定された前記移動形態が示されていれば、特定された前記移動形態に関連付けられている動作が、前記所定の動作として前記ユーザによって行われたと判定してもよい。
【００１９】
例えば、移動形態は、移動方向、移動距離または移動速度などである。
【００２０】
これにより、所定の動作がユーザによって行われたか否かの判定が、判定辞書情報を参照して行われるため、正確にその判定を行うことができる。また、判定辞書情報には、第１機器に対する動作ごとに、その動作に関連付けられた第１機器の移動形態が示されている。したがって、この判定辞書情報において、加速度に基づいて特定された移動形態に関連付けられている動作を、所定の動作として特定することもできる。
【００２１】
また、前記筋電位計測部は、前記電位計測部位のうちの各位置に生じる筋電位を計測し、前記動作認識部は、前記筋電位計測部によって計測された各位置の筋電位に基づいて、前記電位計測部位における筋電位のパターンを特定し、動作ごとに、当該動作に関連付けられた筋電位のパターンを示す認識辞書情報を参照し、当該認識辞書情報において、特定された前記筋電位のパターンに関連付けられている動作を、前記ユーザの動作として認識してもよい。
【００２２】
これにより、ユーザの動作の認識が、認識辞書情報を参照して行われるため、正確にその認識を行うことができる。
【００２３】
また、前記相関判定部は、前記ユーザが前記第１機器を振る動作が、（ａ）前記所定の動作として前記ユーザによって行われたと、前記動作判定部によって判定され、かつ、（ｂ）計測された前記筋電位に対応する前記ユーザの動作として、前記動作認識部によって認識された場合に、前記相関関係があると判定し、前記決定部は、前記相関関係があると判定された場合、前記第１機器を振る動作に予め関連付けられている操作を前記実行操作として決定してもよい。
【００２４】
これにより、第１機器を振る動作がユーザによって確かに行われた場合にのみ、その動作に応じた操作が行われるため、誤動作の発生を抑えることができる。
【００２５】
また、前記操作システムは、さらに、前記加速度計測部によって計測された加速度に基づいて、所定の動作が前記ユーザによって行われたか否かを判定する動作判定部と、前記所定の動作が行われたと判定された場合、前記筋電位計測部によって計測された筋電位に対応する前記ユーザの動作を認識する動作認識部とを備え、前記相関判定部は、前記操作対象機器に対する操作ごとに、当該操作に関連付けられた、加速度に基づく第１動作と、筋電位に基づく第２動作とを示す操作辞書情報を参照し、前記操作辞書情報において、前記所定の動作と、認識された前記ユーザの動作とがそれぞれ、前記第１動作および前記第２動作として同一の操作に対して関連付けられていれば、前記相関関係があると判定し、前記決定部は、前記相関関係があると判定された場合、前記操作辞書情報において、前記所定の動作に関連付けられている操作を前記実行操作として決定してもよい。
【００２６】
これにより、加速度に基づいて行われたと判定された所定の動作と、筋電位に基づいて認識されたユーザの動作とが、操作辞書情報において、同一の操作に関連付けられている場合に、その操作が実行操作として決定される。したがって、所定の動作と、認識されたユーザの動作とが一致する場合だけでなく、それらの動作が互いに関連する場合にも、その所定の動作に応じた操作を行うことができ、操作性を向上することができる。
【００２７】
また、前記加速度計測部は、さらに、前記第１機器における重力加速度を計測し、前記動作判定部は、さらに、計測された前記重力加速度に基づいて、前記第１機器の向きを特定し、前記操作辞書情報は、前記操作対象機器に対する操作ごとに、さらに、当該操作に関連付けられた前記第１機器の向きを示し、前記決定部は、前記操作辞書情報を参照し、当該操作辞書情報において、特定された前記向きと、前記所定の動作とに関連付けられている操作を、前記実行操作として決定してもよい。
【００２８】
これにより、所定の動作がユーザによって行われた場合であっても、第１機器の向きに応じて異なる操作を行うことができ、操作性を向上することができる。
【００２９】
また、前記操作システムは、さらに、前記筋電位計測部によって計測された筋電位に基づいて、前記手が前記第１機器を保持する保持力を特定する保持力特定部を備え、前記操作辞書情報は、前記操作対象機器に対する操作ごとに、さらに、当該操作に関連付けられた保持力を示し、前記決定部は、前記操作辞書情報を参照し、当該操作辞書情報において、特定された保持力と、前記所定の動作とに関連付けられている操作を、前記実行操作として決定してもよい。
【００３０】
これにより、所定の動作がユーザによって行われた場合であっても、保持力に応じて異なる操作を行うことができ、操作性を向上することができる。
【００３１】
また、前記相関判定部は、さらに、前記加速度計測部によって計測される第１閾値以上の加速度の発生タイミングと、前記筋電位計測部によって計測される第２閾値以上の筋電位の発生タイミングとの差が、予め定められた時間以内であるか否かを判別し、前記予め定められた時間以内であると判別したときには、前記相関関係があると判定してもよい。
【００３２】
これにより、加速度と筋電位の発生タイミングによって相関関係の有無が判定されるため、ユーザの動作の判定または認識を行う必要がなく、操作システムの構成を簡略化することができる。
【００３３】
また、前記決定部は、さらに、前記相関関係があると判定された場合、前記筋電位の発生タイミング以降に計測された筋電位が、前記第１閾値より高い基準値未満であるときには、前記第１機器を前記手で強く保持するように前記ユーザに促すための画像を前記操作対象機器に表示させる操作を、前記実行操作として決定してもよい。例えば、前記決定部は、前記第１機器を前記手で強く保持するように前記ユーザに促すメッセージが記載された前記画像を前記操作対象機器に表示させる操作を、前記実行操作として決定してもよい。
【００３４】
例えば、相関関係があると判定された場合であっても、計測される筋電位が小さければ、その筋電位は、操作対象機器の操作以外の目的で発生した可能性がある。したがって、計測される筋電位が基準値未満であるときには、注意喚起的な画像を操作対象機器に表示させることによって、ユーザに対して第１機器を強く保持させることができる。したがって、その後、ユーザが所定の動作を行って操作対象機器を操作しようとする場合には、高い筋電位に基づいて操作対象機器を操作することができ、誤動作の発生を抑えることができる。
【００３５】
また、前記決定部は、前記筋電位の発生タイミング以降に計測された筋電位に相当する長さを有する第１オブジェクトと、前記基準値を示す第２オブジェクトとを互いに対比させて表示させる操作を、前記実行操作として決定してもよい。
【００３６】
例えば、第１オブジェクトは、伸縮するバーとして表示され、第２オブジェクトは、そのバーの伸縮方向に対して垂直な方向に沿う基準ラインとして表示される。これにより、ユーザの現在の保持力と、必要とされる保持力とをユーザに容易に認識させることができる。
【００３７】
また、前記決定部は、前記操作対象機器に表示される前記第１オブジェクトの長さを、前記筋電位計測部によって随時計測される筋電位に応じてリアルタイムに変更させてもよい。
【００３８】
これにより、ユーザは、表示される第１オブジェクトの長さを見ながら、第１機器を保持する保持力を適切な保持力に簡単に調整することができる。
【００３９】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００４０】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４１】
（実施の形態１）
図１は、本実施の形態における操作システムの一例を示す図である。
【００４２】
本実施の形態における操作システム１０００は、操作対象機器を第１機器１００および第２機器２００によって操作するシステムである。
【００４３】
第１機器１００は、例えばスマートフォンなどの携帯端末として構成されている。そして、この第１機器１００は、例えばユーザの手に保持されて動かされると、その第１機器１００が移動する加速度を計測する。第２機器２００は、ユーザの手首に装着されて使用され、その第２機器２００と接する手首に生じる筋電位を計測する筋電位計測装置である。
【００４４】
このような操作システム１０００は、第１機器１００によって計測された加速度と、第２機器２００によって計測された筋電位とに基づいて、操作対象機器を操作する。例えば、ユーザは、第２機器２００が装着された手首の手で第１機器１００を保持し、その第１機器１００を動かす（移動させる）。このときに計測される加速度と筋電位とに基づいて、第１機器１００が操作対象機器として操作される。つまり、本実施の形態では、操作対象機器は、第１機器１００、または第１機器１００に内蔵されている機器である。なお、操作対象機器は、第２機器２００であっても、操作システム１０００以外の例えばテレビまたはエアコンなどの家電であってもよい。
【００４５】
図２は、本実施の形態における第２機器２００の外観および使用例を示す図である。
【００４６】
第２機器２００は、図２の（ａ）に示すように、本体部２９１と、バンド部２９２と、複数の電極２９３とを備える。
【００４７】
本体部２９１は、第２機器２００を動作させるための各種デバイスが格納される部分である。例えば、本体部２９１には、信号処理回路、電池、または無線通信デバイスなどが格納される。本実施の形態では、本体部２９１は、生体電位である筋電位を計測するための回路が構成された回路基板を有する。
【００４８】
バンド部２９２は、図２の（ｂ）に示すように、ユーザＨの手首に巻き付けられる。つまり、バンド部２９２は、ユーザＨの手首の全周又は一部を囲う帯状部材である。例えば、バンド部２９２は、樹脂、金属あるいは繊維からなる、ストラップあるいはブレスレットである。本体部２９１は、このバンド部２９２の表面には取り付けられている。
【００４９】
複数の電極２９３はそれぞれ、筋電位を計測するための電極であって、バンド部２９２におけるユーザＨの手首側の面に、露出して配置されている。図２の（ｂ）に示すように、バンド部２９２が手首に巻き付けられると、複数の電極２９３はそれぞれ、手首における当該電極２９３に対向する部位に接触する。また、これらの複数の電極２９３は、本体部２９１に含まれる回路基板と電気的に接続されている。これにより、本体部２９１は、各電極２９３が接触する部位に発生する筋電位を計測することができる。
【００５０】
なお、複数の電極２９３のそれぞれはチャンネル（ＣＨ）として扱われる。また、本実施の形態では、第２機器２００は７つの電極２９３を備え、７チャンネルの筋電位を計測する。
【００５１】
図３は、本実施の形態における操作システム１０００の第１機器１００および第２機器２００の機能的な構成を示すブロック図である。
【００５２】
第１機器１００は、加速度計測部１０１と、第１タイマー１０２と、動作判定部１０３と、第１辞書１０４と、動作送信部１０５と、結果受信部１０６と、決定部１０７と、実行部１０８とを備える。
【００５３】
第１タイマー１０２は、現在の時刻を計測し、その計測された時刻を加速度計測部１０１に出力する。
【００５４】
加速度計測部１０１は、予め定められた周期で、第１機器１００が移動する加速度を計測する。また、加速度計測部１０１は、加速度が計測された時刻を、第１タイマー１０２から出力される時刻に基づいて特定する。そして、加速度計測部１０１は、加速度が計測されるごとに、その計測された加速度と、その加速度が計測された時刻とを関連付けて示す加速度情報を動作判定部１０３に出力する。
【００５５】
第１辞書１０４は、第１機器１００に対する動作ごとに、その動作に関連付けられた第１機器１００の移動形態を示す判定辞書情報を格納している。
【００５６】
動作判定部１０３は、加速度計測部１０１から随時出力される加速度情報を取得する。動作判定部１０３は、それらの加速度情報に基づいて、第１機器１００の移動形態を特定する。そして、動作判定部１０３は、その特定された移動形態と第１辞書１０４の判定辞書情報とを用いて、所定の動作がユーザによって行われたか否かを判定する。このとき、動作判定部１０３は、第１辞書１０４の判定辞書情報を参照し、その判定辞書情報において、その特定された移動形態に関連付けられている第１機器１００に対する動作を、上述の所定の動作として特定する。さらに、動作判定部１０３は、その特定された所定の動作が現れる時刻である第１起点時刻と、その特定された所定の動作とを示す第１動作情報を動作送信部１０５に出力する。
【００５７】
動作送信部１０５は、動作判定部１０３から第１動作情報を取得すると、その第１動作情報を第２機器２００に送信する。
【００５８】
結果受信部１０６は、第２機器２００から比較結果情報を取得すると、その比較結果情報を決定部１０７に出力する。この比較結果情報は、動作判定部１０３によって特定された所定の動作が、第２機器２００で認識されたユーザの動作と一致しているか否かを示す。
【００５９】
決定部１０７は、結果受信部１０６から比較結果情報を取得すると、その比較結果情報を参照することによって、動作判定部１０３によって特定された所定の動作が、第２機器２００で認識されたユーザの動作と一致している否かを判別する。その結果、決定部１０７は、一致していると判別すると、動作判定部１０３によって特定された所定の動作に関連付けられている操作を実行操作として決定する。そして、決定部１０７は、その決定された実行操作を示す操作コマンドを実行部１０８（つまり操作対象機器）に出力する。
【００６０】
実行部１０８は、決定部１０７から操作コマンドを取得すると、その操作コマンドにしたがった処理を実行する。このように、本実施の形態では、第１機器１００の実行部１０８が操作コマンドにしたがって処理を実行する操作対象機器である。
【００６１】
第２機器２００は、筋電位計測部２０１と、第２タイマー２０２と、動作認識部２０３と、第２辞書２０４と、動作受信部２０５と、結果送信部２０６と、比較部２０７とを備える。
【００６２】
第２タイマー２０２は、現在の時刻を計測し、その計測された時刻を筋電位計測部２０１に出力する。
【００６３】
筋電位計測部２０１は、ユーザの身体のうちの、手を動かすための部位であって、第２機器２００が装着された部位である電位計測部位に生じる筋電位を計測する。本実施の形態では、第２機器２００は手首に装着されるため、筋電位計測部２０１は、電位計測部位である手首に生じる筋電位を計測する。なお、第２機器２００は、ユーザの身体のうちの、手を動かすための部位であれば、手首以外の部位（例えば、手首と肘との中間にある部位など）に装着されていてもよい。
【００６４】
具体的には、筋電位計測部２０１は、上述の複数の電極２９３のそれぞれが接触する部位に発生する筋電位を予め定められた周期で計測する。また、筋電位計測部２０１は、筋電位が計測された時刻を、第２タイマー２０２から出力される時刻に基づいて特定する。そして、筋電位計測部２０１は、動作認識部２０３からの要求に応じて、その計測された筋電位と、その筋電位が計測された時刻とを関連付けて示す筋電位情報を動作認識部２０３に出力する。
【００６５】
第２辞書２０４は、動作ごとに、その動作に関連付けられた筋電位のパターンを示す認識辞書情報を格納している。
【００６６】
動作受信部２０５は、第１機器１００の動作送信部１０５から第１動作情報を受信すると、その第１動作情報を比較部２０７に出力するとともに、第１動作情報によって示される第１起点時刻を動作認識部２０３に通知する。
【００６７】
動作認識部２０３は、動作受信部２０５から第１起点時刻の通知を受けると、その第１起点時刻に応じた筋電位情報の出力を筋電位計測部２０１に要求する。動作認識部２０３は、その要求によって、筋電位計測部２０１から筋電位情報を取得すると、その筋電位情報によって示される各位置（つまり各チャンネル）の筋電位に基づいて、電位計測部位における筋電位のパターンを特定する。そして、動作認識部２０３は、第２辞書２０４の認識辞書情報を参照し、その認識辞書情報において、特定された筋電位のパターンに関連付けられている動作を、ユーザの動作として認識する。さらに、動作認識部２０３は、その認識されたユーザの動作を示す第２動作情報を比較部２０７に出力する。
【００６８】
比較部２０７は、第１動作情報および第２動作情報を取得すると、その第１動作情報によって示される、第１機器１００によって特定された所定の動作と、第２動作情報によって示される、第２機器２００によって認識されたユーザの動作とを比較する。つまり、比較部２０７は、それらの動作が一致するか否かを判別する。そして、比較部２０７は、その判別の結果（または比較の結果）を示す上述の比較結果情報を結果送信部２０６に出力する。
【００６９】
本実施の形態では、比較部２０７は、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部として構成されている。そして、比較部２０７は、第１機器１００によって特定された所定の動作と、第２機器２００によって認識されたユーザの動作とを比較し、それぞれの動作が一致する場合に、上述の相関関係があると判定する。したがって、上述の比較結果情報は、相関関係があるか否かを示す情報である。
【００７０】
結果送信部２０６は、比較部２０７から比較結果情報を取得すると、その比較結果情報を第１機器１００に送信する。
【００７１】
したがって、第１機器１００の決定部１０７は、比較部２０７によって上述の相関関係があると判定された場合、計測された加速度または筋電位に対応する操作を実行操作として決定する。
【００７２】
図４は、加速度計測部１０１によって計測される加速度の向きを示す図である。
【００７３】
加速度計測部１０１は、第１機器１００に設定されている３軸のそれぞれの方向の加速度を計測する、いわゆる３軸加速度センサである。言い換えれば、加速度計測部１０１は、第１機器１００の加速度を、その第１機器１００に設定されている軸方向ごとに計測する。その３軸は、第１機器１００の長手方向に沿うｙ軸と、第１機器１００のディスプレイ１９１に平行であって、ｙ軸と直交するｘ軸と、そのディスプレイ１９１と垂直な方向に沿うｚ軸とからなる。
【００７４】
図５は、第１機器１００がユーザによって動かされる様子の一例を示す図である。
【００７５】
ユーザＨは、第１機器１００を左手で保持する。具体的には、ユーザＨは、第１機器１００におけるディスプレイ１９１の反対側の面を掌に向けてその第１機器１００を保持する。また、このとき、ユーザＨの手首には、第２機器２００が装着されている。このような状態で、ユーザＨは、その第１機器１００を保持している左手を右に振る。
【００７６】
このように第１機器１００が振られると、加速度計測部１０１は、その振りに応じて移動する第１機器１００の加速度を軸方向ごとに計測する。動作判定部１０３は、その軸方向ごとの加速度と、第１辞書１０４の判定辞書情報とを用いて、所定の動作として、第１機器１００の右方向への振りを特定する。
【００７７】
また、筋電位計測部２０１は、ユーザＨの左手の振りに応じた筋電位をチャンネルごとに計測する。動作認識部２０３は、そのチャンネルごとの筋電位と、第２辞書２０４の認識辞書情報とを用いて、ユーザＨの動作として、第１機器１００の右方向への振りを認識する。
【００７８】
この場合、比較部２０７は、動作判定部１０３によって特定された所定の動作と、動作認識部２０３によって認識されたユーザの動作とが、共に、第１機器１００の右方向への振りであるため、一致していると判別する。つまり、比較部２０７は、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があると判定する。したがって、決定部１０７は、その第１機器１００の右方向への振りに予め関連付けられている操作を実行操作として決定し、その実行操作を示す操作コマンドを実行部１０８に出力する。これにより、実行部１０８は、その操作コマンドを取得すると、その操作コマンドにしたがって、例えば、第１機器１００のディスプレイ１９１に表示されている写真を前の写真に変更する。
【００７９】
一方、ユーザＨが逆向き、つまり左手を左に振ると、比較部２０７は、動作判定部１０３によって特定された所定の動作と、動作認識部２０３によって認識されたユーザの動作とが、共に、第１機器１００の左方向への振りであるため、一致していると判別する。このときにも、比較部２０７は、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があると判定する。したがって、決定部１０７は、その第１機器１００の左方向への振りに予め関連付けられている操作を実行操作として決定し、その実行操作を示す操作コマンドを実行部１０８に出力する。これにより、実行部１０８は、その操作コマンドを取得すると、その操作コマンドにしたがって、例えば、第１機器１００のディスプレイ１９１に表示されている写真を次の写真に変更する。
【００８０】
このように、比較部２０７は、ユーザが第１機器１００を振る動作が、（ａ）所定の動作としてユーザによって行われたと、動作判定部１０３によって判定され、かつ、（ｂ）計測された筋電位に対応するユーザの動作として、動作認識部２０３によって認識された場合に、相関関係があると判定する。そして、決定部１０７は、相関関係があると判定された場合、第１機器１００を振る動作に予め関連付けられている操作を実行操作として決定する。
【００８１】
図６は、加速度計測部１０１から出力される加速度情報の一例を示す図である。
【００８２】
加速度情報は、図６に示すように、計測時刻６０１、ｘ軸方向の加速度６０２、ｙ軸方向の加速度６０３、およびｚ軸方向の加速度６０４からなる。ｘ軸方向の加速度６０２、ｙ軸方向の加速度６０３、およびｚ軸方向の加速度６０４はそれぞれ、各軸方向において計測された加速度である。また、計測時刻６０１は、その各軸方向における加速度が計測された時刻である。例えば、加速度情報は、計測時刻６０１「２０１４／９／２５  １９：００：１０：０００５」、ｘ軸方向の加速度６０２「−０．０４８２９」、ｙ軸方向の加速度６０３「−０．９４４２２」、およびｚ軸方向の加速度６０４「−０．３４５２４」からなる。
【００８３】
また、このような加速度情報は例えば１ｍ秒ごとに生成されて出力される。
【００８４】
動作判定部１０３は、このような加速度情報を取得する。なお、動作判定部１０３は、加速度情報が生成される度に、その加速度情報を取得してもよく、所定期間ごとに、複数の加速度情報を纏めて取得してもよい。
【００８５】
そして、動作判定部１０３は、これらの加速度情報に基づいて、第１機器１００が動かされたか（移動されたか）否かを判別する。具体的には、動作判定部１０３は、３軸のそれぞれの方向において計測された加速度から、加速度の合成ベクトルを算出し、その合成ベクトルの大きさが閾値以上であれば、第１機器１００が動かされたと判別する。一方、動作判定部１０３は、その合成ベクトルの大きさが閾値未満であれば、第１機器１００が動かされていないと判別する。
【００８６】
動作判定部１０３は、第１機器１００が動かされたと判別すると、合成ベクトルの大きさが閾値を超えた時刻である第１起点時刻から、所定時間後までの区間における第１機器１００の移動形態を、その区間に対応する複数の加速度情報に基づいて特定する。なお、第１起点時刻は、合成ベクトルの大きさが閾値を超えた時刻から予め定められた時間前の時刻であってもよい。移動形態の特定では、動作判定部１０３は、例えば、第１機器１００が移動した方向である移動方向と、第１機器１００が移動した距離である移動距離と、第１機器１００が移動しているときの平均速度である平均移動速度とを、移動形態として算出する。
【００８７】
図７は、第１辞書１０４に格納されている判定辞書情報の一例を示す図である。
【００８８】
判定辞書情報は、図７に示すように、第１機器１００に対する動作（対象動作）７０１ごとに、その動作に関連付けられた第１機器１００の移動形態を示す。移動形態は、移動方向７０２、移動距離７０３および平均移動速度７０４からなる。
【００８９】
移動方向７０２は、ｘ軸、ｙ軸およびｚ軸に基づく第１機器１００の移動方向を示す。移動距離７０３は、第１機器１００が移動した距離を示し、平均移動速度７０４は、第１機器１００が移動しているときの平均速度を示す。
【００９０】
例えば、移動方向７０２は、第１機器１００の移動方向が、ｘ軸を基準に１５０°〜２１０°の範囲にあって、かつ、ｙ軸を基準に８０°〜１００°の範囲にあって、かつ、ｚ軸を基準に８０°〜１００°の範囲にあることを示す。さらに、移動距離７０３は、第１機器１００の移動距離が５ｃｍよりも長いことを示す。さらに、平均移動速度７０４は、第１機器１００の平均速度が０．５ｍ／ｓよりも速いことを示す。このような、移動方向７０２、移動距離７０３および平均移動速度７０４からなる、第１機器１００の移動形態は、判定辞書情報では、対象動作７０１として、第１機器１００の左方向への振りに関連付けられている。
【００９１】
動作判定部１０３は、上述のように加速度情報に基づいて第１機器１００の移動形態を特定すると、その特定された移動形態と、図７に示す判定辞書情報とを用いて、所定の動作がユーザによって行われたか否かを判定する。具体的には、動作判定部１０３は、特定された第１機器１００の移動形態に該当する移動形態（移動方向７０２、移動距離７０３および平均移動速度７０４）を判定辞書情報から検索する。そして、動作判定部１０３は、その移動形態を見つけると、所定の動作がユーザによって行われたと判定する。さらに、動作判定部１０３は、判定辞書情報において、その見つけた移動形態に関連付けられている対象動作７０１を、ユーザによって行われた所定の動作として特定する。
【００９２】
図８は、筋電位計測部２０１から出力される筋電位情報の一例を示す図である。
【００９３】
筋電位情報は、図８に示すように、計測時刻８００と、チャンネルＣＨ１〜ＣＨ７の筋電位８０１〜８０７とからなる。チャンネルＣＨ１〜７のそれぞれの筋電位８０１〜８０７は、そのチャンネルに対応する電極２９３によって計測された筋電位である。また、計測時刻８００は、チャンネルＣＨ１〜７の筋電位８０１〜８０７が計測された時刻である。例えば、筋電位情報は、計測時刻８００「２０１４／９／２５  １９：００：１０：０００５」、チャンネルＣＨ１の筋電位８０１「−１．８１１」、チャンネルＣＨ２の筋電位８０２「−１１．０２９」、チャンネルＣＨ３の筋電位８０３「−３３．４８５」、およびチャンネルＣＨ７の筋電位８０７「−３１．０８６」を示す。
【００９４】
また、このような筋電位情報は例えば１ｍ秒ごとに生成されて出力される。
【００９５】
動作認識部２０３は、動作受信部２０５から第１起点時刻の通知を受けると、その第１起点時刻から所定時間後までの区間における筋電位情報の出力を筋電位計測部２０１に要求する。この要求によって、動作認識部２０３は、その区間における複数の筋電位情報を取得する。なお、動作認識部２０３は、第１起点時刻よりも予め定められた時間だけ前の時刻から、所定時間後までの区間における複数の筋電位情報を取得してもよい。これは、実際に筋肉が動き出す少し前に、筋電位が発生するためである。
【００９６】
図９は、各チャンネルの整流化された筋電位を加算することによって得られる波形の一例を示す図である。
【００９７】
動作認識部２０３は、上述の区間における複数の筋電位情報を筋電位計測部２０１から取得すると、チャンネルごとに、それらの筋電位情報に含まれる筋電位の整流化（全波整流）を行う。そして、動作認識部２０３は、チャンネルごとに整流化された筋電位のそれぞれを加算することによって、図９に示すように、加算整流化波形を生成する。
【００９８】
次に、動作認識部２０３は、生成された加算整流化波形において、筋電位が予め定められた閾値（例えば４００μＶ）を超えた時刻を第２起点時刻として特定する。そして、動作認識部２０３は、その第２起点時刻から所定時間後までの区間において生成された複数の筋電位情報を、ユーザの動作の認識に用いる。例えば、動作認識部２０３は、その区間における各筋電位の二乗平均平方根（ＲＭＳ：Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）をチャンネルごとに算出する。
【００９９】
図１０は、各チャンネルの筋電位のＲＭＳの一例を示す図である。
【０１００】
動作認識部２０３は、図１０に示すように、横軸に各チャンネルを示し、縦軸に筋電位のＲＭＳを示すグラフを生成する。各チャンネルの筋電位は、そのチャンネルに対応する筋肉が利用されると発生する。また、手の動きごとに、利用される筋肉は異なる。したがって、このグラフによって示される各チャンネルの筋電位（筋電位のＲＭＳ）のパターンは、第２機器２００が装着されている手の動きを識別し得るものである。
【０１０１】
図１１は、第２辞書２０４に格納されている認識辞書情報の一例を示す図である。
【０１０２】
認識辞書情報は、図１１に示すように、動作１１０１ごとに、その動作１１０１に関連付けられた筋電位のパターン１１０２を示す。なお、認識辞書情報に示されるこれらのパターン１１０２は、各チャンネルにおける筋電位のＲＭＳのパターンである。また、これらのパターン１１０２のそれぞれは、そのパターン１１０２に関連付けられている動作１１０１の典型的なパターンである。
【０１０３】
動作認識部２０３は、上述のようにグラフを生成することによって、各チャンネルの筋電位のＲＭＳのパターンを特定すると、そのパターンに類似するパターン１１０２を認識辞書情報から検索する。この検索には、パターンマッチングが用いられる。そして、動作認識部２０３は、そのパターン１１０２を見つけると、認識辞書情報においてそのパターン１１０２に関連付けられている動作を、ユーザの動作として認識する。
【０１０４】
例えば、動作認識部２０３は、図１０に示すグラフによって特定されるパターンと類似するパターン１１０２を認識辞書情報から検索することによって、第１機器１００の左方向へ振りを、ユーザの動作として認識する。
【０１０５】
このように、本実施の形態では、筋電位計測部２０１は、電位計測部位のうちの各位置に生じる筋電位を計測する。そして、動作認識部２０３は、筋電位計測部２０１によって計測された各位置の筋電位に基づいて、電位計測部位における筋電位のパターンを特定する。次に、動作認識部２０３は、認識辞書情報を参照し、その認識辞書情報において、特定された筋電位のパターンに関連付けられている動作を、ユーザの動作として認識する。
【０１０６】
図１２は、決定部１０７によって決定される操作の一例を示す図である。
【０１０７】
決定部１０７は、図１２に示すように、第１機器１００に対する操作９０１ごとに、その操作９０１に関連付けられた加速度に基づく動作（加速度動作）９０２を示す操作辞書情報を保持している。したがって、決定部１０７は、第２機器２００から結果受信部１０６を介して比較結果情報を取得し、相関関係があることがその比較結果情報に示されている場合、図１２に示す操作辞書情報を参照する。そして、決定部１０７は、動作判定部１０３によって特定された所定の動作に該当する動作９０２をその操作辞書情報から検索し、その動作９０２が見つかると、その動作９０２に関連付けられている操作９０１を、実行操作として決定する。
【０１０８】
図１３は、本実施の形態における操作システム１０００の処理動作を示すフローチャートである。
【０１０９】
まず、加速度計測部１０１は、第１機器１００の加速度を計測してその計測された加速度を含む加速度情報を生成する処理を、予め定められた周期で繰り返し実行する（ステップＳ２０１）。
【０１１０】
次に、動作判定部１０３は、ステップＳ２０１で生成された複数の加速度情報を取得し、取得された複数の加速度情報に基づいて、ユーザによって所定の動作が行われたか否かを判定する（ステップＳ２０２）。
【０１１１】
動作判定部１０３は、ステップＳ２０２において所定の動作が行われたと判定すると（ステップＳ２０２のＹｅｓ）、その所定の動作を特定し、その所定の動作が現れる時刻を示す第１起点時刻と、その所定の動作とを示す第１動作情報を、動作送信部１０５を介して第２機器２００に送信する（ステップＳ２０３）。
【０１１２】
第２機器２００の動作受信部２０５は、その第１動作情報を受信する（ステップＳ２０４）。そして、動作受信部２０５は、その第１動作情報を比較部２０７に出力するとともに、その第１動作情報によって示される第１起点時刻を動作認識部２０３に通知する。
【０１１３】
動作認識部２０３は、第１起点時刻の通知を受けると、その第１起点時刻に対応する区間における複数の筋電位情報を筋電位計測部２０１から取得する（ステップＳ２０５）。
【０１１４】
次に、動作認識部２０３は、取得した複数の筋電位情報に基づいて、ユーザの動作を認識する（ステップＳ２０６）。
【０１１５】
次に、比較部２０７は、動作認識部２０３によって認識されたユーザの動作を、第１動作情報によって示される所定の動作と比較することによって、これらの動作が一致するか否かを判別する（ステップＳ２０７）。そして、比較部２０７は、その比較結果を示す情報を比較結果情報として結果送信部２０６を介して第１機器１００に送信する（ステップＳ２０８）。
【０１１６】
第１機器１００の決定部１０７は、第２機器２００から結果受信部１０６を介して比較結果情報を受信する（ステップＳ２０９）。そして、決定部１０７は、その比較結果情報を参照することによって、動作判定部１０３で特定された所定の動作が、第２機器２００で認識されたユーザの動作と一致している否かを判別する（ステップＳ２１０）。ここで、決定部１０７は、一致していると判別すると（ステップＳ２１０のＹｅｓ）、その所定の動作に関連付けられている操作を実行操作として決定し、その実行操作を示す操作コマンドを実行部１０８に出力する。
【０１１７】
実行部１０８は、決定部１０７から操作コマンドを取得すると、その操作コマンドに応じた処理を実行する（ステップＳ２１１）。例えば、実行部１０８は、写真を閲覧するためのアプリケーションプログラムの処理をその操作コマンドに応じて実行する。具体的には、実行部１０８は、ディスプレイ１９１に表示されている写真を次の写真に変更したり、前の写真に変更したりする。
【０１１８】
以上のように、本実施の形態における操作システム１０００は、操作対象機器を第１機器１００および第２機器２００によって操作するシステムである。そして、この操作システム１０００は、第１機器１００が移動する加速度を計測する加速度計測部１０１と、ユーザの身体のうちの、手を動かすための部位であって、第２機器２００が装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部２０１と、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部である比較部２０７と、相関関係があると判定された場合、計測された加速度または筋電位に対応する操作を実行操作として決定し、決定された実行操作を示す操作コマンドを操作対象機器に出力する決定部１０７と備える。なお、本実施の形態では、操作対象機器は、第１機器１００、または第１機器１００に備えられている実行部１０８である。例えば、第１機器１００は、手に保持される携帯端末であって、第２機器２００は、その電位計測部位である手の手首に装着される。
【０１１９】
これにより、第１機器１００の加速度と、手を動かすための部位に生じる筋電位との間に相関関係があれば、その加速度または筋電位に対応する操作が決定される。例えば、ユーザが手に第１機器１００を保持した状態でその手を動かすときには、その加速度と筋電位との間には相関関係がある。したがって、このようなときには、その手の動きは、操作対象機器を操作するための動きであって、他の目的の動きではないと判定される。その結果、その手の動きに応じて計測される上述の加速度または筋電位に対応する操作が決定されることによって、操作対象機器の誤動作の発生を抑えることができる。例えば、第１機器１００をユーザのポケットの中に入れた状態でユーザが歩いたときに、そのユーザの動きによって操作対象機器が誤動作してしまうことを防ぐことができる。また、操作対象機器を操作するために、腕を肩の高さまで上げる必要はない。したがって、ユーザの動きに制限を与えないため、ユーザに負担をかけることなく誤動作の発生を抑えることができる。
【０１２０】
また、本実施の形態における操作システム１０００は、加速度計測部１０１によって計測された加速度に基づいて、所定の動作がユーザによって行われたか否かを判定する動作判定部１０３と、その所定の動作が行われたと判定された場合、筋電位計測部２０１によって計測された筋電位に対応するユーザの動作を認識する動作認識部２０３とを備える。そして、相関判定部である比較部２０７は、その所定の動作と、認識されたユーザの動作とを比較し、それぞれの動作が一致する場合に、相関関係があると判定する。決定部１０７は、相関関係があると判定された場合、その所定の動作に予め関連付けられている操作を実行操作として決定する。
【０１２１】
これにより、加速度に基づいて行われたと判定された所定の動作と、筋電位に基づいて認識されたユーザの動作とが一致する場合に、その所定の動作に予め関連付けられている操作が実行操作として決定される。したがって、ユーザによって所定の動作が行われたと間違いなく判断される場合にのみ、その所定の動作に応じた操作が行われるため、誤動作の発生をさらに抑えることができる。例えば、ユーザによる操作目的以外の日常の動作によって第１機器１００が動いた場合でも、誤って操作対象機器が操作されてしまうことを抑えることができる。
【０１２２】
また、本実施の形態では、加速度計測部１０１は、第１機器１００の加速度を、その第１機器１００に設定されている軸方向ごとに計測する。そして、動作判定部１０３は、加速度計測部１０１によって計測された軸方向ごとの加速度に基づいて、第１機器１００の移動形態を特定する。さらに、動作判定部１０３は、第１機器１００に対する動作ごとに、その動作に関連付けられた第１機器１００の移動形態を示す判定辞書情報を参照する。そして、動作判定部１０３は、その判定辞書情報において、特定された移動形態が示されていれば、特定された移動形態に関連付けられている動作が、その所定の動作としてユーザによって行われたと判定する。例えば、移動形態は、図７に示すように、移動方向、移動距離または平均移動速度などである。
【０１２３】
これにより、所定の動作がユーザによって行われたか否かの判定が、判定辞書情報を参照して行われるため、正確にその判定を行うことができる。また、判定辞書情報には、第１機器１００に対する動作ごとに、その動作に関連付けられた第１機器１００の移動形態が示されている。したがって、この判定辞書情報において、加速度に基づいて特定された移動形態に関連付けられている動作を、所定の動作として特定することもできる。
【０１２４】
また、本実施の形態では、筋電位計測部２０１は、電位計測部位のうちの各位置に生じる筋電位を計測する。例えば、筋電位計測部２０１は、チャンネルごとの筋電位を計測する。動作認識部２０３は、筋電位計測部２０１によって計測された各位置の筋電位に基づいて、その電位計測部位における筋電位のパターンを特定し、動作ごとに、その動作に関連付けられた筋電位のパターンを示す認識辞書情報を参照する。そして、動作認識部２０３は、その認識辞書情報において、特定された筋電位のパターンに関連付けられている動作を、ユーザの動作として認識する。
【０１２５】
これにより、ユーザの動作の認識が、認識辞書情報を参照して行われるため、正確にその認識を行うことができる。
【０１２６】
また、本実施の形態では、相関判定部である比較部２０７は、ユーザが第１機器１００を振る動作が、（ａ）所定の動作としてユーザによって行われたと、動作判定部１０３によって判定され、かつ、（ｂ）計測された筋電位に対応するユーザの動作として、動作認識部２０３によって認識された場合に、相関関係があると判定する。決定部１０７は、相関関係があると判定された場合、第１機器１００を振る動作に予め関連付けられている操作を実行操作として決定する。
【０１２７】
これにより、第１機器１００を振る動作がユーザによって確かに行われた場合にのみ、その動作に応じた操作が行われるため、誤動作の発生を抑えることができる。
【０１２８】
（変形例１）
本変形例では、ユーザの動作だけでなく、第１機器の向きにも基づいて操作を決定する点に特徴がある。
【０１２９】
図１４は、本変形例に係る操作システムの第１機器および第２機器の機能的な構成を示すブロック図である。
【０１３０】
本変形例に係る操作システム１０００ａは、第１機器１００ａと第２機器２００ａとからなる。
【０１３１】
第１機器１００ａは、加速度計測部１０１と、第１タイマー１０２と、動作判定部１０３ａと、第１辞書１０４ａ、時刻送信部１０５ａと、結果受信部１０６ａと、決定部１０７ａと、実行部１０８と、第３辞書１０９とを備える。
【０１３２】
第１辞書１０４ａは、上記実施の形態における第１辞書１０４と同様に、判定辞書情報を格納しているとともに、さらに、他の判定辞書情報も格納している。以下、上記実施の形態における判定辞書情報を第１判定辞書情報といい、上述の他の判定辞書情報を第２判定辞書情報という。第２判定辞書情報は、第１機器１００ａが保持される向き（以下、保持の向きという）ごとに、その保持の向きに関連付けられた重力加速度成分の割合を示す。なお、保持の向きは、例えば地面を基準とした向きである。
【０１３３】
動作判定部１０３ａは、上記実施の形態における動作判定部１０３と同様に、ユーザによって所定の動作が行われたか否かを判定し、その所定の動作を特定する。さらに、動作判定部１０３ａは、第１機器１００ａの保持の向きを特定する。この向きを特定するときには、動作判定部１０３ａは、第１辞書１０４ａに格納されている第２判定辞書情報を用いる。また、動作判定部１０３ａは、特定された所定の動作および第１起点時刻を示す第１動作情報ではなく、第１起点時刻のみを示す時刻情報を時刻送信部１０５ａに出力する。また、動作判定部１０３ａは、特定された保持の向きと所定の動作とを示す特定結果情報を決定部１０７ａに出力する。
【０１３４】
時刻送信部１０５ａは、動作判定部１０３ａから時刻情報を取得すると、その時刻情報を第２機器２００ａに送信する。
【０１３５】
結果受信部１０６ａは、第２機器２００によって認識されたユーザの動作を示す第２動作情報を第２機器２００から受信する。そして、結果受信部１０６ａは、その受信された第２動作情報を決定部１０７ａに出力する。
【０１３６】
第３辞書１０９は、第１機器１００ａに対する操作ごとに、その操作に関連付けられた動作形態を示す操作辞書情報を格納している。動作形態は、保持の向きと、加速度に基づく第１動作と、筋電位に基づく第２動作とからなる。
【０１３７】
決定部１０７ａは、動作判定部１０３ａから特定結果情報を取得し、第２機器２００ａから結果受信部１０６ａを介して第２動作情報を受信する。さらに、決定部１０７ａは、その特定結果情報によって示される保持の向きおよび所定の動作と、第２動作情報によって示される動作とに対応する動作形態を、第３辞書１０９に格納されている操作辞書情報の中から検索する。決定部１０７ａは、操作辞書情報からその動作形態を見つけると、その動作形態に関連付けられている操作を実行操作として決定する。
【０１３８】
第２機器２００ａは、筋電位計測部２０１と、第２タイマー２０２と、動作認識部２０３と、第２辞書２０４ａと、時刻受信部２０５ａと、結果送信部２０６ａとを備える。
【０１３９】
時刻受信部２０５ａは、第１機器１００ａから時刻情報を受信すると、その時刻情報によって示される第１起点時刻を動作認識部２０３に通知する。
【０１４０】
第２辞書２０４ａは、動作ごとに、その動作に関連付けられた筋電位のパターンを示す認識辞書情報を格納している。
【０１４１】
結果送信部２０６ａは、筋電位に基づいて認識されたユーザの動作を示す第２動作情報を動作認識部２０３から取得すると、その第２動作情報を第１機器１００ａに送信する。
【０１４２】
図１５は、第１辞書１０４ａに格納されている第２判定辞書情報の一例を示す図である。
【０１４３】
第２判定辞書情報は、図１５に示すように、保持の向き１４０１ごとに、その保持の向き１４０１に関連付けられた重力加速度成分の割合１４０２を示す。
【０１４４】
加速度計測部１０１は、上述のように３軸加速度センサであって、第１機器１００ａが静止しているときには、第１機器１００ａにおける重力加速度を軸方向ごとに計測している。また、第２判定辞書情報において、保持の向き１４０１に関連付けられている重力加速度成分の割合１４０２は、第１機器１００ａがその保持の向き１４０１で保持されているときに加速度計測部１０１によって計測される３軸方向の典型的な重力加速度の成分の割合である。
【０１４５】
本変形例における動作判定部１０３ａは、第１起点時刻よりも所定時間前の時刻（以下、保持特定時刻という）の加速度情報と、図１５に示す第２判定辞書情報とに基づいて、保持特定時刻における保持の向きを特定する。なお、保持特定時刻は、例えば第１起点時刻の直前の時刻であって、第１機器１００ａが静止していると想定される時刻である。
【０１４６】
具体的には、動作判定部１０３ａは、保持特定時刻における加速度情報によって示される３軸方向の加速度（つまり重力加速度）の成分の割合を算出し、図１５に示す第２判定辞書情報から、その算出された割合に該当する重力加速度成分の割合１４０２を検索する。そして、動作判定部１０３ａは、その重力加速度成分の割合１４０２が見つかると、その割合１４０２に関連付けられている保持の向き１４０１を、第１機器１００ａの保持の向きとして特定する。例えば、動作判定部１０３ａは、z軸方向におけるマイナス側の重力加速度の、全体の加速度に対する割合を算出する。この割合が９０％以上であれば、動作判定部１０３ａは、図１５に示す第２判定辞書情報を参照することによって、第１機器１００ａの保持の向きとして、画面上向きを特定する。なお、画面は、第１機器１００ａのディスプレイ１９１であって、画面上向きは、ディスプレイ１９１が地面と反対側に向けられる向きである。
【０１４７】
図１６は、第２辞書２０４ａに格納されている認識辞書情報の一例を示す図である。
【０１４８】
本変形例に係る認識辞書情報は、図１６に示すように、手の動作１５０１ごとに、その動作１５１０に関連付けられた筋電位のＲＭＳのパターン１５０２を示す。
【０１４９】
動作認識部２０３は、上述のようにグラフを生成することによって、各チャンネルにおける筋電位のＲＭＳのパターンを特定すると、そのパターンと類似するパターン１５０２を認識辞書情報から検索する。そして、動作認識部２０３は、そのパターン１５０２を見つけると、認識辞書情報において、そのパターン１５０２に関連付けられている手の動作を、ユーザの動作として認識する。
【０１５０】
例えば、動作認識部２０３は、図１０に示すグラフによって特定されるパターンと類似するパターン１５０２を認識辞書情報から検索することによって、手首を左に曲げる動作を、ユーザの動作として認識する。
【０１５１】
なお、動作認識部２０３は、第１機器１００ａをどの向きに向けた状態で手首をどの向きに曲げたかを、ユーザの動作として認識してもよい。しかし、手首を曲げる向きが同じであれば、第１機器１００ａの向き（保持の向き）が異なっていても、使われる筋肉は略同じであるため、筋電位計測部２０１で計測される筋電位の差は小さい。したがって、本変形例では、動作認識部２０３は、保持の向きに関わらず、手の動作を認識する。つまり、図１６に示す認識辞書情報は、手の動作１５１０に対応した、保持の向きに関わらない代表的な筋電位のＲＭＳのパターン１５０２を示す。
【０１５２】
図１７は、第３辞書１０９に格納されている操作辞書情報の一例を示す図である。
【０１５３】
操作辞書情報は、第１機器１００ａに対する操作１６０１ごとに、その操作１６０１に関連付けられた動作形態を示す。動作形態は、保持の向き１６０２と、加速度に基づく第１動作（加速度動作）１６０３と、筋電位に基づく第２動作（手の動作）１６０４とからなる。
【０１５４】
例えば、決定部１０７ａは、保持の向きとして「画面上向き」を示し、かつ、所定の動作として「右方向への振り」を示す特定結果情報を動作判定部１０３ａから取得する。さらに、決定部１０７ａは、第２機器２００ａから結果受信部１０６ａを介して、「手首を右に曲げる」ことを示す第２動作情報を受信する。このとき、決定部１０７ａは、保持の向き「画面上向き」、加速度動作「右方向への振り」および手の動作「手首を右に曲げる」を含む動作形態を、図１７に示す操作辞書情報から検索する。そして、決定部１０７ａは、その動作形態が見つかれば、操作辞書情報において、その動作形態に関連付けられた操作１６０１「前の画面に切り替える」を、実行操作として決定する。
【０１５５】
一方、決定部１０７ａは、特定結果情報によって示される所定の動作と、第２動作情報によって示されるユーザの動作が同じであっても、特定結果情報によって示される保持の向きが異なっていれば、上述の操作とは異なる操作を実行操作として決定する。
【０１５６】
つまり、決定部１０７ａは、保持の向きとして「画面右向き」を示し、かつ、所定の動作として「右方向への振り」を示す特定結果情報を動作判定部１０３ａから取得する。さらに、決定部１０７ａは、第２機器２００ａから結果受信部１０６ａを介して、「手首を右に曲げる」ことを示す第２動作情報を受信する。このとき、決定部１０７ａは、保持の向き「画面右向き」、加速度動作「右方向への振り」および手の動作「手首を右に曲げる」を含む動作形態を、図１７に示す操作辞書情報から検索する。そして、決定部１０７ａは、その動作形態が見つかれば、操作辞書情報において、その動作形態に関連付けられた操作１６０１「音量を上げる」を、実行操作として決定する。
【０１５７】
本変形例では、このような決定部１０７ａは、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部として構成されている。つまり、決定部１０７ａは、操作辞書情報を参照し、その操作辞書情報において、特定された所定の動作と、認識されたユーザの動作とがそれぞれ、第１動作および第２動作として同一の操作に対して関連付けられていれば、相関関係があると判定する。さらに、決定部１０７ａは、相関関係があると判定された場合、操作辞書情報において、特定された所定の動作に関連付けられている操作を実行操作として決定する。より具体的には、決定部１０７ａは、操作辞書情報を参照し、その操作辞書情報において、特定された保持の向きと、特定された所定の動作とに関連付けられている操作を、実行操作として決定する。
【０１５８】
図１８は、本変形例に係る操作システム１０００ａの処理動作を示すフローチャートである。
【０１５９】
まず、加速度計測部１０１は、第１機器１００ａの加速度を計測してその計測された加速度を含む加速度情報を生成する処理を、予め定められた周期で繰り返し実行する（ステップＳ２０１）。
【０１６０】
次に、動作判定部１０３ａは、ステップＳ２０１で生成された複数の加速度情報を取得し、取得された複数の加速度情報に基づいて、ユーザによって所定の動作が行われたか否かを判定する（ステップＳ２０２ａ）。
【０１６１】
動作判定部１０３ａは、ステップＳ２０２ａにおいて所定の動作が行われたと判定すると（ステップＳ２０２ａのＹｅｓ）、その所定の動作を特定する。さらに、動作判定部１０３ａは、上述の保持特定時刻の加速度情報に基づいて、その保持特定時刻における第１機器１００ａの保持の向きを特定する。そして、動作判定部１０３ａは、その特定された所定の動作および保持の向きを示す特定結果情報を決定部１０７ａに出力する。さらに、このとき、動作判定部１０３ａは、上述の第１起点時刻を示す時刻情報を、時刻送信部１０５ａを介して第２機器２００ａに送信する（ステップＳ２０３ａ）。
【０１６２】
第２機器２００ａの時刻受信部２０５ａは、その時刻情報を受信する（ステップＳ２０４ａ）。そして、時刻受信部２０５ａは、その時刻情報によって示される第１起点時刻を動作認識部２０３に通知する。
【０１６３】
動作認識部２０３は、第１起点時刻の通知を受けると、その第１起点時刻に対応する区間における複数の筋電位情報を筋電位計測部２０１から取得する（ステップＳ２０５）。
【０１６４】
次に、動作認識部２０３は、取得した複数の筋電位情報に基づいて、ユーザの動作、つまり手の動作を認識する（ステップＳ２０６）。
【０１６５】
そして、動作認識部２０３は、その認識結果を示す第２動作情報を、結果送信部２０６ａを介して第１機器１００ａに送信する（ステップＳ２０８ａ）。
【０１６６】
第１機器１００ａの決定部１０７ａは、第２機器２００ａから結果受信部１０６ａを介して、認識結果を示す第２動作情報を受信する（ステップＳ２０９ａ）。そして、決定部１０７ａは、動作判定部１０３ａから取得された特定結果情報によって示される保持の向きおよび所定の動作と、第２動作情報によって示される手の動作とに対応する動作形態を、第３辞書１０９の操作辞書情報の中から検索する。この検索によって、決定部１０７ａは、特定結果情報および第２動作情報によって示される所定の動作、手の動作および保持の向きが、実行し得る操作に対応したものであるか否かを判別する（ステップＳ２１０ａ）。つまり、決定部１０７ａは、操作辞書情報からその動作形態を見つけると、特定結果情報および第２動作情報によって示される所定の動作、手の動作および保持の向きが、実行し得る操作に対応したものであると判別する。言い換えれば、決定部１０７ａは、動作判定部１０３ａから取得された特定結果情報によって示される動作と、第２動作情報によって示される動作との間には相関関係があると判定する。
【０１６７】
ステップＳ２１０ａで、実行し得る操作に対応したものであると判別されると（ステップＳ２１０ａのＹｅｓ）、決定部１０７ａは、操作辞書情報において上述の動作形態に関連付けられている操作を実行操作として決定し、その実行操作を示す操作コマンドを実行部１０８に出力する。
【０１６８】
実行部１０８は、決定部１０７ａから操作コマンドを取得すると、その操作コマンドに応じた処理を実行する（ステップＳ２１１）。
【０１６９】
以上のように、本変形例に係る操作システム１０００ａは、加速度計測部１０１によって計測された加速度に基づいて、所定の動作がユーザによって行われたか否かを判定する動作判定部１０３ａと、所定の動作が行われたと判定された場合、筋電位計測部２０１によって計測された筋電位に対応するユーザの動作を認識する動作認識部２０３とを備える。そして、相関判定部である決定部１０７ａは、操作対象機器に対する操作ごとに、その操作に関連付けられた、加速度に基づく第１動作と、筋電位に基づく第２動作とを示す操作辞書情報を参照する。決定部１０７ａは、操作辞書情報において、その所定の動作と、認識されたユーザの動作とがそれぞれ、第１動作および前記第２動作として同一の操作に対して関連付けられていれば、相関関係があると判定する。さらに、決定部１０７ａは、相関関係があると判定された場合、操作辞書情報において、その所定の動作に関連付けられている操作を実行操作として決定する。
【０１７０】
これにより、加速度に基づいて行われたと判定された所定の動作と、筋電位に基づいて認識されたユーザの動作とが、操作辞書情報において、同一の操作に関連付けられていれる場合に、その操作が実行操作として決定される。したがって、所定の動作と、認識されたユーザの動作とが一致する場合だけでなく、それらの動作が互いに関連する場合にも、その所定の動作に応じた操作を行うことができ、操作性を向上することができる。
【０１７１】
また、本変形例では、加速度計測部１０１は、さらに、第１機器１００ａにおける重力加速度を計測する。動作判定部１０３ａは、さらに、計測された重力加速度に基づいて、第１機器１００ａの向きを特定する。また、操作辞書情報は、操作対象機器に対する操作ごとに、さらに、その操作に関連付けられた第１機器１００ａの向きを示す。決定部１０７ａは、その操作辞書情報を参照し、その操作辞書情報において、特定された向きと、その所定の動作とに関連付けられている操作を、実行操作として決定する。
【０１７２】
これにより、所定の動作がユーザによって行われた場合であっても、第１機器１００ａの向きに応じて異なる操作を行うことができ、操作性を向上することができる。
【０１７３】
つまり、本変形例では、ユーザの動きだけでなく、第１機器１００ａの保持の向きも用いて、操作コマンドが決定される。したがって、正しくない保持の向きで手が動いても、操作に応じた処理は実行されない。その結果、誤操作または誤動作が減るだけでなく、より多くの操作コマンドが定義可能となるため、入力できる操作の数を増やすことができる。
【０１７４】
（変形例２）
本変形例では、ユーザの動作および保持の向きだけでなく、第１機器が保持されている力（以下、保持力という）にも基づいて操作を決定する点に特徴がある。
【０１７５】
図１９は、本変形例に係る操作システムの第１機器および第２機器の機能的な構成を示すブロック図である。
【０１７６】
本変形例に係る操作システム１０００ｂは、第１機器１００ｂと第２機器２００ｂとからなる。
【０１７７】
第１機器１００ｂは、加速度計測部１０１と、第１タイマー１０２と、動作判定部１０３ａと、第１辞書１０４ａ、時刻送信部１０５ａと、結果受信部１０６ｂと、決定部１０７ｂと、実行部１０８と、第３辞書１０９ｂとを備える。
【０１７８】
結果受信部１０６ｂは、第２機器２００ｂによって認識されたユーザの動作（手の動作）を示す第２動作情報と、第２機器２００ｂによって判定された保持力を示す保持力情報とを、第２機器２００から受信する。そして、結果受信部１０６ｂは、その受信された第２動作情報および保持力情報を決定部１０７ｂに出力する。
【０１７９】
第３辞書１０９ｂは、第１機器１００ｂに対する操作ごとに、その操作に関連付けられた動作形態を示す操作辞書情報を格納している。本変形例における動作形態は、保持の向きと、加速度に基づく第１動作と、筋電位に基づく第２動作と、保持力とからなる。
【０１８０】
決定部１０７ｂは、動作判定部１０３ａから特定結果情報を取得し、第２機器２００ｂから結果受信部１０６ｂを介して第２動作情報および保持力情報を受信する。さらに、決定部１０７ｂは、その特定結果情報によって示される保持の向きおよび所定の動作と、第２動作情報によって示される動作と、保持力情報によって示される保持力とに対応する動作形態を、第３辞書１０９ｂに格納されている操作辞書情報の中から検索する。決定部１０７ｂは、操作辞書情報からその動作形態を見つけると、その動作形態に関連付けられている操作を実行操作として決定する。
【０１８１】
第２機器２００ｂは、筋電位計測部２０１と、第２タイマー２０２と、動作認識部２０３ｂと、第２辞書２０４ａと、時刻受信部２０５ａと、結果送信部２０６ｂと、保持力特定部２０８とを備える。
【０１８２】
動作認識部２０３ｂは、上記実施の形態および変形例１の動作認識部２０３と同様に、筋電位計測部２０１から出力される複数の筋電位情報に基づいて、ユーザの動作（手の動作）を認識するとともに、その認識に用いられた複数の筋電位情報を保持力特定部２０８に出力する。具体的には、動作認識部２０３ｂは、上述の第２起点時刻から所定時間後までの区間において生成された複数の筋電位情報を保持力特定部２０８に出力する。
【０１８３】
保持力特定部２０８は、動作認識部２０３ｂから上記区間における複数の筋電位情報を取得すると、それらの複数の筋電位情報に基づいて、ユーザが手を動かしながら第１機器１００ｂを保持している力である保持力を特定する。具体的には、保持力特定部２０８は、上記区間における複数の筋電位情報のそれぞれに示される各チャンネルの筋電位から、全てのチャンネルのＲＭＳ、または一部のチャンネルのＲＭＳを算出する。そして、保持力特定部２０８は、そのＲＭＳの値が大きいほど強い保持力を導出する。そして、保持力特定部２０８は、特定された保持力を示す保持力情報を動作認識部２０３ｂを介して結果送信部２０６に出力する。
【０１８４】
なお、上記区間における複数の筋電位情報を用いる理由は、筋電位の変動の影響を受けずに保持力を判定するためである。つまり、ユーザが手を動かしているときには、筋電位は大きく変動する。上記区間における複数の筋電位情報を用いれば、この変動による影響を抑えて正しい保持力を導出または特定することができる。
【０１８５】
結果送信部２０６ａは、保持力特定部２０８から動作認識部２０３ｂを介して保持力情報を取得すると、筋電位に基づく動作の認識結果を示す第２動作情報とともに、その保持力情報を第１機器１００ｂに出力する。
【０１８６】
図２０は、第３辞書１０９ｂに格納されている操作辞書情報の一例を示す図である。
【０１８７】
本変形例に係る操作辞書情報は、第１機器１００ｂに対する操作１６０１ごとに、その操作１６０１に関連付けられた動作形態を示す。動作形態は、保持の向き１６０２と、加速度に基づく第１動作（加速度動作）１６０３と、筋電位に基づく第２動作（手の動作）１６０４と、保持力１６０５とからなる。
【０１８８】
例えば、決定部１０７ｂは、保持の向きとして「画面上向き」を示し、かつ、所定の動作として「右方向への振り」を示す特定結果情報を動作判定部１０３ａから取得する。さらに、決定部１０７ｂは、第２機器２００ｂから結果受信部１０６ｂを介して、「手首を右に曲げる」ことを示す第２動作情報と、保持力Ｆ（Ｆ＜Ｆ０）を示す保持力情報とを受信する。このとき、決定部１０７ｂは、保持の向き「画面上向き」、加速度動作「右方向への振り」、手の動作「手首を右に曲げる」および保持力「Ｆ０未満」を含む動作形態を、図２０に示す操作辞書情報から検索する。そして、決定部１０７ｂは、その動作形態が見つかれば、操作辞書情報において、その動作形態に関連付けられた操作１６０１「前の画面に切り替える」を、実行操作として決定する。
【０１８９】
一方、決定部１０７ｂは、特定結果情報によって示される所定の動作および保持の向きと、第２動作情報によって示されるユーザの動作が同じであっても、強い保持力Ｆ（Ｆ≧Ｆ０）を示す保持力情報を受信したときには、上述の操作とは異なる操作を実行操作として決定する。つまり、決定部１０７ｂは、保持力情報が強い保持力Ｆ（Ｆ≧Ｆ０）を示すときには、保持の向き「画面上向き」、加速度動作「右方向への振り」、手の動作「手首を右に曲げる」および保持力「Ｆ０以上」を含む動作形態を、図２０に示す操作辞書情報から検索する。そして、決定部１０７ｂは、その動作形態が見つかれば、操作辞書情報において、その動作形態に関連付けられた操作１６０１「２つ前の画面に切り替える」を、実行操作として決定する。
【０１９０】
本変形例では、このような決定部１０７ｂは、加速度計測部１０１によって計測された加速度と、筋電位計測部２０１によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部として構成されている。つまり、決定部１０７ｂは、操作辞書情報を参照し、その操作辞書情報において、特定された所定の動作と、認識されたユーザの動作とがそれぞれ、第１動作および第２動作として同一の操作に対して関連付けられていれば、相関関係があると判定する。さらに、決定部１０７ｂは、相関関係があると判定された場合、操作辞書情報において、特定された所定の動作に関連付けられている操作を実行操作として決定する。より具体的には、決定部１０７ｂは、操作辞書情報を参照し、その操作辞書情報において、特定された保持の向きおよび保持力と、特定された所定の動作とに関連付けられている操作を、実行操作として決定する。
【０１９１】
図２１は、本変形例に係る操作システム１０００ｂの処理動作を示すフローチャートである。
【０１９２】
まず、加速度計測部１０１は、第１機器１００ａの加速度を計測してその計測された加速度を含む加速度情報を生成する処理を、予め定められた周期で繰り返し実行する（ステップＳ２０１）。
【０１９３】
次に、動作判定部１０３ａは、ステップＳ２０１で生成された複数の加速度情報を取得し、取得された複数の加速度情報に基づいて、ユーザによって所定の動作が行われたか否かを判定する（ステップＳ２０２ａ）。
【０１９４】
動作判定部１０３ａは、ステップＳ２０２ａにおいて所定の動作が行われたと判定すると（ステップＳ２０２ａのＹｅｓ）、その所定の動作を特定する。さらに、動作判定部１０３ａは、上述の保持特定時刻の加速度情報に基づいて、その保持特定時刻における第１機器１００ｂの保持の向きを特定する。そして、動作判定部１０３ａは、その特定された所定の動作および保持の向きを示す特定結果情報を決定部１０７ｂに出力する。さらに、このとき、動作判定部１０３ａは、上述の第１起点時刻を示す時刻情報を、時刻送信部１０５ａを介して第２機器２００ｂに送信する（ステップＳ２０３ａ）。
【０１９５】
第２機器２００ｂの時刻受信部２０５ａは、その時刻情報を受信する（ステップＳ２０４ａ）。そして、時刻受信部２０５ａは、その時刻情報によって示される第１起点時刻を動作認識部２０３ｂに通知する。
【０１９６】
動作認識部２０３ｂは、第１起点時刻の通知を受けると、その第１起点時刻に対応する区間における複数の筋電位情報を筋電位計測部２０１から取得する（ステップＳ２０５）。そして、動作認識部２０３ｂは、その区間における複数の筋電位情報を保持力特定部２０８に出力する。
【０１９７】
保持力特定部２０８は、動作認識部２０３ｂからその区間における複数の筋電位情報を取得すると、それらの筋電位情報に基づいて保持力を特定する（ステップＳ２２１）。動作認識部２０３ｂは、その区間における複数の筋電位情報に基づいて、ユーザの動作、つまり手の動作を認識する（ステップＳ２０６）。なお、動作認識部２０３ｂは、保持力特定部２０８によって特定された保持力を考慮してユーザの動作を認識してもよい。つまり、動作認識部２０３ｂは、特定された保持力が所定の力以上であれば、チャンネルごとに、そのチャンネルのＲＭＳから、保持力に対応する値を差し引き、その差し引きによって得られる値に対して動作の認識を行う。
【０１９８】
そして、動作認識部２０３ｂは、その認識結果を示す第２動作情報と、保持力特定部２０８による特定結果を示す保持力情報とを、結果送信部２０６ｂを介して第１機器１００ｂに送信する（ステップＳ２０８ｂ）。
【０１９９】
第１機器１００ｂの決定部１０７ｂは、第２機器２００ｂから結果受信部１０６ｂを介して、認識結果を示す第２動作情報と、判定結果を示す保持力情報とを受信する（ステップＳ２０９ｂ）。そして、決定部１０７ｂは、動作判定部１０３ａから取得された特定結果情報によって示される保持の向きおよび動作と、第２動作情報によって示される手の動作と、保持力情報によって示される保持力とに対応する動作形態を、第３辞書１０９ｂの操作辞書情報の中から検索する。この検索によって、決定部１０７ｂは、特定結果情報、第２動作情報および保持力情報によって示される所定の動作、手の動作、保持の向きおよび保持力が、実行し得る操作に対応したものであるか否かを判別する（ステップＳ２１０ｂ）。つまり、決定部１０７ｂは、操作辞書情報からその動作形態を見つけると、特定結果情報、第２動作情報および保持力情報によって示される所定の動作、手の動作、保持の向きおよび保持力が、実行し得る操作に対応したものであると判別する。言い換えれば、決定部１０７ｂは、動作判定部１０３ａから取得された特定結果情報によって示される動作と、第２動作情報によって示される動作との間には相関関係があると判定する。
【０２００】
ステップＳ２１０ｂで、実行し得る操作に対応したものであると判別されると（ステップＳ２１０ｂのＹ）、決定部１０７ｂは、操作辞書情報において上述の動作形態に関連付けられている操作を実行操作として決定し、その実行操作を示す操作コマンドを実行部１０８に出力する。
【０２０１】
実行部１０８は、決定部１０７ｂから操作コマンドを取得すると、その操作コマンドに応じた処理を実行する（ステップＳ２１１）。
【０２０２】
以上のように、本変形例では、操作システム１０００ｂは、筋電位計測部２０１によって計測された筋電位に基づいて、手が第１機器１００ｂを保持する保持力を特定する保持力特定部２０８を備える。また、操作辞書情報は、操作対象機器に対する操作ごとに、さらに、その操作に関連付けられた保持力を示す。そして、決定部１０７ｂは、操作辞書情報を参照し、その操作辞書情報において、特定された保持力と、所定の動作とに関連付けられている操作を、実行操作として決定する。
【０２０３】
これにより、所定の動作がユーザによって行われた場合であっても、保持力に応じて異なる操作を行うことができ、操作性を向上することができる。
【０２０４】
つまり、本変形例では、加速度の計測結果に基づく動作に加えて、保持の向きと保持力とを用いて操作コマンドが決定される。したがって、例えば、保持力が所定以上あるときにのみ、操作コマンドが決定されるようにすることで、誤操作または誤動作を減らすことが可能である。さらに、操作を決定するための条件に保持力を加えることで、より多くの操作コマンドが定義可能となるため、入力できる操作の数をさらに増やすことができる。
【０２０５】
（変形例３）
本変形例では、加速度の発生タイミングと、筋電位の発生タイミングとに基づいて、その加速度と筋電位との間に相関関係があるか否かを判定する点に特徴がある。
【０２０６】
図２２は、本変形例に係る操作システムの第１機器と第２機器の機能的な構成を示すブロック図である。
【０２０７】
本変形例に係る操作システム１０００ｃは、第１機器１００ｃと第２機器２００ｃとからなる。
【０２０８】
第１機器１００ｃは、加速度計測部１０１と、送信部１０５ｃと、結果受信部１０６ｃと、決定部１０７ｃと、実行部１０８とを備える。
【０２０９】
送信部１０５ｃは、加速度計測部１０１から出力される複数の加速度情報を取得し、その複数の加速度情報を第２機器２００ｃに送信する。
【０２１０】
結果受信部１０６ｃは、第２機器２００ｃから比較結果情報を受信し、その比較結果情報を実行部１０８に出力する。この比較結果情報は、加速度の発生タイミングと筋電位の発生タイミングが一致したか否かを示す。
【０２１１】
決定部１０７ｃは、結果受信部１０６ｃから出力された比較結果情報を取得する。そして、決定部１０７ｃは、加速度および筋電位のそれぞれの発生タイミングが一致することがその比較結果情報に示されている場合、その加速度または筋電位に対応する操作を実行操作として決定する。
【０２１２】
第２機器２００ｃは、筋電位計測部２０１と、受信部２０５ｃと、結果送信部２０６ｃと、比較部２０７ｃとを備える。
【０２１３】
受信部２０５ｃは、第１機器１００ｃの送信部１０５ｃから複数の加速度情報を受信し、その複数の加速度情報を比較部２０７ｃに出力する。
【０２１４】
比較部２０７ｃは、受信部２０５ｃから出力される複数の加速度情報を取得するとともに、筋電位計測部２０１から出力される複数の筋電位情報を取得する。そして、比較部２０７ｃは、取得された複数の加速度情報に基づいて第１起点時刻を特定し、取得された複数の筋電位情報に基づいて第２起点時刻を特定する。さらに、比較部２０７ｃは、その第１起点時刻と第２起点時刻とを比較する。具体的には、比較部２０７ｃは、その第１起点時刻と第２起点時刻とが一致するか否かを判別する。第１起点時刻と第２起点時刻との差が予め定められた時間以内である場合に、これらの起点時刻が一致すると判別される。
【０２１５】
つまり、本変形例では、比較部２０７ｃは、加速度計測部１０１によって計測される第１閾値以上の加速度の発生タイミングと、筋電位計測部２０１によって計測される第２閾値以上の筋電位の発生タイミングとの差が、予め定められた時間以内であるか否かを判別する。第１閾値以上の加速度の発生タイミングが第１起点時刻に相当し、第２閾値以上の筋電位の発生タイミングが第２起点時刻に相当する。そして、比較部２０７ｃは、それらの発生タイミングの差が予め定められた時間以内であると判別するときには、上述の相関関係があると判定する。このように、本変形例では、比較部２０７ｃが相関判定部として構成されている。そして、比較部２０７ｃは、その比較の結果または判定の結果を示す比較結果情報を結果送信部２０６ｃに出力する。
【０２１６】
結果送信部２９６ｃは、比較部２０７ｃから比較結果情報を取得すると、その比較結果情報を第１機器１００ｃに送信する。
【０２１７】
図２３は、本変形例に係る比較部２０７ｃの処理を説明するための図である。
【０２１８】
比較部２０７ｃは、上記実施の形態における動作判定部１０３と同様の処理を行うことによって、第１起点時刻を特定する。つまり、比較部２０７ｃは、第１機器１００ｃから送信される加速度情報ごとに、その加速度情報によって示される３軸方向のそれぞれの加速度の合成ベクトルを算出する。そして、比較部２０７ｃは、図２３に示すように、その合成ベクトル（加速度）の大きさが第１閾値を超えた時刻を第１起点時刻として特定する。
【０２１９】
また、比較部２０７ｃは、上記実施の形態における動作認識部２０３と同様に、複数の筋電位情報を取得すると、チャンネルごとに、それらの筋電位情報に含まれる筋電位の整流化（全波整流）を行う。そして、比較部２０７ｃは、チャンネルごとに整流化された筋電位のそれぞれを加算することによって、図２３に示すように、加算整流化波形を生成する。次に、比較部２０７ｃは、生成された加算整流化波形において、筋電位が第２閾値（例えば４００μＶ）を超えた時刻を第２起点時刻として特定する。
【０２２０】
そして、比較部２０７ｃは、第１起点時刻と第２起点時刻とが一致するか否かを判別する。このとき、比較部２０７ｃは、それらの起点時刻の差が予め定められた時間以内であれば、それらの起点時刻が一致すると判別する。比較部２０７ｃは、このような判別の結果を比較結果情報として出力する。
【０２２１】
このように第１起点時刻と第２起点時刻とが一致する場合、ユーザは、第２機器２００ｃが装着された手首の手で、第１機器１００ｃを保持しながら、その手を動かしたと推定される。つまり、本変形例では、上記各起点時刻に基づいて、ユーザが操作対象機器の操作目的で手を動かしたと推定されるときに、その第１機器１００ｃの動きに応じた操作コマンドを出力する。
【０２２２】
図２４は、本変形例に係る比較部２０７ｃの他の処理を説明するための図である。
【０２２３】
比較部２０７ｃは、上述のように、第１起点時刻と第２起点時刻とが一致すると判定したときには、さらに、その第２起点時刻から所定時間後までの区間における何れかの時点で筋電位が基準電位以上になっているか否かを判定してもよい。なお、判定される筋電位は、上述の加算整流波形によって示される筋電位である。ここで、比較部２０７ｃは、その区間において筋電位が基準電位以上になる時点があると判定すると、第１起点時刻と第２起点時刻とが一致することを示す比較結果情報を出力する。一方、比較部２０７ｃは、その区間において筋電位が基準電位以上になる時点はないと判定すると、上述の比較結果情報の代わりに、第１機器１００ｃを強く保持するようにユーザに促すための通知情報を出力する。
【０２２４】
第１機器１００ｃの決定部１０７ｃは、比較部２０７ｃから出力された通知情報を、結果送信部２０６ｃおよび結果受信部１０６ｃを介して受信すると、その通知情報に応じた操作を実行操作として決定する。そして、決定部１０７ｃは、決定された実行操作を示す操作コマンドを実行部１０８に出力する。
【０２２５】
実行部１０８は、その通知情報に応じた操作コマンドを取得すると、第１機器１００ｃを強く保持するようにユーザに促す画像をディスプレイ１９１に表示する。
【０２２６】
図２５は、通知情報に基づいて表示される画像の一例を示す図である。
【０２２７】
第１機器１００ｃの実行部１０８は、図２５に示すように、通知情報に応じた操作コマンドにしたがって、メッセージｍを含む画像をディスプレイ１９１に表示させる。これにより、実行部１０８は、第１機器１００ｃを強く保持するようにユーザに促す。例えば、メッセージｍは、図２５に示すように、例えば文字列「もう少し強く握ってください」からなる。
【０２２８】
例えば、相関関係があると判定された場合であっても、計測される筋電位が小さければ、その筋電位は、操作対象機器の操作以外の目的で発生した可能性がある。したがって、計測される筋電位が基準電位未満であるときには、例えば図２５に示す画像をディスプレイ１９１に表示させることによって、ユーザに対して第１機器１００ｃを強く保持させることができる。したがって、その後、ユーザが所定の動作を行って第１機器１００ｃを操作しようとする場合には、高い筋電位に基づいて第１機器１００ｃを操作することができ、誤動作の発生を抑えることができる。
【０２２９】
図２６は、通知情報に基づいて表示される画像の他の例を示す図である。
【０２３０】
第１機器１００ｃの実行部１０８は、図２６の（ａ）に示すように、通知情報に応じた操作コマンドにしたがって、第１オブジェクトｍ１と第２オブジェクトｍ２を含む画像をディスプレイ１９１に表示させる。これにより、実行部１０８は、第１機器１００ｃを強く保持するようにユーザに促す。例えば、第１オブジェクトｍ１は、第２閾値以上の筋電位の発生タイミング以降、つまり第２起点時刻以降に計測された筋電位に相当する長さを有するバーである。つまり、この第１オブジェクトｍ１は、第１機器１００ｃの保持力の強さに比例した長さを有するバーである。また、第２オブジェクトｍ２は、上述の基準電位を示す基準ラインである。これらの第１オブジェクトｍ１およびｍ第２オブジェクトｍ２はそれぞれ互いに対比されて表示される。
【０２３１】
この場合、比較部２０７ｃは、例えば、第２起点時刻からの上記区間において計測された筋電位と基準電位とを含む通知情報を出力する。通知情報に含まれる筋電位は、上述の加算整流波形によって示される筋電位であって、上記区間における最大値または平均値である。そして、その通知情報を取得した決定部１０７ｃは、通知情報に含まれる筋電位と基準電位とを示す操作コマンドを実行部１０８に出力する。実行部１０８は、操作コマンドに示される筋電位に相当する長さを有する第１オブジェクトｍ１を生成する。さらに、実行部１０８は、操作コマンドに示される筋電位と基準電位とに基づいて、第２オブジェクトｍ２の表示位置を特定する。このとき、実行部１０８は、それらの筋電位と基準電位との関係が、第１オブジェクトｍ１と第２オブジェクトｍ２との配置関係に一致するように、第２オブジェクトｍ２の表示位置を特定する。そして、実行部１０８は、図２６の（ａ）に示すように、生成された第１オブジェクトｍ１と、表示位置に配置される第２オブジェクトｍ２とを含む画像を表示する。
【０２３２】
また、決定部１０７ｃは、第１機器１００ｃに表示される第１オブジェクトｍ１の長さを、筋電位計測部２０１によって随時計測される筋電位に応じてリアルタイムに変更させてもよい。これにより、第１機器１００ｃに表示される、図２６の（ａ）に示す画像を見たユーザが第１機器１００ｃを強く握ると、図２６の（ｂ）に示すように、第１オブジェクトｍ１がその強さに応じて長くなる。
【０２３３】
つまり、第２機器２００ｃの比較部２０７ｃは、通知情報を出力した後には、筋電位計測部２０１から筋電位情報を取得するたびに、その筋電位情報を、結果送信部２０６ｃを介して第１機器１００ｃに送信する。第１機器１００ｃの決定部１０７ｃは、第２機器２００ｃから結果受信部１０６ｃを介してその筋電位情報を受信すると、その筋電位情報によって示される筋電位の大きさを示す操作コマンドを実行部１０８に出力する。実行部１０８は、その操作コマンドを取得すると、その操作コマンドによって示される筋電位の大きさにしたがって、表示されている第１オブジェクトの長さを変更する。
【０２３４】
したがって、ユーザは、どれだけの保持力で第１機器１００ｃを保持すればよいかを容易に理解することができる。
【０２３５】
以上のように、本変形例では、相関判定部である比較部２０７ｃは、加速度計測部１０１によって計測される第１閾値以上の加速度の発生タイミングと、筋電位計測部２０１によって計測される第２閾値以上の筋電位の発生タイミングとの差が、予め定められた時間以内であるか否かを判別する。そして、比較部２０７ｃは、予め定められた時間以内であると判別したときには、上述の相関関係があると判定する。
【０２３６】
これにより、加速度と筋電位の発生タイミングによって相関関係の有無が判定されるため、ユーザの動作の判定または認識を行う必要がなく、操作システムの構成を簡略化することができる。
【０２３７】
また、本変形例では、決定部１０７ｃは、さらに、相関関係があると判定された場合、筋電位の発生タイミング以降に計測された筋電位が、第１閾値より高い基準値（つまり基準電位）未満であるときには、第１機器１００ｃを手で強く保持するようにユーザに促すための画像を操作対象機器に表示させる操作を、実行操作として決定する。例えば、決定部１０７ｃは、第１機器１００ｃを手で強く保持するようにユーザに促すメッセージｍが記載された画像を、操作対象機器である実行部１０８のディスプレイ１９１に表示させる操作を、実行操作として決定する。
【０２３８】
このようなメッセージｍが記載された注意喚起的な画像を操作対象機器に表示させることによって、ユーザに対して第１機器１００ｃを強く保持させることができる。したがって、その後、ユーザが所定の動作を行って操作対象機器を操作しようとする場合には、高い筋電位に基づいて操作対象機器を操作することができ、誤動作の発生を抑えることができる。
【０２３９】
また、本変形例では、決定部１０７ｃは、筋電位の発生タイミング以降に計測された筋電位に相当する長さを有する第１オブジェクトｍ１と、基準値（つまり基準電位）を示す第２オブジェクトｍ２とを互いに対比させて表示させる操作を、実行操作として決定する。
【０２４０】
例えば、第１オブジェクトｍ１は、伸縮するバーとして表示され、第２オブジェクトｍ２は、そのバーの伸縮方向に対して垂直な方向に沿う基準ラインとして表示される。これにより、ユーザの現在の保持力と、必要とされる保持力とをユーザに容易に認識させることができる。
【０２４１】
また、本変形例では、決定部１０７ｃは、操作対象機器に表示される第１オブジェクトｍ１の長さを、筋電位計測部２０１によって随時計測される筋電位に応じてリアルタイムに変更させる。
【０２４２】
これにより、ユーザは、表示される第１オブジェクトｍ１の長さを見ながら、第１機器１００ｃを保持する保持力を適切な保持力に簡単に調整することができる。
【０２４３】
以上、本発明の複数の態様に係る操作システムについて、実施の形態および各変形例に基づいて説明したが、本発明は、この実施の形態および各変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態および各変形例に施したものや、実施の形態および各変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれてもよい。
【０２４４】
例えば、本発明の一態様に係る操作システムおよび操作方法は、図２７Ａに示す構成または図２７Ｂに示す方法であってもよい。
【０２４５】
図２７Ａは、本発明の一態様に係る操作システムの構成を示す図である。
【０２４６】
本発明の１態様に係る操作システム１０は、操作対象機器２０を第１機器１０ｎおよび第２機器１０ｍによって操作する操作システムである。この操作システム１０は、第１機器１０ｎが移動する加速度を計測する加速度計測部１１と、そのユーザの身体のうちの、手を動かすための部位であって、第２機器１０ｍが装着された部位である電位計測部位に生じる筋電位を計測する筋電位計測部１２と、加速度計測部１１によって計測された加速度と、筋電位計測部１２によって計測された筋電位との間に、相関関係があるか否かを判定する相関判定部１３と、相関関係があると判定された場合、計測された加速度または筋電位に対応する操作を実行操作として決定し、決定された実行操作を示す操作コマンドを操作対象機器２０に出力する決定部１４とを備える。
【０２４７】
図２７Ｂは、本発明の一態様に係る操作方法を示すフローチャートである。
【０２４８】
本発明の一態様に係る操作方法は、操作対象機器２０を第１機器１０ｎおよび第２機器１０ｍによって操作する操作方法である。その操作方法は、第１機器１０ｎの加速度を計測し（ステップＳ１１）、ユーザの身体のうちの、手を動かすための部位であって、第２機器１０ｍが装着された部位である電位計測部位に生じる筋電位を計測し（ステップＳ１２）、計測された加速度と、計測された筋電位との間に、相関関係があるか否かを判定し（ステップＳ１３）、相関関係があると判定された場合（ステップＳ１３のＹｅｓ）、計測された加速度または筋電位に対応する操作を実行操作として決定し、決定された実行操作を示す操作コマンドを操作対象機器２０に出力する（ステップＳ１４）。
【０２４９】
このような、図２７Ａに示す構成の操作システム１０であっても、あるいは、図２７Ｂに示す操作方法であっても、上記実施の形態および各変形例と同様の効果を奏することができる。
【０２５０】
つまり、第１機器１０ｎの加速度と、手を動かすための部位に生じる筋電位との間に相関関係があれば、その加速度または筋電位に対応する操作が決定される。例えば、ユーザが手に第１機器１０ｎを保持した状態でその手を動かすときには、その加速度と筋電位との間には相関関係がある。したがって、このようなときには、その手の動きは、操作対象機器２０を操作するための動きであって、他の目的の動きではないと判定される。その結果、その手の動きに応じて計測される上述の加速度または筋電位に対応する操作が決定されることによって、操作対象機器２０の誤動作の発生を抑えることができる。例えば、第１機器１０ｎをユーザのポケットの中に入れた状態でユーザが歩いたときに、そのユーザの動きによって操作対象機器２０が誤動作してしまうことを防ぐことができる。また、操作対象機器２０を操作するために、腕を肩の高さまで上げる必要はない。したがって、ユーザの動きに制限を与えないため、ユーザに負担をかけることなく誤動作の発生を抑えることができる。
【０２５１】
また、上記実施の形態および各変形例では、第２機器は、手首に装着されるが、ユーザの身体のうちの、手を動かすための部位であれば、手首以外の部位（例えば、手首と肘との中間にある部位、または、腕の一部分など）に装着されてもよい。
【０２５２】
また、上記実施の形態および各変形例では、第１機器は、スマートフォンとして構成されているが、携帯端末であれば、スマートフォン以外の携帯電話、タブレット端末、または家電などのリモートコントローラなどであってもよい。
【０２５３】
また、上記実施の形態および変形例では、操作対象機器は、第１機器、または第１機器に備えられている実行部１０８であるが、第２機器であってもよく、第２機器に備えられている機器であってもよい。また、操作対象機器は、操作システムには含まれない、例えばＴＶまたはエアコンなどの家電、あるいは家電以外の電子機器などであってもよい。操作対象機器が、操作システムに含まれない電子機器の場合には、第１機器は、例えば、その電子機器を操作するためのリモートコントローラとして構成されてもよい。この場合、ユーザはリモートコントローラを手に持って振ったり回転させたりすることによって、操作対象機器を操作する。したがって、このような操作対象機器の操作においても、上記実施の形態および各変形例では、ユーザに負担をかけることなく誤動作の発生を抑えることができる。また、上記実施の形態および各変形例では、操作システムは実行部１０８を操作対象機器として備えているが、備えていなくてもよい。
【０２５４】
なお、上記実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および各変形例の操作システムなどを実現するソフトウェアは、図２７Ｂに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
【０２５５】
また、以下のような場合も本発明に含まれる。
【０２５６】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２５７】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０２５８】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０２５９】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２６０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２６１】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２６２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０２６３】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２６４】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２６５】
本発明は、例えばスマートフォンなどの携帯端末、あるいは、ＴＶまたはエアコンなどの家電を操作するための操作システムに適用することができる。
【符号の説明】
【０２６６】
１０        操作システム
１０ｎ，１００，１００ａ〜１００ｃ      第１機器
１０ｍ，２００，２００ａ〜２００ｃ      第２機器
１１，１０１        加速度計測部
１２，２０１        筋電位計測部
１３        相関判定部
１４，１０７，１０７ａ〜１０７ｃ        決定部
２０        操作対象機器
１０３，１０３ａ      動作判定部
１０８      実行部
２０３，２０３ｂ      動作認識部
２０７，２０７ｃ      比較部
２０８      保持力特定部
１０００，１０００ａ〜１０００ｃ      操作システム
Ｈ          ユーザ
【図１】
2016177340.tif 000003
【図２】
2016177340.tif 000004
【図３】
2016177340.tif 000005
【図４】
2016177340.tif 000006
【図５】
2016177340.tif 000007
【図６】
2016177340.tif 000008
【図７】
2016177340.tif 000009
【図８】
2016177340.tif 000010
【図９】
2016177340.tif 000011
【図１０】
2016177340.tif 000012
【図１１】
2016177340.tif 000013
【図１２】
2016177340.tif 000014
【図１３】
2016177340.tif 000015
【図１４】
2016177340.tif 000016
【図１５】
2016177340.tif 000017
【図１６】
2016177340.tif 000018
【図１７】
2016177340.tif 000019
【図１８】
2016177340.tif 000020
【図１９】
2016177340.tif 000021
【図２０】
2016177340.tif 000022
【図２１】
2016177340.tif 000023
【図２２】
2016177340.tif 000024
【図２３】
2016177340.tif 000025
【図２４】
2016177340.tif 000026
【図２５】
2016177340.tif 000027
【図２６】
2016177340.tif 000028
【図２７Ａ】
2016177340.tif 000029
【図２７Ｂ】
2016177340.tif 000030