情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D06
2022/2/21

筋電位計測に基づくハンドジェスチャ入力の精度特性分析
野﨑颯人†1

片岡佑太†2柴田史久†2

木村朝子†2

概要：筋電位計測のユーザインタフェース (UI) への利用が期待されている．筋電位による入力は，大きな身体動作を必要とせずに，ヒトの筋活動に基づいてインタラクションが行えるという利点がある．従来研究でも，この利点を活かしたインタラクション方法や，ジェスチャ認識方法などが幅広く検討されてきた．しかし，筋電位計測から得られる力の強さを入力として利用する研究が見られる一方で，ヒトが力の強さをどの程度正確に制御できるのかについては詳しく確認されて来なかった．そこで本研究では，筋電位を利用して力の大きさを入力する際の精度を確認するためのシステムを構築した．そして，複数のハンドジェスチャによる入力精度の比較実験を行い，その精度特性を分析した．

1. はじめに
筋電図 (Electromyogram; EMG) から観察される筋電2. 実験準備
2.1 実験システム

位を各種システムへの入力として用いる，様々なユーザイ筋電位計測を利用して，ハンドジェスチャで力の大きさンタフェース (User Interface; UI) が提案されている．そを入力するシステムを構築した（図 1）．同システムは Unityの一事例として，ロボット義手や電動車イスなどの機器が(Ver. 2020.3.15) で構築している．

挙げられる．筋電位は，皮膚表面で計測した筋収縮時の活このシステムでは，参加者の表面筋電位を取得し，2.2 節動電位であり，力の強さを物理的なデバイスや大きな身体で述べる処理を行った上で，力の強さを算出する．参加者動作を必要とせず計測できる．よって，アート＆エンタテ

は，手や腕に力を入れることで，図 2 左に表示された緑色インメントや医療など，幅広い分野で入力方法としての活の直線ゲージ上にある白色のポインタを，上下に制御する．

用が期待されている．

この白色のポインタは，参加者の力の強弱に合わせて 0～例えば，筋電位を入力とした，様々なインタラクション100%の範囲で上下に移動する．そして，このポインタを，が提案されている．Han らは，首と肩周りの筋肉から取得

画面右側から流れてくる青色の図形の領域内に入るようにした筋電位を用いて電動車椅子を操作することで，入力イ追従させる．なお，図形の種類については 2.4 節で述べる．

ンタフェースとしての筋電位の有効性を示している [1]．

実験では，ハンドジェスチャごとにポインタの各図形に対また Fukuda らは，前腕切断者の手首部の筋電位を使って，する追従精度を算出し，筋電位計測に基づくハンドジェス

腕を模したマニピュレータの遠隔操作を行い，筋電位がデチャ入力の精度特性を確認する．

バイスの直感的な操作に応用できることを示している [2]．

参加者は図 3 のように，利き腕に電極を貼り付け，反対さらに，手や腕の筋電位から，ジェスチャのような身体の手にアースを握る．本システムの処理は 120 fps である．

動作の識別を行う研究も行われている．Saridis らは，上腕2.2 筋電位の信号処理とキャリブレーション

下部の切断者や麻痺者の上腕三頭筋の筋電位から，腕のジ実験時は，筋電位のサンプリング周波数を 1000 Hz，ウェスチャの分類を行っている [3]．また Kim らは，筋電位ィンドウを 300 ms, スライディングを 1 ms とした上で，からハンドジェスチャに寄与する特徴量を抽出し，ジェスRMS（二乗平均平方根）を算出した．また，ハイパスフィ

チャの認識精度を調べた [4]．

ルタを用いて 5Hz 以下の周波数を，バンドストップフィル

このように，筋電位を UI 操作や，手や腕の動作の正確なタを用いて 55～60Hz の周波数を減衰させた．実験前には，識別に利用する研究が多く行われている．一方で，ユーザ参加者およびジェスチャごとに，最大自発筋収縮の筋電位を UI 操作に活用する上で，どの程度，正確に力(Maximum Voluntary Contraction; MVC) を計測した．この強さが制御できるかについては明らかでは無かった．筋の計測結果が，システム上の 100%の位置に対応する．

電位に基づく力の強さの制御精度を明らかにすることは，2.3 ハンドジェスチャと電極貼り付け位置

力の大きさの強弱を入力とするインタラクションや，アプ力の大きさを入力として利用可能なハンドジェスチャリケーションの設計に活かすことができる．本研究では，として，表 1 の 6 種類のハンドジェスチャを選定した．ジ筋電位を用いてハンドジェスチャの入力精度を検証するシェスチャごとに筋電位を取得しやすい筋肉が異なるため，ステムを構築し，ユーザのジェスチャや力の制御方法によ

試行の度にジェスチャと対応した貼付位置に電極を貼り付って，どの様に入力精度が異なるかを明らかにする．

け直した．具体的な貼り付け位置は，表 1 に記された青点の位置である．

†1 立命館大学†2 立命館大学

情報理工学部
情報理工学研究科© 2022 Information Processing Society of Japan413

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D06
2022/2/21

2.4 タスクの設定
実験のタスクとして，参加者は画面右側から流れてくる
図 3 の様な図形にポインタを合わせる．図形の種類は，参加者の MVC を 100%とした場合に，下記 7 種類の図形を設定した．
⚫ 【直線】力の維持（図 3 (a)）➢

S1: 25%（直線－低）➢S2: 50%（直線－中）➢S3: 75%（直線－高）⚫ 【斜線】徐々に力を入れる，または抜く（図 3 (b)）➢

S4: 35%→65%（曲線－上昇）➢S5: 65%→35%（曲線－下降）

図1実験システム⚫ 【曲線】滑らかに力の強弱を変化させる（図 3 (c)）➢

S6: 40%→60%→40%（曲線－山）➢

S7: 60%→40%→60%（曲線－谷）

各%は目標の中央値を示しており，図 3 に示すそれぞれの図形は，その中央値に±5%の幅を持たせたものである．
1 つの図形は 5 秒間かけてポインタを通過し，1 試行の中で，これら 7 種類の図形がランダムに，5 秒の間隔を空け
図2ながら連続して流れる．
ポインタの中心が図形の範囲内（中央値の±5%）にある場合に，正解と判定した．精度の算出方法は，図形が通過する 5 秒間の内の，正解と判定された時間を 5 秒で除算し

表1

入力精度の確認システム

実験で使用したハンドジェスチャ一覧

ジェスチャ

電極位置

手と腕の状態た数値を精度とした．

3. 実験

手の握り込み
（総指伸筋）

3.1 目的
狙った力をどの程度正確に入力することができるかを，複数のハンドジェスチャの条件下で確認する．ジェスチャ
それぞれについて，2.4 節で述べたランダムに流れてくる図形に対してポインタを追従させるタスクを行わせ，入力人差し指の押し込み（橈側手根屈筋）精度の差異を明らかにする．
3.2 実験手続き
実験手順は以下の通りである．
(1)

ジェスチャをランダムに決定する(2)

指定したジェスチャで MVC を求めた上で，力を入れ物の握り込み（総指伸筋）てポインタが動くことを確認させる

掌の押し込み(3)(2) を全てのジェスチャで行う（腕橈骨筋）(4)「手の握り込み」で，操作の練習をさせる(5)指定されたジェスチャで，試行を行う(6)

腕の疲労が排除されるまで休憩を設ける

つまみ(7)(5) と (6) を全ジェスチャで繰り返す（長母指屈筋）(8)

参加者からコメントを聴取する

実験協力者は 21～24 歳の男性 6 名，女性 4 名で，全員右利きであった．実験の回数は 1 人当たり 6 回であった．

親指の押し込み（橈側手根屈筋）© 2022 Information Processing Society of Japan414

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D06
2022/2/21(a)(a)直線（低：25%，中：50%,直線（低：25%，中：50%,高：75%）
高：75%）(b)(b)斜線（下降：35%→65%，上昇：65%→35%）
斜線（下降：35%→65%，上昇：65%→35%）(c)(c)曲線（山：40%→60%→40%，谷：60%→40%→60%）
曲線（山：40%→60%→40%，谷：60%→40%→60%）

図図
3 3実験で用いた図形
実験で用いた図形

100%
100%

90%90%

90%90%

80%80%

80%80%

70%70%

70%70%

60%60%

60%60%

精度
精度

精度
精度

100%
100%

50%50%

50%50%

40%40%

40%40%

30%30%

30%30%

20%20%

20%20%

10%10%

10%10%

0% 0%

0% 0%

直線－低斜線－上昇
斜線－下降
斜線－山直線－低直線－中直線－中直線－高直線－高斜線－上昇
斜線－下降
斜線－山斜線－谷斜線－谷手の手の人差し指の人差し指の物の物の掌の掌のつまみ
つまみ

握り込み
握り込み 押し込み
押し込み 握り込み
握り込み 押し込み
押し込み(a)(a)図形毎の平均値
図形毎の平均値

親指の親指の押し込み
押し込み(b)ハンドジェスチャ毎の平均値
ジェスチャ毎の平均値(b)
図図4 4入力精度の実験結果
入力精度の実験結果

3.3 実験結果

表2

図 4 (a) に図形の形状ごと，図 4 (b) にジェスチャのタイプごとに入力精度を算出した結果を示す．グラフの縦軸が，入力精度の平均値を表しており，グラフの横軸が図形の種類を表している．エラーバーは標準誤差を表す．
7（図形）×6（ハンドジェスチャ）の参加者内 2 要因分
散分析を行った結果，図形の主効果が有意であった (F(6,54)= 61.676, p < .001)．また，ジェスチャの主効果は有意で無く (F(5,45) = 0.986, p = .436)，交互作用も有意では無かった

図形間の入力精度の有意差 (P-value)

S1

S2S3S4S5S6S2< .001

N/AN/A

N/A

N/A

N/A

S3< .001< .001N/A

N/A

N/A

N/A

S4< .001.909< .001

N/A

N/A

N/A

S5< .001.037< .001.041

N/A

N/A

S6< .001.041< .001.025< .001

N/A

S7< .001< .001< .001< .001.083< .001(F(30,270) = 1.258, p = .173)．図形の主効果に対する下位検定した．加えて，緩急を付けて力を入力させる条件（曲線）として，Holm 法による多重比較を行い，有意差を確認しでは，力を入れてから抜いていく条件（曲線－山）と比べた結果を表 2 に示す．なお，全てのジェスチャ・図形の組て，力を抜いてから入れる条件（曲線－谷）が高い精度をみ合わせにおける精度を付録に記した．

示した．よって，力を抜いていく入力方法は，その逆と比分析の結果として，力の強さの維持（直線）の結果では，べて精度高く操作できることが示唆された．

直線－高，直線－中，直線－低の順番で精度が高かった．

また，ジェスチャによる主効果は有意では無かったこと

つまり，入力される力の強さが低いほど，正確に力が維持から，入力精度はジェスチャの方法によって変化しにくいできていることが分かる．参加者からも，直線－高の条件傾向が観察された（図 4 (b)）．一方で，参加者からはジェはジェスチャに関わらず難しく，直線－低の条件はジェススチャによって，力の入れやすさが異なるというコメント

チャに関わらず容易であったというコメントが得られておが得られた．例えば，最も精度が高かった「つまみ条件」

り，本結果と傾向が一致した．

は，『日常的によく行うジェスチャのためやりやすかった』

力の強さを一定量ずつ変化（斜線）させる条件の場合，『力を入れる側と入れられる側が自身の体であるため，力徐々に力を加えていく条件（斜線－上昇）と比べて，徐々の入れ具合が分かりやすかった』というコメントが得られに力を抜いていく条件（斜線－下降）の方が高い精度を示た．また，「人差し指の押し込み」「掌の押し込み」は『力© 2022 Information Processing Society of Japan415

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D06
2022/2/21が入れにくい』という意見も出た．このことから，より精度が要求されるような複雑な図形を提示した場合には，ジェスチャによって差異が見られる可能性が示唆された．

4. まとめ先行研究では，筋電位が UI 操作やジェスチャの認識のために活用されていたが，ハンドジェスチャ入力における力の強さ制御の正確性は詳細に確認されていなかった．そこで本研究では，筋電位によって UI を操作するシステムを構築した上で，ハンドジェスチャごとに力の制御の精度を実験・分析した．6 種類のハンドジェスチャと，7 種類の入力条件を組み合わせて実験した結果，下記のことが明らかになった．
⚫

弱い力を維持するタスクは，強い力を維持するタスクと比べて精度高く操作できる⚫

力を徐々に抜いていくタスクは，力を徐々に入れていくタスクと比べて精度高く操作できる⚫

ジェスチャの種類によって筋電位の入力精度に有意な差異は無い
これらの結果は，筋電位を入力手法とするインタフェー

ス設計の基礎的な知見になり得ると考える．今後は，各タスクの疲労度や努力度などの主観評価への影響や，タスク中の筋電位の時系列的な分析を行う予定である．

参考文献[1]J. Han, Z. Z. Bien, D. Kim, H. Lee and J. Kim, "Human-machineinterface for wheelchair control with EMG and its evaluation,”
IEEE Proc. Int. Conf. Engineering in Medicine and Biology 2003,
Vol. 2, pp 1602 - 1605, 2003.
[2] O. Fukuda, T. Tsuji, M. Kaneko and A. Otsuka, "A humanassisting manipulator teleoperated by EMG signals and armmotions," IEEE Trans. on Robotics and Automation, Vol. 19, No.
2, pp. 210 - 222, 2003.
[3] G. N. Saridis and T. P. Gootee, "EMG Pattern Analysis andClassification for a Prosthetic Arm," IEEE Trans. on BiomedicalEngineering, Vol. BME-29, No. 6, pp. 403 - 412, 1982.
[4] J. Kim, S. Mastnik and E. André, “EMG-based hand gesturerecognition for realtime biosignal interfacing,” ACM Proc. Int.
Conf. Intelligent User Interfaces 2008, pp. 30 - 39, 2008.

付録
図形×ジェスチャの全ての組み合わせにおける入力精度の実験結果を付録 A に示す．

© 2022 Information Processing Society of Japan416

3D06
2022/2/21100%

100%

90%

90%

80%

80%

70%

70%

60%

60%

精度

精度

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

50%

50%

40%

40%

30%

30%

20%

20%

10%

10%

0%

0%

手の人差し指の物の掌の握り込み

押し込み

握り込み

押し込み

つまみ

親指の手の人差し指の物の掌の押し込み

握り込み

押し込み

握り込み

押し込み

100%

100%

90%

90%

80%

80%

70%

70%

60%

60%

50%

50%

40%

40%

30%

30%

20%

20%

10%

10%

0%

0%

手の人差し指の物の掌の握り込み

押し込み

握り込み

押し込み

つまみ

親指の手の人差し指の物の掌の押し込み

握り込み

押し込み

握り込み

押し込み

(c) 直線－高つまみ

親指の押し込み(d) 斜線－上昇

100%

100%

90%

90%

80%80%

70%

70%

60%

60%

精度

精度

親指の押し込み(b) 直線－中精度

精度(a) 直線－低つまみ

50%

50%

40%

40%

30%

30%

20%

20%

10%

10%
0%

0%
手の人差し指の物の掌の握り込み

押し込み

握り込み

押し込み

つまみ

親指の手の人差し指の物の掌の押し込み

握り込み

押し込み

握り込み

押し込み

(e) 斜線－下降

つまみ

親指の押し込み(f) 曲線－山

100%
90%

80%
70%

精度

60%
50%
40%
30%
20%

10%
0%
手の人差し指の物の掌の握り込み

押し込み

握り込み

押し込み

つまみ

親指の押し込み(g) 曲線－谷
付録 A

図形とジェスチャの各組み合せにおける入力精度の実験結果© 2022 Information Processing Society of Japan

417