WISS 2022

筋電センサを用いる音楽ゲームのコントロールシステムの構築
周鑠

瀬川 典久 ∗

概要. 音楽ゲームとは、プレーヤーが楽曲や一種の楽譜と相互作用するゲームのことである。リズムに合わせてプレイヤーがアクションをとって進行する。多くの音楽ゲームには、タイミング調整と呼ばれる機能がある。タイミング調整とは、ユーザーの反応に応じて、ゲームの中でボタンを押すタイミングを調整し、反応を最適化する機能である。本研究は、筋電を活用し、音楽ゲーム中のユーザーの筋肉の疲労度を指標として、リアルタイムでタイミング調整を行う。筋肉が疲労した際の筋電の変化を利用することで、音楽ゲームのコントロールを向上させることができる。

1

はじめに

音楽ゲームとは、プレーヤーが楽曲や一種の楽譜と相互作用するゲームのことである。リズムに合わせてプレイヤーがアクションをとって進行する。多くの音楽ゲームには、タイミング調整と呼ばれる機能がある。タイミング調整とは、ユーザーの反応に応じて、ゲームの中でボタンを押すタイミングを調整し、反応を最適化する機能である。音楽ゲームを長時間プレイすると、手や腕の筋肉に疲労が生じる[3]。音楽ゲームをプレイする際、手の疲労による不快感は、ゲーム体験に大きな影響を与える [1]。腕が疲労している時、タイミング調整機能を使って筋肉疲労の悪影響を軽減し、ゲーム体験を向上させることができる。
そこで本研究は、筋電を活用し、音楽ゲーム中のユーザーの筋肉の疲労度を指標として、リアルタイムでタイミング調整を行い、筋肉が疲労した際の筋電の変化を利用することで、音楽ゲームのコントロールを向上させることを目指す。

2

アルの疲労度を評価することができる。

システム概要3

本システムはまず筋電センサーを使い、ゲーム中のユーザーからリアルタイムの筋電データを取得する。そして取得した筋電データを PC に送信し、ユーザーの疲労度を計測する。ユーザーの実際の疲労度と音楽ゲームのタイミング調整機能と連携し、音楽ゲームのコントロールを向上させる (図 1)。

図 1. システム図

システム実装4

関連研究

筋電図（EMG）は、筋線維から発生した個々の活動電位が容積伝導により電極に到達した時点の活動電位を加算し、図として表現したものです。過去の研究によって、筋電図から筋肉の活動を観察することができる [5]。筋繊維伝導速度（CV）は、筋肉の疲労を解析・評価するため重要なパラメータである [6]。筋電図を通して CV を評価することができる[4]。[2] の研究は，EMG を通じて CV で筋肉の疲労度を評価することができると示した。筋肉が疲労すると、その間に CV が遅くなることが観察された。
これらの筋電の特性を活用すると、ユーザからリ
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗京都産業大学

図 2. 筋電センサー

4.1

図 3. タイミング調整

筋電の取得

本システムは、Arduino と MyoWare[7] という筋電センサーを用いて、ゲーム中のユーザーの手からリアルタイムの筋電データを取得する (図 2)。取得した筋電データは USB ケーブル経由で PC に送信し、ゲーム中のユーザーの筋電図を得る。

WISS 2022

4.2

疲労度の検出システムを評価するため、筋肉の疲労度を定義する必要がある。MyoWare センサを用いて得られた筋肉の電気信号は、筋肉が動く時の時間軸上の電圧変化の特徴である。筋肉が疲労すると筋繊維の CVが低くなることが分かっているので、同じ運動をする時筋繊維の収縮による電気信号の時間軸の遅延で筋肉の疲労度を評価することができる (図 4)。

図 4. (a) Arduino で記録した筋電図。(b) 記録した筋電信号を処理し、筋肉が活動しているときは ON、活動していないときは OFF に設定する。(c) 処理されたデータは、疲労状態における筋繊維の CVの遅延を容易に観察することができた。

4.3

タイミング調整機能の実装

今までの多くのゲームでは、ゲーム途中でタイミング調整機能を利用できないため、Python で音楽ゲームを自作し、筋疲労とタイミング調整機能を連携した。これによって、リアルの筋肉の疲労度で、ゲーム途中でタイミング調整機能が自動的に実行することが可能となった。プログラムは、ユーザの手の疲労度を計算し、タイミング調整機能を用いて、筋肉疲労で発生する遅延を相殺する。例えば、疲労による遅延が 0.1 秒であれば、タイミング調整機能によりリズム判定を 0.1 秒延長し、遅れを相殺する(図 3(a)(b))。

5

実験と評価

前節で紹介した音楽ゲームを用いて、本システムの有効性を検証した。実験は、5 種類の音楽リズムを設定した。各リズムは、デバイスを使用した場合と使用しない場合で、それぞれ 5 回ずつテストを行った。一つのリズムの目標数は 80〜130 個に設定した。各テストの終了時に得点とそれに対応する完成度を算出した。
本研究では、筋肉の疲労によってゲーム操作に与える影響が音楽ゲームにおける遅延が発生する主な原因と考えている。装着前に、マニアルの方法で手を疲労させる。その結果、各リズムおけるプレイヤーの完成率は、手が疲労した前に比べて大幅に低くなっている (図 5)。このように、手の疲労による発生する遅延を手動で作り出すことができた。
音楽ゲームを用いたシステムのテスト結果は以下となる (図 6)。4 つのリズムでデバイスの有無による完成率の平均と分散を算出した。

図 5. 手が疲労した後各リズムの平均完成率。

図 6. 本デバイスの有無による各リズムの平均完成率。

計算によって、リズム A では、t の値は 2.637、p の値は 0.030 である。リズム B では、t の値は7.751、p の値は 0.005 × 10−2 である。リズム C では、t の値は-3.794、p の値は 0.005 である。リズム
D では、t の値は-5.009、p の値は 0.001 である。検定結果は、装置付けの方が装置付けない方法と比べて平均完成率 5% 水準で有意に効果が高かったと確認した。つまり、本システムを使う事で装置を付けない方法と比べて平均スコアが 5% 改善する事を確認した。

6

まとめ

本研究は、自作の音楽ゲームを用いて、実際のゲーム環境のシミュレーションした。筋電センサを用いた音楽ゲームコントロールシステムの有効性を t 検定で検証した。本システムでは、センサーを用いてユーザーの筋電を取得することで、ユーザーの疲労度を分析し、身体機能への影響をある程度打ち消すことができた。したがって、本システムは、スポーツや楽器演奏など他の活動においても、疲労による筋肉制御への影響の一部を打ち消すのに有効であると考えられる。

謝辞
本研究は JSPS 科研費 20K11780 の助成を受けたものである。

参考文献[1] M. Asghari Oskoei, H. Hu, and J. Q. Gan. Manifestation of fatigue in myoelectric signals of dynamic contractions produced during playing PCgames. In 2008 30th Annual International Conference of the IEEE Engineering in Medicine andBiology Society, pp. 315–318, 2008.

筋電センサを用いる音楽ゲームのコントロールシステムの構築[2] D. Farina, M. Pozzo, E. Merlo, A. Bottin,and R. Merletti. Assessment of average muscle ﬁber conduction velocity from surface EMG
signals during fatiguing dynamic contractions.
IEEE Transactions on Biomedical Engineering,51(8):1383–1393, 2004.
[3] V. Kanal, J. Brady, H. Nambiappan, M. Kyrarini,G. Wylie, and F. Makedon. Towards a Serious Game Based Human-Robot Framework
for Fatigue Assessment. In Proceedings of the13th ACM International Conference on PErvasive Technologies Related to Assistive Environments, PETRA ’20, New York, NY, USA, 2020.
Association for Computing Machinery.
[4] E. Koutsos, V. Cretu, and P. Georgiou. A Muscle Fibre Conduction Velocity Tracking ASIC for
Local Fatigue Monitoring. IEEE Transactions

on Biomedical Circuits and Systems, 10(6):1119–1128, 2016.
[5] A. Merlo, D. Farina, and R. Merletti. A fast andreliable technique for muscle activity detection
from surface EMG signals. IEEE Transactions
on Biomedical Engineering, 50(3):316–323, 2003.
[6] F. P. Schwartz, F. A. O. Nascimento, M. Bottaro,and R. S. Celes. The behavior of action potentialconduction velocity on isokinetic knee extension
tests. In 2010 Annual International Conferenceof the IEEE Engineering in Medicine and Biology, pp. 1348–1351, 2010.
[7] Sparkfun.
MyoWare Muscle Sensor.
https://www.sparkfun.com/products/18977(accessed: July 27th 2022).