2-10-2
身体動作の連動性理解にむけた筋活動可聴化*	 	 12

はじめに	  運動機能障害のリハビリテーションにおいて，複数の身体部位を独立あるいは協調させて制御することは重要な課題である．このようなリハビリテーションにおいて，身体活動の様子を知覚できるよう対象者にフィードバックすること（バイオフィードバック，以下BF）は，運動動作の感覚と実際の身体活動を関連づけて認識できるため，意図と結果の意識的な関連づけが容易になり，リハビリ支援として有効であると考えられる．可聴化（元来，音でないデータを，音に変換する手法）による BF は，可視化による BF に比べて，視覚を用いないために身体運動の制御に集中しやすい．また聴覚は時間変化に敏感であり，言語や音楽の理解に見られるように時系列的に提示される情報の構造を把握する能力に優れているため，時変的制御の認識に適している，などのメリットが見込まれる．そこで，
本研究では，臨床応用に向けて可聴化によるBF の実施可能性を探った．特に，可聴化によって複数の身体部位における筋活動の順番やタイミング（以下まとめて連動性とよぶ）の理解が可能かどうかを検討した．	  筋活動可聴化の研究はいくつかの事例があり，その目的はスポーツトレーニング，リハ
ビリテーション[1-4]やアート，パフォーマンス
[5,6]など多岐に渡るが，被験者実験による有効性の検証事例が非常に少なく，音合成手法の選択などの妥当性に疑問が残る．そこで我々は身体動作の連動性に着目した可聴化手法を提案するとともに被験者実験による主観評価を通じ，筋活動可聴化のための音合成手法について検討を行った．ここでは筋活動可聴化の評価指標として，正答率及び主観的理解度に着目するだけでなく，選好度についても同様に検討した．

筋活動の可聴化	  筋活動の可聴化は図１に示すように，筋電（EMG: Electromyography）の計測，信号処理による筋活動情報の抽出，パラメタマッピン
グ [7]による音合成の流れで行った．また，将来的な応用を見込み，フレーム処理を基本としたリアルタイムシステム実装を行った．
2.1 表面筋電位計測
EMG 信号は電極を用いて有線や無線により計測する. 今回は低ノイズでの計測に有利な有線での実装とした．g.Tec 社のアクティブ電極(g.LADYbird)と生体アンプ(g.USBamp)を用い，MATLAB の Data Acquisition Toolboxを用いてサンプリング周波数 1200Hz で左右の腕橈骨筋表面部分の EMG 信号を取得した．
2.2 信号処理	  計測した EMG 信号は直流成分のノイズを含んでおり，また筋活動はパルス信号の集合であり直観的な理解に適さないので，直流成分除去の後，平滑化を行う．通常はハイパスフィルタを通して直流成分除去を行うが，今回は以下に示すように，筋が弛緩した状態（動作を伴わない静止状態）で得られる筋電のFig. 1 Sonification System Overview* EMG Sonification of Muscles Connectivity in Human Movements, by MATSUBARA Masaki(University of Tsukuba), TERASAWA Hiroko (University of Tsukuba / JST PRESTO), KADONEHideki (University of Tsukuba), SUZUKI Kenji (University of Tsukuba / JST PRESTO), andMAKINO Shoji (University of Tsukuba)

日本音響学会講演論文集- 919 -

2012年9月

Table 1. Mapping feature
手法
変化要素 分離して知覚
A
音高
される
B
音量
される
C
音色
されない
平均値を，活動状態の EMG 信号から減じることで直流成分除去を行った．身体部位𝑚における筋弛緩状態時の電位𝐸!! と最大随意筋
収縮運動時のピーク電位𝐸!"#! をもとに𝑛サンプル目の信号𝐴! 𝑛 を計算した．なお𝑒! 𝑛は，𝑛サンプル目の EMG 信号である．
𝐴𝑚 𝑛 =!! 𝑛 !!!!
!!"#! !!!!

手法Ｂ	  手法 B では基本周波数の異なる二つの音色の違う音を混合した．筋電の大小に合わせて音量が変化する．
𝑠(𝑡) = M	  	  (4)𝑚!! 𝐴𝑚 (𝑡)𝑊𝑚 (𝑡)	 ここで，𝑊! (𝑡)と𝑊! (𝑡)は，下式によって加算合成される．
𝑊! (𝑡) =	  	  	  	  	  (1)	  得られた信号𝐴! 𝑛 を移動平均フィルタに通して平滑化し，リサンプリングして音の出力サンプリング周波数に合わせた信号𝐴! 𝑡を求めた．これを筋活動の特徴量として可聴化に利用した．
2.3 音合成	  筋活動可聴化における音合成では，筋電の振幅を音響パラメタ（振幅，周波数，倍音構造など）の変化に対応（マッピング）させた．
可聴化において代表的な手法である音高が変化する手法 A[7]に加えて，音量が変化する手法 B と音色が変化する手法 C を実装・検討した．表 1 に各手法の特徴をまとめる．手法 Aと B では，複数部位に対応した複数の音オブジェクトが生成され，それぞれが分離して知覚されるが，手法 C では複数部位間のバランスが一つの音オブジェクトの音色変化として，混合して知覚される．以下，それぞれのマッピングについて詳細を述べる．
手法Ａ	  手法 A は正弦波の瞬時周波数を筋電の振幅に対応づけたマッピングである．
𝑠 𝑡 =𝐾 M𝑚!! sin  (2𝜋𝑓𝑚 (𝑡))	  	  	  (2)なお，𝐾は信号音の振幅係数（𝐾 = 0.45），Mは対象とする筋活動の総数である．これにより筋電の振幅変化に合わせて可聴化音の音高が変化する．信号処理フェーズで求めた 各 身 体 部 位 の 𝐴! 𝑡 を 元 に 瞬 時 周 波 数
𝑓! 𝑡 を決定する．	 
𝑓! 𝑡 = 𝐾! log ! 𝐴! (𝑡) + 𝑇! 	 
(3)
本稿では対象とする身体部位数をM=2とし，そ れ ぞ れ 以 下 の 定 数 を 用 い た （ 𝐾! =150, 𝑇! = 120, 𝐾! = 150, 𝑇! = 120）．周波数

日本音響学会講演論文集

はおよそ 2 オクターブの変化が聴こえるよう係数を調整した．この手法では，音合成の実装に SuperCollider を使用し，音高変化のスムージングに Lag 関数を用いた．

𝑖!! !
! (!𝑖!!) sin  ((2𝑖 − 1)𝑓! 𝜋 𝑡)

𝑊! (𝑡) =!!! !
! !! sin  (2𝑖𝑓! 𝜋𝑡 )	  (5)	  	  	  (6)𝑊! (𝑡)は，1 つ目の部位に対応し，奇数倍音のみで構成される．𝑊! (𝑡)は 2 つ目の部位に対応し，偶数倍音のみで構成される．基本
周波数はそれぞれ𝑓! =300Hz, 𝑓! =120Hz とした．周波数比を 5:2 の整数比にすることで，二つの音は分離して知覚されるが，長三度の音程で調和して聴こえるようにした．実
装は MATLAB で行った．
手法Ｃ	  手法 C は二つの部位における筋活動のバランスに合わせて音色が変化するマッピングである．二つの活動部位に対応させて，基本周波数の等しいスペクトル構造が異なる二つの音を重ね合わせ，音高は変えずに音色の遷移で筋活動のバランスを表現した．実装自体は手法Ｂと同じだが，倍音列の基本周波数が 120Hz で同一とした．1つ目の部位に強い電位がある時にはクラリネットのような閉管楽器の音色，2 つ目の部位に強い電位があるときには金管楽器のような開管楽器の音色となる．

3聴取実験	  身体動作の連動性の理解にむけた基礎検討
として被験者による聴取実験を行った．動きの同期やずれを理解できるかを計るため，本
実験ではピーク値を示す EMG 信号（図 2）を使用し，この信号が𝜏秒の時間差を付けて二回提示された場合を想定して可聴化を行った．
被験者による提示順の判定がマッピングによってどう変化するかを測定した．

- 920 -

2012年9月

Fig. 2 EMG envelope data for stimuli
3.1 実験条件
被験者	  18 歳から 30 歳（平均年齢 22.7 歳）の男女 9 名（音楽経験者 5 名，非音楽経験者4 名）が実験に参加した．
刺激	  図 2 に示すように EMG 信号を𝜏秒ずらして二回提示し，これらを 2 つの身体部位αとβでの筋活動と見なし，可聴化した音を刺激とした．各マッピングにつき，𝜏={−0.5, −0.2, 0, 0.2, 0.5}の 5 種類を 2 回，ダミー刺激としてαのみとβのみの EMG 信号による可聴化音を 1 回ずつテストするセット（計 12 個）を用意した．図 2 に𝜏 = 0.5で EMG信号を二回提示した場合を示す．
実験環境	  被験者は通常の生活空間でヘッドフォンを使用して刺激音を聴取した．
3.2 実験方法	  各音合成手法につき 12 個の刺激を作成し 1セットとし，3 種類の音合成手法の評価を行うため，計 3 セットの提示を行った．手法の提示順による学習の影響が出ないよう 3 つのマッピング ABC の順番をランダム化し，各セット内での刺激提示順もランダム化した．	  聴取実験は教示，練習，本実験，アンケー
トの流れで行った．実験を始めるにあたり，被験者に教示を行い，実験の主旨と作業内容を理解したことを確認し，実験を行った．練習では最大で 3 分間，用意した刺激を聴いてもらいそれぞれの特徴を覚えてもらった．本
実験では各刺激音を聴いた後に，可聴化されTable. 2 Accuracy, Understandability, andPreference of each mapping method
手法
正答率(%)
主観的理解度 選好度
A 62.0(±15.1)
3.0
3.9
B 85.2(±11.0)
4.3
3.7
C 44.4(±20.5)
1.3
1.4

日本音響学会講演論文集

Fig. 3 Accuracy vs. delay time
る前の元データが見せる様相として適切なものを，以下の 5 項目の中から選んで回答してもらった．
１．	  αのみ動く
２．	  βのみ動く
３．	  両方同時に動く
４．	  αが動いた後にβが動く
５．	  βが動いた後にαが動く
回答に際して，刺激の繰り返し聴取と，回答が困難な場合においての練習用可聴化音の聴取を可能としたが，なるべく直感で答えるよう教示した．実験の最後にアンケートと簡単なインタビューを行った．アンケートではデータのわかりやすさに関する主観評価と各手法に対する選好度評価（いずれも 5 段階評価,5 に近いほど良い）を回答してもらった．実験時間は 1 人あたり 15 分程度であった．
3.3 実験結果	  実験結果を表 2 と図 3 に示す．表 2 には，
音合成手法ごとに正答率の平均値と標準偏差，わかりやすさに関する主観評価（主観的理解度）の平均値，そして選好度評価の平均値を示した，図 3 では手法ごとに𝜏に依存した正答率の変化を示した（エラーバーは 95%信頼区間を示す）．

4考察

4.1 マッピングの比較
表 2 に示すように全体の正答率は手法 B で最も高く，連動性の理解度が高いと言える．
図 3 に示すように，手法 B は他の手法に比べて，全ての𝜏の場合で一貫して正答率が高く，特に遅延時間𝜏が短い(±0.2)場合の正答率の差は顕著であった．特に被験者が音楽経験者である場合，手法Ｂの正答率の高さが目立ち，- 921 -

2012年9月

異なる高さを持つ音の強弱のタイミングの判定がより正確であった．
インタビューでは各手法に関する印象や理解のプロセスを描写してもらった．手法 A では，身体的に反応する感じがするという意見が多く，「ジェットコースターに乗っているような感覚」といった描写も見られた．手法Ｂでは逆に，楽譜的な解釈を行って判断した様子が見受けられた．手法Ｃに関しては，二つの部位が混合した音と片方の部位のみの音の違いが分かりづらく，信号と音の対応関係を覚えにくいのが正答率の低下の要因となった．
また今回のマッピングでは，音色の変化幅が小さく，タイミングの識別は困難であった．	  改善点として，手法Ｃでは二つの音色の差を大きくして分かりやすさを向上できると考える．今回は 2 つの筋電信号を対象としているが，測定点が多い場合，手法 A およびＢでは多数の音高が混在し複雑すぎる提示になる．
このような場合，複数の測定点からの情報を多次元的な音色変化として提示出来る手法Ｃが有利となる可能性がある．
4.2 選好度と主観的理解度	  分かりやすさの主観評価と正答率に関しては関連性がある反面，わかりやすさと選好度には関連が見受けられなかった．9 名の被験者のうち，正答率が高い手法 B を最も好む者
は 3 名，手法 A を好む者が 5 名，手法 C を好む者が 1 名であった．A を好む被験者 5 名のうち，4 名は手法Ｂの場合に最も高い正答率を示した．正答率の高さは，正確なデータ理解を示唆するため最も優先されるべきである
が，選好度が低いと長期間の使用自体が難しくなる．将来，実践的に使用するためには，ユーザにとって正確に理解できる「わかりやすい音」と長期間使い続けられる「好ましい音」の両条件を満たす必要がある．	  また，選好度に関して「いずれの手法も機械音のようで好まない」という楽器演奏者の意見もあったが，楽器音のような慣れ親しんだ音色を用いれば解決する問題とも限らず，今後の検討を要する．

5

おわりに	  本研究では，筋活動可聴化のリアルタイムシステム実装を行ったほか，身体動作の連動性に関してタイミングの理解という観点から日本音響学会講演論文集被験者による聴取実験を行った．実験では，筋活動に対応させて音量を変化させる可聴化手法（手法Ｂ）を用いた場合に，二つの部位における活動量の時間的関係の理解度が高いことが示された．また選好度と正答率は必ずしも対応関係にないことも示された．	  今後の展望としては，交互に動くパターン，リズム動作のパターンなど実験で取り上げられなかったその他の連動性について調べて行くつもりである．今回の実験では身体部位の数は 2 つとしたが，3 つ以上の場合も検討したい．また，理解度の指標として正答率だけでなく反応時間や再生回数を用いること，そして心地よさなどの音質評価と理解度の関係性の検討などを行いたい．
謝辞
本研究は JST さきがけの支援を受けて行われた．可聴化の実装において助言をして下さった濱野峻行氏に感謝する．また実験に協力していただいた被験者の皆様に感謝する．
参考文献[1] Schaffert, N. et al., A Sound Design for
Acoustic Feedback in Elite Sports, in Proc.
ICAD 2009, Vol. 5954. Springer, pp. 143–165, 2010.
[2] Chiari, L.et al., Audio Biofeedback for
Balance Improvements: An Accelerometry
Based System, in Proc. of IEEE Eng Med
Biol Mag, 52, No.12, 2108–2111, 2005.
[3] Dozza, M.: Biofeedback Systems for Human
Postural Control, Ph.D Thesis, University ofBologna, 2006.
[4] Tsubouchi, Y. et al.: Biotones: A Wearable
Device for EMG Auditory Biofeedback, in
Proc. of IEEE EMBS, pp. 6543–6546, 2010.
[5] Nagashima, Y.: Bio-Sensing Systems andBio-Feedback Systems for Interactive MediaArts, in Proc. of 3rd NIME, 2003.
[6] Tanaka, A.: The sound of photographic
image, Artificial Intelligence and Society,27(2), 2012.
[7] Grond, F. et al., Chapter 15 Parameter
Mapping Sonification, in Hermann, T. et al.
(Eds.), The Sonification Handbook, Logos
Verlag, 2011.

- 922 -2012年9月