情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-408-77
2017/3/2

運動学習支援を目的とした動作情報における可聴化手法の提案
高野 衛1

安藤 大地1

笠原 信一1

概要：人間は様々な動作を行う際に，実行した動作に伴う感覚フィードバックによって姿勢の制御や円滑な運動が可能になる．本研究は視野を制限せずに動作情報をリアルタイムにフィードバックすることが可能な可聴化手法を用いて，動作を音響情報へ変換する手法を検討する．本稿ではストローク情報に注目し，腕の持つ特徴的な動作を音が持つ音響パラメータにマッピングすることで，音響情報による複数の動作情報の理解と運動学習支援への応用を目指す．また，動作情報の統合による関連部位の動作の一音による提示手法や教師データのリファレンス音を用いた動作支援手法を提案する．

Study on Sonification for Coordinated Body Movement Towards
Supporting Motor Learning
Mamoru Takano1

Daichi Ando1

Shinichi Kasahara1

Abstract: Human can control posture and exercise by sensory feedback associated with the performed actions, when performing various actions. In this research, we study a method of converting motion intoacoustic information that can feed motion information in real time without restricting view. In this paper,
we focus on stroke information and aim at the understanding of multiple motion information by acoustic
information and its application to motor learning support by mapping the characteristic motion of the arm
to the acoustic parameter having sound. In addition, we propose a method of suggesting by one sound of
related parts by integration of motion information and motion support method using reference sound ofteacher motion data.

1. 背景
人間は日常的に動作に伴う環境からのフィードバックに変換する手法が有効である．感覚フィードバックの手法の中でも，動作情報に対して特に有効と思われる手法が可聴化である．

よって，動作や姿勢の制御を行っている．運動技能を体得

可聴化はデータが持つ特性や関連性の理解を助ける知覚する場合，このような動作に伴うフィードバックが重要な化手法である．可聴化は時系列特性を持ったデータに有効役割を果たす．ある対象とする動作を獲得する場合，動作であり，リアルタイムによる情報の提示やインタラクティ

感覚とフィードバックから得る情報とのサイクルから動作ブなデータ構造の分析を可能にする．動作分析に可聴化を情報の分析や修正を繰り返すことによって運動技能の獲得応用することで，リアルタイムでの情報のフィードバックに繋がる．運動技能を獲得する過程には認知段階・連合段が可能になり，身体感覚のみでは知覚が困難な情報の理解階・自律段階の 3 つの段階 [1] があると考えられ，効率的や分析が行える．本稿では先行事例から動作情報におけるに安定した動作が行える自律段階に至るまでに多くの訓可聴化の有効性と課題点を考察し，片腕のストローク情報練が必要となる．この過程を円滑に進めるためには，感覚に対して有効と思われる可聴化手法を提案する．

フィードバックという動作情報を五感に知覚可能な情報に1

首都大学東京大学院システムデザイン研究科
Tokyo Metropolitan University Faculty of System Design© 2017 Information Processing Society of Japan

2. 関連研究
運動学習支援に音響情報を用いる利点が提示されている

361

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-408-77
2017/3/2

図 2 Comparative Approach 1

図 1 System Overview

顕著な事例としては，NTT の柏野らが行ったスポーツの動作を対象とした可聴化の研究 [2] が挙げられる．彼らの研究では音響情報のリズムや強弱などの時系列的変化する

図 3 Comparative Approach 2

情報を用いることによる，協調運動における加速度の推移や動作パターンの分析に対する有効性が示されている．
また，Ronsse らの感覚フィードバック研究 [3] において，視覚フィードバックと聴覚フィードバックによる動作への影響が検証されている．訓練から 1 日間を経た後のフィーとで，識別が可能な音響情報の最適化手法を提案する．

3. 腕の動作情報における可聴化手法の考察

ドバック無しでの実験では，視覚フィードバックを用いた動作情報の可聴化手法の構造は「入力」「分析」「変換」

グループの動作はフィードバック情報に依存していること「出力」という機能から成り立っている (図 1 参照)。本稿が示された．一方で，聴覚フィードバックを用いたグルーで構築するシステムは腕のストローク情報を対象とし，接プはフィードバック情報の影響の持続が見られた．聴覚

触センサと非接触センサを用いた動作情報の取得から音響フィードバックを用いることによって，長期的な学習効果情報の生成を行う．それぞれのセンサの特性や動作特性をの持続が確認されている．

考慮して適切な音響パラメータへのマッピングを検討しシ

長谷川らの研究では姿勢バランスの視覚フィードバックステムの構築を行う．また，複数の部位の動作情報の中でと聴覚フィードバックによる制御 [4] を行っている．彼ら

腕の動作に関して必要な情報を選別し，一つの音によっては Heuer らの断続的フィードバックの有効性を示した研関連部位の動作情報の提示方法を提案する．

究 [5] を背景として，感覚フィードバックの姿勢バランスへの応用を行った．この研究では視覚フィードバックは効果の持続は見られなかった．一方で，聴覚フィードバック

3.1 センサごとの可聴化手法

接触センサは加速度や角速度，圧力，筋電位などの個々

では直後のパフォーマンスの向上とともに 1 日後の実験での身体部位の詳細な情報が得られる．多くの可聴化研究での効果の持続が示されている．

加速度は音量に関連付けられており，ムチ動作のような流以上の研究は各身体部位に音を当てはめた手法を採用されるような動作特徴を持った動作の場合に各部位の連動やれている．このような手法は部分的な動作特徴を判断する運動の流れが音響情報として把握することが可能になる．

場合には効果的であるが，複数の情報を同時並列的に聴取

非接触センサによる手法はカメラや Kinect など画像情する場合には細分化して聴くことが難しくなる．一方で，報を用いた方法である．位置情報の可聴化においては，主前述した柏野らが行っている研究において，異なる身体情に位置と音高が関連づけられた変換手法が取られている．

報を合算し音響パラメータにマッピングする手法が取られ多くの研究で位置情報が音高にマッピングされる理由とている．各身体部位が持つ複数の動作情報を統合することしては，音の高さは空間的なイメージと関連づけられていで単音での提示が可能になる．この手法を用いることで全るからだと思われる．また，身体モデルを生成した場合に身の動作情報が必要な場合や複数の音を同時並列的に認識は，音高を部位ごとに固定した状態で各部位の動作の変位することが困難な被験者に対して聴取が可能な音の数でのを音量にマッピングする手法も取られている．これらのセ提示が行える．

ンサの特性から腕の動作情報の特徴を考察し，次に腕の動このような点から，本稿では身体部位が持つ複数の特徴的な動作を一音が持つ音響パラメータにマッピングするこ© 2017 Information Processing Society of Japan

作情報と音響情報との関連を考慮したマッピング手法を提案する．

362

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-408-77
2017/3/2

図 4 Sonification Approach for Motion Feature of Arm

図 5 System Overview

3.2 腕の動作特徴の可聴化手法

腕の動作は肘関節と手関節，肩関節の屈曲・伸展運動と内外旋運動，回内回外運動に分類される．屈曲・伸展運動

4. 実装

は関節の動きであり，曲げた関節の先の部位における移動以上の考察から片腕の動作特徴を接触センサを用いて取に携わる動作である．この動作に関しては，手首の動作と得し音響を生成するプログラムの制作を行った (図 5 参照)．

肘の動作を取得し，肘と肩の屈曲・伸展運動を考慮するこ

今回は動作情報は Arduino を用いた取得を行い，OSC 通とを検討する．

信によって SuperCollider を用いた音響生成を行っている．

今回は手首と肘，肩の角速度と加速度，位置情報を用い前述した動作特徴の変換手法を用い，加速度を音量，角て，各部位の動作情報から複数の音響情報の提示と入力情速度を FM・AM 合成のモジュレータ周波数，位置情報を報を統合して前腕の重心の情報として提示する手法を試み音高にマッピングしている．動作情報の記録に関してはた (図 4 参照)．非接触を用いた画像情報の可聴化に関して

Processing を用いたデータの保存を行っている．保存されは身体部位の位置情報の把握に適しているため，今回は主たデータに関しては試行されたストロークの評価や安定しに用いられている音高への変換を採用している．音高へのた動作の検出，リファレンス音を再現する際に用いること変換では周波数の差による各身体部位の空間的変化への把を想定している．

握において有効である．また，オシレータや音源，ノイズによるバンドパスフィルタの操作など音色の違いによって

5. 考察各部位の情報を提示することで複数の情報を聞き分けるこ

本稿で制作したシステムでの検証から，接触センサと非とが可能となった．接触センサの変換手法は加速度を音量

接触センサにおけるそれぞれの利点と課題点が考察されへマッピングし，角速度を FM 合成や AM 合成などの音のた．非接触センサは簡易的に位置情報を取得する際には有揺れとしての提示を行う．

効であるが，モーションキャプチャのような取得方法を用いない限り正確な位置情報を取ることは困難である．今回

3.3 音響情報を用いた動作支援手法

は接触センサにおいては加速度センサのみを用いた加速度

これまで述べてきた可聴化手法を前提とし，ここでは対と傾きの計測のみであったが，今後は Kinect のような深象とする動作の支援手法を提案する．ある動作を対象とし度情報から身体部位の位置情報を推定する非接触センサをた場合，その動作の遂行過程の指針となる教師データが必利用した正確な位置情報の取得の併用した変換を試みる．

要となる．音響情報を用いた場合に教師データを音として今回のプログラムは入力出力間の個々の機能に関しては提示することが可能になるため，動作中の確認や音による静的なマッピングによる可聴化手法を用いているが，この動作イメージの確認を行うことで運動学習支援に用いるこ手法ではユーザー毎の身体特性や異なる動作情報に対してとが考えられる (図 2,3 参照)．

最適な音響情報を提示することは難しい．静的な変換では動作中に音響を提示する場合，リアルタイムで自身の動対象とする動作や身体特性が変わるたびに，マッピングや作と教師データの差異を音響情報で確認することが可能にスケーリングなどの機能をその都度書き換える必要があるなるため，どのように各動作情報の差異を提示することをため様々な動作情報に柔軟に対応することができない．こ考慮する必要がある．リアルタイムに比較しない場合，動のような点から今後は聴覚フィードバックの持つ動作分析

作情報を音として確認し動作イメージを記憶した状態で動や運動支援への有効性を活かした，動的な変換が可能な可作を試行する方法が考えられる．

聴化手法を実現するためのシステムを検討していく．今回のプログラムでマッピングや選別に関して固定化されてい© 2017 Information Processing Society of Japan363

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-408-77
2017/3/2などを直感的に理解することにある．さらに，動作データを記録することで可聴化を用いた学習過程の進度や個人の動作の特徴などの把握も可能である．
参考文献
Kurt VanLehn：”Cognitive Skill Acquisition” Annual Review of Psychology, 1996, Vol. 47:pp. 513–539[2] Toshitaka Kimura, Takemi Mochida, Tetsuya Ijiri, andMakio Kashino： Body-mind Sonification to Im- prove
Players Actions in Sports , 2015. (2016.6.2 取得)[3] Ronsse R, Puttemans, Veerle Puttemans, James P. Coxon,
Daniel J. Goble, Johan Wagemans, Nicole Wenderoth,Stephan P, Swinnen： Motor Learning with Augmented
Feedback: Modality-Dependent Behavioral and NeuralConsequences . Cerebral Cortex, 2011, Vol21, pp. 1283–1294, 2011.
[4] 長谷川直哉, 萬井太規, 武田賢太, 佐久間萌, 笠原 敏史, 浅賀忠義： 視覚フィードバックと聴覚 フィードバックによる動的バランスの学習効果の違い , 理学 47 療 4 法学第 42 巻
第 6 号, pp.474–479, 2015.
[5] Heuer H, Hegele M： Constraints On Visuo-Motor Adaptation Depend on The Type of Visual Feed- back during
Practice , Exp Brain Res. 2008; 185, pp.101–110, 2007.
[6] T. Hermann, A. Hunt and J.G. Neuhoff： The Sonification
Handbook , Logos Verlag Berlin GmbH, 2011.
[7] 高野 衛 , 安藤大地 , 笠原信一：インタラクティブな可聴化システムの検討のための 動作分析への可聴化の応用における現状の考察先端芸術音楽創作学会 会報 Vol.8 No.1 pp.1–6.
2016.
[8] 高野 衛 , 安藤大地 , 笠原信一：動作情報を用いた可聴化における変換手法の考察 - パフォーマンス実演による検証 -,先端芸術音楽創作学会 会報 Vol.8 No.3 pp.1–4, 2016.
[1]

図 6 Sonification System with GUI

た機能に関して，今後はジェスチャー認識や動作特徴の分析を用いた動的なマッピングを利用した生成される音響情報の最適化を目指す．

Hermann ら の 研 究 に お い て 提 案 さ れ て い る ModelBased-Sonification という手法 [6] では，個々の機能とユーザーがインタラクティブに情報の入出力と評価・修正を行うことによる生成される音響の最適化が行われている．この手法は主に静的なデータに関して用いられている手法だが，個々のユーザーの動作の違いに対して動的に最適な音響を生成する場合にも用いられると考えられる．この手法を参考に，今後は音響情報やマッピングの調節をインターフェースを通し行うことで，ユーザーの身体特性や対象動作に適した身体情報の可聴化を目指す．
また，利用するユーザーや異なる動作情報に対応が可能な手法を考慮した場合，ユーザーが対話的に評価や分析が可能なインターフェースや GUI などの機能を追加することが有効である．著者らが 2016 年 7 月に制作を行った LeapMotion を用いた指の動作情報の可聴化 [7] では，Processing によって入力情報の選択や音色の設定が可能なGUI を実装している (図 6 参照)．このプログラムを応用して 12 月にパフォーマンスによる実演 [8] を行った．ここでは制作した GUI やインターフェースを用いることによってインタラクティブに音響情報の調整が可能になり，直感的に音と動作の関連性を理解することが可能になることが考察された．本稿で制作したプログラムを再構築し，今後はユーザーと対話的に音響情報の生成が可能な可聴化手法を検討していく．

6. おわりに
本稿では動作分析への可聴化の応用手法を考察し，データと音の関連性における適切な変換を考慮や可聴化の有用性を活かした分析方法を検討を行った．これはスポーツのほか，演奏やダンス・パフォーマンスなどの制御や支援に用いることができる．動作以外にも，瞬時に動向を把握する手法として，時系列変化の特性を持った様々なデータに応用が可能である．音響情報のフィードバックの提示目的としては，「不適切な情報の検知」や「一連の情報の把握」© 2017 Information Processing Society of Japan364