情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B26
2018/3/5

運動学習支援を目的とした多変数マッピングを用いた動作情報の可聴化手法
高野 衛1

安藤 大地1

串山 久美子1

概要：人間は環境からのフィードバックによって身体状態を認識している．拡張現実の分野ではこの認知特性を活かし，デジタル技術による擬似的な五感情報の提示によって身体保持感の変化を誘発させる研究が行われている．本研究はソニフィケーションという音響情報による知覚化手法を用いて身体認知の拡張を目指している．本稿では単音が持つ複数の音響情報を用いる多変数マッピング手法についての考察と、動作情報に対して用いる際に有効と思われる手法と可聴化システムの提案を行う．

Parameter Mapping of Sonification Method for Movement Information
Mamoru Takano1

Daichi Ando1

Kumiko Kushiyama1

Abstract: In the field of perceptual research of various information, there is a technique called Sonificationthat present information as sound. Above all, Sonification for human motion information is eﬀective because
it is possible to analyze and correlate its own motion and sound in real time without limiting the field ofview during operation. We propose a Sonification method of presenting multiple motion information using
multiple sound parameters of one sound source. In this paper, we focused on the stroke motion of one handand mapped several operating characteristics of the hand to several acoustic parameters and feedback. We
describe the consideration obtained when demonstration using this system.

1. 背景

ションにおける動作支援への応用を目指した研究が行われている．著者らはその聴覚を用いた知覚化手法の可聴化に人間は，通常の動作において内部感覚とともに動作による動作情報の提示手法の提案を行ってきた [1]．本稿で伴う環境からのフィードバックによって身体イメージやは多変数の効率よいマッピングを用いることで複数の動作動作イメージを作り上げている．拡張現実（Augumented

情報を音響特性の変位として認知が可能な可聴化手法の考Reality）の分野において，情報の知覚化を応用し，デジタ察と，その応用として動作情報を用いた多変数マッピング

ル技術によって生成した視覚情報や触覚情報によるフィー手法を用いた可聴化システムの提案を行う．

ドバック情報を実空間に重ねることによる身体感覚の拡張を体感する手法が用いられている．身体感覚の拡張を誘発する体験型インスタレーションでは，一般的には触覚情報と視覚情報を用いた研究や制作が行われている．一方で，

2. 関連研究
本節では関連する先行研究や実装例を提示し，本論文のシステム設計に至る背景を説明する．

聴覚情報を用いたフィードバックによる身体感覚の拡張

拡張現実の分野では何らかの変化を伴う物体によって自に関する事例が近年報告されており，音を用いたフィード身の身体イメージや認知に影響を与える体験型のコンテンバックによる拡張手法の可能性も考察される．

ツが制作されている．デジタル技術を用いた外部からの情動作情報における可聴化はスポーツ動作やリハビリテー

報提示を加えることで，人間の認識において身体イメージはあらゆる側面で変容してしまう．体性感覚から作り上げ

1

首都大学東京大学院システムデザイン研究科
Tokyo Metropolitan University Faculty of System Design© 2018 Information Processing Society of Japanたイメージに対して他の知覚情報を加えることで，新たな285

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B26
2018/3/5

図 2

図 1 本研究が提案する多変数マッピングによる可聴化手法

Max6 によりセンサーの値を取得

Fig. 2 Acceleration Patch by Max6

Fig. 1 Proposed Method of Parameter Mapping Sonification

られ実践していない．しかし，各身体部位が持つ複数の動側面での身体イメージの構築が行われ認識に拡張性をもた作情報を統合することで単音での提示が可能になると著者らすことが可能になる．このような身体感覚の拡張に関すらは考えた．この手法を用いることで全身の動作情報が必るコンテンツには視覚情報を用いた作品が多い．一方で，要な場合や複数の音を同時並列的に認識することが困難な工学や科学などの研究やメディア・アートなどの分野への被験者に対して聴取が可能な音の数での提示が行える．

音響情報を用いた知覚化の応用が行われている．丸井がこのような点から，本稿では身体部位が持つ複数の特徴行った可聴化の分類 [2] や Thomas らの調査 [3] において，的な動作を単音が持つ複数の音響パラメータにマッピング可聴化が多くの分野に応用されていることが考察されていすることで，識別が可能な音響情報の提示手法を提案する．

る．本稿では非言語音を用いる音響パラメータへのマッピングを行う可聴化手法であるソニフィケーション [3] [4] に焦点を当て，関連研究の知見を元に動作情報の知覚化手法を考察する．
可聴化で注目すべきは，他の感覚より優位な聴覚の知覚特性である．人間の聴覚は時間分解能が視覚より高いた

3. 実装
本システムでは 1 つの加速度センサを付与したグローブとウェブカメラを用いた動作情報の取得を行い，それらから得た情報を 1 台のコンピュータにより処理することで音響情報への変換を行っている．

め，情報の時間的な変化を認識しやすい．また，聴覚は音

今回のシステムは図 3 のような構成になっており，主源分離と呼ばれる機能により複数の音を分割して聞き分けに画像情報または LeapMotion による位置情報と 3 軸加速ることが可能であり，複数の情報の変化を音の変化として度センサモジュール (KXR94-2050) を用いて動作情報を取同時並列的に提示する際にも有効である．この特性を考え得し音響生成を行った．センサーに関しては手の甲に加ると，可聴化は時系列特性をもった情報を扱う分野に有効

速度センサーを内蔵した Arduino Fio を装着し，XBee にに用いることが可能と推測できる．

よって無線通信でデータを送信している．手の回転や屈曲，加速などの情報は，加速度センサによる取得を行っ

2.1 多変数マッピングを用いた単音による可聴化
複数の音響パラメータによる情報の可聴化手法はパラた。動作情報の取得には Max6 を用い，OSC 通信によって Supercollider に個々の動作情報の値を送信している．

メータ・マッピング・ソニフィケーションと呼ばれている．
前述のように音響情報はコントロールが可能なパラメータ

3.1 音響情報へのマッピングが多く存在するため，情報の持つ変数と音響パラメータへ

ここでは採用した動作情報の音響パラメータへのマッピのマッピングのパターンは数えきれないほど考えられる．

ング手法に関する説明を行う．本システムでは表 1 のよう

Degara らは音響情報による提示 [5] は自由度が高く利便性な音響パラメータへのマッピングを行っている．本稿でのがあり豊かな表現が可能であると同時に，組み合わせが膨このようなマッピングは，柏野らや Thomas らが行ってい大なためそれぞれのマッピング手法の有効性を研究するこる研究などで効果が示されているマッピングや Dubus らとは難しい課題であるため，あまり実践的な研究がなされのマッピングに関する研究の統計を扱った論文 [6] を参考ていない．に選択・式の作成を行った．

Dubus らは複数の音響パラメータへのマッピングのパ可聴化研究において用いられやすい音響パラメータはターンの事例はあまり存在しないとしており，識別が可能周波数 (Frequency)，音量 (Amplitude, Loudness)，定位な音響情報の変化量の数には限界があるという理由が挙げ(Pannning, Spatialize)，テンポ (Tempo, Rhythm) である．

© 2018 Information Processing Society of Japan286

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B26
2018/3/5の範囲に正規化を行っており，「マッピング値」には音響パラメータの変数に適した範囲へスケーリングした状態の値が記されている．以下では設定しているシンセ関数に置けるパラーメータの処理を詳述していく．
シンセサイザー関数へのマッピングにおいて，加速度は音量にアサインすることで音響を生成するトリガーとして用いた．すべての音源において動的加速度に関しては音を生成するトリガーとして用いている．オシレータでは周波数や音量などの一般的に用いられるパラメータの他に，特殊効果として周波数変調（Frequency Modulation, FM 合
図 3 システム構成

Fig. 3 System Structure成）による周波数の揺れやその幅の変換を加えている．今回は縦方向の動きにオシレータの周波数の変化にマッピングしているため，横方向の変化を提示するために加速度のx 方向の値を周波数変調のモジュレータ周波数へマッピングを行っている．
サウンドファイルの音の生成は，コンピュータ音楽 (電子音響音楽，electro-acoustic music) の音響生成で一般的な手法である，「グラニュラー・サンプリング」を用いた．グラ
ニュラー・サンプリングはサウンドファイルの一部の時間帯の音を取り出し，音を粒子状にして連続して再生することで，再生位置 (Playback Position)，再生速度 (PlaybackSpeed) などを個別でコントロールできるようにし，持続的な音響や粒状の音響などの生成を可能にする音響合成手法である．今回のサウンドファイルへのマッピングに関して
は，音による「空間的な探索」を可能にするような提示方法を目標とした．カメラから得た横軸の情報からサウンドファイルの再生位置を決定し，縦軸の情報はピッチを変更
図 4

動作情報におけるパラメータ・マッピングの流れ

Fig. 4 Information flow of Parameter Mappingを可能にするためにサウンドファイルの再生速度にそれぞれマッピングを行った．
ノイズ音源へのマッピングでは，フィルタ・カットオフ，中でも，最も多く用いられている音響パラメータは周波数でフィルタ Q 値，音量に関して，サウンドファイルへのマッある．Henkelmann は純音 (サイン波) の周波数へのマッピ

ピングと同様の設定を行っている．

ングをソニフィケーションにおける「Hello World」であると説明しており [7]，今回のマッピングにおいてまず最初に

表 1 音響パラメータの受け取る値の範囲

Table 1 Mapping Strategy

変換を行った中心的な選択肢となっている．SuperCollider
で定義を行ったシンセサイザー内部の変数として複数の音響パラメータを設定している．主に音が持つ主要な音響パ音響パラメータ

マッピング値の範囲

Amp0.0 − 1.0 (-70dB - 0dB)

Frequency

100 − 5000(Hz)ラメータである「周波数・音量・定位」と，音響効果のパラPan(2ch)0 − 1 (L - R)

メータとして「FM 合成，AM 合成，Filter」などの変数をFilter Cutoﬀ

100 − 5000(Hz)設定した．定位に関しては，LeapMotion による三次元空

Filter Q

0.1 − 2.0

間での入力に対して，4 チャンネルのサラウンド対応も可

Modulation Frequency

0 − 200(Hz)能になっている．さらに，サウンドファイルのパラメータ

Modulation Amplitude

0 − 100として「再生位置，再生速度」の変数をそれぞれ設定している．これらの変数には Max6 と SuperCollider 間で OSC

これらの値を動的に変更を行えるようにコントロールパ通信を行い，スケーリングや補間処理を施した動作情報のネルの設計を行った．設計したコントローラーは入力値と値を入力している．

する動作情報の選択やそれらと結びつける音響パラメータ

表 1 は「音響パラメータ」と「マッピング値」を表しての選択が可能となっている．また，正規化された入力値をいる．基本的にすべての計算処理を行った値は，0 から 1

音響パラメータに対して適切な数値にスケーリングを行う© 2018 Information Processing Society of Japan287

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

ことも可能となっている．コントロールパネルでスケーリングされた情報は Supercollider によって設定されたシンセサイザー関数に OSC によって送信される．

1B26
2018/3/5

4.1 今後の課題
今後はこの動的な変換手法を用いてマッピングの組み合わせに関するリファレンスを制作し，それぞれの組み合わせの提示手法の比較検討を行う．また，マッピングの組み合わせの制作を効率的に行うため，入力情報の値と音響情報のスケーリングや補正を機械学習等の手法を用いて自動的に行う必要がある．今後はマッピングやスケーリングの自動的な最適化や動的な変換方法の考察を行い，対象とする動作や個々人の身体特性に適合することが可能な可聴化システムの実現を目指す．

図 5 コントロールパネルとシンセ関数

Fig. 5 Control GUI and Synthesizer Function

4. 考察
本稿では多変数の動作情報を音響パラメータへマッピン

参考文献
[1]

[2]

[3]

グし，身体動作を単音の変化として提示する可聴化システ
ムの事例研究と，それらの事例を元に構築したマッピング手法を用いたシステムの提案してきた．本来は無意識化で[4]処理され意識化では認知がされていない動作に伴うフィードバック情報は，音による拡張現実手法を用いることで知覚が可能になり動きの特性やパターンを知ることができ[5]る．動きを音によって表現することで普段は視覚情報や体性感覚のみで確認を行ってい身体イメージの構築における[6]

情報処理過程が，複雑な音響情報の変化のパターンとして記憶されるようになり，身体イメージ構築における認知過程の変換が行われる．本システムは今回行った身体イメー[7]

ジの拡大という目的と運動学習支援に応用することが可能である．自身の動作を修正する際に考察が可能な一つの要素としてこの可聴化システムを用いることで，音による動作情報の分析によって学習のきっかけを与えたりモチベーションの維持に貢献すると考えられる．

[8]

高野衛, 安藤大地, 笠原信一. 動作情報を用いた可聴化における変換手法の考察-パフォーマンス実演による検証-. 先
端芸術音楽創作学会会報, Vol. 8, No. 3, pp. 1–4, 2016.
丸井淳史. 音のためのインタフェース, 音によるインタ
フェース-楽器用エフェクタおよびソニフィケーション研
究-. 精密工学会誌, Vol. 79, No. 6, pp. 502–505, 2013.
Thomas Hermann, Andy Hunt, and John G. Neuhoﬀ. The
Sonification Handbook. Logos Publishing House, Berlin,2011.
Gregory Kramer, Bruce Walker, Terri Bonebright, Perry
Cook, John Flowers, Nadine Miner, and John Neuhoﬀ.
Sonification report， status of the field and researchagenda. In International Conference on Auditory Display, 1997.
Norberto Degara, Andy Hunt, and Thomas Hermann. Interactive sonification [guest editors’ introduction]. IEEE
MultiMedia, Vol. 22, No. 1, 2015.
Gaël Dubus and R. Bresin. A systematic review of mapping strategies for the sonification of physical quantities.
PLOS ONE, Vol. 9, No. 4, pp. 1283–1294, 2014.
Christoph Henkelmann. Improving the aesthetic qualityof realtime motion data sonifications : Computer graphics technical reports. Technical report, Universit at Bonn,2007.
Roland Sigrist, Georg Rauter, Robert Riener, and Peter Wolf. Augmented visual, auditory, haptic, and multimodal feedback in motor learning: A review. sychonomic
Bulletin & Review, Vol. 20, No. 1, pp. 21–53, 2012.

本稿で用いた可聴化システムにおける音響情報へのマッピング項目は，先行事例において行われてきた提示手法も再現が可能な設定を行うことが可能である．事例研究を元に，音響パラメータの選択とマッピングを行っているが，今後の課題としては異なる動作対象における最適な提示手法の検証やマッピングの組み合わせ毎の比較検討が挙げられる．多くの研究では研究者ごとに臨機応変にマッピングの選択が変更されているが，これらの手法ごとの比較や評価などはあまり行われていないのが現状である [8]. 本シス
テムは入力情報の値ごとのスケーリングや補間，マッピングに関して動的に変更を行うことが可能である．一般的な静的なマッピング手法では単一の提示手法のみに留まってしまうが，今回の動的な変更が可能なシステムを用いることで異なる提示手法が可能となるため手法ごとの比較やリファレンスの作成が容易となる．

© 2018 Information Processing Society of Japan288