身体運動の可聴化：その概念と運動学習支援への応用
宝里直幸†

有田浩之†

阪口 豊†

本研究では，ヒトの身体あるいはヒトが操作する道具の動きを音響信号に変換し，実時間でフィードバックする「身体運動の可聴化システム」を提案する．このシステムは，体性感覚のみでは明確にとらえにくい身体や道具の状態を聴覚の優位性を利用して利用者に提示することで，身体の状態や動きに対する気づきを促そうとするものである．本稿では，その基本概念について説明するとともに，この概念に基づいてこれまでに実装したシステムの例を紹介する．

Audiolizing Body Movement: Its Concept and Application toEntertainment and Motor Skill Learning
NAOYUKI HOURI†HIROYUKI ARITA†YUTAKA SAKAGUCHI†

We propose a concept of “audiolization of body movement,” which transforms the movement of the humanbody or human-controlled-tools into sound signals and feeds them back to the users in a real-time manner. Thisaims at helping people to be aware of their body/tool states, and resultantly, assisting their motor skill learning.
The present paper describes the features of proposed concept and introduces some demonstrative applications.

1.

いてだけでも sonification, audification,など様々な用語はじめにが用いられ[2]，種々の手法が提案されている．例え日常生活には聴覚的・音響的な手がかりを利用してば，効果音を与えて臨場感を増強することは人工現実

身体や道具の動きを制御している場面が多くある．切感やゲームの領域では当然のように使われており[3]，

削加工の際に部材の発する音を手がかりに切削具合を環境内の事象に同期して音響イベントを付加する手法

調整することや，料理中に揚げ物の出す音を手がかりは最も広く用いられている．一方で，変数の変化に応に調理の進み具合を判断することはその良い例である．

じて音響パラメータを連続的に変化させて情報を伝達

本研究では，このような「聴覚的・音響的手がかりすることも行なわれている．いずれにしても，対象のによる運動制御機能」をより積極的に利用し，身体や状態と相関のある形で音響信号を提示し，脳にその相道具の動きを音響信号に変換し聴覚を通じて利用者に関関係を学習させる点にこれらの手法の本質がある．

実時間でフィードバックする可聴化システムを構築し，本研究では，身体運動を対象として，自身の運動や運動学習・技能獲得支援への応用，また，身体やおも道具操作によって生じた物理的事象をアナログ的に音ちゃの動きを音として楽しむエンターテイメントへの響信号に変換し実時間で聴覚フィードバックすること応用について検討した．本稿では，技能獲得支援を目により，自然な感覚運動統合が実現される情報環境の指した例として「半田付け作業の可聴化システム」と実現をめざしている．その狙いは，既存の感覚だけで「書字動作の可聴化システム」を，おもちゃの例としは気づきにくい身体や道具の状態に関する利用者の気て「音の鳴る倒立振子」と「音の鳴るフリスビー」を，づきを促し，そのような気づきを介して自己身体の理また，無意識な動きを可聴化する例として「眼球運動解や身体運動技能の学習を支援することにある．の可聴化システム」をそれぞれ紹介する．

2.

運動情報の可聴化の意義と狙い

2.1

聴覚を通じた身体情報の提示

音響信号を通じて情報を提示する手法，技術は一般に auditory display と呼ばれ，すでに多数の研究が行なわれている[1]．情報を音響信号に変換する過程につ

2.2

運動情報の可聴化の意味

2.2.1 身体感覚への気づきの支援
自分の感覚で直接知ることが不可能な情報や難しい情報を提示する際，従来映像信号を用いることが多かった（「可視化」「見える化」）．可聴化とは，これを音響信号を用いて行なうものである．例えば，メンタルトレーニングで使われるバイオフィードバックは，皮膚抵抗等の生理視標を音として提示して心理状態の変† 電気通信大学

大学院

情報システム学研究科

University of Electro-Communications

化への気づきを促すもので，可聴化の典型例である．

情報処理学会 インタラクション 2011

姿勢や動き，筋張力などの身体情報は固有感覚や触自分の身体同様に操れるようになると考えられる．こ覚を通じて脳に伝えられており，本来は不可知情報でれは聴覚を介した自己の拡張と呼べるもので，後述すはない．運動選手や舞踊家，音楽家などは体性感覚情る「半田付け作業の可聴化」はその一例である．この報から身体状態を正確に捉えているにちがいない．しことは，可聴化システムが身体運動支援だけでなく，かし，「動きのおかしさを他人に指摘されて初めて気自己意識や身体性に関わる脳機能を探るツールとしてづく」ことがあることからわかるように，体性感覚だも有意義であることを示唆している．

けで身体状態を完全に理解することは難しい．

2.2.4 可聴化を通じた美の解析

したがって，身体情報の可聴化は身体感覚への気づ可聴化をアートの手段として利用する研究も数多くきを促す手段として，特に技能獲得支援において有益あるが，ここでは，身体運動としての楽器演奏と可聴であると期待できる．実際，身体運動の可聴化により化システムによる技能獲得の関係について議論したい．

運動学習を促進する例が報告されている[4, 5]．

楽器演奏において，演奏者は楽器の発する音を聴き2.2.2 視覚フィードバックに対する優位性ながら望む音が得られるよう身体運動を制御している．

バレエ教室が鏡張りのスタジオで開かれるように，ここでは良い音を出すことが目的であって身体運動は身体運動情報のフィードバックには従来視覚チャネルその媒介役にすぎない．一方，可聴化システムを利用が重用されてきた．視覚フィードバックは身体全体をした技能獲得では，技の実現が目的であって音はその一目で捉えられる点や複数対象の空間的位置関係を捉媒介役となる．ここで優れた身体の使い方に何らかのえられる点で特に有用である一方で，視覚ゆえの制約最適性があると仮定すれば，身体運動の最適性が音とがあり，聴覚フィードバックが優位に働く場面がある．

しても何らかの最適性（美しさ）を生み出す可能性が例えば，運動中に頭の姿勢を保つこと（バレエ）や考えられる．卓越した演奏家の身体の動きが美しいこ

特定の目標を注視すること（ゴルフ）が求められることを考えれば，「動きの美しさ」と「音の美しさ」のとからわかるように頭や視線の向きは運動遂行に密接対応関係があるかもしれない．身体情報の可聴化には，に関係しており，新たな視覚情報を不用意に提供する

このような芸術研究のツールとしての可能性もある．と運動遂行に影響が生じる危険がある．一方，聴覚は2.3

運動遂行において通常「空いていて」新たな情報を受音のパラメータには音量，音高，音色，リズムがあ容する余地があるほか，姿勢によらず刺激を受容できるが，リズムは他のパラメータの時間変化によって作ることから，聴覚フィードバックには運動遂行に干渉り出されることから，身体運動変数に応じて調整するせずに情報提示できるメリットがある．これにより，のは音量，音高，音色である．

例えば，お手本の動きと自分の動きを「聞き」比べながら運動を修正するといったことが可能になる．

身体運動の音響信号への変換方法

具体的な方法としては，身体運動変数をこれらのパラメータに直接反映させるのが容易であるが，変数の聴覚のもつもう一つの優位性は時間感覚の敏感性で数を増えると実装が難しくなる．別の方法として雑音ある．リズム感覚における聴覚の優位性に着目した研をフィルタに通して音を生成する系を設け，フィルタ究は多くあるが，筆者らの研究室でも，運動再生課題特性を決めるパラメータを調整することも考えられる．

において目標運動を聴覚提示した方が視覚提示した場

いずれにしても，変調方法の決定は可聴化システム

合に比べ運動のタイミングが正確になるという結果をにおける最重要課題であり，運動変数と音響パラメー得ている[6]．後述する「書字動作の可聴化」や「倒タの対応関係には細心の注意を要する．実際，ある変立振子」の例ではこのような特徴が現れている．

数を音量に変換した場合と音高に変換した場合とでは，2.2.3 道具情報の可聴化による自己の拡張

聴覚信号の身体運動の親和性は大きく異なる．筆者ら自分の身体が「自分のもの」であるという感覚の研究室では，運動課題ごとに望ましい対応関係を試(self-agency)の形成においては，自分の意図で動かした身体の運動情報が実時間でフィードバックされるこ

行錯誤的に模索しているのが現状である．

3.

試作したシステムようになるのはそのような経験の蓄積によるものであ

3.1

道具の状態の可聴化と技能獲得支援

り，自分の身体自体もそのような「使い慣れ」を通じ3.1.1 半田付け作業の可聴化て「自分のもの」になってきたといえる．

道具の状態を自分の感覚で捉えることが難しい作業とが重要である．使い慣れた道具が「身体の一部」のしたがって，対象を自分の意図で動かすことができ，それが実時間で可聴化されれば，学習によって対象をの例として半田付け作業に着目した．半田付け作業は加熱する部品の熱容量に応じて適応的に行なう必要がTemperature (deg in Celsius)

身体運動の可聴化：その概念と運動学習支援への応用
334

Start heating the part
(Touch by the bit) Re-start heating

332
330
328
326
324

Supply solder

32205

Lift the bit off thepart101520

図2 毛筆書字動作の可聴化システム

Time (sec)
図1 半田付け作業中のこて先の温度変化あり，温度情報が実時間で提示されると有用性が高い．

MasterBeginner

また，半田付け作業中は視覚がふさがっており，聴覚フィードバックの優位性が活きる例である．
本研究では，こて先に熱電対を内蔵した半田ごてを利用してこて先の温度を取りだし，それに応じて高さの変化する音を作業者に提示するシステムを構築した．
図 1 に作業中のこて先温度変化の例を示す．この図より，こて先の温度が作業に応じて特徴的に変化して

図3 筆の軸方向の力の時間変化いる様子がわかるが，可聴化システムを用いるとこのているあいだ軸方向の力を小さく保ち，「止め」の部変化が音の変化として聞き取れる．さらに，種々の部分で 2，3 度強く力の入れているのに対し，未習熟者品に対して音を聞きながら作業を繰り返すと，部品のは筆を動かしているあいだずっと大きな力を加え続け種類と温度変化パタンとの関係が音のパタンを介してていることがわかるが，このような力のめりはりの違連合され，システム試用者によれば，温度変化の様相いが生成される音の違いに明確に表れる．

がいったんつかめると，音に頼らなくても温度変化パタンをイメージしながら作業できるようになるという．
このように，この例では聴覚信号が部品と温度変化

現時点では書字の習熟を促す効果については未検証であるが，その可能性は十分にあると考えている．
3.2

おもちゃの可聴化

パタンとの連想記憶を形成する仲介役として機能してこまや凧などのおもちゃを操るには一定の技能が必おり，学習後はシステムに頼らずに技能を発揮できる要である．おもちゃの状態を可聴化することで，音そようになる点でも有効性の高いシステムである．のものを楽しむことに加え，音を通じて技能習得を促

3.1.2 毛筆書字動作の可聴化
書道では，筆にかける力や筆を動かすリズムのコンすことを狙い，いくつかのおもちゃを実装した．
3.2.1 音の鳴る倒立振子

トロールが重要である．しかし，書字中に筆にどのよ

これは，3 次元姿勢センサにより計測した棒の傾き

うな力を加えているか，また，習熟者と初心者のあいに応じて発する音高を変化させるものである．具体的だでそれがどのように違うかを知ることはまずない．には，棒のピッチ角とロール角により生成音（ステレ

本研究では，毛筆の軸に 6 軸力覚センサを装着しオ音）の周波数を決めており，棒をバランスさせる動

書字中に筆に加わる力を可聴化するシステムを構築し作が音の変化を生み出す（図 4）．実際，棒の動きにた（図 2）．同様の試みとして，書字中の特徴点を音応じて音がリズミカルに変化し，音を聞いているだけ響イベントとして提示しリズム感を教示する研究[7]で遊び手の動きが想像できるような感覚が得られる．

があるが，本研究では聴覚信号と身体感覚の親和性に

図 5 は，二人の被験者（NH，SS）について，棒の重点をおき，力学的変数をアナログ的に音響パラメー

ピッチ角とロール角の時間変化を示したものである．

タに反映させた．これまでに試した範囲では，筆の軸図からわかるように，二人の制御戦略は大きく異なり方向の力の大きさを音量に，軸を曲げる方向のトルク

NH に比べ SS の動きは周期が短く振幅も小さい（その大きさを音高に反映させる方法がよいようである．のため，SS の方が長時間バランスを保持できる）が，

図 3 は ， 習 熟 者と 未 習熟 者 が この 筆 を使 ってこのような動きの違いは音の違いとして明確に知覚で「一」の字を 3 回書いたときの，筆の軸方向の力のきる．むしろ動作の違いは視覚情報だけでは気づきに時間変化を表したものである．習熟者が，筆を動かしくく，しばしば音の違いに気づいたあとであらためて

情報処理学会 インタラクション 2011

観察して気づく．このことは，時間変化する情報提示における聴覚の優位性を示している．

このシステムは，こめかみに貼付した表面電極から導出した眼電位（EOG）を生体アンプで増幅後，マ3.2.2 音の鳴るフリスビー

イコンによりその急激な変化を検出してビープ音を鳴

これは「ボールの回転が音として聞こえたら面白らすというものである．まばたきを誤検出しまうものい」という着想から実装したおもちゃである．の，高い確度でサッカードを検出できる．

フリスビーの裏面に 3 次元加速度センサとマイコ

被験者の一人は，「自分が頻繁に眼を動かしているンを装着して音響信号に生成している（図 6）．具体ことに気づかされた」と述べる一方で，「ビープ音と的には，半径方向の加速度が一定以上のときに音が鳴眼の動きの一体感はあまり生じなかった」とも述べた．

り，回転軸方向の加速度の大きさにより周波数を変調

このことは，サッカード生成系が知覚や意識に関わるしている．このため，姿勢が水平に保たれると安定し系から独立していることを示唆しており，興味深い．て澄んだ音が鳴り，姿勢が揺れとピロピロと変化する音が鳴る．これにより，きれいな投げ方を練習したり，

4.

むすび鳴らしたい音が鳴るように遊んだりすることができ，本稿では，「身体運動の可聴化」という概念を提案

単純ながらも楽しめるおもちゃに仕上がっている．

し，それに基づいて試作したシステムを紹介した．紹

3.3

意識できない動きの可聴化介したシステムはいずれも小規模なものだが，提案し最後に，意識できない自己の動きを意識させる試みた概念の一般性が示せたと考えている．現在，より実として，サッカード眼球運動の生起を可聴化するシス

際的な応用例として，歩行中の頭，体幹，四肢の動きテムを紹介する．

を可聴化して歩行パタンへの気づきを促す「歩行運動の可聴化システム」を構築しているところである．
上述したように，可聴化システムにおける最大の課題は身体情報をいかにして音響信号に埋め込むかである．現状では課題ごとに身体運動と音響信号に一体感が生じるように工夫しているが，今後，一体感をもたらす規則の抽出に向けてさらに検討を続けたい．
なお，本研究の一部は，中山隼雄科学技術文化財団研究助成および科学技術振興機構戦略的創造研究推進事業の援助を受けた．

図4 音の鳴る倒立振子

NHSSPitchRoll

図5 棒の傾きの時間変化の例

図6 音の鳴るフリスビー参考文献1) Kramer, G. (ed.): Auditory display: Sonification, audification, and auditory interfaces, Westview Press. (1994)
2) Hermann, T.: Taxonomy and definitions forsonification and auditory display, Proc. 14th Int. Conf.
Auditory Display, 24-27. (2008)
3) Dozza, M., Horak, FB. and Chiari, L: Auditory biofeedback substitutes for loss of sensory information inmaintaining stance. Exp. Brain Res., 178:37–48. (2007)
4) 下門, 市川, 椿本, 高木: 空間位置を音階で定義した音によるトラッキング運動-競泳ドルフィンキッ
クの場合-, 第 4 回 Motor Control 研究会, 16. (2010).
5) Rath, M. and Rohs, M.: Explorations in sound fortilting-based interfaces. Proc. Int. Conf. MultimodalInterface (ICMI’06), 295－301. (2006)
6) Matsumura, K and Sakaguchi, Y.: “Audializing” human
movements for motor skill learning. SICE Ann. Conf.
2008, 2312-2315. (2008)
7) Nakakoji, K., Jo, K., Yamamoto, Y., Nishinaka, Y. andAsada, M.: Reproducing and re-experiencing thewriting process in Japanese calligraphy, Proc. 2nd IEEE
Tabletop Workshop, 75-78. (2007)