情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-6F-012017/3/2

スピーカーユニット表面にダイラタント流体を用いた硬さ変化と振動提示が可能なパッド型音楽インターフェース
等力桂†1	  横田智大†1	  橋田朋子†1
概要：本研究では, 叩き方に応じた硬さ変化と振動フィードバック提示を行うパッド型音楽インターフェースを提案する. 具体的には, ダイラタント流体の静電容量をセンシングすることで叩き方の認識を行う入力部と, ダイラタン
ト流体の叩く強さによって接触部分の硬さが変わる性質を利用した受動的な硬さ変化, スピーカーユニットによる振動フィードバック提示, そしてスピーカーによる音の出力を行う出力部によって実現される. また, その精度を調べる実験と, 硬さ変化と振動フィードバックの主観評価を行った.

Pad Musical Interface
which Can Change Hardness and Return Vibrotactile Feedback
Using Dilatant Fluid on Surface of Speaker Unit.
KEI TORIKI†1	  TOMOHIRO YOKOTA†1	  TOMOKO HASHIDA†1
Abstract: In this paper, we proposed pad-shaped musical interface which can change hardness and return vibrotactile feedback
depending on way user taps. This interface consists of an input mechanism sensing capacitance of dilatant fluid to judge the way
user taps, and an output mechanism which changes the hardness passively depending on strength of users tap by using the featureof dilatant fluid and returns vibrotactile feedback and sound using speaker unit and speaker. We investigated the accuracy of thisinterface and performed subjective evaluation to evaluate the change of hardness and vibrotactile feedback.

1.   はじめに考えた. これらの要件を実現するため筆者らは, 叩く強さにより硬さが変化する特徴をもつダイラタント流体と, 低	  打楽器の形状を模してつくられたパッド型音楽インター

周波の振動にユーザが直接触れられる装置としてのスピーフェースは, 叩くという簡易な動きによる演奏で, ユーザカーユニットに着目した. 本研究では, これらを組み合わが割り当てた自由度の高い音を出力することができる. しせ, スピーカーユニット上にダイラタント流体を用いた新かし, 入力インターフェースとしては課題も多い. 一般的

たなパッド型音楽インターフェースを提案する（図 1 参な打楽器は, 硬さなど, 使用されている素材の質により演照）. 提案システムではダイラタント流体の性質により接奏方法が自然と規定され, 出力される音も変化するが, パ触面の硬さがユーザの入力により受動的に変化する. さらッド型音楽インターフェースの場合は, パッド面はゴム素にダイラタント流体に人が触れた際の静電容量の変化を取材で一様であり, 自由度の高い音と接触面の質の感覚の不得することで叩き方を認識し, 叩き方に応じた音を, 音と一致が生じやすい. また, 楽器の発音の仕方を十分にコントロールするためには, 楽器からユーザへの力学的なフィードバックが必要であるという知見[1]がある. 打楽器は操作部分と, 音（振動）が発生する部分が一致しているが, パッド型音楽インターフェースは入力部分と音（振動）が発生するスピーカーが別に存在するため, 力学的なフィードバックに整合性がない.	  このような背景を受け本研究では, より直感的に演奏しやすいパッド型音楽インターフェースの要件として, ユー
ザの叩き方に応じて接触面の硬さが変化することや振動フィードバックに整合性があることが重要なのではないかと†1 早稲田大学
Waseda University© 2017 Information Processing Society of Japan

図 1	  提案システムでの動作の様子	 
Figure 1	  Appearance of the system while operating.

393

情報処理学会 インタラクション 2017IPSJ Interaction 2017

2-6F-012017/3/2

して聞くと共に振動として直接触ることができる. 本稿では提案システムの詳細と, 精度実験及び主観評価の結果を報告する.

2.   関連研究	  接触部分の材質を工夫した音楽インターフェースとして,柔らかいゼリーを触れることによって入力を行う NOISYJELLY[2]や, メッシュ面に触れて入力を行うシステム[3],押し込み量を計測することが可能なセンサをアレイ配置することで出来る柔らかい入力面を持つ CMG[4]が挙げられる. これらはいずれも一様な柔軟性をもつものであるが,本研究ではダイラタント流体を用いることで叩く強さによって接触部分の硬さが変化するインターフェースを提案する.

図 2	  流体を入れる前と後のスピーカーユニット	  次に、ダイラタント流体を用いた触覚提示ディスプレイ

Figure 2	  Speaker unit before and after pouring fluid.の研究は複数ある. 嵯峨[5]は, スピーカーの振動を用いて,ダイラタント流体を制御し, 触覚ディスプレイとして利用している. 吉元ら[6]は, 水を吸引する装置を手に装着した上でダイラタント流体に触れることで, 異なる力触覚を提示する装置を実現している. これらはいずれもダイラタン
ト流体を触覚提示ディスプレイの出力部分としてのみ使用している. 対して, 本研究ではダイラタント流体の受動的な硬さ変化を利用することに加え, ダイラタント流体の静電容量の変化を取得することで, ユーザの流体に対する叩

図 3	  システム概要

き方を認識可能な入力部分としても利用するシステムを提Figure 3	  System Overview.

案する.

3.   提案手法

4.   実装	  システム概要を図 3 に示す. 本研究で作成した装置は,	  本研究では, 叩く強さによって接触部分の硬さが変化し,ユーザの叩き方を認識するためにダイラタント流体の静電かつ, 音の振動に直接触れることができる装置を提案する.

容量を取得する入力部と, ダイラタント流体の特徴を利用はじめに, 叩く強さによって硬さが変化するインターフェ

した受動的な硬さ変化とスピーカーユニットによる振動フースを作るために, ダイラタント流体を利用することに着ィードバック提示, そしてスピーカーによって音の出力を目する. ダイラタント流体とは与える力学的な外力により,行う出力部によって実装される.

液体と固体の間を連続的に変化する流体である. 本研究で4.1   入力部

は, 与える外力が大きいほど抵抗力が大きくなり硬くなる	  入力部ではスピーカーユニット上のダイラタント流体のことを利用することで, ユーザの叩く強さによって受動的静電容量を取得する. スピーカーユニット, ダイラタントに硬さが変化するパッド面を実現する. この流体の静電容流体, マイコン, PC により構成されている.

量変化を取得することで, ユーザの２種類の叩き方を認識	  スピーカーユニット(8PR-8, GRS)は水分が漏れないポリする. さらに, 直接振動フィードバックを与えるために,プロピレン製のコーンを使用しているものを利用する. 本

ユーザがスピーカーユニットの揺れに触れる設計を行う.

装置においては, 150[ml]の水に対して 200[g]の片栗粉を溶

これらを組み合わせ, スピーカー上に直接ダイラタント流かすことでダイラタント流体を作成してスピーカーユニッ体を流し込むことを提案する. この手法によって硬さの変ト上に流し込んだ. またユーザの手を汚さないようにスピ化するダイラタント流体を叩き,	  振動フィードバックをーカーユニットの上部はラップで包み, クリップで固定す直接得ることが可能になる. スピーカーユニットはる.

100[Hz]以下の低周波の振動のみを再生可能であるため,	  静電容量変化の取得にはマイコン Arduino Uno を用いてそれ以外の帯域を音として聞くためにスピーカーを用いる.

おり, 具体的には Arduino の静電容量センシングライブラ

流体を入れる前と後のスピーカーユニットを図 2 に示す.

リ(Capacitive Sensing Library[7])を使用した. スピーカーユ
ニットにはリード線が貼り付けてあり, このリード線をダ© 2017 Information Processing Society of Japan394

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-6F-012017/3/2

イラタント流体と電気的に接触させることで, 流体の静電経験がある者が 3 名, ない者が 2 名である. 楽器の習い事容量の変化を取得する. Arduino によって 10[ms]毎に取得し経験がある 3 名は全員演奏に関してはアマチュアである.

た RAW データは, シリアル通信を介して音響合成のため	  実験を始める際に, 各被験者が流体表面から約 10[cm]離に用意したソフトウェアである Pure Data (Pd-extended Ver.

れた距離に手をかざした際の静電容量値を閾値として設定0.43.4)に送られる. RAW データに対しては Pure Data 上で 2するキャリブレーションを行う. その後, 実験者は BPM15回分の平均値を求める Mean フィルタリング処理を行う.のメトロノームにあわせて, 被験者に対して口頭で２種類この処理されたデータを静電容量値とする.の入力方法（叩く・触れる）をそれぞれ 50 回ずつ, 計 100	  本装置においては, 流体に触れた場合はユーザによらず,回ランダムに指示する. 被験者はその指示に従って, 入力接触前後の静電容量値はおおよそ 2 桁から 3 桁の値へと変を行う. その際は金属のクリップに触れさせないように注化することから, 接触判定に固定の閾値を設けた. しかし,意させ, ダイラタント流体をラップ越しに触れさせる. 各

叩く場合と触れる場合の 2 種類の入力方法を認識するには,叩き方を正しく認識できた割合について 5 名の被験者間のユーザが流体に接触するまでの手の動きを検出しなければ平均値を表 1 に示す.

ならない. そこで手が流体に対して約 10[cm]の距離にある

5.2   精度測定結果

際の静電容量値を閾値として設定するキャリブレーション	  実験の結果, 叩く入力の認識率が 90.8[%], 触れる入力のを行う. ユーザの手の位置を検出する静電容量値がこの閾認識率が 84.4[%]となった. この結果より, 本研究で提案し値を超えている間, 取得した容量値を足しあわせ続ける.

た装置は流体の静電容量変化を取得することで 2 種類の動流体に手が接触したと判定された瞬間に, その値が一定の作を識別できると言える. しかし, 触れる場合の入力精度値を超えていた場合は触れていると認識し, 超えていないは叩く場合よりも低い. これは, キャリブレーションによ場合は叩いていると認識する. 手が流体から約 10[cm]以上って設定した閾値を超えてからの静電容量値を足し合わせ離れた場合, その値を 0 に戻す.

た値で入力方法の認識をする場合, 手が流体に近づく速度	  これらにより, 叩く場合と触れる場合の 2 通りの入力ををユーザによらず取得することができないためと考える.

取得することができる.

5.3   主観評価

4.2   出力部	  提案したパッド型音楽インターフェースにおいて, 意図	  出力部ではダイラタント流体自体による受動的な硬さ変した硬さ変化と振動提示が実現されたかを明らかにするた化と, オーディオ信号による振動と音の生成を行う. これめ, 被験者の主観評価を行う. 被験者は実験 1 と同じであらは PC, スピーカーユニット, ダイラタント流体, オーデる. 項目は表 2 に示した 4 種類の選択式の質問と, 2 種類のィオインターフェース, パワーアンプ, スピーカーで構成

自由記述の質問である. 選択式の質問は 5 段階の答えを選されている.
表 1	  各叩き方を正しく認識できた割合[%]	  振動と音を共に提示するために Pure Data を用いて音響合成を行う. 入力部で叩いたと認識された場合は録音されTable 1 Accuracy rate for each way of hitting[%].	 

た打撃音を, 触れていると認識された場合は静電容量値に	  	  	  	  	  	  	  	  判定対して線形なサイン波(1~80[Hz])の持続音を出力する. こ

指示の信号をオーディオインターフェース(TAC-2, ZOOM)より叩く

90.8

9.2出力し, パワーアンプ(AKIT-7294SUB, aitendo)で増幅した

触れる

84.4

15.6

叩く

触れる

上でスピーカーユニットに送る. これにより, ユーザに対し, ダイラタント流体を介した振動フィードバックを与え

表 2	  実験で用いられた質問事項と尺度ることが可能になる. また, スピーカーユニットは低周波

Table 2	  Question and scale used in experiment.

のみを再生するため, この信号を音として聴くためにスピ尺度ーカー(Companion 20 multimedia speaker system, BOSE)にも

硬軟性

質問番号

1	  これらにより出力部では, 振動と音をフィードバックと2してユーザに返すことが可能となる.

5.1   精度測定	  本実験では叩く場合と触れる場合の 2 種類の入力方法の認識精度を明らかにする. 実験は 20 台の学生 5 名（男 4 名,叩いた場合に、面が硬いと感じましたか.

合わせて送る.

5.   実験

質問事項

触れた場合に面が柔らかいと感じましたか.

音と触覚の対応性

3

4

叩いた場合に, 聴こえている音が触れている感覚にあっていると感じましたか.
触れた場合に, 聴こえている音が触れている感覚にあっていると感じましたか.

女 1 名）の被験者を対象に行った. 被験者は楽器の習い事© 2017 Information Processing Society of Japan395情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-6F-012017/3/2とを想定する被験者が多かった.

6.   まとめと今後の展望	  本研究ではダイラタント流体とスピーカーユニットを用いて, 接触部分の硬さが受動的に変化し, かつ音の振動に直接触れることができる新たなパッド型音楽インターフェースを提案した. このインターフェースは, マイコンを用いてダイラタント流体の静電容量変化を取得する入力部分と, ダイラタント流体そのものの性質を利用して受動的な硬さ変化を提示し, PC からのオーディオ信号によりスピーカーユニットを振動させ, スピーカーより音を出す出力部分で構成される. 実験として, 流体に触れるまでのユーザ
図 4	  アンケート調査結果の手の動きを静電容量変化の取得により検出することで叩Figure 4	  Questionnaire Result.

くことと触れることの 2 種類の入力の認識精度を測定した.
また, アンケート調査を行うことで, ダイラタント流体の択する. 自由記述の質問としては「過去に演奏したことの硬さ変化とスピーカーユニットによる振動提示部分の主観ある楽器と異なると感じた点」と「本装置を用いてどのよ評価を行った.

うな演奏をしてみたいと感じるか」の 2 つを用意した. ま	  今後の展望としては, 圧力センサを併用することで入力た, それぞれの被験者について楽器を用いた音楽経験の有判定の精度が上げることや, 入力方法を 2 種類に分けるの無, 楽器の種類と年数も調査する. 4 種類の選択式の質問のではなく, 流体に触れるまでの手の動きを音量や音の質な結果をそれぞれの質問の標準誤差を含め, 図 4 に示す.

どに適用することがある. また, 擦ると固体のようなふる5.4   主観評価の結果と考察まいをするなどのダイラタント流体の特性を活かし, 擦っ	  質問 1 の平均値は 4.4, 質問 2 の平均値は 4.2 といずれもた際に音が出るような, 入力時の力学的フィードバックと4 を超えている. この結果より, 本研究で提案した装置に音の要素をより一致させた, 既存の打楽器に近い入力方法

おいてダイラタント流体を用いた硬さ変化の目的を達成でを検討したい.

きたと言える. 自由記述より, 過去に演奏したことのある楽器との差異として, 流体に触れた際に接触部分の柔らか参考文献

さや硬さ感覚の変化を挙げる被験者がいた. このことから[1]も, 触れる場合の柔らかさと叩いた場合の硬さを両立したパッド型音楽インターフェースを作成できたと言える.	  質問 3 の平均値は 4.6, 質問 4 の平均値は 3.6 となり, いずれも 3 を超える結果となった. この結果より, スピーカーユニットを用いた振動提示による音と触覚の対応についても目的をおおむね達成できたと言える. しかし, 触れる場合が叩く場合に対して評価が低い. この結果より, 叩く場合と比較して触れる場合は力学的フィードバックの整合性に劣ると言える. これは叩く場合は入力方法と返ってくる振動フィードバックが既存の打楽器に近いことに対して,柔らかいものに触れることで音を出すことは既存の打楽器においては見られない入力方法であり, 流体越しに振動に触れるという感覚も独特のものであったためと考えられる.	  自由記述のその他の答えとしては, 他の楽器と異なる点

Puckette, M. and Settel, Z.. Nonobvious roles for electronics inperformance enhancement. ICMC Proceedings. 1993, vol.1A.4,p. 134-137.
[2]“NOISY JELLY”.
https://www.flickr.com/photos/raphaelplu/sets/7215762962138205
5/, (参照 2016-12-16).
[3] Montag, M., Sullivan, S., Dickey, S. and Leider, C.. A Low-Cost,
Low-Latency Multi-Touch Table with Haptic Feedback for MusicalApplications. The 2011 International Conference on New
Interfaces for Musical Expression(NIME11). 2011, p. 8-13.
[4]“CMG：THE CELL MUSIC GEAR”. http://cmg.tokyo, (参照2016-12-15).
[5] 嵯峨智. ダイラタンシを利用した汎用的触覚ディスプレイの研究 Dilatant- fluid- based universal tactile display. 立石科学技術振興財団 助成研究成果集. 2011, 第 20 号, p. 22-26.
[6] 吉元俊輔, 濱田友貴, 徳井隆博, 末竹哲也, 井村誠孝, 黒田嘉宏, 大城理. Haptic Canvas:ダイラタント流体を用いた力触覚の生成と調合. 芸術科学会論文誌. 2011, vol. 10, no. 4,p. 204-214.
[7]	  “Capacitive Sensing Library”.
http://playground.arduino.cc/Main/CapacitiveSensor?from=Main.C
apSense, (参照 2016-12-26).

として, 楽器経験者からは触れているだけで持続音が出力されることや, ピッチが定まっていないことが挙げられた.
また, 演奏方法に関しては, 即興演奏に用いることや, 子供が泥遊びをするように触れることなど, 楽譜の譜面通りに叩く場面よりも, 流体に触れることで自由に音を出すこ© 2017 Information Processing Society of Japan396