WISS 2020

直感的なサウンドデザインのための柔軟な音楽インタフェースの提案
梁 文碩 ∗

山岡 潤一 ∗

概要. 本研究では，柔軟な導電性素材で変形可能な音楽ユーザインタフェース（以下 UI）を提案する．具
体的には，ユーザは UI を直接触って変形することで，UI の形状に応じた音をプリセットから読み込み出力でき，UI の形を再調整することで音のカスタマイズができる．例えば，ユーザが笛や太鼓の外形と類似する形状を変形することで，それらの演奏音が出力され，その後伸ばすなどの付加的な UI の変形を通じて，音の周波数を変更するなどの追加的なサウンドデザインができる．この手法の実装のために，本研究では柔軟な導電性素材である小麦粘土と電極を用いて形状認識を行う．電極間の小麦粘土の長さや表面積によってみられる抵抗値の変化から小麦粘土（UI）の形状を確認し，それぞれの形状とマッチする音が出力されるように設計する．今回はエラストマー素材と導電性素材を用いて柔軟なインタフェースを試作した．本稿
では，インタフェースの設計と実装，応用例および今後の研究計画について述べる．

1はじめに音楽を演奏する際に，シンセサイザーなどのコンピュータが内蔵された電子的な楽器を用いることで，一つの楽器によって異なる楽器の音を出力することが出来る．シンセサイザーは演奏中に即興的に音色を変更するなどのインタラクティブな演奏が可能な長所を持つ．しかし，楽器の形状は固定されているため，ギターや笛など既存の楽器に慣れ親しんだユー
ザにとっては直感的な操作が難しい．
一方で身体感覚の一つとして，二つ以上の感覚が組み合わさって認知される知覚現象である共感覚は，認知科学やメディアアートなどの分野などでも研究・活用されている．その中でも，二つの異なる感覚がランダムではなく再現性を伴いながら接続されるク
ロスモーダル効果は，感覚を補ったり拡張できるため，認知科学を超えてバーチャルリアリティなどの多くの分野で活用されている．特に，視覚と聴覚を基にしたクロスモーダル効果に関する研究において，言語・形や音・図形などの要素間で関係性があることが分かっている [1][2]．
そこで本研究では，このような音と形のクロスモダリティを活用して，楽器の形状を変形させると，その形状に対応した音を出力する音楽 UI を提案する．具体的には，導電性素材を用いた柔軟なインタ
フェースの形状をユーザが変えることで音を変更する（図 1）．柔軟な膜の内部に導電性素材を内蔵し，膜内部の複数の電極間の抵抗値の測定して，大まかな形状を認識する．そして事前に設定した形状とマッチングしてプリセットの音を読み込み出力する．このようにクロスモダリティに基づいた柔軟な音楽イ
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
慶應義塾大学大学院メディアデザイン研究科

ンタフェースは，形の入力によるサウンドデザインを提示する．したがって本稿では，柔軟な音楽イン
タフェースの設計と実装，および応用例と今後の課題について述べる．

図 1. プロトタイプの操作

2

関連研究

これまでも多くの形と音を繋げるデジタル音楽イ
ンタフェースは提案されてきた．
SoundForms[3] はアクチュエータとつながった多数のピンのテーブルを用いて，音の波形を可視化させ，ジェスチャで操作できるインタフェースである．
しかしサイズの大きさから，携帯用に使えない問題がある．
PerForm[4] は，小型の帯状の音楽 UI であり，ユーザは UI の形を変えることでそれぞれの形と対応する音を，ジェスチャを通じて演奏できる．これは，形を通じた音の提示方法に関する研究であるが，帯型の UI が表現できる形の数に制限があるため，音WISS 2020と相関関係の高い形を作ることは難しい．
そのため本研究では，UI の変形に容易なオーガニックユーザインタフェース（以下 OUI）とタンジブルユーザインタフェース（以下 TUI），そしてマテリアルインタラクションに着眼した．Neondough[5]は，多数の電極を用いることで小麦粘土の形状を認識して，粘土の性質に応じたユーザのタンジブルな入力（伸ばす・潰すなど）によって粘土の色を変更できる．素材の導電性を活用した形状認識は立体的な UI の形状認識に有効であるため，本研究では，小麦粘土の導電性と柔軟性を活用した TUI をもとに，形の入力による音の出力を行う．

33.1

表 1. 小麦粘土の長さと抵抗値の関係

小麦粘土の長さ（cm） 抵抗値（ohm）

12345678910287˜499
311˜533342˜589380˜642430˜721507˜766483˜762489˜792556˜867563˜880

デバイス
ハードウェア

本研究のデバイスは，小麦粘土の導電性と柔軟性のある素材を用いた音楽 TUI である．小麦粘土は水と塩が含まれているため導電性のある素材である．
また，オームの法則によると，電極間の抵抗値は媒介とする導電体の長さと電極と接する表面積によって変化する．このことを活用して，素材内部に内蔵した電極の位置に応じて変化する UI の形状を随時認識することができる．詳しく言って，多数の電極を用いて測定した小麦粘土の抵抗値を形状認識や音作りのパラメータとして活用する．
NeonDough[5] は，オームの法則に基づいて多数の電極を内蔵した小麦粘土の形状認識を行った．そして，本研究でも小麦粘土の長さによる抵抗値の変化に関する実験を行った．実験には，Arduino UNOと 330ohm の抵抗と，（株式会社たんぽぽ社製）の小麦粘土を用いた．実験の内容として，直径 1cm の小麦粘土の両端に電極を配置し，分圧回路を用いて粘土の長さを変更する際の抵抗値の変化を測定した．
分圧回路の一つの抵抗を 330ohm，片方の抵抗を小麦粘土とし，電圧は 5V とした．その結果，小麦粘土の抵抗値は測定開始から約 5 秒が経過した時点から上昇し，約 50 秒が経った時点で最高値を記録した後徐々に減少し，1 分〜1 分 10 秒の間に特定の数地帯に収束した．表 1 は，小麦粘土の長さと抵抗値（最小˜最大）の関係を示す．実験の結果から，電極間の小麦粘土の長さに比例して上昇することが確認できた．
これに基づいて，今回はプロトタイプとして４つ電極を用いた三角錐型のインタフェースを設計した．
形状に基づいて，厚み 0.5mm のエラストマーシー
ト（3M 社製 Y4905J）を切り立体状の膜を作成した．三角錐の１辺の長さは 9cm とした．エラスト
マーシートの伸び率は約 109%である．その中に導電性素材である小麦粘土と電極であるジャンパワイ
ヤを配置した．その後，図 2 の展開図のように，エラストマーシートの表面の境界をそれぞれ接着して仕上げる．

図 2. プロトタイプの構成図

電極はインタフェースの図形の頂点になる四つの部分に配置される．具体的に，頂上の頂点には＋極，底面の三つの頂点には−極が割り当てられ，三つの抵抗の値を出力する．要するに，今回のプロトタイ
プから測定されるそれぞれの抵抗値は，三角錐の頂上から底面の頂点までの長さとして取り扱うことになる．図 3 は実際に製作したプロトタイプと測定する抵抗の範囲を示す．この結果，三つの抵抗値を用いた形状の変化による異なる音の選択が可能になる．

3.2

音のデザイン

音のデザインは大きく分けて２つである．１つ目
は，UI を「伸ばす」や「潰す」操作を通して変形させることで，形に相応するプリセットの音を読み込み出力する．２つ目は，ユーザが任意的に UI の形を再調整することで，はじめに読み込まれたプリセットの音源をカスタマイズできる．これは，UI に内蔵された電極間の距離を音のパラメータとして使用する．例えば，ユーザは特定の電極が内蔵された部分を伸ばす，潰すことで音の周波数をコントロールすることができる．リアルタイムに，ユーザは UIを変形しながら音の変化を確かめることもでき，出力する音を MIDI データとしてコンピューターに伝送することもできる．図 4 はデバイスの段階的なアルゴリズムの仕組みを示す．

直感的なサウンドデザインのための柔軟な音楽インタフェースの提案

図 3. プロトタイプ
図 5. プロトタイプの形状認識

44.1
図 4. 段階的なアルゴリズムの仕組み

このようなサウンドデザインの手法は，ユーザが希望する楽器の外形を入力することで，UI がその形と最も関連性の高い楽器の音をユーザに提供することができる．形状の変化による抵抗値の出力はシリアル通信を通して Arduino UNO から Cycling’74
社の音響プログラミングソフトウェアである Maxに入力される．Max では，入力される形状を認識するために，Arduino UNO から伝送された複数の抵抗値のデータを比較する条件文を設計して，それぞれの条件に合う形状を判別し，その形状にマッチングする音を出力する．図 5 は異なる形状を入力した
時の Max 上の音の選択過程をを示す．プロトタイプを変形する際（左側），Arduino UNO は受け取った抵抗値をもとに，大小関係を示すグラフと，ビジュアルの三角形（それぞれの抵抗値の具合によって中央から頂点までの長さが変わる．
）を表示し，指定の条件文に基づいて出力するサウンドを選別する（右側）．今回のプロトタイプの条件文としては，出力された三つの抵抗値（red，blue，green）の中で redが最も高い値を示す時のみドラムのサウンドが出力され，それ以外のときはギターのサウンドが出力されるように設定した．このとき，ビジュアルの三角形はプロトタイプを上から眺めたときの形を想定したため，上から眺めたプロトタイプの形と三角形の形は同じ形状として認識される．

応用例
形から考えるサウンドデザイン

本研究の UI は，ユーザに「UI の変形」という手法を使ってそれぞれの形に相応する音を提案する．
電極の数を増やすことで，より複雑な形状を認識することができると考えられる．複雑な形状の再構成に伴い，特定の楽器を連想させる形状とその楽器の音とマッチングさせることができる（図 6）．要す
るに，ユーザは演奏したい楽器のイメージを先に想像し，UI で形にすることで，求める楽器の音を出力することができる．
また将来的な応用例として，異なる二つの楽器を連想させるそれぞれの形状の中間に当たる形状を入力することで，実際に二つの楽器の真ん中に位置するサウンドを表現することができると期待される．

図 6. 形の入力によるサウンドデザイン

WISS 2020

4.2 他のメディアとの接続
UI の変形によって得られる抵抗値は，音だけでなく，他のメディア要素を表現するためのパラメータとしても活用することができる．Jitter， TouchDesigner， Grasshopper など，三次元のグラフィック要素を表現するツールへの拡張は，音の出力と同期化するビジュアライザーの手法としても考えられる．
また，このような共感覚的なユーザエクスペリエン
スは，ユーザに豊富なサウンドデザインを体験させると考えられる．

4.3

教育玩具としての活用

本研究で開発されたデバイスは，柔軟性を持つ小麦粘土を用いるため，直接手で触りながら UI を変形する体験は，即座に入出力の変化が確認できるという長点を持つ．このため，本研究の UI は子供たちのための教育玩具として活用されることができる．
「物に触ってサウンドデザインする」という行為は，子供たちが本人たちに慣れている「触る」行為を主な音作りの体験要素として捉えるため，より音作りに接近しやすくなる．それだけでなく，この経験を通じて音作りをはじめとする創作活動にモチベーションを与えることもできると考えられる．

5.3

検証実験

今後，ワークショップを通じて多数の被験者を対象に，本研究で制作された音楽 UI を使用してもらう実験を行う．そしてこれにより，サウンドデザインの手法として活用される音と形のクロスモダリティに関する有意義性を検証する．

5.4

音と形のクロスモダリティ

本研究では，音と形のクロスモダリティに接近して，形による音の連想を通じたサウンドデザインの手法について紹介した．応用例として紹介された，楽器の音で連想できる楽器の外形と類似する形状を設計・入力するサウンドデザインは，ユーザに音響に関する知識を問わず，楽器の形だけで簡単に利用することができる．ところが，これにとどまらず，非楽器要素の音の性質や質感にマッチングする形のパターンを明らかにするなど，認知科学的な視点からみたサウンドデザインに関する考察は，既存の音作りに対するアプローチを新たにする可能性を含む．
このような点から，音と形のクロスモダリティを通じたサウンドデザインは今後も続いて研究・議論されるべき要素だと考えられる．

謝辞

55.1

今後の課題
高速スイッチングを通じた全ての電極間の抵抗測定

現段階のプロトタイプは＋／−極が固定されているため，−極間の抵抗値を直ちに測定することができない．これに対して，トランジスタを用いた高速スイッチングを行い，全ての電極間の抵抗値をほぼ同時に測定して，UI の細かな形状を認識する．

5.2

プロトタイプの拡張

またプロトタイプの拡張性について考えたい．開発の際に新たな要素として考えられるのは以下の通りである．

• UI に使われる電極の数を増やして，入力できる形の数を増やす．

• タッチセンサーをエラストマーシートの外側に接着して，演奏の手法を追加・拡張する．

• 現段階のプロトタイプで使われている素材を代替する素材について調べる．小麦粘土の場
合，柔軟に UI を変形できるメリットがあるものの，市販の小麦粘土は種類によって抵抗値が不規則であり電極が粘土と接触した時錆がつきやすいため，安定的に形状を確認することが難しい傾向が見られた．これに対する対策として，黒鉛粉末や活性炭などの炭素素材を用いたプロトタイプの再制作を計画する．

本研究は JSPS 科研費 19K20314 の助成を受けたものです．

参考文献[1] Y. Kwak and C. Kim. Cross-modal correspondence between acoustic feature and shape. In The
Korean Journal of Cognitive and Biological Psychology, pp. 269–275, 2018.
[2] O. Deroy and M. Auvray. A new molyneux’s
problem: Sounds, shapes and arbitrary crossmodal correspondences. In The Association for
Research in Vision and Ophthalmology, pp. 61–70, 2018.
[3] A. Colter, P. Davivongsa, D. Derek Haddad,H. Moore, B. Tice, and H. Ishii. Soundforms:
Manipulating sound through touch. In CHI
EA’16: Proceedings of the 2016 CHI Conference
Extended Abstracts on Human Factors in Computing Systems, pp. 2425–2430, 2016.
[4] I. Wicaksono, C. Rozendo, R. Ye, J. Trapp,
V. Michael Bove Jr., C. Dagdeviren, and H. Ishii.
Perform: Deformable interface for the exploration of sound through shapes. In CHI EA’18:
Extended Abstracts of the 2018 CHI Conferenceon Human Factors in Computing Systems, No.
LBW605, pp. 1–6, 2018.
[5] 山岡潤一, 筧康明. Neondough:光る粘土を用いた粘土細工. ヒューマンインタフェース学会論文誌,
pp. 341–350, 2012.