情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-33
2019/3/6

Cubesizer: 直感的な音色操作を可能にする 3D ユーザーインタフ
ェースの提案山田敦紀†1阿部千晴†1

亀井壱弥†1栗原渉†2

串山久美子†2

概要：本研究では、煩雑さを伴った音楽要素の制作を音楽知識の少ない人が直感的に行えるような UI を考察し、プロトタイプを制作した。音楽インタフェース Cubesizer は立方体というシンプルな形状が徐々に変化していくものであり、音の複雑化に伴って概形や光の変化も楽しむことができる。視覚的な要素も伴い、パフォーマンスやインテリアなど、様々なシーンでの応用が可能になることを目指している。

1. はじめに音色が変わる電子楽器として、The Table is The Score [3]やXenakis[4]などが挙げられる。シーケンス型のタンジブルな今日において音楽制作の方法はコンピュータの発達に伴楽器インタフェースである TENORI-ON [5]や PocoPoco[6]って多様化が進んでいる。音楽制作の入り口も広くなり、は， LED 付きの円形スイッチが演奏パフォーマンスの演

音楽の演奏経験が少ない一般ユーザでも音楽を作る機会を出効果をあげている。本研究との違いは、これらは音色や得ることが可能になった 1)。しかし音楽制作の過程にある音階などの音の要素を徐々に変化させながら音も発する電音色制作における自由度と自己実現性は音楽知識や楽器の子楽器の類であり、本研究はインタラクティブな音色操作経験の有無に大きく依存するのが現状であり、プロが生みに特化したユーザーインタフェースであるという点である。

出す音楽との差はあり、音楽に触れる間口は広くなったが、SONASPHERE[5]はラップトップコンピューターを用いそれでも敷居が高いものとして捉えられる。てリアルタイムに音響処理を行うライブパフォーマンスの今日にて、音楽に使用する音色制作では MIDI シーケンサ際に、三次元ビジュアルインタフェースに基づいて実際にを利用したデスクトップミュージック（DTM）が多く使わ演奏者が何をしているかなどを観客に伝えるためのパフォれるようになった。MIDI は「Musical Instruments Digitalーマンスシステムである。これは音響効果、ミキサー、アInterface」の略である。元々の音や演奏情報を MIDI 信号とウトプットなどの基本単位を仮想的な三次元空間に浮かぶいう信号に変換し、記録や再生が可能になる。その際に行球体として再現し、それらを順につなげることで全体の処われる音楽要素の調整は知識のない一般ユーザにとって困理を記述している。この球体のオブジェクトはそれぞれの難であり、質の高い音楽表現を追求できない。本研究では、距離を変えることで直感的にミックスのバランスを整える

煩雑さを伴った音楽要素の制作を音楽知識の少ない人が直ことができる。また、オブジェクトの三次元空間上の位置感的に行えるような UI を考察し、プロトタイプを制作しをパラメータと関連付けることでオブジェクトの動きをパた。それにより、音楽知識の少ない人でも自分の感性のまラメータの変化と直接的に結び付けている。ビジュアルとまに音色制作ができ、誰でも音楽と感覚的に且つ物理的にしてラップトップ上での操作を観客からわかりやすくするも触れ合える場の創出を目的とする。

ことには成功しているが、仮想空間上の操作では、実際に2. 関連研究触れているわけではなく、パラメータの値などのわかりづ直感的な音色作りを可能にする 3D インタフェースとして，コンピュータビジョンの普及に伴い、ウェブカメラや赤外線カメラを利用した、オブジェクト配置によってルーらいものも多く、直接感覚的な操作をすることはできているとは言えない。

3. デザインコンセプト

プ演奏を可能とする電子楽器インタフェースが多く提案さ音作りの過程では楽器から出る音を、表現者自身が気持れている。reacTable[2]は、立方体や直方体などの実物体オち良いと思う音や、意図した音色に調整したい場面が多くブジェクトをシステム専用のテーブルの上で、「置く」「回ある。これはシンセサイザーなどの電子楽器やギターなどす」「移動する」といった操作を行うことで、演奏可能な電につなぐエフェクターに搭載される機能などで行うことが子楽器である．また、実物体オブジェクトの形状によってできる。これらの機器を用いた音作りは、それぞれのつまみによって変化するパラメータや音の変化についての予備†1 首都大学東京†2 首都大学東京

システムデザイン学部
システムデザイン研究科© 2019 Information Processing Society of Japan

知識がなければ難しい。
「つまみを回す」という動作を、音840情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-33
2019/3/6

色に変化を与える様々なパラメータすべてに割り当てるのンプルで、インタフェースとして一見の煩雑さを感じない。

は、操作が一括なものになってしまい非常に分かりにくいかつ操作時に、音の変化とともに徐々に複雑な概形変化がと考える。そこで図１のように音色操作に特化したユーザ起きるという、視覚的な操作の実感を十分に期待できるとーインタフェースとしてそれぞれのパラメータを変化させいう理由から立方体を採用した。

る動作や反応をそのパラメータのイメージに合う色や動きに変えるインタフェースを提案した。具体的には、デバイスに図２のような操作を加えたときにデバイス内部から光を漏らすことで、視覚的な楽しさを与え、光量の変化や明滅でそのパラメータの変化のイメージを与えやすくするようにした。このデバイスを用いることで、音作りという行為そのものを知らない人にも一つの音階の一音だけでもいろいろな変化をさせることができるということを知ってもらい、光を伴う音色の変化や実際の操作感を楽しむ体験をさせる狙いがある。また、ライブ空間などで用いることで
図 3 本研究 UI の配線図その空間にビジュアル面での変化や華をもたせることもできる。

図 4 システム概要

図 3 のように立方体の角 4 箇所に回転型、スライド型の可変抵抗器を配置し、その操作によって変化する値を取得す
図 1 本研究 UI の外観イメージる。値の取得にはマイコンとして Arduino Uno を用いた。
Arduino Uno のアナログ・デジタル変換によって得られた1024 段階の値を 128 段階の値へと変換し、MIDI Control
Change の値として USB ケーブルで接続されたコンピュータへ送信する。
音色変化の安定性を保つため、MIDI Control Change の値は、抵抗器を操作した時にのみ送信されるべきであると考える。マイコン側で値のふらつきや同値の連続送信を解消するための処理を設けた。具体的には、値の取得後に 10msの間隔を設け、3 回分の値を記録し、その値と異なる値が検知された際にのみ、値を更新する処理を設けた。また、

図 2 本研究 UI の操作イメージ

急激な値の変化を想定していないため、そのような変化が検知された場合、値の更新を行わない。

本研究では、幾何学的な立体の形状を変化させる操作によって、 直感的な音色作りを可能にする 3D インタフェースを提案する。

4. システム設計
本研究では、インタフェース自体の概形として立方体を採用した。幾何学的な立体の基本形として最も見た目がシ© 2019 Information Processing Society of Japan841

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-33
2019/3/6

表 1 操作とパラメータの変化の対応
操作変化

5. 考察
本研究では、直感的な音楽操作を表現者の感性のままに表現できるインタフェースを目標に試作を行った。操作とひねる（角を増やす）

波形の形引き出す（光の量の変化をボリューム伴う）

パラメータの変化に関しては、実際に操作して音の変化を聞いてみたところ、特に違和感もなくインタフェースとして十分な役割を発揮できると考えた。しかしプロトタイプの段階では他の操作や変化させるパラメータを試しておら引き出す

サステイン

ずらす（光の明滅を伴う）

モジュレーション

ず、まだ設計の余地があると考えられる。これにより様々なエンターテイメントシーンでの応用が可能だと考える。
5.1 音楽プレイヤーへの応用
本研究ユーザーインタフェースを音楽プレイヤーなど

操作とパラメータ変化の対応について、プロトタイプの段
階では制作者のイメージと、実際に使われる既存の MIDIやシンセサイザー、ギターアンプによる音色操作を参考に考案した。表１のように操作とパラメータの変化が対応している。まずひねって角を増やすことにより波形の形がスクエア波からノコギリ波に変わっていく。これは外観の変化に音が鋭くなっていくところを結びつけた。引き出すという操作は 2 つのパラメータに対応しているが、ボリュームはかさが大きくなるというイメージと引き出すという操作との対応、また光量の変化でも大きさの大小と対応させている。サステインは簡単に言えば音の伸びなので、その言葉のままに立方体の頂点の伸縮が音の伸縮と対応するようにした。最後にずらす操作とモジュレーションについて、モジュレーションは波の位相をずらして音にビブラートを加えるため、位相をずらすこと、ビブラートの震ええるようなイメージから横方向のずらすという操作と対応させた。
USB ケーブルを通じて送られた MIDI Control Change の値をコンピュータで受信し、DAW（ソフトウェア）上でソフトウェアシンセサイザーである Massive(NativeInstrument 社)の MIDI Control Change のチャンネルと対応させ、MIDI トラックを再生しながらインタフェースを操作することで、直感的な操作による音色の変化を確認した。

図5の音楽再生機器に実装することで、音楽プレイヤーの操作とともに、流れている音楽に様々な音色変化を施すことができ、それによる新たな音楽への知覚の発現が期待できる。
5.2 空間演出への応用
音を空間演出の一要素として取り入れ、映像や光などのデジタルテクノロジーと調和させた新しい空間の開発に利用可能である。インタフェースによる直感的操作を、音色操作だけでなく光や映像の操作と連動させることで、空間演出の支援をするツールに役立てられる。

6. おわりに本研究では誰でも音楽と感覚的に且つ物理的にも触れ合える場の創出を目的にこのユーザーインタフェースの試作を行った。それにより、音色変化に対して体験者の多感性を多彩に、かつ直感的に生かすことができる新たな音楽体験の創出が可能になることを期待する。

参考文献[1] 大島千佳：音楽表情を担う要素と音高の分割入力による容易なMIDI シーケンスデータ作成システム(2003)[2]Sergi Jordà, "The Reactable: Tangible and Tabletop MusicPerformance", CHI 2010: Media Showcase Session 1[3]Levin, G. "The Table is The Score: An Augmented-Reality Interface
for Real-Time, Tangible, Spectrographic Performance."
Proceedings of the International Conference on Computer Music
2006 (ICMC'06). New Orleans, November 6-11, 2006.
[4]Markus Bischof, Bettina Conradi, Peter Lachenmaier, Kai Linde,Max Meier, Philipp Pötzl, Elisabeth André ,"XENAKIS –Combining tangible interaction with probability-based musicalcomposition",Proceedings of the Second International Conferenceon Tangible and Embedded Interaction (TEI'08), Feb 18-20 200[5]ヤマハ株式会社「TENORI-ON」[6]金井隆晴，菊川裕也，鈴木龍彦，馬場哲晃，串山久美子，"PocoPoco: 実物体の動きを利用した楽器演奏インタフェー
ス"，情報処理学会論文誌，一般社団法人情報処理学会，Vol.53,
No.3, pp1050-1060, 2012[7]徳井直生、伊庭斉志 SONASPHERE‐動的な三次元インタフェー
スを用いたインタラクティブな音楽システム（2003）

システム試作© 2019 Information Processing Society of Japan842