情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B23
2018/3/5

SoundPond：音を可視化し直感的に操作できる環境の提案
村田直紀†1

外村佳伸†2

概要：本報告では，音を仮想的にモノ化し直感的に扱える環境 SoundPond を提案する．録音した音が形を持ったモノとして可視化され，手で触って操作し，音を思い通りに変化させられるとともに，人，モノ化した音，音以外のモノ，それらが置かれる場，がそれぞれ互いに作用することにより，直感的かつ多彩なインタラクションの実現をめざした．
プロトタイプシステムではマルチタッチディスプレイとマイク，スピーカーを用いて，提案インタラクションの基本的な機能を実装した．SoundPond の応用例として，音作り，演奏パフォーマンス，音遊び環境といったものを想定しているほか，多彩なインタラクションによる自由度を活用して利用者の発想によって今までにない音表現や，また音再生に限らない活用法が生み出されることが期待できる．

SoundPond：Making Sound Visible and Intuitively Manipulable
NAOKI MURATA†1YOSHINOBU TONOMURA†2Abstract: This paper proposes an interactive sound handling system called SoundPond, which treats a sound as a virtual object.
A recorded sound is visualized as an object with circular shape which is changeable by the user’s manipulation for its replay andconversion. Interactions between other sound objects, non-sound objects, and the field on which the sound object is placed. The
system aims at achieving intuitive and versatile interactions for rich sound handling. In the prototype system, basic functions areimplemented using a multi-touch display, a microphone, and a speaker. Hopeful application examples using SoundPond aregraphical sound composition, sound performance, and a sound playground. We believe that it has a potential to be used for creative
sound expression by the user’s creative ideas.

1. はじめに音は本来，一度発せられると消えてしまい，目で見るこことで単独ではできない価値を持つことができるなど，使用者の発想によって様々な扱いが可能な特徴を有する．
以上のことを考え合せ本研究では，発せられた音が，可とも触れることもできない．そのため、音を扱うには一度視化されて形を持ち，それに手で直接触れることで音を録音し，録音した信号に対し，様々な音響機器を使う必要様々に変化させることができ，かつ複数のモノ化した音をがあった．

用いて，直感的かつ多彩なインタラクションが可能な環境

近年ではコンピュータ上で録音編集が行えるようになSoundPond を提案する．ってきているものの，アプリケーションの多くが音響機器

本報告では基本コンセプトの検証のために構築したプを模したインターフェースであるか，プロ向きのコマンドロトタイプシステムについて，その評価実験の結果ととも選択や数値入力による操作方式であり，直感的でなくかつ，に述べる．

音声信号処理に関する知識や音響機器を扱う技術を必要としている．
次に，現実世界における日常のインターフェースを考えると，人は普段，目に見えるモノを実際に手で触れて扱う

2. 関連研究
音編集のための直感的インタラクションを目的として様々な研究がされている．

ことが多い．そしてコンピュータ上でも，GUI は机上のメ

加藤らは，音の特徴をグラフィックで表現し，ジェスチタファとして，ウィンドウやアプリケーションのアイコン

ャによる音編集と，それに応じたグラフィックの変化のフが，デスクトップ上にモノ的に配置され，それぞれマウスィードバックによる，直感的な音編集手法を提案しているでつかんで移動させるといったように，情報がモノ的に扱[1]．ごく基本的な音編集と直感的な音の可視化が実現されわれている例は多い．またスマートホン等のタッチデバイており，本研究で構築したプロトタイプシステムでも同様

スの普及によって，それらが実際に手で触って操作されるに直感的な音の可視化を重要視している．

ようになり，人は情報をよりモノ的に扱うようになった．

また，須藤らは，単純な図形に可視化された音を場に配一方，モノは複数配置することや，様々に組み合わせる置し，視覚的効果によって音を直感的に操作できるインタ†1 龍谷大学大学院
Graduate school, Ryukoku University.
†2 龍谷大学
Ryukoku University© 2018 Information Processing Society of Japan954

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B23
2018/3/5

ーフェースを提案した[2]．場に対しての操作が，音に作用上記の設計方針とコンセプトに基づいて，システムを構する点で，本報告の提案手法と共通しているが，このイン築する上での主な課題を以下に示す．

ターフェースは演奏のためのインターフェースであり，音(1) 音の簡単な入力そのものを変化させるような波形編集機能は実装されてい(2) 音の特性に応じた音オブジェクトの可視化ない．

(3) 音オブジェクトの操作とリアクション

また，牧野らは，実際にモノとしてのタイルを用いて音(3.1) 単一の音オブジェクトの直感的な操作を操作し，作曲・演奏を支援する The Music Table を提案し(3.2) 場からの作用，場を介した操作

た[3]．タイルの位置によって，音の高さと再生のタイミン(3.3) 音オブジェクト同士の相互作用グを操作できる．この配置により，場が音に作用するとい(3.4) 他のオブジェクトの定義とそれとの相互作用う点に関して，本報告の提案手法と共通しているが，このシステムは，実際のモノとしてのタイルである故の物理的制約が強い．これに対し本研究ではタイルのような物理的な手触りはないものの，仮想的にモノ化した音を自由に扱(4) 音の効果

4. プロトタイプシステム
提案した環境の基本機能を実装したプロトタイプシス
テムを構築し，提案コンセプトの検証を行った．

える．

4.1 システム構成

3. SoundPond の提案

システム全体の構成図を図 2，ソフトウェアの構成図を本研究では，音を仮想的なモノ（音オブジェクト）として可視化し，手で触れることで再生や，変化させることが

図 3 に示す．ディスプレイには 27 インチのタッチディスプレイを用いた．

でき，場に複数の音オブジェクトに対し，それらの間の相互作用，置かれた場からの作用などを実現する SoundPondを提案する．
SoundPond では，利用者にボタンやメニューなどのコマンド選択方式の操作はさせないことを基本方針に，以下のコンセプトで設計した．（図 1）
1. 音に形を与え仮想的にモノ化する
2. 音の特性が音オブジェクトの特性にあらわれる
3. 人，音オブジェクト，他のオブジェクト，オブジェクトが配置されている場，それぞれの間に相互作用を実現する

図 2システムの構成図

図 3

ソフトウェア構成図

4. その結果様々に音が変化し，再生される
音声
○×△□

人

音オブジェクト場

場による作用再生
移動変形などオブジェクト相互作用相互作用

音オブジェクト

4.2 システムの処理
図 1

SoundPond のコンセプトのイメージ図

上記で挙げたシステム構築における課題に対して，プロトタイプシステムでは以下のように実装した．

システムの応用例としては，音パーツに基づく視覚的音(1) 音の簡単な入力

制作環境，演奏パフォーマンスの道具，あるいは，人のセ音声の入力方法は，その場で発生した音を，自動的に音リフ単位に基づく会話シミュレーションなどといった創造オブジェクト化していく自動録音方式と，タッチなどの操的な利用が可能と考えられる．

作によって明示的に録音する明示録音方式を考えた．

© 2018 Information Processing Society of Japan955

情報処理学会 インタラクション 2018
IPSJ Interaction 2018以前は自動録音方式を採用していたが，雑音の多い環境下での適切な有音区間検出の実装が難しく，現在のプロトタイプシステムでは明示録音方式を採用している．

3B23
2018/3/5が広がり波紋が音オブジェクトを通過すると音が再生される機能を実装した．
(3.3) 音オブジェクト同士の相互作用

具体的には，画面をタッチすると赤い円が現れ，それか音オブジェクトが，場にある他の音オブジェクトと相互ら指を離すまでマイクに入力された音を音オブジェクト化に作用することで，今までにないインタラクションが可能することで，タッチのみによる，簡単な意識的録音を実現になると考えた．

している．
また，録音した区間の頭と後ろに無音部分があると，システムの利用上不都合があると考え，録音区間の前後からプロトタイプシステムでは，その基本として，動いているオブジェクトが他のオブジェクトと接触した際に，衝突，反射し，衝突音として音が再生される機能を実装した．

一定の大きさ以上で一定時間以上の入力があるまでを無音部分としカットする処理を実装している．また，音の大きさは 1024 サンプルごとに RMS 値を取った．以降この 1024
サンプルごとの区切りを 1 ブロックとする．

(3.4) 他のオブジェクトの定義とそれとの相互作用
音以外のオブジェクトが場に存在し，音オブジェクトと相互作用することで，今までにないインタラクションが可能になると考えた．

(2) 音の特性に応じた音オブジェクトの可視化

プロトタイプシステムでは他のオブジェクトとして線プロトタイプシステムでは一つの音オブジェクトが持オブジェクトを定義した．場をキャンパスとして絵を描く

つ音は単一の音として扱い，音の基本的な特徴である，音ことができ，描いた絵が線オブジェクトとして扱われ，上の大きさを縦の長さ，音の長さを横の長さで表す楕円形と記と同様に音オブジェクトに衝突する機能を持つ．また音し，音の高さを色で表すこととした．

オブジェクトから絵への作用として音オブジェクトの色がまた音の高さと色をマッピングは音階と色相を対応させ，ドレミファソラシの 7 音を一般的な虹の 7 色で表した．

線の色に反映される機能を実装した．この他にも定義次第で様々なオブジェクトを導入することができる．

また，オクターブ内では以下の式で表される輝度(L)が等し
く，1 オクターブ上がるごとに輝度が上がっていくこととした．
𝐿 = 0.298912 × R + 0.586611 × G + 0.114478 × B(R,G,B はそれぞれ RGB カラーモデルの R 値,G 値,B 値)(4) 音の効果
プロトタイプシステムでは音高，左右のバランス，再生速度，音量を変化させる機能を実装した．
また音の処理について，基本的に音は再生速度を変化さ

音の高さを推定するピッチ推定アルゴリズムにはいくせると音高も変化してしまう．プロトタイプシステムではつか種類があり，プロトタイプシステムではできる限り誤それを防ぐアルゴリズムを採用した[5]．ブロックを抜去，検出の少ない手法を用いる必要があると考え，自己相関関またコピーして挿入することで音の長さを変化させ，また数によってピッチを推定する MPM アルゴリズム[4]を採用

ブロックのつなぎ目の波形の連続性が損なわれることを避した．ピッチはブロック単位で推定を行い，その中央値をけるため，ブロックとブロックのつなぎ目をクロスフェー

音オブジェクトの色と対応させているため，音程の変化はドさせた．またクロスフェードの位置は，前後のブロック視覚的に表現できていない．の相関をとり，相関が最大となる位置とすることでクロスフェード部分が極力自然に感じられるようにしている．

(3.1) 単一の音オブジェクトの直感的な操作
直感的な操作で音の再生や基本的な編集ができることをめざし，プロトタイプシステムでは，タッチ操作によって，タップで音の再生，スワイプで移動，またフリックに

5. 実例
プロトタイプシステムの機能を用いた特徴的な利用例

よって音オブジェクトをはじく機能，ピンチイン，ピンチを 2 つ述べる．

アウトによって音オブジェクトの拡大縮小などを実装した．

5.1 衝突，反射を利用したリズム，メロディ作成
描いた線と音オブジェクトが衝突し，音が鳴る機能を利(3.2) 場からの作用，場を介した操作場に様々な特性を与え，場上の配置により，音オブジェ用し，音オブジェクトが延々とはね続けるように線を引くことで，リズムを作成することができる（図 4）

クトへのさまざまな作用を与えることを考えた．プロトタ

図 4 の①では音オブジェクトが左右に跳ね続け，一定のリイプシステムでは，一つの例として，音オブジェクトの場ズムで同じ音を再生し続ける．②も同様に，一定のリズム上の垂直方向の位置座標によって再生音の高さが変化，水を作れるが，高い音と低い音が交互に再生される．③では平方向の位置座標によって再生音の左右の定位が変化する

リズムも音程変化も予測できず，予想外のリズムやメロデものとした．また，場をタップすると，そこを起点に波紋ィが生み出されることがある．

© 2018 Information Processing Society of Japan956情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B23
2018/3/5

図 6 より単体の音オブジェクトに対する基本操作はおおむね直感的であったと言える．直感的に理解できなかった被験者の方が多かった機能として，音の大きさが音オブジ
ェクトの縦の大きさと対応していること，場の左右の位置に応じて再生音の定位が変化することが挙げられる．
前者の原因としては，マイクの入力音が声の大きさのほかに，マイクとの距離などの影響も受けてしまうためだと
図 4

衝突反射を利用したリズム作成（注：数字や矢印は説明のため付け加えたもの）考えられる．これに対しては指向性の広いマイクを使うといった対策が考えられる．また提案コンセプトに沿うにはなるべくマイクを意識せずに利用できる環境にしていくこ

5.2 波紋機能を利用した音再生表現
場をタッチすると波紋が発生し，波紋が音オブジェクトを通過すると音が鳴る機能を利用し，図 5 のように波紋のとが好ましい．また，後者はスピーカーの左右の距離が取れず，出力として違いがあまり出なかったことが原因の一つだと考えられる．

起点によって複数種類の音再生表現を可能としている．

また実験により、最低限の機能のみを実装したプロト①の位置を起点に波紋を発生させると，ド，ミ，ソの順

タイプシステムにおいては、高い操作の直感性が示せたが，に音が再生される．②の位置からであれば，ソ，ミ，ドの機能を増やすにつれて操作の直感性が失われることが懸念順になり，③であればド，ミ，ソで構成される和音，C メ

される．

ジャーコードとなる．

7. おわりに本研究では音を目で見て触ることができる環境をめざし，音を録音し，形を与えて可視化し，指で触れることで音に様々な変化を加えることができるシステム SoundPondを提案し，その操作の直感性，わかりやすさを検証する実験を行った．
実験から，直感的でわかりやすい操作感に加え，音が目に見えて直接手で触れているという感覚が得られることを

図 5

波紋機能を利用した再生音変化示すことができた．
今後は，様々に場を定義することで応用例を広げたいと考えている．例えば音オブジェクトが下へ落ちて溜まって

6. 実験と考察

いき，条件に応じて消滅するパズルゲームのような場を作システムの操作が直感的でわかりやすいかどうか，シスれば，ゲームをプレイする感覚で音を表現できるようなイ

テムの機能やオブジェクトや場の表現の意味について直感ンタラクションが可能になるかもしれない．また，場の定的に理解できるかどうかを調べるために 12 人に対して主義，新しい情報オブジェクトの定義によって，衝突反射だ

観評価実験を行った．

けでない更なる情報同士の相互作用を実現し，提案インタ

被験者には詳しいシステムの機能を説明せずに 3 分間システムを使用してもらい，システムの機能ついて理解できたか調べた．その実験の結果を図 6 に示す．

ラクションの有用性を検証する実験を行っていく．

参考文献
[1]

[2]

[3]
[4]

[5]

図 6

加藤裕介, 林貴宏, 尾内理紀夫,”ジェスチャとグラフィック
スを用いた音編集手法の提案と評価. ”,第 66 回全国大会講演
論文集, pp255-256, 2004
須藤静子,若林尚樹,”音の操作のための直感的なユーザインターフェイス. ” 日本デザイン学会研究発表大会概要, Vol.52,
p120, 2005
牧野真緒, R. Berry, 樋川直人, 鈴木雅実,“作曲・演奏支援システム The Music Table ”, インタラクション, pp35-36, 2004
P. McLeod and G. Wyvill,” A smarter way to find pitch.”,In
Proceedings of International Computer Music Conference, ICMC,
2005
あっきー,”タイムストレッチ，ピッチシフトのアルゴリズ
ム”,http://ackiesound.ifdef.jp/tech/timestretch.html

実験の結果© 2018 Information Processing Society of Japan957