情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A13
2018/3/5

物理的な発音媒体を用いた情報の可聴化システム
宮下 恵太1

中原 貴文1

串山 久美子1

概要：音を用いた情報伝達は広く用いられている．情報を音のパラメータにマッピングして提示する手法としてソニフィケーションがあるが，その多くは情報をコンピュータ上で音響信号に変換し，スピーカから出力するものであるため，音の発生源となる物体が存在せず，音の実体感を感じにくい．本研究では可聴化に物理的な物の振動による音を用いることでより実体のある音を感じることができると考え，発音媒体を用いた可聴化手法として，2 つのアプローチを用いたサウンドインスタレーション作品の制作・展示を行った．本稿では作品に用いた可聴化システムの設計および実装について述べ，さらに今後の開発に向けての課題を考察する．

Information Sonification System Using Physical Sound Device
Miyashita Keita1

Nakahara Takafumi1

Kushiyama Kumiko1

Abstract: Information communication method using sound is widely used. ”Sonification” is a technique formapping information to sound parameters. Most of which convert information to sound signals on a computerand output from speakers. Since there is no object to be a source of sound, it is hard to feel the real feelingof sound. We thought that using a sound due to the vibration of a physical object to sonification, we can feela more real sound. In this research, we developed physical sound devices and exhibited sound installation
works using two approaches. This paper describes the design and implementation of the sonification systemused in the work, and further discuss the issues for future development.

1. はじめに
音は情報伝達の手段として広く用いられてきた．ヒューマンコンピュータインタフェースに関連するものでは，様々ピュータ上で音響信号へと変換しスピーカなどを用いて音を鳴らすものであるため，音の発生源となる物体が存在せず，物理的なものの振動として鳴っている音に比べ実体感を感じにくい．

な情報を音として提示し情報伝達を行う，「聴覚ディスプ

雨音や足音など，コンピュータを介さない自然音にも情レイ (Auditory Display)」がある．情報を可聴化すること報は含まれており，その音の発生源を推定することで我々によって本来人が知覚することができない情報を知覚したは情報を得る．そのような自然音に着目し，物理現象としり，情報を音にすることでわかりやすく情報を伝えることての音とデジタル情報とを結びつけることで，より音に実ができる，などの利点がある．特に可聴化に非言語音を用体のある感覚が得られるのではないかと考えた．

いるものをソニフィケーションと呼ぶ [1]．
音によって情報を得ようとするとき，我々は必ず「何から音が鳴っているのか」を意識しようとする．それは人が聴覚情報からだけではなく，視覚や触覚などの他の感覚との複合的な結びつきによって情報を認知しているからである．しかしソニフィケーションは主にデジタル情報をコン
1

首都大学東京大学院システムデザイン研究科
Graduate School of System Design Tokyo Metropolitan University© 2018 Information Processing Society of Japan

本研究では発音媒体を用いた可聴化手法として，２つのアプローチを用いた可聴化デバイスおよびサウンドインスタレーション作品を制作した．

2. 関連研究
視覚がもたらす聴覚への影響として，視聴覚のターゲッ
トがあると，多少位置や方向が異なっていてもそこから音が聞こえてくるように聴こえてしまう，腹話術効果が知ら909

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A13
2018/3/5

れている [2]．視覚的なターゲットとして可聴化デバイスを用いることで音響のみの場合とは違う効果があると考えられる．

MIT の石井ら [3] は実体のない情報に形を与え，触れられるようにすることでより直感的なインタラクションを可能にする，TUI(Tangible User Interface) という概念を提唱している．これは視覚ディスプレイによる情報の提示には限界があるため，情報をデジタル空間から実空間へ持ち出すことで実体感を生むものである．しかし音に関してはデジタル音響処理を用いたものが多く，実空間上で音を発図 1

システム概要図

図 2

デバイス写真生させるものは少ない．
サウンドアートにおいてもソニフィケーションや可聴化という言葉が用いられる．エオリアンハープと呼ばれる，風によって弦が揺らされ音を奏でる古代ギリシアの楽器を復元して作られたゴードン・モナハンによる「AeolianPiano」をはじめとして，自然現象や環境を可聴化した作品は多く見られる [4]．近年では坂本龍一と真鍋大度による「Sensing Streams」[5] や，三原聡一郎の「 鈴」[6] など，センサを用いて人間が知覚することのできない情報を可聴化した作品も多い．前者は情報はコンピュータ上で可聴化しスピーカから出力するものであり，後者は実際のガラスベルを用いて音を鳴らすが，センサが放射線を感知したときに音がなるという極めて単純なものである．

3. システム概要
本作品は入力された鑑賞者の情報が発音装置によって可4.1 ワイングラスを用いた発音装置
4.1.1 設計聴化され，その音が変化していくという参加型サウンドイ

濡らした指でワイングラスの縁を擦ると音が鳴る．これ

ンスタレーションである．鑑賞者は自分の性別や身長，体は指とグラスとの摩擦による振動がガラスの共鳴を引き起重，名前などの個人情報を入力していくことで，自分自身こすことにより起こる現象で，グラスハープはこれを利用の情報からなる音を聴くことができる．

し楽器として演奏するものである．また，グラスハープは

本作品のシステムは大きく分けて，受けた情報をもとにグラスの大きさと入っている水の水位によって音程が決定

アクチュエータを制御し音を発生させるデバイスと，情報される．音を鳴らしている間に水位を変化させることで音を入力するためのインタフェースからなる．鑑賞者は設置

程も滑らかに変化する．

された iPad によるインタフェース上で可聴化のための情情報をマッピングする音のパラメータには音高がよく使報として自分の性別・身長・体重・生年月日・氏名を入力

われ，持続する音の音高を変化させることによって情報をする．入力された情報は OSC 通信によって送信され，PC提示する．入力された情報に基づきグラス内の水位を操作

上のアクチュエータの制御情報へマッピングされる．そのすることによって，音高を用いた可聴化が可能であると考情報をもとに発音装置を動かす．

えた．

4. デバイスの設計・実装

4.1.2 実装
本来グラスハープはグラスを固定し指を縁に沿い回転さ発音媒体として，ワイングラスとガラスコップを用いせることで音を鳴らすが，機構を単純化するため，ステッた 2 種類のデバイスを制作した．アクチュエータの制御

ピングモータによって回転させたグラスを湿らせた綿をにはどちらも Arduino を使い，シリアル通信で信号を送固定し押し当てることで音を発生させた．音高の制御に関ることによって動作する．OSC によって受信したデータしては，実際の水量を増やすことが困難であったため，スの処理や Arduino へのシリアル送信には Derivative 社のテッピングモータを用いた直動機構により取り付けた水風

TouchDesigner によるカスタムソフトウェアを用いた．

船を上下させ，水に沈めることで水位を変化させた (図 3)．

2 台のモータはモータドライバ L6740 をデイジーチェーン接続し 1 台の ArduinoUNO によって個別に制御している．

© 2018 Information Processing Society of Japan910

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A13
2018/3/5

タをデータベースへの保存したのち OSC 通信を用いてTouchDesigner へ送信する．

図 3

水風船による水位操作

4.2 ガラスコップを用いた発音装置
4.2.1 設計図 4

インタフェース画面

音高の他に，値を音の周期に当てはめる手法もよく用いられる．放射線量を測るガイガーカウンターなどがそうである．今回は，水を張ったガラス製のコップを叩く速さを変化させたり，連続したパターンで鳴らすことで情報を提示するものを考案した．ワイングラスと同様に入っている水の水位で音高が変わるため，4 種類の音高の物を用意しそれぞれ異なる情報に紐付けた．

4.2.2 実装
4 つのガラスコップを床面に固定しそれぞれの側面上部を叩くようにソレノイドを固定することで音を鳴らす．シ
リアル信号により各ソレノイドを個別に制御できるようにしている．

4.3 パラメータのマッピング

図 5

インタフェースシステム図入力された 5 種類の情報は TouchDesigner 上でデバイスを制御するアクチュエータの動きにマッピングされる．性別・身長はガラスコップの音高に当てられている．男性で6. 展示

あれば低い音，女性なら高い音を鳴らす．身長はコップの2017 年 12 月 16 日から 17 日の間，先端芸術音楽創造学

水位に対応する．．体重と生年月日は人体に必要な水分量

会主催のインターカレッジ・ソニックアーツ・フェスティを計算しワイングラスの水位を変化させる．また年齢はソバルにて本作品の展示を行った．鑑賞者からは情報がすぐレノイドを叩く周期にも対応しており，年齢が高ければ遅に音に反映されて面白い，他の人はどのような音になるのく，若いほど速い．最後に氏名を入力することでそのアルか気になる，などの感想を得ることができ，物理的な発音ファベットの画数からリズムパターンが生成される．

媒体を用いることでもソニフィケーションが可能であるこ

5. インタフェースの設計・実装
インターフェースは HTML・CSS からなる WEB ページとがわかった．

7. おわりにを iPad Pro 上で表示し，装置の前にスタンドを立て設置し本稿では視覚と聴覚の関わりから音の持つ実体感に着目た．性別・身長・体重・生年月日・氏名の順に 1 ページごとし，物理的な発音媒体を用いた可聴化システムによるサウに入力していき，その情報を装置へ送信する．WEB ペー

ンドインスタレーションの設計と実装について述べた．今ジの表示と情報の送信を実現するにあたって，Javascript

後の開発の課題として，音のパラメータの変化幅の狭さやのライブラリを用いて API を作成し，制作した API は，水位と音高の正確性など多くの改善点がみられた．

HTTP リクエストの GET メソッド受け取ったときにはレまた今後の展望として，可聴化する情報と発音媒体とのスポンスとして WEB ページのデータを返す．また，POST関係の検討や，従来のソニフィケーション手法との比較検メソッドでリクエストを受け取ったときは受け取ったデー証などがあげられる．

© 2018 Information Processing Society of Japan911

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A13
2018/3/5

参考文献
[1]

[2]

[3]

[4]
[5]

[6]

丸井淳史：音のためのインタフェース, 音によるインタ
フェース ―楽器用エフェクタおよびソニフィケーション研究―, 精密工学会誌, Vol.79, No.6, pp. 502-505, (2013).
木村 真弘, 梶井 浩, 高橋 誠, 山本 克之：周辺視野における腹話術効果, 日本バーチャルリアリティ学会論文誌,
Vol.4, No.1, pp.253 − 260, (1999).
Ishii H., Ullmer B., Tangible Bits：Towards Seamless Interfaces between People, Bits and Atoms. Proceedings of
CHI ’97 (March 1997), ACM Press, pp. 234-241, (1997).
アラン・リクト：サウンドアート ―音楽の向こう側、耳と目の間, フィルムアート社, (2010).
Rhizomatiks Research：Sensing Streams 坂本龍一 + 真鍋
大度, https://research.rhizomatiks.com/s/works/sensing＿ streams/, (参照 2017.12/24).
三原聡一郎：http://mhrs.jp/, (参照 2017.12/24).

© 2018 Information Processing Society of Japan912