情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-07
2020/3/9

宝石を手に取り眺めるような能動的音楽鑑賞デバイスの提案
山崎 萌恵†1,a)

永井 美央花†1

中嶋 祐雅†1

佐藤 俊樹†2

概要：本研究は，音楽鑑賞者が演奏者に近い感覚で音楽を楽しめる「能動的な音楽鑑賞」に着目し，「音源との物体的な触れ合い」を取り入れた新しい「能動的な音楽鑑賞」の実現を目指す．この新たな鑑賞方法の実現に向けて，本研究は「宝石」のように見る角度に応じて色や輝きが様々に変化するようなインタラクション要素を持ち，手に持って様々な角度から指向性のある音の変化を，聴覚的および触覚的に楽しむことができる再生デバイスを提案する．本論文では，本研究が提案する新しい能動的音楽鑑賞手法と，それを実現する小型の音声再生デバイスのコンセプトおよび試作について述べ，いくつかのアプリケーション例と今後の展望を示す．

1. はじめに一般的に音楽鑑賞は，鑑賞者が音楽を聴くだけの受動的ることで，新しい「能動的な音楽鑑賞」の実現を目指す．

2. 目的と提案な行為だと捉えられがちである．しかし，コンサートにお本研究の目的は，ユーザの手の上で，音源とユーザが直けるコールアンドレスポンス*1 や，音楽プレイヤーにおけ接触れ合う事を可能にする新しい能動的音楽鑑賞手法を提るイコライザ機能*2 の操作など，音楽に対して能動的に働案する事である．

きかける鑑賞方法も存在する．さらに近年，円環状に設置

本研究ではこれを行うために，図 1 のように我々が日常された 360 度スピーカの周囲を歩き回る [1]，VR 空間上で的に行う動作である，「立体的な形状を有する構造物を直音源を掴んで動かす [2] といった，音源と自身との位置関接手に取り様々な角度から眺める」ときの人と物との間の係を能動的に変化させる事によって音の変化を楽しむ「能インタラクションに存在する様々な要素を，図 2 のように動的な音楽鑑賞」も提案されている．このような音楽鑑賞

本デバイスを用いた能動的音楽鑑賞に取り入れる試みをではユーザ (鑑賞者) が意図的に音楽を操作できるため，演行う．

奏者に近い感覚で音楽鑑賞を楽しめるといった利点があると考える．
ところで，我々は目の前に置かれた物を，ふと手に取りたくなることがある．立体物には一点から眺めただけでは分からない視覚的な情報や，触感，重量感といった触覚的な情報があり，これらを確かめるために，人は立体物を実際に手に取り手の上で転がすように動かして様々な角度から眺めようとする．そうした行為は，ユーザの好奇心を満たし鑑賞の満足感を高めるのに加え，制作者の細部のこだ

図 1

立体物を鑑賞するイメージ

図 2 本デバイスでの鑑賞イメージ

わりやデザインへの思いをユーザにより理解して貰うことにも繋がる．

まず本研究では，「見る角度によって様々な表情に変化す

そこで本研究では，音源に「直接手に取れる」実体を与るもの」を手に取って鑑賞している時の，人と物とのインえ，ユーザが手の中の音源と直接対話できる要素を追加す

タラクション要素を取り入れることに着目した．例えば装飾用の宝石は，光が様々な方向へ反射するよう表面にカッ†1†2a)*1*2現在，電気通信大学
現在，北陸先端科学技術大学院大学
iml@imedia-lab.net
コンサートなどで，演奏者の呼びかけに対して観客が応えること特定の周波数帯の音量を増幅・減衰させる機能© 2020 Information Processing Society of Japan

トが施されている．これにより手に取り動かしたとき，動作に伴って即座に宝石の輝きが変化する．このような角度変化に対する視覚的な応答性の高さが，本研究が提案する手の上での能動的な音楽鑑賞においても必要だと考えた．

829

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

また，宝石は輝きだけでなく，見る角度によって形や色の見え方に違いがあるものもある．このような見る角度に3A-07
2020/3/9

ンド音声データを本デバイスで再生することで，楽曲のタイミングを同期させた．

よる「表情」の違いは，ユーザの様々な角度から見てみた

ドラムは楽曲の基礎部分を担うパートであるため，それいという思いを引き起こす．本研究ではこのような「表情」

ぞれの面の楽器の音に加え，全ての面にドラムトラックをといった要素も音源との対話に取り入れることにした．こ

弱い音で同時に再生させる分割方法も考えられる．しかれらの効果を聴覚的な刺激として再現するために，指向性し，それぞれの面による音の変化が弱まってしまうため，の高いスピーカを立体的な形状を有するデバイスの様々な今回の実装においてはドラムトラックを一つの面のみに割位置・方向に配置する必要があると考えた．

り当てた．

次に本研究が着目したのは，ユーザが立体的な形状を有する構造物を手の中で転がした時の，触覚を通して感じる物の立体感や，直接触れた面から得られる触覚的なフィードバックの変化である．これを能動的な音楽鑑賞に取り入れるためには，ユーザが手にする再生デバイスは手に取りやすい大きさ・重さであり，聴覚的な刺激である音を発すると同時に，ユーザの手指を通してその振動を触覚的な刺激としてもフィードバックする機能が必要であると考えた．
図 3 断面図のイメージ

以上を踏まえ本研究では，手に取って能動的な音楽鑑賞

図 4 インタラクションのイメージを行うためのデバイスとして，指向性のある複数のスピーカを多面体の各面に配置し，それぞれのスピーカから出力された異なる音を手の上で自由に転がして音源と能動的に対話しながら音楽を鑑賞することが可能な新しい音楽再生デバイスを開発した．
本論文では，以下にデバイスの具体的な設計と実装，インタラクション例について述べ，今後の展望を述べる．

3. プロトタイピング
今回の実装では，指向性を持たせやすく，かつ手に取り5. インタラクション例
音楽再生デバイスのインタラクション例として以下のよ
うなものが主に想定される．その様子を図 4 に示す．
「1 つの楽曲の響きを角度によって変化させる」
例えば，1 つの楽曲を演奏する各楽器パートをデバイスの各面に対応させると，デバイスの角度の違いで強調される楽器が変化する．これにより，複数楽器の聞き分けや特定の楽器のみへの集中が可能になる．

やすい形状である六面体形状を用いることにし，デバイス「異なる楽曲や音声を角度によって混合させる」のそれぞれの面に異なる 6 個のスピーカを配置する構造に異なる楽曲をデバイスの各面に割り当て同時再生させるなっている．図 3 が断面図のイメージであり，黒い部分がことで，宝石の角度を変えたときに各面の色が混ざり合うスピーカである．それぞれのスピーカには，指向性を高めように楽曲の混ざり合いを楽しむことができる．

るためのホーンが取り付けられ，デバイスの中央部に固定「デバイスを手の中で操作する」されている．また，スピーカの開口部はメッシュ状の網で本デバイスは「手に取り転がす」ことで直感的に操作出ふさぎ，デバイスそのものはキューブ状の形状としてユー来るため，音楽経験の有無を問わず，図 4 のように気軽ザが手に取れるようにしてある．に能動的な音楽鑑賞を行うことが出来る．また，デバイスデバイスに内蔵されたスピーカには，それぞれ異なる音の各面を手のひらで覆う，デバイス全体を手で包む等の，が再生できるように，無線信号に乗せて別チャンネルの音様々な手に関する動作を取り入れることも可能である．さ

声信号が入力できるようになっている．なお，デバイスにらに，本デバイスはスピーカの振動を手で感じ取ることがはバッテリが内蔵され，音声信号の送信にはスマートフォ出来，触覚でも楽しむことができる．

ンを使用する．

4. コンテンツデータ
提案デバイスで再生する音楽・音声データは，それぞれのスピーカごとに別々の音声データである必要がある．

6. 今後の展望
本論文では，手に取れる音源との触れ合いを通した能動的な音楽鑑賞を実現する音楽再生デバイスを提案した．
現在，デバイスの形状は立方体のみの実装であるため，なお今回の実装では，同一楽曲から「1. メインボーカ感じられる音の違いは 6 方向分に留まっている．今後はデル」，「2. リードボーカル」，「3. ギター」，「4. ベース」，「5.

バイスの形状をダイヤモンドカットのような複雑な多面体リズムトラック」，「6. ストリングスとキーボード」のパーにし，音により多くの変化を生じさせることも検討していトを用意した．これらを各チャンネルに割り振ったサラウる.

© 2020 Information Processing Society of Japan

また，各面から発する音を際立たせるか，混ぜ合わ830

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-07
2020/3/9

せるかをユーザが操ることで，場面に応じた使い分けが可能になり，音の変化がより柔軟になると考えた．今後，スピーカの指向性を制御する方法を考察・検討していきたい．

7. 関連研究
複数の音源とのインタラクションにより能動的な音楽鑑賞を可能にする手法として，広音域の 360 度スピーカ 15台を円環状に配置し，それぞれのスピーカから 1 つの楽曲の異なる楽器の音を再生するものがある [1]．ユーザはスピーカの周囲を移動することで，特定のスピーカの音を重点的に聴いたり，複数のスピーカ音の混ざり合いを楽しむといった鑑賞が可能となり，1 つの楽曲で複数の鑑賞方法ができる事を提案している．
また VR 空間内にバーチャルな音源を複数配置し，HMDとヘッドホンを用いて VR 空間内で音楽鑑賞を行う太陽企画株式会社の研究もある [2]．このシステムでは，ジェスチャー操作で VR 空間内の音源オブジェクトを掴み，VR空間内の音源位置・音の方向等を変化させることができる．これにより本来見えない音を形として見ることができ，ユーザは自由かつ直感的に音像の定位変化を楽しむことができる．
これに対し，本研究で提案する手法は，立体的な形状を有する実体をもった音源とユーザ間の聴覚的および触覚的なインタラクションを目的としている点で違いがあると考える．
参考文献
[1]

[2]

Ginza Sony Park: #010 MUSIC IN THE PARK -東京
スカパラダイスオーケストラと作る音楽の森-(online)，
入手先 ⟨https://www.ginzasonypark.jp/program/018/⟩,”The Terminal” x Glass Sound Speaker, (2019.09).
太陽企画株式会社：直感的に音に触れ，重ね，操ることのできる立体音響 VR コンテンツ「さわれる音」を発表．(online), 入手先 ⟨http://www.taiyokikaku.com/wpcontent/uploads/2018/03/PressRelease-TouchingSound-VR-J P.pdf ⟩, (2018.03.09).

© 2020 Information Processing Society of Japan831