3G-10This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 27 回日本バーチャルリアリティ学会大会論文集（2022 年 9 月）

首両側面への音楽振動提示による音楽鑑賞体験の向上を伴うナビゲーション手法の提案
Proposal of Navigation Method Using Modulated Music Vibration
山崎勇祐 1) ，長谷川晶一 1)

Yusuke YAMAZAKI and Shoich HASEGAWA1) 東京工業大学（〒 113-0033 東京都文京区本郷 7-3-1, info@haselab.net ）概要: 我々は音楽振動を提示し、音楽鑑賞体験を向上させるためのデバイスとして、日常的な移動シーンで利用しやすく広範囲に低周波振動を伝達可能なネックレス型触覚デバイスを開発、評価してきた。
本稿ではその用途を拡大するため、音楽を聴きながら目的地まで移動するシーンでの利用を想定し、音楽振動を目的地の方向に応じて変調して提示することで、音楽の鑑賞体験向上と触覚によるナビゲーションを両立する手法を提案する。
キーワード：

1.

触覚、ウェアラブル、アート・エンタテインメント、マルチモーダル、感覚・知覚

はじめに構を提案し [13]、その機構を用いた歩行中でも使いやすい

歩行中の音楽鑑賞は日常的な活動であり、2018 年時点でネックレス型デバイス（Hapbeat）を実装した [14]。

多くの人が行っている [1]。スマートフォンや、アクティブ

Hapbeat は低周波振動を広範囲に伝えられるため、音楽ノイズキャンセリングや外音取り込み機能を搭載したワイ鑑賞体験を向上させられることが期待できる一方で、左右ヤレスイヤホンやヘッドホンが普及したことにより、歩行者の帯を独立して制御できるため、定位情報を提示することが自由にリスニング環境を調整しながら高品質な音楽鑑賞も可能である。その一例として、我々は任意ターゲット（ナを楽しむことが容易になった。初めて訪れる場所では、歩ビゲーションにおける目的地）までの方向や距離に応じて行者はスマホのナビゲーションアプリを使用することが想ステレオバランス（左右の音量比のことを指す）と全振幅定される。そうしたアプリケーションでは、歩行中に画面が変調されたステレオ正弦波信号を用いて、首両側面に振を見なくても目的地にたどり着けるよう、音声によるガイ動を提示することでターゲットの位置情報を提示する手法

ド機能が備わっているものが多い。しかし、そうしたガイを示した [15]。このような背景から、我々は正弦波振動でド音声は音楽鑑賞を妨げる要因となり、音楽を聞きながらはなく音楽振動を提示しそれを目的地までの方向や距離に目的地までたどり着きたいシチュエーションには適さない。

応じて変調させることで、音楽鑑賞の体験向上とナビゲー

こうした背景から、ナビゲーションによって音楽鑑賞が邪魔ションを両立して実現することが可能であると着想し、本されないよう、研究者は聞いている音楽を変調させること

稿ではその手法を提案する。

によって目的地までの方向を伝達する手法を提案している[2][3][4][5][6]。これらの先行研究により、音楽の定位変調は

2.

音声・音楽変調によるナビゲーション
移動中に画面を見ることは安全性の観点から様々な問題

音声ガイドと同程度のナビゲーション能力を発揮できるこを引き起こすため、視覚の代わりに音声を用いるナビゲーとが示されている。
一方で、これらの先行研究では音楽鑑賞体験を向上させション手法が数多くの提案されてきた。音声によるナビゲーることについては議論されていない。実際の音楽鑑賞は聴ションとして普及しているのは Google Maps に代表される覚のみでなく身体全体で音楽を感じ取る体験である [7]。生ような、言語的発話によるガイド音声を用いたものである。

演奏や巨大なスピーカーから発せられた音エネルギーは空

この手法はトレーニングの必要が無く、詳細な情報を伝える気や、椅子や床などの構造物介して人体を振動させることことが可能だが、言語処理が必要となるためユーザーに認知が報告されている [8][9][10]。このような体に伝わる音楽に的負荷の高いタスクを行っている場合に適していない [16]。

よる振動（音楽振動）、特に低周波振動は音楽鑑賞体験におこうした課題に対し、Holland ら [17] は認知的負荷が少ないて重要な役割を担うことが報告されている [11][12]。我々

い音声ナビゲーション AudioGPS を提案した。AudioGPS

はこれまで、音楽振動を手軽に体験できるようにするため、では、短い楽器音をナビゲーションキューとして利用し、左先行研究にてモーターと糸を組み合わせた原理的に小さな右の音量差で方向を、音声を再生する間隔で距離を提示す装置で広範囲に強力な低周波振動を伝えられる振動生成機ることで、被験者を直感的に目的地に導くことに成功してⒸ 2022 日本バーチャルリアリティ学会-3G-10-

3G-10いる。

一方で、我々が提案したネックレス型触覚デバイス Hap-

この手法を元に、より自然な形で日常生活の中で利用でbeat [14] は低周波振動を身体の広範囲に伝達することがきるよう、普段聞いている音楽を変調させることでナビゲーでき、音楽鑑賞体験の向上が期待できる。また、小型（約ションを行う手法が提案されている。Strachan ら [18] が音55×58×15 mm）、軽量（58.5g）で装着しやすく、日常で楽のステレオバランスを変調させることで目的地までの方の移動シーンでの利用を想定して設計されており、本稿の向を、音量を変調させることで距離を提示するビーコン誘想定用途である移動中の音楽鑑賞シーンに適する。一方で導システム GpsTune を提案し、Jones ら [2] が類似システ

Hapbeat のユーザーが振動を区別できるのは首両側面の 2

ム ONTRACK を作成し詳細なユーザー評価を行っている。

領域のみであるため、Hapbeat の空間的な分解能は乏しい

Jones らの報告によると、方位については 30°の分解能でが、出力できる振動出力の上限が大きく（すなわち振動出十分識別可能であり、約 9 割の被験者が ONTRACK のみ力のダイナミックレンジが広い）、左右のモーターに入力すのナビゲーションで目的地までたどり着くことが出来ている音声信号の大きさを調整することによって方向や距離をた。一方で音量変調による距離の表現は次の理由によって表現することが可能である [15]。よって本稿では音楽振動上手く行かなかったことが報告された：連続的な音量の変を提示する装置として Hapbeat を用いる。

化が分かりづらかったこと、楽曲の構造や終了時のフェー

3.2変調アルゴリズム

ドアウトによって距離と無関係に音量が変化してしまう点。

提案手法では図 1に示すような頭部を基準とした極座標系

また Yamano ら [3] は音楽の左右の位相差を変調して音像を用いる。実際の音像定位と同様、ヘッドトラッキングで頭定位を変更し、方向提示を行う EyeSound を提案している。の向きを常時取得し、その向きからターゲットへの角度（図この手法により 45°の分解能で 80%以上の正答率での方向1中 θ）によって音楽振動を連続的に変調させる。方向の提提示が可能であることを示している（ナビゲーション応用

示は分かりやすさを重視し、Jones ら [2] の方法を参考に音の評価はされていない）。

楽振動全体をステレオパンニングすることで行う（式 3, 4）。

これらの研究は音楽変調によりナビゲーションが可能で距離の提示はユーザーがターゲットに近づくにつれ線形にあることを示すものであるが、一方で音楽鑑賞体験が自然か増加させることで行う。ただし、距離が大きくなりすぎたどうかについての議論はされていない。特に音楽全体をパ場合に両側からの振動振幅が 0 にならないように、距離にンニングさせてしまう方法はターゲットが左端または右端応じた場合分けを行う（式 5）。以上より、最終的な左右のにある場合、必然的に左右の音量差が大きくなり実際の音振動量は式 1,2によって得られ、距離や方向に応じて GL,R楽の感じ方に影響を及ぼす [19]。そこで Heller ら [5][6] はは 0 から CMax までの値をとる。

ナビ性能を維持しつつ音楽鑑賞をより自然に行えるように、音楽の特定のトラックのみをパンニングさせナビゲーショ

GL (r, θ) = CMax fL (θ)f (r)(1)

GR (r, θ) = CMax fR (θ)f (r)(2)

ンを行った。結果、Heller ら のシステムは全体パンニングと同程度のナビ性能を示し、リスニング体験は一般的な音楽鑑賞に近いと評価された。しかしこの手法では距離情報

0
の伝達は行っていない。

fL (θ) =提案手法

3.

本稿では音楽振動を変調し被験者に提示することで、触知覚のみで目的地までの方向と距離を提示する手法を提案する。

3.1

fR (θ) =触覚デバイス

振動子を用いた触覚刺激による方向提示を行う場合、皮膚の空間的な分解能を利用するため、小型振動子が多数含まれた装置が用いられる。これらの装置は確かに位置情報

f (r) =を提示でき音楽振動を出力することが可能だが、小型振動

90 +θ180◦




1


1




90◦ −θ180◦




0

1 − αrCMin

C

Max

子は低周波振動を出力することが原理的に難しく [13]、音(−180◦ ≤ θ ≤ −90◦ )◦(−90◦ ≤ θ ≤ 90◦ )◦(3)◦(90 ≤ θ ≤ 180 )(−180◦ ≤ θ ≤ −90◦ )(−90◦ ≤ θ ≤ 90◦ )(4)(90◦ ≤ θ ≤ 180◦ )())
CMin0 ≤ r ≤ α1 1 − C
Max( ())
CMin
11−≤rαCMax((5)

楽鑑賞体験を向上させるのに不向きであることが想定されここで r はユーザーからターゲットまでの距離、θ はユーる。また振動子以外のアクチュエータに関して、音楽振動ザーの正面からターゲットまでの方位角 (deg) を示す。α はへの応用の可能性は未知数だが、一般に温度や皮膚を変形任意の実数であり、これと CMin 、CMax により、距離によさせる駆動力を、音楽振動のタイムスケール（数 10 msec

る振動変調が行われる範囲が決定される。

単位）で変動させたり、広範囲を駆動するために必要なエネルギー量を考慮すると、音楽振動の出力には適していな

4.

技術展示
大会では、提案手法を用いたナビゲーション手法を用いいことが考えられる。て、Virtual Environment（VE）内を歩行する技術展示を行Ⓒ 2022 日本バーチャルリアリティ学会-3G-10-

3G-10

本稿ではナビゲーション手法として音楽振動を変調して提示する手法を提案したが、本手法はゲーム（VR 含む）や、映像鑑賞体験に応用することで、近づいてくる人間の存在感を示す、煩雑な環境内で特定の対象に注意を向けさせる、などといった情報提示を、それらのコンテンツの体験を妨げずに行うことが可能である。これまでの触覚技術はコンテンツ体験の向上と情報提示は独立して提案されることが多かったが、これらを使いやすいネックレス型デバイスによって両立できることで、触覚技術の用途が広がり、将来的な実用化に繋がることが期待される。

参考文献
図 1:

提案手法における極座標系[1] Gabriel Haas, Evgeny Stemasov, and Enrico Rukzio.
Can’t you hear me? investigating personal sound-う。図に開発中の VE を表示した画面および体験中の参加

scape curation. In Proceedings of the 17th Interna-者の様子を示す。体験者は HMD を被り、コントローラー

tional Conference on Mobile and Ubiquitous Multi-

を脚に装着して足踏みを行うことで VE 内を歩行でき、視覚

media, pp. 59–69, 2018.に頼らず変調された音楽振動を頼りに目的地までたどり着[2] Matt Jones, Steve Jones, Gareth Bradley, Nigel

くことが可能である。また従来手法との比較として、HellerWarren, David Bainbridge, and Geoﬀ Holmes. On-

ら [5] が提案したボーカルトラックの変調によるナビゲー

track: Dynamically adapting music playback to sup-ション手法 “Navigatone” をシステムに組み込み、体験可能

port navigation. Personal and Ubiquitous Comput-とする。

ing, Vol. 12, No. 7, pp. 513–525, 2008.
[3] Shingo Yamano, Takamitsu Hamajo, Shunsuke
Takahashi, and Keita Higuchi. Eyesound: singlemodal mobile navigation using directionally annotated music. In Proceedings of the 3rd Augmented
Human International Conference, pp. 1–4, 2012.
[4] Robert Albrecht, Riitta Väänänen, and Tapio Lokki.
Guided by music: pedestrian and cyclist navigation
with route and beacon guidance. Personal and Ubiquitous Computing, Vol. 20, No. 1, pp. 121–145, 2016.
[5] Florian Heller and Johannes Schöning.

Naviga-tone: Seamlessly embedding navigation cues in mobile music listening. In Proceedings of the 2018 CHIConference on Human Factors in Computing Systems, pp. 1–7, 2018.
[6] Florian Heller, Jelco Adamczyk, and Kris Luyten.
図 2:

Attracktion: Field evaluation of multi-track audio as

技術展示体験の様子。左：体験者の様子、右上：体unobtrusive cues for pedestrian navigation. In 22nd

験者が見ている画面、右下：バーチャル環境内の俯瞰図International Conference on Human-Computer Interaction with Mobile Devices and Services, pp. 1–7,5.

2020.

結論
我々は、ユーザーとターゲットとの位置関係に基づき変[7] Mark Reybrouck, Piotr Podlipniak, and David

調された音楽振動を Hapbeat を用いて首両側面に提示する

Welch. Music and noise: Same or diﬀerent? what

ことで、音楽鑑賞体験の向上と触覚刺激によるナビゲーショ

our body tells us. Frontiers in psychology, Vol. 10,p. 1153, 2019.

ンの両立が可能な手法を提案した。我々が実施した予備実
験では数名の被験者に対し、先行研究の音楽のボーカルト[8] Sebastian Merchel and Mehmet Ercan Altinsoy.

ラックを変調させる手法（Navigatone[5]）と遜色なくユーMusic-induced vibrations in a concert hall and a

ザーをナビゲートすることが可能であることが示されておchurch. Archives of Acoustics, Vol. 38, , 2013.

り、視覚に頼らないナビゲーション手法の新たな選択肢に[9] Michael Daub and M Ercan Altinsoy.

なることが期待される。

Ⓒ 2022 日本バーチャルリアリティ学会

Audio-tactile simultaneity perception of musical-produced-3G-10-

3G-10whole-body vibrations. In Proceedings of the Joint
Congress CFA/DAGA, 2004.
[10] Yukio Takahashi, Kazuo Kanada, and Yoshiharu
Yonekawa. Some characteristics of human body surface vibration induced by low frequency noise. Journal of Low Frequency Noise, Vibration and ActiveControl, Vol. 21, No. 1, pp. 9–19, 2002.
[11] Sebastian Merchel and M Ercan Altinsoy. Auditorytactile experience of music. In Musical Haptics, pp.
123–148. Springer, Cham, 2018.
[12] Michael J Hove, Steven A Martinez, and Jan Stupacher. Feel the bass: Music presented to tactile
and auditory modalities increases aesthetic appreciation and body movement. Journal of Experimental
Psychology: General, Vol. 149, No. 6, p. 1137, 2020.
[13] Yusuke Yamazaki, Hironori Mitake, and Shoichi
Hasegawa.

Tension-based wearable vibroacoustic

device for music appreciation. In International conference on human haptic sensing and touch enabled
computer applications, pp. 273–283. Springer, 2016.
[14] Yusuke Yamazaki, Hironori Mitake, and Shoichi
Hasegawa.

Implementationoftension-based

compact necklace-type haptic device achieving
widespread transmission of low-frequency vibrations. IEEE Transactions on Haptics, 2022.
[15] Yusuke Yamazaki, Shoichi Hasegawa, Hironori Mitake, and Akihiko Shirai. Neck strap haptics: Analgorithm for non-visible vr information using haptic perception on the neck. In ACM SIGGRAPH
2019 Posters, pp. 1–2. 2019.
[16] Roberta L Klatzky, James R Marston, Nicholas A
Giudice,Reginald G Golledge,

and Jack M

Loomis. Cognitive load of navigating without vision when guided by virtual sound versus spatial
language. Journal of experimental psychology: Applied, Vol. 12, No. 4, p. 223, 2006.
[17] Simon Holland, David R Morse, and Henrik Gedenryd. Audiogps: Spatial audio navigation with a minimal attention interface. Personal and Ubiquitous
computing, Vol. 6, No. 4, pp. 253–259, 2002.
[18] Steven Strachan, Parisa Eslambolchilar, Roderick Murray-Smith,

Stephen Hughes,and SileO’Modhrain. Gpstunes: controlling navigation via
audio feedback. In Proceedings of the 7th international conference on Human computer interaction
with mobile devices & services, pp. 275–278, 2005.
[19] Doreen Kimura. Left-right diﬀerences in the perception of melodies. Quarterly Journal of ExperimentalPsychology, Vol. 16, No. 4, pp. 355–358, 1964.

Ⓒ 2022 日本バーチャルリアリティ学会-3G-10-