情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-142024/2/28

インタラクティブな MR 環境 LyricBathe による歌詞に浸る体験小島 颯英1,a)

中小路 久美代1,b)

概要：本研究では，楽曲に含まれる歌詞と Mixed Reality 技術を組み合わせることで，楽曲に対する没入感を高め，歌詞に「浸る」体験の実現を目指す．歌詞に「浸る」ためのシステムとして，歌詞を構成する一文字ずつに対してインタラクションができる MR システム LyricBathe を提案する．LyricBathe では，楽曲の進行と歌詞の表示が同期されており，楽曲上での歌詞の発声タイミングに合わせて，MR 空間上で楽曲の歌詞が一文字ずつ表示される．LyricBathe では，ユーザが，自身の手や指を使って表示されている歌詞を構成する文字に対して，多様なインタラクションを行うことで，多様な歌詞の楽しみ方が可能となる．

1. はじめにるフレームワークを実現している [4]．
本研究では，じっくりと音楽鑑賞を行う場面を想定す

本研究では，楽曲に含まれる歌詞と Mixed Reality(以下る．歌詞を構成する一文字ずつに対してインタラクションMR) 技術を組み合わせることで，楽曲を聴く際の没入感ををしながら，音楽に対して没入する MR システムである

高め，歌詞に「浸る」ような体験の実現を目指している．

LyricBathe の実現を目指す．

音楽の楽しみ方は様々である．中でも歌詞を含んだ楽曲
では，楽曲のメロディーだけを楽しむというのではなく，2. MR での歌詞の表示方法に関する課題

楽曲の歌詞に注目して楽曲を楽しむ方法がある．歌詞は音歌詞カードや，リリックビデオといった既存の歌詞を表楽鑑賞を行う多くの人に重要視されており，歌詞は音楽が示する既存のメディアのほとんどは，平面的に表示された喚起する情動に大きな影響を及ぼすなど音楽鑑賞において歌詞情報を受動的に受け取るというものである．

欠かすことができない要素であるとしている [1]．

LyricAppFramework を用いて制作したリリックアプリ

音楽の聴き方は，技術の進歩によって様々な形態をとるなどのインタラクティブな歌詞表示に関しては，その多くよう変化してきた．音楽をただ受動的に聴くというものでが歌詞を空間的に扱うものである [4]．リリックアプリのはなく，楽曲に対して能動的なインタラクションを行いな中にも VR などで空間的に歌詞を扱ったものは存在していがら音楽鑑賞を行う能動的音楽鑑賞という研究アプローチ

るが，システムによる音楽体験というよりは芸術作品的なも提案されている [2]．能動的音楽鑑賞の中でも，歌詞は歌ものが多く，歌詞に対するインタラクティビティという面を伴う楽曲で重要な役割を果たしているとされている．に着目したものは少ない．

楽曲の中の歌詞については，歌詞カードや，スマート

本研究では新しい音楽鑑賞スタイルとして，MR 技術をフォンの音楽アプリの歌詞表示機能，歌詞を楽曲に合わせ用いて歌詞を空間的に表示し，インタラクションを可能にてアニメーションさせるリリックビデオなどの形で，音楽するというアプローチを探る．

を聴く人に届けられてきた．TextAlive では，楽曲の歌詞歩きながら音楽を聴くという鑑賞スタイルのための歌詞と歌声を自動で対応付けさせたキネティックタイポグラを楽しむ方法として WordsStreet では，MR システムを実フィを自動生成するリリックビデオ制作環境を実現してい現している [5]．Words Street では，MR 技術を用いて周る [3]．LyricAppFramework では，歌詞やコード進行など囲の壁や床に歌詞をフレーズごとに分けて張り付けることの音楽の要素に対してインタラクションができるリリックで，歩行中に歌詞を楽しむことが可能になっている．歩きアプリと呼ばれるアプリケーションを制作することができながら音楽を聴くという音楽鑑賞スタイルを目指すものであり，歌詞に対する没入感を高めるという本研究とは目的

1a)b)

公立はこだて未来大学
b1020196@fun.ac.jp
kumiyo@fun.ac.jp© 2024 Information Processing Society of Japanが異なる．

MR 空間での文章の表示の既存研究として，MAVenRead

241

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-14
2024/2/28がある [6]．MAVenRead は，白紙のページの上に AR マーある．歌詞は，フレーズごとに人差し指の向いているカーを付加したものを HoloLens2 で読み取ることで，デジ方向に向かって飛んでいく．歌詞はフレーズごとにすタルの書籍コンテンツを現実世界に重畳表示するというもべての文字が表示され終わると表示されなくなる．歌のである．

詞は指の向いている方向がフレーズの左方向であり，MR 上での歌詞表示の課題を明らかにするために，歌指の爪のある面が，文字の上方向となるように配置し詞カードやスマートフォンの音楽アプリの歌詞表示とている．このモードは，歌詞が体から飛び出してくる

MAVenRead を用いた歌詞表示の比較体験を行った．歌詞という体験を目指して構築した．

カードや MAVenRead の表示方法では，進行に合わせて歌(2) 両手の人差し指の間を歌詞が飛んでいくモード

詞を全体の中から探す必要があり，音楽アプリの歌詞表示自分の両手の間が，歌詞を表示するディスプレイにのようなフレーズごとに分けた表示方法が適していると考なっているような体験をすることができるモードであえられた．

る．歌詞は，フレーズごとに両手の人差し指を結んだ

既存の文章や歌詞の表示方法から，歌詞にじっくりと浸線上を右手側から左手側に向かって移動していく．歌れるような状況が重要であることと，歌詞をフレーズごと

詞はフレーズごとにすべての文字が表示され終わるとなどの細かい単位に分割して楽曲の進行と同期することが表示されなくなる．指の位置を動かすことで様々な角必要であると考えられた．

度から歌詞を見ることができる．歌詞は右手側から見3. 提案するシステム:LyricBathe
LyricBathe は，楽曲のメロディなどの要素ではなく，歌詞に対してのインタラクションによって，歌詞に「浸る」ような体験を実現する MR システムである．

た左手の指先方向が，フレーズの左方向となるように配置している．このモードは，歌詞の飛び出てくる位置と向かう位置を自在に操るという体験を目指して構築した．

(3) 歌詞に対して物理的性質を適用するモード
現実世界に歌詞が現れるような体験ができるモードで3.1 LyricBathe におけるインタラクションデザインの指針
本研究で構築する MR システムの条件として，以下の 2点を前提とする．

ある．歌詞がフレーズ終了後にも消えずに MR 空間上に残るようになっている．歌詞は文字ごとに物理的な性質を持ち，重力がかかる，オブジェクトに衝突するなどの動きをする．歌詞に対しては文字ごとに，摘• 歌詞の表示が楽曲の進行と同期していること

まんで動かす，手のひらで押して動かす，手のひらで• ユーザが座った状態など歌詞に集中しても問題ない状掬うなどのインタラクション体験ができる．歌詞はシ況であること

ステムを起動した時点の正面の位置に配置される．フ

本研究では，この条件を満たしたもので歌詞を空間的に表レーズの文字が全て表示された後にその場に落下す示するものを複数構築し，その中から歌詞に「浸る」ようる．このモードは，ユーザが歌詞に触れて身体的に歌な体験ができるものについて探っていくこととした．

詞を楽しむという体験を目指して構築した．

(4) 歌詞が舞い上がるような動きをするモード
3.2 LyricBathe でのビジュアルインタラクティビティ

歌詞が上に向かって舞い上がっていくような体験がで

LyricBathe で は ，透 過 型 MR ヘ ッ ド セ ッ ト で あ る

きるモードである．歌詞はフレーズ終了後も MR 空間

HoloLens2 を用いて音楽鑑賞を行う．システムを起動しに残り，風に吹かれて上向きに向かって舞い上がってたときに MR 空間上でユーザの正面に表示されるボタンいくような動きを見せる．歌詞に対して，手を使ってを，指を使って押しこむことで楽曲を再生できる．楽曲の掴むなどのインタラクションをすることができる．歌

進行に合わせて MR 空間上にフレーズごとに分けて歌詞が詞はシステムを起動した時点の正面の位置に配置され表示される．ユーザは自身の手を使って歌詞の表示に対しる．フレーズの文字が全部表示された後は，一定の範てインタラクションできる．歌詞への手を使ったインタラ

囲内で外から力を加えられる形で上に向かって上昇しクションの種類や，歌詞の表示方法は，LyricBathe のモー続ける．このモードは，文字が浮かんでいく空間の中ドによって異なる．選択するモードによってユーザはそれで音楽鑑賞を行うという体験を目指して構築した．

ぞれ違った音楽体験ができる．
これまでに，以下の 8 種のモードのインタラクティビ(5) 歌詞にかかる力の向きをユーザが指定できるモード
歌詞に当たる風の強さや，向きをユーザが自由に変更

ティについて，プロトタイプを構築している (図 1).

しながら歌詞の表示を楽しむ体験ができるモードであ(1) 指から歌詞が飛び出るモード

る．ユーザは，MR 空間上に表示される３つのスライ楽曲の進行に合わせて，右手の人差し指の先端から歌ダーを上下させることで，歌詞に当たる風の向きや大詞が飛び出るような体験をすることができるモードできさを変更できる．３つのスライダーはそれぞれ X，© 2024 Information Processing Society of Japan242

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-142024/2/28

図 1ビジュアルインタラクティビティのモード

Y，Z の軸の値の大きさに対応している．歌詞は文字タイミングの 2 秒前になると，ユーザの正面の位置にごとに，スライダーで設定した風の向きや大きさに応フレーズが完成するように文字ごとに移動していく．

じて空間内で様々な動きを見せる．歌詞はシステムをフレーズに含まれた全ての文字の移動が終わると，そ起動した時点の正面の位置に配置される．フレーズのの場に落下する．このモードは，歌詞を構成する文字文字が全部表示された後は，一定の範囲内でスライに身体的に浸るという体験を目指して構築した．

ダーで指定した力が加えられ続ける形で移動する．こ(8) 歌詞を浴びるようなモードのモードは，ユーザがスライダーでパラメータを変更

歌詞を構成する文字を浴びるような体験ができるモー

しながら歌詞の動きを楽しむという体験を目指して構ドである．楽曲の再生を開始するとユーザの正面斜め築した．

上にキューブが出現する．キューブは 1 つの面が赤く(6) 手を振った方向に向かって歌詞に力がかかるモードなっており，指でつまんで移動させることができる．

ユーザの右手で風を自在に操るような体験ができる

各文字の発声タイミングになると，キューブの赤い面モードである．歌詞はフレーズ終了後も物理的性質をから文字ごとに歌詞が飛び出していく．文字はキュー持った状態で MR 空間に残る．ユーザは，空中で右ブの赤い面と平行の向きで配置しており，1 フレーズ

手の人差し指と親指で物を摘まむようなジェスチャーごとに文字が完全に重ならないように少しずつ横にをしながら手を動かすことで，手を動かした方向に向ずらして配置している．文字はキューブの赤い面が向かう風を MR 空間の一定の範囲に吹かせることがでいている方向に力が加わる形で移動する．このモード

きる．ユーザは自身の手の動きによって，歌詞を空間は，歌詞を浴びるような体験を目指して構築した．

内で自在に操ることができる．歌詞はシステムを起動した時点の正面の位置に配置される．フレーズの文字

3.3 LyricBathe の構築が全部表示された後は，一定の範囲内で手を動かした

LyricBathe は，システムを体験する MR デバイスとし方向に力が加えられ続ける形で移動する．このモードて HoloLens2 を利用している．システムの構築環境には開は，魔法のような力を使って文字を操るという体験を発エンジンである Unity を用いている．Unity には，MR目指して構築した．のアプリ開発ツールキットである MixedRealtyToolKit(以(7) 文字が集まりフレーズが完成するモード

下 MRTK) をインポートしてシステムを構築している．

最初は歌詞を構成する文字に囲まれているような状態

MRTK を用いることで，両手の各指の指先や関節などのから始まり，楽曲の進行に合わせてフレーズが完成し座標と回転をトラッキングできるハンドトラッキング機能ていくという体験ができるモードである．歌詞は，楽や，ユーザの視線を追跡するアイトラッキング，MR 環境

曲再生開始時にユーザの周囲に文字ごとにバラバラにで動作するボタンやスライダーなどの UI を利用することなった状態で現れる．ユーザは歌詞を構成する文字にができるようになる．

浸っているような状態で音楽鑑賞を行う．歌詞の発声© 2024 Information Processing Society of Japan

LyricBathe では，楽曲の歌詞に使われる各文字の 3D モ

243

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-14
2024/2/28

表 1

図 2

事前アンケート質問表

歌詞の同期プロセス

Rigidbody 用の関数として Unity 標準で用意されているデルを自作している．文字の 3D モデルを作成することで，AddForce を使用した．AddForce は，オブジェクトに対しMR 空間で 3 次元的に歌詞を扱うことができるようになって外部から力を加えるという形でオブジェクトを動かす．ている．歌詞表示の方法は，楽曲の歌詞の一文字ずつをそれぞれの発声されるタイミングに合わせて，MR 空間の指4. ユーザ観察実験定した座標に表示している．歌詞の表示タイミングと楽曲本研究で作成した LyricBathe のモードは歌詞に「浸る」の進行の同期は Timeline を使用した．Timeline は，オブための現段階でのアイデアを形にしたものである．そのたジェクトやスクリプトなどを時系列で編集することができめ，現在の全てのモードでの音楽体験が必ずしも歌詞にる Unity 標準の機能である．LyricBathe では，楽曲の歌詞「浸る」ような体験ができ，没入感を高められるということの一文字ごとの発声タイミングと，歌詞の 3D モデルの表ではない．LyricBathe を用いた歌詞に「浸る」音楽体験に示タイミングや，スクリプトが起動するタイミングを手動ついて検証していくため，これまでに 2 名の実験参加者にで合わせることで歌詞表示と楽曲の同期を実現した (図 2)．

対して LyricBathe の各モードでの体験に関するユーザ観

LyricBathe では，歌詞を扱う単位としてフレーズ単位に分察実験を行った．

けて扱っている．フレーズの最後の文字の表示が終わり，次のフレーズの一文字目が表示されると，それまで表していたフレーズの表示に変化が生じる．

LyricBathe 起動時に，ユーザの向いている方向を正面として MR 空間が設定される．起動後には，ユーザの正面方

4.1 ユーザ観察実験の手順
ユーザ観察実験では，各モードを実験参加者に体験してもらい，音楽体験に関するアンケートを行った．観察実験は 1 名ずつ個別に行った．

向に MRTK の UI であるボタンを表示している．ユーザ

実験冒頭で，実験参加者にはパーソナルデータを取得すがボタンを押し込むことで，設定した TimeLine に従ってるための事前アンケートに回答してもらった．事前アン楽曲の再生が開始される．歌詞表示位置は，歌詞表示にハケートの内容は表 1 に示す．

ンドトラッキングを用いるモード以外では，システムを起動したときの正面に設定している．

MR 空間内の物理的動作には，Rigidbody を使用した．

事前アンケートの回答後，HoloLens2 での仮想オブジェ
クトを摘まむなどの操作に慣れてもらうために，キューブを摘まんで動かすなどのデモを行ってもらった．

Rigidbody は，適用したオブジェクトに物理的性質を持実験参加者が HoloLens2 でのオブジェクトの操作に慣れたせることができる Unity 標準のコンポーネントである．

た後，LyricBathe の各モードを体験してもらった．実験でRigidbody を適用することで，オブジェクトに重力を加え音源として扱った楽曲は「はこだて賛歌」である [7]．実験ることや，オブジェクト同士の衝突の実現，外部から力をでは LyricBathe の 8 つのモードを 1 つずつ体験してもら加えて動かすことなどができるようになる．

い，モードの体験が終わるごとに体験後アンケートに回答

歌詞を摘まむなどのインタラクションに実現には MRTKしてもらった．体験後アンケートでは，画面酔いなどが発の標準コンポーネントである NearInteractionGrabbable を生していないかを問う質問と，歌詞に「浸る」体験に関す使用した．NearInteractionGrabbable をオブジェクトに適る質問を行った．

用することで，オブジェクトを人差し指と親指で摘まんでMR 空間内で動かすことができるようになる．
歌詞に風が当たっているような動作の実現には，© 2024 Information Processing Society of Japan

歌詞に「浸る」体験に関する質問では，モードを体験することで想起された名前やキーワードについての質問と，モードの体験を 5 段階で評価する質問を行った．モードの244

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-14
2024/2/28

表 2

体験後アンケートの結果

体験を 5 段階で評価してもらう質問では，体験したモード

LyricBathe のどの部分が歌詞への没入を高めているのかなで「浸る」体験ができたかと，モードの音楽体験は好きかど，ユーザが LyricBathe を使用した音楽体験をすること嫌いかをそれぞれ 5 段階評価で回答してもらった．

によって得られる体験について考察を行っていく．

8 つのモードをすべて体験し終わった後，最終アンケー

ユーザ観察実験のアンケートから，LyricBathe の音楽体トを行った．最終アンケートでは，8 つのモードを比較す験について考察を行い，LyricBathe の改善を進めていく．

る質問と，音楽に「浸る」とはどういったことだと思うか

アンケートから導き出された歌詞に「浸る」ための要素をを問う質問，体験してみたい歌詞の表示方法についての質組み込んだ新しいモードを構築し，歌詞に「浸る」体験を問，実験全体を通した感想を回答してもらった．

実現できているか検証を行う．

8 つのモードを比較する質問では，体験したモードの中LyricBathe で鑑賞を行う楽曲によって，歌詞に「浸る」で一番「浸る」体験ができたものと，もう一度体験してみ体験に影響が生じる可能性が考えられる．複数のジャンルたいと思ったモードについて理由も合わせて回答してもや曲調の楽曲を LyricBathe で体験できるように変更を行らった．

い，楽曲による違いを検証する．
現在の仕様では，特定の楽曲に合わせて歌詞の文字の4.2 観察実験の結果

3D モデルを自作し，表示タイミングを歌詞の発声タイミ

事前アンケートでは，実験参加者 2 名とも気に入った音ングに合わせて調整するという形で，歌詞表示と楽曲の同楽を聴くときは歌詞を見ながら聞くことがあるという結果期を実現している．最終的な目標としてはユーザが好きなであった．歌詞を見て聴くときに歌詞の世界に浸ることが曲で LyricBathe の歌詞に「浸る」体験ができるというこあるかについては，1 名がある，1 名がないという結果でとを目指しているため，新たな同期方法を実現する必要があった．実験参加者 2 名はどちらもはこだて賛歌を聴いた

ある．現段階では，TextAlive の発声タイミングの自動推ことがあった．

定のデータを扱って Timeline を生成できるようにするこ

体験後アンケートの結果は表 2 に示す.

4.3 考察とを考えている．
謝辞 本研究を進めるにあたって，LyricBathe の体験に歌詞にかかる力の向きをユーザが指定できるモードでついて助言をいただいた大日本印刷株式会社の小林潤平氏

は，スライダーを操作しづらく，意図した体験が得られなに深謝します．産業技術総合研究所の加藤淳氏には，シスい場合があった．改善案として風の向きを操るオブジェク

テムの改良や研究の今後の方向性についても様々な助言をトを，スライダーではなく，矢印型のオブジェクトに変更いただきました．九州大学の内田誠一教授には，システムした．矢印型のオブジェクトを摘まんで矢先の方向を動かを実際に体験していただき，今後の拡張性について様々なすことで，風の向きを変更することができるようになって意見をいただきました．ここに深く感謝いたします．

いる．

5. 今後の展望

参考文献[1]

今後は，正確な考察をできるように実験参加者を募り，データを収集していく．アンケートで得られた回答から，より歌詞に没入して楽しめるものはどのモードであるか，© 2024 Information Processing Society of Japan[2]

森 数馬，日常の音楽聴取における歌詞の役割についての研究，対人社会心理学研究 (2010)，10，pp.131-137．
後藤 真孝，音楽音響信号理解に基づく能動的音楽鑑賞インタフェース，情報処理学会音楽情報科学研究会研究報
告 (2007),2007-MUS-70-9，pp.59-66.

245

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[3]

[4]

[5]

[6]

[7]

1A-14
2024/2/28

加藤 淳 中野 倫靖 後藤 真孝，TextAlive: インタラク
ティブでプログラマブルな KineticTypography 制作環境，WISS2014: 第 22 回インタラクティブシステムとソフトウェアに関するワークショップ (2014)，pp.39-44．
Jun Kato Masataka Goto，Lyric App Framework: A
Web-based Framework for Developing Interactive Lyricdriven Musical Applications，CHI’23: Proceedings of the2023 CHI Conference on Human Factors in Computing
Systems(2023)，pp.1-18．
山田 大誠 高 有為 宮田 一乘，Words Street: 歩きながら歌詞を楽しむための複合現実システム，エンタテインメン
トコンピューティングシンポジウム 2020 論文集 (2020)，
pp.1-7．
横濱 拓樹 柏木 敏朗 山本 恭裕 中小路 久美代，MR を用いた読書環境における文字の表現方式と詩の印象の違いに関する考察，ヒューマンインタフェースシンポジウム
2022(2022)，pp.75-80．
”は こ だ て 賛 歌 の 普 及・啓 発”，函 館 市 ，https://www.city.hakodate.hokkaido.jp/docs/2014021700434/(参照 2022.03.08).

© 2024 Information Processing Society of Japan246