情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-55
2023/3/1

XR を用いた観客参加型ライブパフォーマンスの可能性
伏田昌弘†1平林真実†2

概要：MR/AR/VR により現実世界と仮想世界を繋いだ多人数参加型の音楽体験を可能にするアプリケーション「AvatarJockey」を用いた体験型展示を行った．そこで体験者に回答して貰ったアンケート結果から,XR を用いた観客参加型ライブパフォーマンスはパフォーマンスとして成立するのか，また観客は参加性を感じ楽しむことができるのか，といった可能性について考察する.

1. はじめに
音楽体験には,コンサートホールで歌や楽器演奏を座って発射すると,物理的な音とそれに対応する仮想の視覚効果が発生する[3]. VR 環境における非言語コミュニケーションで音楽ライブの一体感をサポートする KSA2[4]．

鑑賞する体験,ライブハウスでバンド演奏を聴きながらスタンディングで体を揺らす体験,Jazz バーで楽器経験者がセッションに参加し演奏する体験,クラブで DJ がかける曲で踊り盛り上がる体験等がある．また,VR デバイスが安価になり手に入りやすくなった昨今,仮想空間上でも VRChatのクラブワールド「GHOSTCLUB」が登場し仮想空間のクラブでの音楽体験も広まりつつある．これらの音楽体験に共通しているのは多くの鑑賞者の中で一緒に音を体で感じる体験ということではあるが演者から鑑賞者への一方通行の体験であり演者と鑑賞者の間で音を使ったやりとりが乏しいことである．そこに問題意識を持ち，XR を用いたインタラクティブな表現システムである Avatar Jockey を用い,音楽経験が少ない鑑賞者でも演者の演奏に参加する様な音楽体験ができないかを考える．Avatar Jockey とは複数人で現実空間と仮想空間を共有し,音源となる Avatar を配置・操作 す る 事 で 音 楽 的 な パ フ ォ ー マ ン ス を 行 う XR(CrossReality)アプリケーションである．本論文で，Avatar Jockeyの体験展示を通して様々な人に体験してもらった結果からXR を用いた観客参加型ライブパフォーマンスの可能性を探る.

2. 先行事例・関連研究
2.1 XR で音楽体験を拡張している先行事例
Lawrence Lim らは拡張現実感(AR)を用いて，ユーザーが実空間に音源となる楽器を配置し，各楽器の音を再生し楽曲を鑑賞するアプリを開発．体験者は空間内を移動したり音の定位を変えたりして音楽体験を編集できる[1].Miyagawa らは，ヘッドマウントディスプレイを用いた複合現実感(MR)で実空間に音源を自由に配置し立体音響

2.2 現実と仮想を繋いだ先行事例
拡張現実感(AR)と仮想現実(VR)を用い，離れた場所にいるユーザーがあたかも物理的に同じ街にいるかのように一緒に歩くことができる,新しい街歩きシステム GIBSON[5]がある. 森ビル株式会社と株式会社 NTT ドコモは,森ビルが「お台場 ヴィーナスフォート」を舞台に,現実の景観とデジタルコンテンツを融合させた XR 空間上で，遠隔地からも現地にいるかのようにショッピングやフィールドゲームの体験を可能とする実証実験を行った[6]．ライゾマティ
クスの「border2021」では，現実と仮想が交差する空間を自動運転の車椅子で HMD を装着し体験する[7]．

3. システムの概要
3.1 Avatar Jockey について
「Avatar Jockey」は，HoloLens2，iPhone/iPad，Meta Quest
Pro を用いて，MR/AR/VR による現実世界と仮想世界を共有した多人数参加型のインタラクティブな音楽体験を可能にしたアプリケーションである[8]．具体的には，Avatar 自体を楽器として空間に自由に配置し，立体音響の音楽空間を複数人で共有しながらリアルタイムに構築することができるアプリケーションである．Avatar は 15 種類あり各Avatar には Drum/Bass 等の loop 音源が付与されている．音源は小節の頭で合うように制御しており，リズムがずれる事はない． Avatar を操作し音楽的なパフォーマンスをする演者を「Avatar Jockey」(略称 AJ)と定義する(図 1 参照).AJ
は空間に自由に Avatar を出現させ配置し動かすことで音楽空間を作ることができる.(図２参照).
3.2 システム構成の音楽空間をデザインできるアプリを提案[2]．多人数参加

MR 空間のアンカーをクラウドで共有できる Azure Spatial

型のオーディオビジュアルアート体験である「Encounters」

Anchors を使い HoloLens と iOS デバイスの座標原点を合わ

は参加者が物理的な物体に向かって仮想の弾丸やビームをせた.オンラインゲームの実装で使われる Photon を使用し

†1 東京コンピュータサービス株式会社†2 情報科学芸術大学院大学 メディア表現研究科© 2023 Information Processing Society of Japan356

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-55
2023/3/1

Avatar の位置情報をリアルタイムに共有した.音の再生情操作する．Avatar の種類は，エアタップする手の位置座標

報と Avatar の動作はデバイス間で IoT 向けの軽量通信プロで決定している．縦方向に楽器の種類が 5 種類．下から，トコル MQTT（Message Queueing Telemetry Transport）で状Drum，Bass，Chord，Melody，Voice となっている(図 4 参態を送信し同期させた(図 3 参照)．

照)．横方向に楽器のフレーズ３種類が配置されている．今どの楽器のどのフレーズを選択しているかは視界の中央に表示される．VR 版ではモーションコントローラーのトリガーボタンを押すことでエアタップと同等の操作ができる．
Avatar の大きさを両手でつまんだ状態（VR 版では両方のモーションコントローラーのトリガーボタンを押し続ける）で両手を広げたり狭めたりすることで変えることができ，Avatar の大きさは音源のボリュームに対応している．

図1 Avatar Jockey (MR)
図4 UI
3.4 ワンショット音源を使ったインタラクション
iPhone/iPad をタップすると，ワンショット音源とな る
Cube が 仮 想空 間と 現実 空 間に 出力 さ れ， HoloLens2 や
MetaQuestPro の参加者がそれに触れると音が鳴る．このインタラクションの設計としては，iPhone/iPad の参加者がHoloLens2 や MetaQuestPro の参加者の位置を確認し，その近くに Cube を投入することで HoloLens2 や Meta Quest Proの参加者が Cube を使った演奏をすることを期待するといったものである．また，Cube に触れると仮想空間と現実空間で音が鳴り現実空間にある LED ポールが光る．
図2 Avatar Jockey 操作イメージ (MR)図5 Cube と LED ポールのインタラクション

4. 仮想空間と現実空間のインタラクション
4.1

デジタルツインAvatar Jockey を使用する会場を事前に 3D スキャンカメラである「Matterport Pro2」で撮影しデジタルツインを作成する．このデータを用いて仮想空間を構築し VR 版の Avatar
Jockey アプリケーションに組み込む．VR 版の体験者はデジタルツイン空間で体験する(図 6 参照)．
図3 システム図3.3 操作方法
Avatar Jockey の操作方法について記述する．HoloLens2 版
では，エアタップすることで音源となる Avatar を出現させ© 2023 Information Processing Society of Japan357

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-55
2023/3/1

図6 会場(左：リアル，右：デジタルツイン)
4.2 AR/MR と VR の空間共有
現実空間から HoloLens2，iPhone/iPad で体験者は参加し，図8 展示レイアウト

仮想空間からは MetaQuestPro で参加する．現実空間と仮想空間は位置を共有し，参加者同士はお互いを Avatar として認識し合う．参加者同士のリアクションは，手を振る等の腕の動きでとることができる．（図 7 参照）

図9 体験の様子 (MR)

図7 V R 参加者を Avatar として認識
4.3 仮想空間から現実空間へのインタラクション
3.4 で説明した様に，現実空間から iPad で参加している参加者が iPad をタップすると音源となる Cube が空間に出力される．この Cube は仮想空間にも同様に出力され，仮想空間の参加者がこの Cube に触れると仮想空間と現実空間で音が鳴り現実空間にある LED ポールが光る． これは，音楽ライブ中に演出として仮想空間からリアルタイムに現実空間に影響を与えることができ，現実空間と仮想空

図10 体験の様子 (VR)

間を繋いだインタラクションである．

5. 体験展示

5.2 体験者の属性について
３日間体験展示を行い体験者数は合計 100 人だった．体2022/11/16-18 幕張メッセで行われた「Inter BEE 2022」内

験者の属性は 20 代男性が 24%と１番多く，次に 40 代男性の「INTER BEE IGNITION × DCEXPO」で Avtar Jockey のが 18%となった(図 11 参照)．男女比率は男性 75%,女性 25%

体験展示を行った．

だった．VR/MR デバイスの所持と経験については，VR デ

5.1 体験方法

バイスを持っている人が 25%で MR デバイスを持っている

HoloLens2(MR),MetaQuestPro(VR),iPad(AR) を 用 い て 体 験

人が 3%．VR 初体験の人が 41%で MR 初体験の人が 75%(図する 6m×3m のスペースを作った(図 8 参照)．2 人 1 組(場12 参照).VR デバイス経験有の人が 54%で MR デバイス経合によって 3 人 1 組)で 20 分の体験時間を設定した．まず験有の人が 18%だった．VR 経験者数が MR 経験者数の 3

説明員が iPad と HoloLens2 を使って体験説明を行ったの倍だった．

ち，VR と MR を 10 分ずつ交代で体験してもらった(図 9,105.3 体験後のアンケート(質問)参照)．体験者には体験後簡単なアンケートを実施した．

「①VR/MR/AR

どの体験に興味を持ちましたか？（複数回答）」という質問に対し，「MR」が 72 人，「VR」が 56人となった(図 13 参照)．
「②①を選んだ理由は何ですか？

(複数回答) 」という質問に対し，「体験の面白さ」が 90 人

© 2023 Information Processing Society of Japan358情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-55
2023/3/1だった(図 14 参照)．①②の回答は，MR 未経験者が多かったからだと推測できる．また，「③音楽体験に XR を持ち込むことは有効と思いますか？」という質問に対し，「とてもそう思う」(54%),「そう思う」(46%)という結果になり，「どちらとも言えない」，「そうは思わない」という回答は０だった(図 15 参照)．この結果から，XR を使ったインタ
ラクティブな音楽体験にポジティブであることがわかる．
「④音楽経験を教えて下さい(複数回答)」という質問に対し，「無し」(47%)，「バンド」(33%)という結果だった(図16 参照)．最後に「⑤Avatar Jockey についてご感想があればお聞かせください」という自由記述の質問の回答をいく

図13 アンケート結果①

つかあげる．「VR,MR,AR が同期プレイ可能な点が良かった．」，「MR と VR,また物理的な電飾が共有されている点が非常に面白かった」等，共有への関心がいくつかあった．
また，「MR の方が動かすのが難しかった．」「MR の操作性を上げてほしい．」といった MR デバイスの操作性の指摘をもらった．こちらの改善は今後の課題である．

図14 アンケート結果②

図11 体験者の年齢，性別
図15 アンケート結果③

図12 VR・MR の所持・経験

図16 アンケート結果④© 2023 Information Processing Society of Japan359

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

6. 考察
6.1 X R を用いた音楽体験について体験展示のアンケート結果から，年齢・性別・音楽経験の有無，VR/MR デバイスの経験有無に関わらず音楽体験にXR を持ち込むことに対してポジティブな回答を得ることができた．操作性の悪さやデバイス装着の煩わしさがあるにも関わらず体験者全員がポジティブであったことには驚きである．Avatar Jockey を使った複数人での音楽体験が音楽として成立せず不快であればこのような結果にならなかったと推測する．
6.2 セッションについて
現実空間同士の参加者，もしくは現実空間と仮想空間の参加者は，体験展示においてお互いの存在を認識しながらAvatar を配置したり Cube を触ったりし演奏していた．ただ操作に慣れるにはもう少し時間が必要で出したい音を自由に出している感じではなかった．狙った音ではないにしても自分が出した音が他の参加者が出した音と馴染む感じは体験してもらえ，広い意味でセッションしたと考える．
また立体音響の音楽空間なので，HoloLens2 での参加者は空間を歩きながら，空いているスペースを探し Avatar を配置する傾向があった．
6.3 XR を用いた観客参加型ライブパフォーマンスの可能性
問題意識として提示した現在ある音楽体験の多くが演者から鑑賞者への一方通行の体験であり演者と鑑賞者の間で音を使ったやりとりが乏しく参加性が薄いという問題に対し，Avatar Jockey を使えば AJ のパフォーマンス限定ではあるが参加者の音楽経験を問わず演者の演奏に音を使って参加する体験ができる可能性があると考える．今回の体験展示では演者がおらず全員が鑑賞者という位置付けではあるが，体験者同士お互いが出した音を聞きながら音を出すという体験をしてもらった．体験後の感想としては，「MRと VR，また物理的な電飾が共有されている点が非常に面白かった」，「VR．MR，XR が同期プレイ可能な点が良かった」といったものがあり，複数人が参加して音楽体験を共有出来るという点でポジティブな反応をもらった．Avatar
Jockey に習熟した演者が質の高いパフォーマンスを行い，そのパフォーマンスに対して現実空間と仮想空間から観客が演奏に参加する体験は，今回の体験展示より質が上がると考えられるので観客参加型ライブパフォーマンスとして

1C-55
2023/3/1

一度限りのライブ空間を作れるアプリケーションにする必要がある．誰がやっても同じだと一回性に乏しくライブ体
験とは言いにくい．ただ観客に自由度を持たせすぎると音が溢れ演者が狙ったパフォーマンスになりにくいと想像できるので，演者と観客でアプリケーションの機能を分ける等の対応が必要である．今回は体験展示で１回あたり 2,3人の体験だったが，次回は実際にライブパフォーマンスを行い，観客には VR/AR/MR のデバイスで参加してもらい，観客参加型ライブパフォーマンスが成立するかを検証した
い．
参考文献[1] Shoki Miyagawa, Yuki Koyama, Jun Kato, Masataka Goto,and Shigeo Morishima. Placing music in space: A study onmusic appreciation with spatial mapping. In Proceedings ofthe 2018 ACM ConferenceCompanion Publication on
Designing Interactive Systems, DIS ’18 Companion, page
39–43, New York,NY, USA, 2018. Association for
Computing Machinery.
[2] Lawrence Lim, Wei-Yee Goh, Mara Downing, and Misha
Sra. A Spatial Music Listening Experience in AugmentedReality, page 23–25. Association for Computing Machinery,
New York, NY, USA, 2021.
[3] Ryu Nakagawa and Ken Sonobe. 2020. Encounters 2.0: A
Multi participant Audiovisual Art Experience with XR. InProceedings of SIGGRAPH 2020 Immersive Pavilion(No.17) ACM.
[4] Kaneko, T., Tarumi, H., Kataoka, K., Kubochi, Y.,Yamashita, D., Nakai, T., and Yamaguchi, R.: Supporting
the Sense of Unity between Remote Audiences in VR-BasedRemote Live Music Support System KSA2, Proceedings of2018 IEEE International Conference on Artificial
Intelligence and Virtual Reality (AIVR2018), IEEE,
pp.124-127 (2018)[5] Seiichiro Takeuchi, Kyoko Hashiguchi, Yuki Homma, Kent
Kajitani, Shingo Meguro. GIBSON: AR/VR synchronizedcity walking system. In SIGGRAPH Asia 2021 XR(SA '21)
(No.9) ACM.
[6] お台場ヴィーナスフォートでインタラクティブな XR 体験提供の実証実験
https://www.mori.co.jp/company/press/release/2021/07/20
210706150000004206.html[7] border 2021
https://www.youtube.com/watch?v=4w3yr4XP3Y4[8] 伏田 昌弘,平林 真実 : Avatar Jockey を用いた現実空間と仮想空間を繋いだ表現システムの試作 インタラクション
2022成立すると推測する．

7. まとめと今後の展望
XR を用いた観客参加型ライブパフォーマンスの可能性について考えた．Avatar Jockey の仕組みで出せる音源は 15種類と限定的なので表現の幅を広げる為に改良が必要である．また，観客の演奏に個性が反映される仕組みを入れ，© 2023 Information Processing Society of Japan360