情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D03
2022/2/21

Avatar Jockey を用いた現実空間と仮想空間を繋いだ表現システムの試作伏田昌弘†1平林真実†2

概要：インタラクション 2020/2021 で発表した Avatar Jockey は，映像作品を見ている感覚に近い鑑賞体験である音と映像を反応させて行うオーディオビジュアルパフォーマンスと，演者を見て何の楽器を操作し,どんな音を出しているかを理解しながら鑑賞するバンドライブの違いに着目し提案したインタラクティブな表現システムである．具体的には複数人で Mixed Reality 空間を共有し，音源となる Avatar を配置・操作する事で音楽的なパフォーマンスを行う AR/MRアプリケーションである．本論文では Avatar Jockey を VR 対応し，現実空間と仮想空間を繋いだインタラクションを試作する事で Covid-19 のパンデミック以降増えたオンライン配信ライブや仮想空間でのライブ，制限されたリアル会場でのライブ等で得にくくなった臨場感や高揚感に変わる新しい音楽ライブ体験を提案しその可能性を探る．

1. はじめに
Covid-19 のパンデミック以降,YouTube や Twitch 等の配信プラットフォームを使ったオンラインでの音楽ライブがを空間に配置して音楽空間を作るアプリケーション「Avatar Jockey[1][2]」の VR 版を開発し，現実空間と仮想空間を繋いでインタラクションさせることで新しい音楽体
験を試作した．

多く行われるようになった．ラップトップの画面で鑑賞する音楽ライブの生配信は，Club やライブハウス等のリアルの音楽会場で参加する事に比べ観客は演奏者を鑑賞しやす

2. 先行事例・関連研究

いメリットはあるが，音楽空間を生で共有しているという関連研究として薗部らの HoloLens，SteamVR などで構成臨場感が少ない．また，リアルの音楽会場では他の観客のされるクロスリアリティ（XR）システムによる多人数参加リアクションを視覚的に感じることができるが，オンライ型のオーディオビジュアルアート体験が可能なンでの音楽ライブではチャットツール等を使いテキストベ「Encounters:2.0[3]」がある．この作品は，物理的な音とバースで感じるため，臨場感は薄い．VR の HMD の普及に伴ーチャルな視覚的効果を使うことで，物理的な空間と仮想い，仮想空間での音楽ライブも少しずつ増えている．HMD的な空間を繋げ，自分の前にある物理的なものをより意識を装着して参加する仮想空間で行われる音楽ライブでは，させてくれる．株式会社 MESON が開発した「GIBSON（ギステージ上にいる Avatar が DJ プレイしている様子を鑑賞ブソン）[4]」は，離れた場所にいるユーザーがあたかも物するといった場合が多い．観客は，Avatar で会場に入り理的に同じ街にいるように一緒に歩くことができる

emotion 機能で盛り上がりを周りの観客に伝え共有する．

AR/VR 横断型の新たなコミュニケーションシステムであHMD を使用すると没入度が高まりラップトップで参加する．森ビル株式会社と株式会社 NTT ドコモは、森ビルがる音楽ライブよりは臨場感が高い．ただ，VR だからこそで「お台場 ヴィーナスフォート」を舞台に、現実の景観とデきる体験が少なくリアル会場での模倣といった要素が強いジタルコンテンツを融合させた XR 空間上で，遠隔地からと感じる．

も現地にいるかのようにショッピングやフィールドゲーム

Covid-19 のパンデミック以降のリアル会場の変化を考えの体験を可能とする実証実験[5]を行った．ライゾマティクてみる．入場者数が制限され観客同士の間隔も決められる

スの「border2021」[6]では，現実と仮想が交差する空間を自ことにより，音楽ライブ独特の密着感によって得られる高動運転の車椅子で HMD を装着し体験する．垂水らの仮想揚感を味わいにくくなった．そこで本論文では，オンライ現実による遠隔音楽ライブシステム「KSA2」[7]がある．

ン音楽ライブ配信，仮想空間で行われる音楽ライブ，人数や人との距離が制限された中で行われるリアル会場での音楽ライブ といった Covid-19 のパンデミック以降変化した音楽ライブ体験に対し，リアルとバーチャルを繋いだ新し3. システムの概要
3.1 Avatar Jockey の VR 版開発について

い音楽体験を提案し考察する．具体的には，以前発表した

HoloLens2 で開発した Audio Visual 3D Sampler である

HoloLens2，iPhone・iPad で空間を共有し音源となる Avatar

Avatar Jockey を VR の HMD である Meta Quest 2 に実装した．操作方法は HoloLens2 ではハンドトラッキング機能を†1 東京コンピュータサービス株式会社†2 情報科学芸術大学院大学 メディア表現研究科© 2022 Information Processing Society of Japan755

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D03
2022/2/21

使い，手のジェスチャーでアプリケーションを操作していCube が仮想空間と現実空間に出力され，HoloLens2 や Meta

たが，Meta Quest 2 版ではハンドトラッキングによるジェ

Quest2 の参加者がそれに触れると音が鳴る．このインタラ

スチャーよりも操作性が良いモーションコントローラーをク シ ョ ン の 設 計 と し て は ， iPhone/iPad の 参 加 者 が使い実装した．また，モーションコントローラーのアナロ

HoloLens2 や Meta Quest2 の参加者の位置を確認し，その近グスティックで仮想空間を移動する様に実装した．

くに Cube を投入することで HoloLens2 や Meta Quest2 の参加者が Cube を使った演奏をすることを期待するといった

3.2 AR/MR と VR の空間共有ものである．

現実空間から HoloLens2，iPhone/iPad で体験者は参加し，仮想空間からは Meta Quest 2 で参加する．現実空間と仮想空間は位置を共有し，参加者同士はお互いを Avatar として認識し合う．参加者同士のリアクションは，手を振ったり等の腕の動きでとることができる．（図１）

図 2

UI

4.2 身体ハック
現実空間と仮想空間を繋いだインタラクションの一つとして，仮想空間からの参加者の身体を音源となる Avatar(以降楽器 Avatar)に閉じ込めるインタラクションについて説
図 1

V R 参加者をアバターとして認識明する．この機能は VR の特徴の１つであるプレイヤーの視点をプログラムで自在にコントロールできることを利用

3.3 システム構成する．まず，空間に音源となる楽器 Avtar を出現させる．

通信プロトコルを事実上 LAN でしか使えない OSC

現実空間に Avatar として存在する仮想空間からの参加者を，（Open Sound Control）から IoT 向けの軽量通信プロトコル

HoloLens2 を装着した現実空間からの参加者がエアタップ

MQTT（Message Queueing Telemetry Transport）に変更し，すると，仮想空間からの参加者の視点が踊っている楽器

遠隔からも VR で参加できる様に実装した．

Avatar の視点に移動させられる(図３)．移動後，10 秒で視点は元の位置に戻る．視点が楽器 Avatar になっている間，3.4 操作方法

体験者の視野は楽器 Avatar の踊りに合わせて揺れ，身体がAvatar Jockey の操作方法について記述する．HoloLens2 版

ハックされ楽器 Avatar に閉じ込められている感覚になる．

では，エアタップすることで音源となる Avatar を出現させまた，楽器 Avatar に身体が閉じ込められている間，楽器操作する．Avatar の種類は，エアタップする手の位置座標

Avatar の色が白くなり第三者からも中に人がいることをわで決定している．図 2 で示す様に縦方向に楽器の種類が 5かるようにした(図 4，5)．

種類．下から，Drum，Bass，Code，Melody，Voice となっている．横方向に楽器のフレーズ３種類が配置されている．
今どの楽器のどのフレーズを選択しているかは視界の中央に表示される．VR 版ではモーションコントローラーのトリガーボタンを押すことでエアタップと同等の操作ができる．

4. 仮想空間と現実空間のインタラクション
仮想空間と現実空間を繋ぐインタラクションについて記述する．

図 3

身体ハックイメージ図

4.1 ワンショット音源を使ったインタラクション
iPhone/iPad をタップすると，ワンショット音源となる© 2022 Information Processing Society of Japan756

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D03
2022/2/21

5. 実験
5.1 VR-AR-MR を繋いだ音楽ライブ
4.1 で述べたワンショット音源を使ったインタラクションを用いて HoloLens2 2 名，Meta Quest2 2 名，iPhone/iPad 各１名の計 6 名の参加者で Avatar Jockey を使った音楽ライブ体験の実験を行った（図７)．HoloLens2 の参加者と Meta
Quest2 の参加者は，ループ音源となる楽器 Avatar を空間に
図 4配置し，音とダンスの空間を構築する．iPhone・iPad の参身体ハック前加者は空間を移動しながらリアルタイムに構築される音楽空間を鑑賞する．また iPhone・iPad をタップすることで空間にワンショット音源となる Cube を出力し HoloLens2/Meta Quest2 の参加者が Cube を触って音を出すことを期待する（図８）．Meta Quest2・HoloLens2 の参加者は，鳴っている音楽に合わせ音源となる Cube にタイミングよく触ることで演奏する．（図９）

図 5

身体ハック中4.3 仮想空間から現実空間へのインタラクション
4.1 で説明した様に，現実空間から iPad で参加している参加者が iPad をタップすると音源となる Cube が空間に出力される．この Cube は仮想空間にも同様に出力され，仮想空間の参加者がこの Cube に触れると仮想空間と現実空

図 7

実験の様子

間で音が鳴り現実空間にある LED ポールが光る．そして，LED ポールが光ったことを仮想空間から確認できる(図６)．
これは，音楽ライブ中に演出として仮想空間からリアルタイムに現実空間に影響を与えることができ，現実空間と仮想空間を繋いだインタラクションである．

図 6

図 8

実験の様子（AR）

図 9

実験の様子（V R）

現実空間と仮想空間のインタラクション© 2022 Information Processing Society of Japan757

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5.2 身体ハックの実験

6D03
2022/2/21

点が映り 10 秒間身動きが取れなくなる．Avatar が白く光

HoloLens2１名，Meta Quset2 1 名の環境で身体ハック機ることで，他の参加者からも人が閉じ込められているとわ能の実験を行った．実験方法は楽器 Avatar を配置した後，かる．Avatar Jockey で作る音楽空間では，楽器 Avatar は，Meta Quest2 のプレイヤーAvatar を HoloLens2 の参加者がエマネキンとして存在する．その楽器 Avatar の中に実は人アタップする事で楽器 Avatar の視点に強制的に移動する事がいるという演出を混ぜることで，現実と仮想を混ぜ合わで行った．体験者からの感想は，「視界が揺れすぎて酔う」，せた体験を音楽ライブに組み込む事を狙った．音楽ライブ「色んなダンスの視点になってみたい」といったものがあの中に今後組み込み効果を検証していく．

った．今後は，ライブ体験の流れの中で実施し，どういう効果があるかを検証していく．

7. まとめと今後の展望
以前 MR のアプリケーションとして発表した Avatar

5.3 仮想空間から現実空間へのインタラクションの実験
4.3 で述べた仮想空間の Cube を触ることで現実空間のJockey を VR 対応し，さらに現実空間と仮想空間を繋いだ

LED ポールを光らせ，仮想空間からそれを確認するというインタラクションを実装し実験した．まだまだ実演の回数インタラクションの体験を行った．仮想空間から現実空間は少ないが，観客参加型の音楽ライブパフォーマンスのプを覗けるという事に対する驚きが多く，さらにリアルタイラトフォームとしては新しい体験を提案できたと考える．

ムにインタラクションができることへの関心が多かった．

今後，時間軸を持ったストーリー性のあるコンテンツを実ただ，仮想空間と現実空間の一致性を感じ難いという意見装し，それを使った実戦の中で今回提案したインタラクシもあり，リアル空間を 3D スキャンし現実空間とのデジタョンがどう機能するかを検証していく．

ルツインの中で体験すると，この体験の価値が上がると感じた．

参考文献
[1]

6. 考察

[2]

6.1 現実空間と仮想空間のセッション[3]

現実空間と仮想空間にいる参加者がお互いを Avatar として認識し合うことで，ギターやベース等の楽器を使った[4]セッションのような体験を現実空間と仮想空間を繋いで作れないかと考えた．現実空間，仮想空間ともに誰かが空間にいて Avatar を配置したり，Cube を触ったりして音を[5]出しているということはわかるが，お互いの音を意識しながらセッションしているという感覚には，まだ遠いと感じた．ただ無意識に聞こえる音の影響を受け，空間を移動し音源を配置している様子は見受けられた．

[6]
[7]

伏田 昌弘,平林 真実 : Avatar Jockey: 複合現実を用いた Live
空間の提案 インタラクション 2020
伏田 昌弘,平林 真実 : Avatar Jockey における表現システムの拡張 インタラクション 2021
Ryu Nakagawa and Ken Sonobe. 2020. Encounters 2.0: A
Multiparticipant Audiovisual Art Experience with XR. In
Proceedings of SIGGRAPH 2020 Immersive Pavilion (No.17) ACM.
Seiichiro Takeuchi, Kyoko Hashiguchi,Yuki Homma, Kent Kajitani,
Shingo Meguro. GIBSON: AR/VR synchronized city walking
system. In SIGGRAPH Asia 2021 XR(SA '21) (No.9) ACM.
お台場ヴィーナスフォートでインタラクティブな XR 体験提供の実証実験．
https://www.mori.co.jp/company/press/release/2021/07/202107061
50000004206.html
border 2021 https://www.youtube.com/watch?v=4w3yr4XP3Y4
中井智己，山下大貴，片岡佳椰，山口亮大，金子辰善，窪地祐貴，垂水浩幸（香川大）：仮想現実による遠隔音楽ライブシ
ステム KSA2 における演奏者インタフェースの開発 情報処
理学会第 80 回全国大会 3ZE-06

6.2 仮想空間から現実空間へのインタラクション
現実空間からの参加者が iPad をタップして，Cube を投入し，その Cube を見つけた仮想空間からの参加者が，触って音を出すといった一連の体験の流れを設計した．その先に，仮想空間で Cube を触ると現実空間の LED ポールが光り，それを仮想空間からも確認できる体験も加えた．
つまり現実空間から仮想空間へ，そして仮想空間から現実空間に戻すといったインタラクションである．この体験を通じて参加者が現実空間と仮想空間に意識的になる事を狙った．今後，実戦の中で使っていく事で効果を確認していく．
6.3 身体ハックのインタラクション
現実空間の参加者が仮想空間からの参加者に対してエアタップすると，空間に既に存在する音源のアバターに視© 2022 Information Processing Society of Japan758