情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-02
2020/3/9

Avatar Jockey: 複合現実を用いた Live 空間の提案
伏田 昌弘†1平林 真実†1

概要：本研究の目的は、複合現実を用いて、今までにない新しい音楽体験を生み出す Live 空間を作り、その中でパフォーマンスを行いその魅力や可能性を追求し考察することで提案を行うことである。具体的には Microsoft 社のMR デバイス HoloLens のアプリケーションを Avatar Jockey を開発し、HoloLens を複数台使用した観客参加型の音楽パフォーマンスについて検証・考察を行う。

1. はじめに今まで自身が行ってきた Live ハウスでのロックバンドの3. 作品について
3.1 新しい LIVE 空間について活動や飲食店で定期的に行われるジャズセッションへの参MR を用いた新しい LIVE 空間として、仮想空間(バーチ加、クラブ空間で行うラップトップ PC でのパフォーマンャル)をコントロールしているのが人間であり、パフォーマス、音楽ライブのイベント企画といった経験から音楽ラインスがバーチャルを操作することで行われているのが実空

ブの楽しみ方は演者のテクニックの差はあれど大きな変化間からも明確にわかるといった、通常の LIVE と同様となはないと感じていた。このことに対して筆者らは問題意識るような条件を考慮した新しい LIVE 空間の定義を行った。

を持ち、音楽空間にメディア技術を持ち込むことによってまず新しい LIVE 空間について述べる。

Live 空間自体を拡張し新しい表現を行うことで、観客に新①現実に重畳されているデジタル空間と音を参加者が共有しい音楽体験を提案できないかと考えた。そこで Mixedしていること。

Reality(以降 MR)という技術を用いて、アバターを操作し②3D 音響であること。て音楽的なパフォーマンスを行う Microsoft の MR デバイ③Live 空間の範囲に制約がないこと。

スである HoloLens のアプリケーション「Avatar Jockey」を④現実空間内に人間の手で音を自由に配置し 1 回限りの提案する。

音楽空間を生で構築できること。
⑤聴覚と視覚で立体的に音を感じられること。

2. 先行事例・関連研究⑥観客参加型音楽であること。
上記を満たす空間を新しい LIVE 空間と定義する。

本作品が関連する従来の研究や作品を以下に紹介する。
小松原らの複数人で体験する複合現実（mixed reality; MR)

3.2 Avatar Jockey

技術を用いたオーディオビジュアル・アート作品

アバターを操作し音楽的なパフォーマンスをする演者を「Multimodal connectoR」[1] 。この作品では人差し指と親「Avatar Jockey」(略称 AJ)と定義する(図 1)。AJ は空間を指による”Air tap”ジェスチャーによって、音の元となるエアタップ することで自由にアバターを出現させ演奏さノートオブジェクトを空間上に配置しているが、Avatarせることができる。(※エアタップ：人差し指を親指をくっ

Jockey では音ではなく、Drum 等のフレーズを配置していつけて離す動作)。

くところが差分である。仮想現実による遠隔音楽ライブシ
ステムとしては、 垂水らの KSA2[2]が ある。このシステ
ムは現実空間にいる演奏者が仮想空間にいる観客をスマートグラスでアバターとして見る。Avatar Jockey では、アバターを観客ではなく演者として、扱っている所に差分はあるが MR でアバターを現実空間に重畳させている点は共通である。筆者がインタラクション 2019 で発表した顔の輪
郭情報の抽出と感情（怒り）の AI 解析を組み合わせることで演奏手法の拡張を行う FaceSession[3]。この作品は複数人

図１

Avatar Jockey

で音楽のセッションをする点が Avatar Jockey と共通している。

パフォーマンスでは HoloLens を 3 台使用し、AJ と観客は-------------------------------------

見ている世界と音を共有している。観客もエアタップ でア† 情報科学芸術大学院大学 メディア表現研究科

バターを出現させ AJ のパフォーマンンスに参加することができる。エアタップしたアバターの動き出しと音の始ま© 2020 Information Processing Society of Japan815

情報処理学会 インタラクション 2020IPSJ Interaction 2020

りは 1 小節の頭に合う様に制御し音楽としての質を担保している。観客は MR 空間を歩き回りながら、自分の意思で好きな場所に自分と同じ背丈くらいのアバターを出現させ、踊らせ音楽空間を自由自在に構築することができる。
その空間を他者とも共有しているので、MR 空間内で他者とアバターを使ったセッションをしている感覚になることができ、今まで経験したことのない音楽体験ができる。(図2)

3A-02
2020/3/9

3.4 操作方法について
Avatar Jockey の操作方法について記述する。エアタップ
で出現するアバターの位置は、エアタップ する手の位置座標で決定している。図 4 で示す様に縦方向に楽器の種類が5 種類。下から、リズム、Bass、Code 楽器、Melody 楽器、Other となっている。横方向に楽器のフレーズが３種類配置されている。今、どの楽器のどのフレーズを選択しているかは視界の中央に表示される。

図4UI

●操作方法
①アバターを出現させる
図 2 AJ と観客3.3 システム構成
デバイスは、Microsoft の HoloLens を 3 台用いて AJ 用アプリと観客用アプリを制作した。音の再生情報とアバターの動作は HoloLens 間で OSC 通信で状態を送信し同期させた。オンラインゲームの実装でよく使われる Photon を使用
し HoloLens 間のアバターの位置情報を共有した(図 3)。AR
プラットフォーム Vuforia を使って各 HoloLens で AR マー
カを読み込むことで World の原点を一致させた。

手の位置を動かして選択し空中をエアタップ②アバターを踊らせ音を出す
配置したアバターをエアタップ③アバターを止める
踊っているアバターをエアタップ④エフェクトをかける
踊ってるアバターを Hold(人差し指を親指をくっつけたまま))⑤アバターを消す
アバターをダブルタップ

3.5 Avater Session
AJ と観客で Avater Session を行った。リアルタイムに空間認識しながら 360 度音響の環境で、アバターを配置しながら音場をリアルタイムに構築していく。(図 5、図 6)

図 5 AJ 目線
図3

システム概略© 2020 Information Processing Society of Japan816

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-02
2020/3/9

PA に渡し会場で鳴らした。実際のパフォーマンスでは、
HoloLens を被って３人にだけ見えている世界で何かをしていることはわかったが実際に何をしているかがわかりにくかったというフィードッバックを貰った。HoloLens を被っていない人に面白さを伝えるには、もう少し説明的な箇所を最初に見せる必要があると感じた。

図 6 観客目線

5. 考察
私が定義した新しい Live 空間に対する考察を述べる。
①現実に重畳されているデジタル空間と音を参加者が共

4. 実演
2019/11/18,19 に学内で Avatar Jockey の展示を行った。

有していること。

アバターの位置ズレはなく、空間・音共にスムーズに共有された。デジタル空間を共有してのパフォーマンスは体験展示を観に来られた方には、HoloLens を装着してもらい、したことがない何とも不思議な感じであった。

アバターを出現させ楽曲に参加することを体験してもらっ②3D 音響であること。

た。体験の流れは、「紹介動画(1 分)→使い方説明(2 分)→体現実空間では不可能なリアルタイムに音源を自由に空間に験(5 分)」といったものだった。

配置することで音楽にすることができた。体験者からも場体験者からは以下のようなフィードバックをもらった。

所によって聞こえ方が違うと言われたので効果はあった。
欲を言えば音源が移動させる演出も入れれば、新しい●フィードバック体験ができ良かったと感じた。

・参加型にしたことにより操作ができたので楽しんでもら③Live 空間の範囲に制約がないこと。

えた。

アバターは空間をタップさえすれば、どこにでも出せる様・エアタップしたアバターの動き出しと音の始まりは 1にしたので理論上制約はなし。ただ現実的にはパフォーマ小節の頭に合う様に制御したので、音楽的に成立し気持ちンスを行う会場にあった MR 空間を事前に準備し体験を設よかった。

計する。

・UI が直感的でよかった。

④現実空間内に人間の手で音を自由に配置し 1 回限りの音楽空間を生で構築できること。

●この展示のねらいと考察ありものの楽曲の再生でなく各楽器の音源の組み合わせで①AJ と観客との参加型音楽は可能か？

その時だけの音楽空間の構築ができた。体験者により違う

今でも可能と考えるが、UI をもう少し改善し簡単に狙っ空間となった。参加者が操作に慣れ、それぞれの音源をもたアバターを出せるようにすれば表現が広がると考える。

ちよりセッションできれば、さらに面白くなりそうである

実際に外で行う場合は体験時間に制限をかけないと疲れると感じた。

ので難しいと思う。

⑤聴覚と視覚で立体的に音を感じられること。

②パフォーマンスを磨けば面白くなる可能性はあるか？

音源の位置、再生/停止、エッフェクトあり/なしがアバター

パフォーマンスのバリエーション(音楽ジャンル、アバタにより一目でわかり感じられた。視覚的にも今の楽曲状況ーの種類 等)を考え試行錯誤しながら、実際のパフォーマの確認ができた。

ンスを繰り返し UPDATE すれば、面白くなると考える。

⑥観客参加型音楽であること。

③そもそも楽しい体験となるか？

操作が少し難しかったのはあったが、体験者には積極的に操作が少し難しかったのはあったが、体験者は積極的に参参加してもらえていた。体験に慣れてもらえれば、色々な加してもらえていた。体験に慣れてもらえれば、アイデアアイデアがうまれそうではあった。UI をもう一工夫する必が生まれる要があるとも感じた。

2019/12/22 に 九 州 大 学 大 橋 キ ャ ン パ ス で 行 わ れ た「NxPC.live vol.38」で実際に Avatar Jockey をライブパフォ

6. まとめと今後の展望ーマンスで使用した。HoloLens を 3 台使用し、1 台の音楽ライブの楽しみ方は演者のテクニックの差はあれどHoloLens のカメラ画像を windows の miracast 機能を使っ大きな変化はないという私の問題意識に対して、観客に新て、プロジェクションした。また、音もその HoloLens からしい音楽体験を与えることができたので、Avatar Jockey は© 2020 Information Processing Society of Japan817

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-02
2020/3/9

一定の成功をおさめた。
今 後 の 展 望 と し て 、 2019/02/23 に 学 内 で 行 わ れ る「NxPC.live vol.39」で Avatar Jockey を使用したライブパフォーマンスを行いフィードバックを貰い UPDATE する。

謝辞
本作品の制作過程で助言を頂いた赤松正行氏、小林昌廣氏に感謝します。

参考文献
[1]

Multimodal connectoR https://vimeo.com/310808134[2]

中井智己，山下大貴，片岡佳椰，山口亮大，金子辰善，窪地祐貴，垂水浩幸（香川大）：仮想現実による遠隔音楽ライブシステム KSA2 における演奏者インタフェースの開発 情報処理学会第 80 回全国大会 3ZE-06[3]

伏田昌弘 平林真実 小林孝浩: FaceSession:顔を用いて創出される音楽での観客参加型音楽の可能性 インタラクショ
ン 2019© 2020 Information Processing Society of Japan818