情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-582023/3/1

バーチャルライブにおけるアバタの動作を通じた観客同士のインタラクションが臨場感に与える影響に関する研究
YANG GUANG1,a)

松村 耕平1,b)

岡藤 勇希1

概要：バーチャルリアリティ（VR）技術の広がりにより、バーチャルライブと呼ばれる、VR 空間上で行われるイベントが開催されるようになった。ここでは、観客は VR 空間上にアバタとして参加し、その空間において同様にアバタとして参加する出演者による催し（例えば音楽ライブ）を楽しむことができる。
このようなバーチャルライブ環境では、現実世界では実現し難いビジュアルエフェクトを表現することができ、新しいライブの楽しみ方として普及が期待されている。しかし、現在のバーチャルライブ環境の中には臨場感に欠ける問題を含むものがある。この問題は他の観客の動きが十分に反映されず、画一的なものになっていることで引き起こされている可能性がある。本研究では、バーチャルライブ環境における臨場感に対して観客同士の動きのインタラクションがどのように影響するのか調査する。バーチャルライブを模した環境において研究室実験を行った結果、観客同士の動きのインタラクションが臨場感に影響を与えることが示唆された。

1. はじめにれた動きをするダミーアバタの 2 種類を定義し、あるユーザの周りにいる観客のアバタの種類とその割合を変更する

インターネットおよび VR 技術の発展により、バーチャことによって仮説を検証する。検証によりバーチャルライル空間内で行われるライブイベント（バーチャルライブイブイベントにおける観客同士のインタラクションの必要性ベント）が盛んになってきている。バーチャルライブイベについて議論することができる。この議論を通して、バーントでは VR 環境上でアバターを媒介として出演者がライチャルライブイベントにおける臨場感の向上に寄与できるブパフォーマンスを行うことや観客とのコミュニケーショと考える。

ンをとることができる。しかし、現在のバーチャルライブイベントにおいては観客同士の間のインタラクションが十分に考慮されておらず、現実のライブイベントで観客が得

2. 関連研究2.1 オンライン音楽ライブの双方向化に関する研究ることができるような臨場感がバーチャルライブイベント

山崎らは [2]、オンライン音楽ライブの双方向化についでは得られない可能性がある。臨場感とは、バーチャルラて、オンラインで出演者と観客の一体感を向上させるシス

イブを実際にその場にいて生で視聴しているように、今後テム「VibeShare::Performer」を提案・開発し、ミュージッとも関わり続けるような感覚で自己満足できる評価指標でクバーで開催されるオンラインライブにて実証実験を行っある [1]。

た。その結果、3 日間の実験で観客から合計 108,031 回の本研究では、アバタを通じた観客同士のインタラクショエモートが送られ、それらを配信と会場内での時間差を考ンがバーチャルライブで得られる臨場感にどのように影響慮する「未来カンペ」とともに、拍手音効、スタジオへのするのかを検討する。現在のバーチャルライブイベントの投影、出演者への触覚刺激に変換してライブ内で使用する

プラットフォームでは、あるユーザの周りにいる他の観客ことで、観客の存在感を出演者と体感・共有に成功したこ（アバタ）の動作は、予め決められた動きを繰り返すデザとがわかった。

インとなっている。このデザインが臨場感を失っている原

本研究では触覚フィードバックだけでなく、VR ライブ因と仮説立てる。本研究では、アバタの種類として参加者ステージの参加者同士のインタラクションを双方向化する

自身が動きを操作するユーザアバタと、あらかじめ決めらため、臨場感を上げる目的として視覚表現およびダミーア1a)b)立命館大学 情報理工学研究科
is0441pf@ed.ritsumei.ac.jp
matsumur@acm.org© 2023 Information Processing Society of Japan

バタのモーション付けにより視覚表現と視点変化などの条件を変えることで検証実験を行った。

1009

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-58
2023/3/1

この研究でのシステム構築および結果検討により、バーアバタについて、ケミカルライトの動作を (1) 一定の動きチャルライブで参加者同士のインタラクションの双方向化を繰り返すもの、(2) 他の参加者としてラバーチャルライを実現することが可能になり、バーチャルライブで人間とブに参加する実験協力者の動作を実時間で反映したもの、アバタ間のインタラクションができることが分かった。の 2 種類に分類する。このうち（1）ではアバタは特定の動きを繰り返してケミカルライトを振る。これをダミーアバ

2.2 生体情報によるエージェント振る舞いと感情表現を用いた一体感向上に関する研究

タと定義する。一方 (2) では、実験協力者は自身のコントローラを動かすことでケミカルライトを操作できる。これ阿部らは [3]、生体情報によるエージェント振る舞いと感をユーザアバタと定義する。実験では、全体のアバタ数に情表現を用いた一体感向上について、一体感を向上させる

対してダミーアバタとユーザアバタの割合を変えることでバーチャルライブシステム「Hype Live」を開発し、バーインタラクションの有無が臨場感に与える影響を調査する。

チャルライブ参加者の脈拍情報をもとに推定された感情に具体的には、図 1 を示すように、ダミーアバタと参加者基づくエージェントの振る舞い動作と、感情を表す絵文字が使用するユーザアバタに併せて、それぞれダミーアバタや記号をエージェントの頭上に表示させることで一体感をの数を会場内アバタ総数の 0%から 100%の割合でダミーア向上させるシステムを構築した。その結果、参加者の生体バタをバーチャル空間内のライブステージに配置し、違う情報を基に推定した感情表現の提示や、参加者全体から推配置条件の実験シーンを作成する。0%はライブに参加す定した感情を反映した振る舞いを行うエージェントの表示

る 5 体のアバタのうち実験参加者以外の 4 体すべてダミーを行うことにより構築されるバーチャルライブでは、一体アバタとする条件である。50%は実験参加者以外の 4 体の感の向上ができる可能性が高いことが示唆された。

うち 2 体をダミーアバタ、2 体をユーザアバタとする条件

この研究が従来の研究と違って、腕時計型デバイスを用である。100%はライブに参加する 5 体のアバタすべてをいて感情表現を測定するだけでなく、高い共感を持つバー

実験参加者、あるいは実験協力者がユーザアバタとして操チャルライブでのインタラクションを実現するため、ライ作する条件である。

ブ会場の出演者を除いて、参加者と参加者の間に混ぜたダミーアバタの振る舞い、表情および会場内の移動などの条件を用いて、エージェント振る舞いと感情表現を用いた一体感を参加者同士のインタラクションに用いることが実現できた。
この研究で開発されたシステムを用いて、アバタの振る
舞いと感情表現を用いた一体感を測定するだけでなく、参加者と参加者の間に混ぜたダミーアバタの振る舞およびケミカルライトを持つ動きなどの条件を用いて、アバタのバーチャルライブに配置するアバタの割合が観客への臨場感に対する影響について検討することができると考える。

3. インタラクションデザインと VR 環境

図 1バーチャルライブステージ会場内アバタの割合と配置位置(一例)

参加者は図 2 に示すように、ケミカルライトを持ちなが本研究では、観客同士のインタラクションの有無が臨場らバーチャルライブを観覧することができる。ケミカルラ感に与える影響について実験的に検討を行う。ここでは、

イトは図 2 に示すようにコントローラの動きに合わせて動観客同士のインタラクションデザインと開発した VR 環境

かすことができる。黒い丸の部分を手が握るハンドルとなについて述べる。

り、そこを中心にケミカルライトを移動・回転できる。こ

実験の環境構築として、アバタが参加できるバーチャルの 3 軸の移動・回転は図 3 で示される VR デバイスであるライブ環境を構築する。ここでは出演者 1 名が音楽ライブ

Oculus Quest2 のコントローラの動作に対応している。参として曲に合わせて動いている。参加者はアバタとして当加者は Oculus Quest2 のコントローラを右手に把持し、こ該の環境に参加する。参加者はケミカルライトを持ち、コれを自由に振ることによってバーチャルライブ上でアバタントローラーを用いてそのケミカルライトを自由に振るこが持つケミカルライトの動きとして反映できる。とができる。

VR 環境には最大 5 名（5 台のデバイス）のユーザアバアバタの動作を通じた観客同士のインタラクションが臨タが参加できる。ユーザアバタのケミカルライトの動き場感に与える影響を検討するための要素として、本研究では PUN2 フレームワークを用いてリアルタイムに同期さ参加者のアバタが持つケミカルライトの動作に着目する。

れる。また、このバーチャルライブ中の動作はシステムに1 名の実験参加者が操作できるアバタの周囲に配置されたよって記録される。

© 2023 Information Processing Society of Japan1010

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-58
2023/3/1ションの有無がバーチャルライブの臨場感に与える影響を調査する。

4.2 実験内容
参加者はバーチャルライブ会場に観客として参加する。
ライブ会場には出演者 1 体と参加者 1 名を含めた観客のアバタ 5 体が参加する。参加者は HMD（Oculus Quest2）を装着し、右手にはコントローラを把持する。コントローラの動きはバーチャルライブ環境上では参加者のアバタが持つケミカルライトの動きとして反映される。参加者はケミ
図 2構築されたライブ環境とインタラクションを行うケミカルラ
イト（第一人称視点）

カルライトを振ることで、ライブ出演者を応援することができる。
ライブ出演者はおよそ 3 分間の間、バーチャルライブ会場に準備されたステージ上で曲を歌い、また、曲に合わせてダンスをする。
バーチャルライブ会場において観客のアバタの種類を 2種類準備する。1 つ目のアバタ（ダミーアバタ）はケミカ
ルライトを一定の動きを繰り返すように設定される。2 つ目のアバタは実験参加者と同様に、HMD を装着した実験協力者が右手に把持するコントローラの動きがケミカルラ
イトの動きとして実時間で反映されるもの（ユーザアバタ）である。
このとき、ダミーアバタとユーザアバタの割合を変更することで、インタラクションの有無（強度）を制御する。
これによりインタラクション強度と臨場感の関係性を調査できる。
図 4 は実験の環境を概略したものである。参加者は小部屋に案内され、HMD を装着してバーチャルライブに参加する。バーチャルライブではダミーアバタとユーザアバタの割合が 0%、50%、100%の 3 種類に制御される。このう
ち 50%ないし 100%のとき別室にいる実験協力者がユーザアバタとして参加する。実験参加者はどのアバタがダミーアバタないしユーザアバタかを事前に知らされない。事前の検証実験の結果を踏まえ、アバタの配置は図 5 に示される配置とした。

図 3

リアル環境でコントローラの座標軸（第一人称視点）

4. 実験
4.1 目的
インタラクションの有無（強度）が臨場感ににもたらす影響の評価実験を実施する。前章で述べたようなバーチャルライブ環境において、実験参加者は HMD を装着してユーザアバタとして参加する。バーチャルライブ環境には実験参加者の他に出演者 1 体と観客のアバタ 4 体が表示される。このうち、観客の全体のアバタ数 4 に対してダミー

図 4

検証実験の実験環境図

アバタとユーザアバタの割合を変えることでインタラク© 2023 Information Processing Society of Japan1011

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-58
2023/3/1

クションを評価する。具体的には、ケミカルライトの 3 軸の回転動作について、自己相関関数（ACF）と相互相関関数（CCF）を求める。
自己相関関数からは、参加者が周期的な動作をしているかどうかを判断することができる。ここで、ライブシーン中で利用される音楽に合わせてケミカルライトを操作していれば音楽のリズムに対応する lag において、自己相関関数における相関係数が最大となることが予想される。
相互相関関数においては、実験協力者のケミカルライトとの相互相関関数を算出することによって、参加者が実験協力者に合わせてケミカルライトを振っているかどうかを判別することができる。
図 5

評価実験で利用したバーチャルライブステージ

例えば実験において、0%条件のときに自己相関関数のピークが音楽のリズムに対応する部分にあり、またそれが4.3 手順

十分に高い参加者が、100%条件のときに自己相関関数の係実験は、以下の手順で行われる。まず、実験参加者には数が低下し、実験協力者との相互相関関数において一定の実験内容の説明と、実験参加の意思を確認する。その後、相関係数が得られたとき、その参加者は 100%条件のとき実験中での操作に馴致するためのチュートリアルを実施に他の参加者とのインタラクションがあったとみなせる。

する。チュートリアルではコントローラを右手に持ちケミ一方で主観的な評価からは臨場感や他者との協調性に関カルライトを振ることができる。その後、ダミーアバタとわる心理尺度を用いた評価を行う。この尺度の項目についユーザアバタの割合を 0%から 100%の範囲で 3 段階に調整ては先行実験を行い決定した。アンケート項目は、情動的したバーチャルライブ環境での実験を計 3 回実施する。ア共感性尺度 [4] と相互独立的ー相互協調的自己観尺度 [4] とバタの割合の順序は順序効果が生じないように調整する。

いう心理尺度から実験の評価に関係しないと考えられるもバーチャルライブ実験では、チュートリアルと同様に、参のを著者を含む 3 名が評価して選定した。心理測定尺度集

加者が HMD を装着し、コントローラを右手に持ち、3 分

で検証された評価手法で五段階評価を用いて、各質問に点程度のバーチャルライブシーン中でケミカルライトを振っ数を被験者に付けて、平均と合計点数を計算することで情て出演者アバタに向けて応援することを依頼する。

動的共感性尺度と相互独立的ー相互協調的自己観尺度で評

各回のバーチャルライブ実験後に、参加者に対して簡易価した感情的被影響性、相互独立性、相互協調性を求める。

なインタビューと臨場感に対する評価スケールへの回答

臨場感に関する主観評価においては、それぞれの実験を依頼する。インタビューの内容は後の分析のために録音シーンに対する臨場感を一対比較法によって回答する。こし、アンケートの結果に合わせて実験結果の分析を行う。

こでは主にライブステージで感じる臨場感の優劣をシェッ3 回目の評価アンケートとインタビューを終えたら、実験

フェの方法による一対比較で回答する。

を終了する。

4.6 実験結果
4.4 参加者

各被験者がそれぞれのアバタ割合条件での実験後にそれ実験には機縁募集した 21〜25 歳の大学生 7 名（うち女ぞれの実験シーンに対する臨場感評価スケールに答えた。

性 1 名）の被験者が参加する。参加者に VR やバーチャル評価スケールは、主にライブステージで感じる臨場感をライブ経験を日常的に経験しているものはいない。この 7

シェッフェの方法により一対比較によって回答する。その名のほか、実験においてユーザアバタを操作する実験協力

結果、半数弱 (被験者 1,5,6) の被験者は、順番にも関わらず者 4 名が参加する。

ユーザアバタのみの条件が最も臨場感が高いと評価した。
シェッフェの方法により一対比較法（原法）の評価手法を4.5 評価評価は客観的な方法と主観的な手法を組み合わせて実施する。

用いて、三つのアバタ割合条件の嗜好度を計算した。その結果、図 6 に示すように、ユーザアバタのみの条件が最も被験者に臨場感が高いと評価したことが分かった。

客観的な方法としてはケミカルライト（コントローラ）

客観的な評価結果として、参加者が各アバタ割合実験条の動作に注目する。参加者はコントローラを操作すること件で得られたの自己相関関数 (ACF) と各アバタ割合条件で、アバタの持つケミカルライトを動かす。このケミカルでバーチャルライブ中ダミーアバタとユーザアバタのケミライトの動作に注目して、参加者とアバタの間のインタラカルライトの回転データと被験者のケミカルライトの回転© 2023 Information Processing Society of Japan1012

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-58
2023/3/1に合わせていたことがわかった。

5. まとめこの研究では、バーチャルライブで異なる種類のアバタが使用したケミカルライトの動きの変化により、バーチャルライブにおけるアバタの動作を通じた観客同士のインタ
図 6

一対比較法（シェッフェの原法）の評価結果データで得られたの相互相関関数 (CCF) を用いて、参加者間インタラクションが起こる条件の結果を数値的に分析した。具体的には、被験者と他のアバタの生データを得て、その中で被験者が最も変化する回転軸に注目し、その軸のデータをそれぞれ ACF と CCF を求め、それぞれ得られた自己相関係数と相互相関係数とラグの関係を分析する。検証実験と同じ曲を使用するため、ACF のデータでは、実験で使用した 140BPM の曲に対して周波数が 2.3Hz によって 43 ラグごとにケミカルライトを振る周期性を持てばリズムに合わせる傾向が証明されると想定される。また、特定アバタとの CCF のデータで被験者との相互相関係数が高いことが確認されたら、そのアバタのケミカルライトの動きに合わせて振る傾向があることが確認されるという結ラクションが臨場感に与える影響を調査した。ユーザアバ
タとダミーアバタ割合条件の検証実験を行い、その結果から参加者間インタラクションが臨場感にもたらす影響の評価実験を実施した。客観的な評価から、ユーザアバタのみの割合条件で相互相関係数が比較的に高く他人の動きに合わせて動く傾向があり、ダミーアバタのみの割合条件で自己相関係数が比較的高く音楽リズムに合わせて動く傾向があることが分かった。
以上の実験結果から、バーチャルライブ環境において、ユーザ同士のインタラクションが臨場感を向上させる可能性が示唆された。
参考文献
[1]

果になる。
具体的な実験結果について、0%のシーンで音楽リズムに[2]合わせて振るという ACF 条件を満足した被験者 1 と被験者 6 を選出し、その中最も変化が激しい軸（どちらとも x軸）のデータを取って、X 軸基準で CCF を比較した。そ[3]の結果、被験者 1 が 0%のシーンで右側のアバタとの相互相関係数が 0.4 程度で安定し、一緒に動いていることが確認された。また、被験者 6 が 100%で右前のアバタとの相互相関係数が 0.35 ほどで安定しており、そのアバタの動き© 2023 Information Processing Society of Japan[4]

西田文郎. 人間は「感情」に引きずられる動物である。ワクワク感がプラス思考を生み出す！. 人生を変える「その気」の法則 (2012 年 10 月)
山崎 勇祐, 白井 暁彦.VibeShare::Performer ―Emoji・触覚・音効によるオンライン音楽ライブの双方向化. 第 26回日本バーチャルリアリティ学会大会論文集 (2021 年 9月)
阿部 将士，Isidro Butaslac，秋吉 拓斗，Hangyu Zhou，
澤邊 太志，藤本 雄一郎.Hype Live：生体情報によるエー
ジェント振る舞いと 感情表現を用いた一体感向上 VR ライブシステム. 第 26 回日本バーチャルリアリティ学会大会論文集 (2021 年 9 月)
吉田富二雄, 宮本聡介. 心理測定尺度集 II. 情動的共感性尺度. 相互独立的ー相互協調的自己観尺度.(2018 年 4 月)

1013