情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P08
2022/2/21

オンラインイベントにおけるインタラクションの実装と考察
千田竜也†1児玉幸子†1

概要：本研究では，様々な形態のインタラクティヴなオンラインイベントを行い，考察することでオンラインイベン
トにおけるインタラクション手法について検討することを目的とする．舞台の演者と観客，およびストリーミング視聴者が相互にインタラクションを行う劇を行い，演劇においては演者の即興性，観客の行動の自由度が重要であると考察した．また，VR 空間におけるインタラクションにおいては，狭い範囲のものと，広範囲に及ぶインタラクションをそれぞれ実装することが重要であることがわかった．

1. 研究背景することもできる．オンラインイベントで広く用いられているライブストリーミングサービスでは，参加者はコメン

演劇やコンサートは，一般に演者やアーティストが行うトやアンケートの機能を用いて，演者や他参加者とコミュ表現を参加者が受け取る一方性のものであるが，COVID-19ニケーションを行うことができる．松浦らはニコニコ動画の影響により，これらを行う舞台の在り方が注目されていにおけるコメント機能を用いた，視聴者参加型のゲームをる．その一つとしてオンラインイベントの需要が高まった．

開発した[5]．Zoom[6]などのビデオ通話があるプラットフ

オンラインイベントはその形式によっていくつかに分ォームであれば，リアルに近い状態で会話によるコミュニ類することができる．

ケーションも可能である．バーチャル空間を用いたイベン

一つはオンラインとハイブリッドである．インターネッ

トでは座席を指定されず，自由に移動することができ自由

トを通じた参加のみのオンラインに対して，ハイブリッドな視点での視聴も可能になる．しかし収録された映像を流イベントとは会場に人が集まって参加する一方で配信などす方式では参加者と演者でコミュニケーションをとることを通じて同時にオンラインでも参加可能なものをさす．リができず，インタラクションは生まれない．

アルイベントにおける臨場感や特別感，オンラインイベン

このようにオンラインイベントの需要は急増し，様々なトにおける参加ハードルの低さや参加可能人数の大規模な形式が存在するものの，インタラクションに焦点を当てた拡大と，両方の利点を得ることができ参加者の選択肢を増オンラインイベントは少ない．

やすことができる．
また，オンラインイベントの開催場所には，リアル空間，2. 本研究の目的と位置づけ

バーチャル空間，複合空間がある．リアル空間は実際の会

本研究では，様々な形態のインタラクティヴなオンライ場やスタジオで収録・配信を行うものである．バーチャルンイベントを行い，考察することでオンラインイベントに空間とはサイバースペースとも呼ばれ，コンピュータやネおけるインタラクション手法について検討することを目的

ットワーク上に構成された仮想的な空間のことである．現とする．

実では不可能な演出を行う，3D モデルのキャラクターを登まず，ハイブリッド形式，リアル空間と複合空間，スト場させることができる，参加者が自由に空間内を移動できリーミング配信を用いた『新竹取物語』[7]について考察をるなどの利点がある．三人称オンラインシューティングゲ行う．これは会場内の演者と鑑賞者，および遠隔鑑賞者がームである Fortnite[1]では，著名なアーティストがバーチ相互にインタラクションを行った劇である．

ャル空間にてパフォーマンスを行った．またリアル空間と次に，オンライン形式，バーチャル空間，VR とストリーバーチャル空間を複合した XR 技術を用いたイベントも増ミング配信を用いた音楽イベントを提案する．VR 参加にえている．グリーンスクリーンなどを使用してバーチャルおけるインタラクションの検討として，オフライン VR コ

空間に現実の人間を合成する[2]，またはリアル空間に仮想ンテンツ「InteractiV LIVE」を開発し考察を行った．

物体やキャラクターを合成する[3]ことで，表現の幅を広げ

3. 『新竹取物語』ることができる．
オンラインライブは視聴するデバイスにも特色がある．

3.1 『新竹取物語』の概要

一般的にはスマートフォンやコンピュータを用いることが『新竹取物語』は 2021 年 3 月 7 日，埼玉県越生町の醸造多いが，バーチャル空間のイベントではヘッドマウントデ所「越生ブリュワリー」を舞台にし，5 つの演劇を 5 つのィスプレイを用いた VR で視聴するイベントも存在する[4]．

舞台（青，黄，赤，黒，白の場）で同時に行い，それぞれオンラインイベントのインタラクションによって分類において演者が観客とインタラクションした．また†1 電気通信大学大学院
The University of Electro-Communications Graduate School© 2022 Information Processing Society of Japan740

情報処理学会 インタラクション 2022
IPSJ Interaction 20225P08
2022/2/21

YouTube Live でリアルタイム中継を行い，書き込まれたコメントを用いた演出や，遠隔地でデバイスを用いて参加できるインタラクションが行われた．
筆者は青赤黒白の場においてライブストリーミングを行った．4 台の iPhone SE に iVCam をインストールすることで，ウェブカメラとして使用した．4 台の配信 PC と iPhoneを接続しそれぞれの場に配置した．iPhone のカメラ映像をライブ配信ソフト OBS Studio を用いて YouTube Live に配信を行った．
3.2 五つの舞台とそのインタラクション
5 つの舞台では，竹取物語にてかぐや姫の求婚者に要求

図 2された五つの宝を模したそれぞれの演出装置があった．

黄の場にてペンライトで話題を選択する観客と演者（林家はな平），福田悠人

青の場には 5 つの楽器とマイクが設置されており，観客

映像：寺内涼太や演者が楽器を鳴らし，その音をマイクが拾うことで壁に通信：大津耕陽

塗り絵：裵智姸（黄の場は埼玉大学小林貴訓研究室による）投影された映像が溶けていくような演出が行われた．

図 1

青の場にて演者（関根淳子）と投影された映像
CG：猪原拓実，作田遼太郎

図 3

赤の場にてデバイス操作を観客に煽る演者（川野誠一）CG：千田竜也

黄の場（埼玉大学小林貴訓研究室が演出システムを開発・実装）では，言葉が書いてある短冊がスクリーンに映

黒の場では，龍の首の玉を模したボールに 9 軸モーショし出されており，現地の観客と遠隔の配信視聴者が蓬莱のンセンサが組み込まれており，ボールを振り，観客と演者玉の枝を模したペンライトを操作することで短冊を選択し，でキャッチボールをすることでスクリーンに映っている竜

その短冊に書いてある言葉に関する噺を演者が行った．現が動き回った．また，YouTube Live に書き込まれたコメン

地の観客が選んだものは短冊が大きくなり，遠隔の観客がトが映像内に出現し，コメントが竜に触れると砕け散って選んだものは短冊の下に星のマークが出現した．ストリー

いく演出を行った．

ミングには宇宙の画像，リアル空間の演者とバーチャル空間の短冊を複合させた映像を配信した．
赤の場では，火鼠の皮衣を模したぬいぐるみに 9 軸モーションセンサを組み込み，観客がぬいぐるみを振ることでスクリーンに投影された炎が強く燃え上がる演出を行った．
また，YouTube Live のコメントを映像内に出現させた．

図 4

黒の場にて球を操作する観客と演者（フォー・サミュエル），配信コメントを含んだ映像
CG：浅間裕貴，猪原拓実© 2022 Information Processing Society of Japan741

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

白の場では，燕の子安貝を模した貝殻に 9 軸モーション

5P08
2022/2/21「調布メディアアートラボ

Vision in Motion 2021」にて展センサが組み込まれており，貝殻を動かすことで会場内の示を行った．

音楽が変化し，同時にプロジェクタによって投影された星

4.1 「InteractiV LIVE」の概要

空のような映像が変化するインタラクションが行われた．

アニメーションで制御された 3DCG アバターが歌って踊るバーチャルライブを VR で視聴するコンテンツであり，コントローラーを操作することで，バーチャル空間を動き回る，演者がリアクションを行う，空間演出が発生するな
どの，インタラクティヴな体験を行うことができる．
ヘッドマウントディスプレイには Oculus Quest2 を使用
し，Unity にてアプリケーションの開発を行った．

図 5

白の場にてデバイスを操作する演者（相良ゆみ）

CG：浅間裕貴、横山大希

サウンド：小林悠人

3.3 インタラクションにおける考察
演者からのインタラクションは，デバイス操作やコメン
図6

ト機会の提供が主であり，観客とストリーミング視聴者に「InteractiV LIVE」の画面対して直接的なリアクションなどは少なかった．しかし黄の場における噺，青の場における楽器の演奏に対してリアクションを行うなど，即興的なものでは強いインタラクションが生まれた．

4.2 インタラクション内容
両手のコントローラーのスティックを倒すことで移動と視点変更を行う．左手のコントローラーのボタンを操作す

現地の観客からのインタラクションは，主にデバイスやることで光の玉を出現，爆発させる．右手のコントローラ楽器の操作に対して，映像が変化する演出であった．デバーは仮想空間ではペンライトに見えており，ボタンを操作イスを振るなどの自由度の少ない動きでは単調な作業になすることでライトの色を変更する，ペンから粒子を発生さってしまったが，楽器の演奏においては自然発生的にセッせることができる．ペンライトの色は仮想空間内の照明とションが起こりそれに対して演者がリアクションを行う瞬連動しているため，自身で照明を操作している感覚を与え間があった．また黄の場の言葉を選択することで噺が行わる．また，右手のコントローラーを振ることで 3DCG アバれる様子は，観客が自身で演劇のストーリーを展開させてターがリアクションを行う．

いく独自性があった．
ストリーミング視聴者においては，赤・黒の場においては YouTube Live のコメントが文字オブジェクトとして出現するのみであった．また会場のスクリーンにコメントが映し出されるため，会場の雰囲気にそぐわないのではいないかと思わせコメントするハードルを上げてしまっていた．
黄の場においてはデバイスを使用することで言葉の選択を行うことができ，それに関する噺を聞くことができた．遠図7

Oculus Quest2 コントローラー使用ボタン

隔では遅延もあり，即時性が求められる演出よりも，何か表1を選ぶ話題を提供するものや，長く残るものを提供することで，参加している没入感を得られることが考えられる．

4. VR のイベント視聴
ヘッドマウントディスプレイにより視聴する音楽ライブ「InteractiV LIVE」の画面
左コントローラー

右コントローラー

スティック

前後左右移動左右視点移動トリガーボタン

光の玉爆発

ライト色変更グリップボタン

光の玉出現

粒子発生

コンテンツとして「InteractiV LIVE（インタラクティヴ・ライヴ）」を作成し，2021 年 12 月 4 日，5 日に東京都調布市の調布市文化会館たづくりむらさきホールにて行われた© 2022 Information Processing Society of Japan742

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P08
2022/2/21

5. 今後の展望『新竹取物語』を通じて，演者には即興的な演技が，観客には自由度が高く他者との交流が可能なものが，ストリーミング視聴者には即時応答性より自身が介入したと実感できるものがインタラクションの感覚を強めることが分かった．また，「InteractiV LIVE」を通じて，操作難易度と注目できる範囲が関係するため，手元の演出と広範囲の演出，どちらも行うことで幅広くインタラクションを感じられることがわかった．
図8「InteractiV LIVE」のインタラクション一覧

今後は，「InteractiV LIVE」をオンラインで複数人視聴可能なコンテンツとし，ストリーミングを同時に行う．
『新竹4.3 展示とアンケート2 日間の展示を行い，男女 11 人（男 6 人，女 5 人）からアンケートを取り集計した．まず操作の説明を行い，一通りの操作を体験させたのち音楽とパフォーマンスを流し，一曲間自由に操作させた．アンケートの評価項目は「VR の取物語』と同様，演者，オンライン VR 視聴者，ストリーミング視聴者の三者が相互にインタラクションを行うことができるコンテンツを制作し，その評価を通じてオンラインイベントのインタラクションについて理解を深めていきたい．

経験（3 段階）」「一人称視点ゲームをプレイする頻度（4 段階）」「バーチャルライブの視聴経験（5 段階）」
「操作難易度（5 段階）」
「アバターのリアクション（5 段階）」
「インタラクティヴな演出（5 段階）」「アバターを操作する人間の存在感（5 段階）」「パフォーマンスのリアルタイム性（5 段階）」
「楽しかった演出（選択式）」「楽しくなかった演出（5

謝辞：『新竹取物語』でお世話になった埼玉大学山崎敬一先生，ビュールク・トーヴェ先生，小林貴訓先生はじめご関係の皆様，ご協力頂きました皆様に心よりお礼申し上げます．
（文中の写真は東北新社・モバーシャル撮影の記録映像より抜粋．）段階）」，および，Brigid Costello が”A Pleasure Framework”[8]において提唱したインタラクティブアートが刺激する

参考文献

13 種類の快楽に当てはめたものを問う設問である．

[1]Epics Game. “フォートナイト | クロスプラットフォーム対応の無料プレイゲーム - フォートナイト”.
https://www.epicgames.com/fortnite/ja/home, (参照 2021-12-22)[2]“Perfume Imaginary Museum Time Warp”. https://www.perfumepopfes.jp/, 2020, (参照 2021-12-22)[3]“Kizuna AI 2nd Live hello, world 2020”. https://2020hello.world/,2021, (参照 2021-12-22)[4]“VARK | VR×ライブハウス(バーチャルライブ)を体感しよう”.
https://vark.co.jp/, (参照 2021-12-22)[5]Yu Matsuura, Sachiko Kodama. Cheer Me!: A Video Game System
Using Live Streaming Text Messages. International Conference on
Advances in Computer Entertainment ACE 2017, 2017, p. 311317.
[6] “ビデオ カンファレンス、クラウド電話、ウェビナー、チャット、仮想イベント | Zoom”. https://zoom.us/, (参照 2021-1222)[7]“新竹取物語─観客と共創する日本的芸術空間の歴史社会的分
析” 主催：日本学術振興会 先導的人文学・社会科学研究推進事業（埼玉大学・電気通信大学）.
https://newtaketori.web.fc2.com/, (参照 2021-12-22)[8]Brigid Costello.. A PLEASURE FRAMEWORK. Leonardo. 2007,
vol. 40, No 4, p. 370-372

4.4 結果と考察
アンケート項目の相関関数と階層クラスタリングを行った．操作難易度の低さと一人称視点ゲームや VR 経験は正の相関がみられた．また，操作が簡単だった人は光の玉を爆発させる過程やペンライトと照明が連動する様子を楽しむ傾向があり，操作が難しかった人は光の玉を出現させる過程やペンライトの色を変え粒子を発生させる様子を楽しむ傾向があった．これは操作が難しいと感じた人ほど手元に注視することで，周りの演出に気が付かないことが理由として挙げられる．そのため，幅広い対象に対してインタラクションを楽しんでもらうには，自身に近い場所と離れた空間で作用する演出を用意することが好まれる．
また，パフォーマンスのリアルタイム性の評価は平均
2.55 であった．モーション及び歌は事前に用意したものであったため低い値となった．アバターを通じたバーチャルライブにおいて，リアルタイムのパフォーマンスだと思わせる要因として，リアルタイム性と強い相関がある
Creation と Discovery の快楽刺激が挙げられる．自ら何かを創造している感覚や，探求したくなる要素を入れることで，よりリアルタイムのパフォーマンスだと感じさせることが期待される．

© 2022 Information Processing Society of Japan743