情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-32
2019/3/6

一体感を増強する遠隔ライブ参加システム
寺内涼太† 福島史康† 大津耕陽†
福田悠人† 小林貴訓† 久野義徳† 山崎敬一†
概要： 近年，プロ・アマチュア問わず盛んに行われているライブ配信における遠隔視聴者にとって，現地の演者・観客との間に生じる一体感や臨場感，ライブへの参加性は，コンテンツの体験の質にも影響する大切な要素である．
本稿では，これまでの研究成果であり，現地ライブ環境下での一体感の向上が確認された双方向ライブ支援システム“Affinity Live”の各機能を用いて，遠隔視聴者にとっての現地の人々との一体感や臨場感，ライブへの参加性を向上させる「遠隔ライブ参加システム」を開発した．実験の結果，本システムの有効性を確認した．

1. はじめに本システムのライブ配信は，配信映像上に視聴者のコメントを流すことのできる“ニコニコ生放送”[3]を利用して近年，インターネット，情報技術の進歩及び通信の高速・行う．遠隔視聴者は，配信映像中の演者の動きを「インタ容量化に伴い，音楽ライブを始めとする様々なエンタテイラクティブペンライト」の振動で感じることができ，同デンメントコンテンツがインターネットを通じて遠隔地へとバイスを振ることで，画面上に流れるコメントや現地の舞配信される機会が多くなっている．また，ライブ映像を遠台装置に自身の応援を反映できる．提案システムに対する隔地の映画館などで上映する，ライブビューイングと呼ば評価実験を行った結果，遠隔ライブの場合でも，「インタラれる催しも増えている．しかし，このような遠隔ライブにクティブペンライト」を用いることで，演者・現地の観客おける遠隔視聴者にとっては，臨場感や自分の応援が演者との一体感，臨場感，ライブへの参加性が増強されることに伝わっているという感覚が現地ライブと比べて持ちづらを確認できた．

く，演者・現地の観客との一体感やライブへの参加性が生まれづらいといった問題点がある．
この問題を解決するために，これまで開発してきた双方向ライブ支援システム“Affinity Live”[1]の拡張を考える．

2. 関連研究遠隔ライブにおいて，遠隔視聴者の現地への参加性を支援するシステムがいくつか提案されている．

このシステムでは LED と振動モータ, 加速度センサを内蔵

例えば，遠隔視聴者が自身で編集した手のイラストに応したペンライト型デバイス（以下，「インタラクティブペン援動作を加えて，ライブ会場のディスプレイに映し出すもライト」と表記する）を用いることで，演者の演技を振動・のがある[4]．このシステムでは，遠隔視聴者一人一人の応光として体感でき，さらには聴衆の応援を演者の電飾衣装援に個性を表すことができ，その様子をお互いに見合うこを光らせることで反映できる．開発したシステムを用いて，とができるので，参加性が向上する．このことからも，個々実際のライブ環境を模した評価実験を行い，段階評価アン

人の活動をライブの参加者同士で視認できることは，遠隔ケート及びインタビューから，演者・聴衆間及び聴衆同士視聴者の参加性を向上させる上で有効だと考えられる．一の一体感の増強を確認できた．

方で，演者から遠隔視聴者へのフィードバックが，手のイさらに，振動の様な触覚刺激を適切に与えることが，遠ラストに言及する際にしか生まれないため，演者との繋が隔地のユーザに対して，現場にいるかのような臨場感を提りを感じづらい．ニコニコ生放送を用いたものとしては，供するために有効であると他の研究で示唆されている[2]．

遠隔視聴者からのコメントによって演者側のカメラをコン

そのため，“Affinity Live”の振動機能は遠隔地においてもトロールできるものがある[5]．このようなシステムは一視有効に作用することが期待できる．

聴者が演者やライブ自体に与えられる影響が大きく，演者

本稿では，“Affinity Live”における，演者の演技を振動も視聴者に対しての反応が返しやすいので良質なコミュニとして聴衆に伝える機能と，聴衆の応援を演者に発信するケーションが実現し，参加性が向上する．しかしその反面，機能を遠隔視聴者に対応させた「遠隔ライブ参加システム」

一視聴者の持つ影響の大きさ故に全ての視聴者が同じようを提案する．このシステムにより現地の聴衆と同様に，遠にライブに関わることが難しい点や，悪意ある視聴者によ隔視聴者にとっても演者や聴衆同士の一体感の増強を期待ってライブの秩序が崩壊する恐れがある．

できる．さらに，本システムではライブの遠隔視聴者に生今回提案するシステムでは，演者の演技を振動として遠まれづらい，臨場感やライブへの参加性の向上も目指す．

隔視聴者に伝える機能により，演者と遠隔視聴者との繋がりを強めることができる．また，個々人の応援動作を遠隔† 埼玉大学
Saitama University© 2019 Information Processing Society of Japan

視聴者同士で確認することができるため，遠隔視聴者の参加性を向上させることが期待できる．

308

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3. システム

1B-32
2019/3/6

演者の演技を直接体感でき，これを振ることで，自身の応3.1 ペンライト型デバイス「インタラクティブペンライト」開発したペンライト型デバイス「インタラクティブペンライト」を図 1 に示す．このデバイスは市販のペンライト（King Blade X10III ,RUIFANJAPAN LTD．）を基に，加速度センサ，送受信機，振動モータを内蔵させたものとなっている．同デバイスは，制御用 PC から無線で伝送されるコマンドにより，LED の色や発光強度，振動モータの振動強度を自由に変更可能である．また，内蔵された加速度セン
サの値を制御用 PC に送信できる．これらの無線通信には
Zigbee に準拠した 2.4GHz 無線通信規格 TWE-LITE（モノワイヤレス株式会社）を使用している．

援を演者に対して伝達できる．演者にとっても，自身の演技が観客に直接伝わることに加えて，応援が衣装の光として可視化されることで，自身への応援を実感しやすくなる．
また演者にとっても，腕を振ることによる振動の伝達を意識した演技を取り入れるなど，システムを新たな演出として扱うことができる．
同システムの評価実験では，観客への段階評価アンケー
トや演者・観客へのインタビューを行い，上記の仕組みで演者の演技・観客の応援を双方向に伝達しあうことが現地
ライブにおける演者・観客間の一体感の向上につながることを確認した．
3.3 「遠隔ライブ参加システム」

図 1「インタラクティブペンライト」

3.2 双方向ライブ支援システム“Affinity Live”

図 3「遠隔ライブ参加システム」の概念図

図 3 は今回提案する「遠隔ライブ参加システム」の概念図である．ライブ映像は，配信映像上に視聴者のコメントを流すことのできるライブ配信サイト，“ニコニコ生放送”を通じて配信される．演者の動きは，遠隔視聴者の持つ「インタラクティブペンライト」へ振動として，視聴している配信映像と同期して反映される（図 3 の左のフロー）．また，同デバイスが振られると，映像上に流れるコメントや舞台装置に反映される（図 3 の右のフロー）．
図 2“Affinity Live”の概念図

図 2 は[1]にて提案した，演者と聴衆の一体感を増強する双方向ライブ支援システム“Affinity Live”の概念図である．
演者の動きや声は観客の持つ「インタラクティブペンライト」の振動・光として反映される（図 2 の左側のフロー）．
ペンライトの振りは，応援の度合いとして集約され，演者が身に着けている電飾衣装に反映される（図 2 の右側のフ

コメントの先頭にはデバイス毎に割り振られた記号がつけられており，遠隔視聴者一人ひとりが自分に対応するコメントが分かるようにしている（図 4）．また，現地では，それらコメントを集計し，コメントをしているユーザ数に応じて舞台装置（現システムではバブルマシンを使用している）が動作する．舞台装置の利用が難しい場面などでは，舞台の背景としてコメントに応じて生成した CG 映像を表示するようにした．

ロー）．
この仕組みによって，「インタラクティブペンライト」を持った観客は従来のライブ鑑賞に加えて，振動・発光から© 2019 Information Processing Society of Japan309

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-32
2019/3/6

視聴する映像内に現地の観客らが映り込むようにカメラの位置を調整した．建物内での実験であるため，舞台装置（バブルマシン）は使わず，従来それらが起動するタイミングで，代わりの CG 映像が演者の背後のスクリーンに映し出されるようにした．図 6 は実験中の様子を示したものである．システムの評価は，実験後のアンケート及び，実験中の被験者たちを撮影したビデオによって行った．
4.2 実験手順
図 4

配信映像上にコメントが流れる様子

以降，4 人 1 組の被験者を 2 名ずつに分け，それぞれをA グループ, B グループとする．
実験の開始前に，演者にはライブ冒頭の MC（ナレーション）として，被験者に対するシステムの説明をお願いした．その時，被験者には実際に「インタラクティブペンライト」を使ってもらい，デバイスが演者の動きに対応して振動する点，デバイスを振ることで画面上のコメントや現地の CG 映像に反映される点を体感してもらった．
1 回のライブは 2 曲構成で行われ，1 曲目は A グループには「通常のペンライト」を，B グループには「インタラクティブペンライト」を持っていただき，システムを体験してもらう．1 曲目と 2 曲目の間に各グループで「通常の図 5「遠隔ライブ参加システム」の構成図ペンライト」と「インタラクティブペンライト」を交換し，2 曲目は A グループに「インタラクティブペンライト」を，

図 5 は本システムの構成図である．現地と遠隔地とのデータ通信は，“ニコニコ生放送”のコメントサーバーを介しB グループに「通常のペンライト」を持っていただき，システムを体験してもらう．

たコメントのやり取りによって実現される．演者の動きのライブ終了後，被験者へ表 1 に示す設問に対して，「通計測には，“Affinity Live”と同じく加速度センサと無線に常のペンライト」を用いた場合と「インタラクティブペンよ る 送 信 機 が 一 体 とな っ た加 速 度 セ ン サ 搭 載 無線 タ グ

ライト」を用いた場合，それぞれについての 7 段階評価の“TWE-LITE-2525A”をリストバンドに格納したものを使アンケート（「どちらでもない」を 4，「全くそう思わない」用した．舞台装置の制御基板には“Arduino UNO”を使用を 1，「非常にそう思う」を 7 とする）を行い，自由記述もした．

実施した．また，「“通常のペンライト”と“インタラクテ4. 遠隔ライブ参加システムの評価実験ィブペンライト”のどちらをまた使いたいと思うか」という質問にも回答をお願いした．

提案した「遠隔ライブ参加システム」を用いて，実際のライブ環境下における評価実験を実施した．この実験では遠隔ライブ視聴において「通常のペンライト」を用いる場
合と，「インタラクティブペンライト」を用いる場合で，演者・遠隔視聴者間及び，遠隔視聴者同士での一体感やライブへの参加性に違いが生じるかを調査した．
4.1 実験環境
実験は，埼玉大学の建物内で行った．実際のライブは建物の 1F で，提案手法を用いた遠隔視聴は同建物内の 4F で行われた．実験では，本学のアイドルコピーダンスサーク
ル“SKR48”のメンバー2 名に演者をお願いした．被験者には 4 人 1 組で「遠隔ライブ参加システム」を利用してラ図 6

評価実験の様子イブの遠隔視聴をしてもらい，実験は 2 回（被験者計 8 人,男子大学生）行った．また，現地にも観客を配置し，遠隔© 2019 Information Processing Society of Japan310

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 1

アンケート内容

1B-32
2019/3/6っての一体感，臨場感，応援が伝わっている実感が向上したことで，ライブへの参加性が向上したためだと考えられ

番号設問

Q1

ペンライトを使用することで臨場感を感じたかQ2

ライブに集中することはできたか

Q3

応援するメンバーとの一体感を感じたか差がなかった．これは「通常のペンライト」を用いた場合

Q4映像に映る遠隔地のライブ参加者との一体感をでも平均スコアが 5 と比較的高めだったこともあるが，一感じたか

体感や臨場感，参加性の向上がライブへの集中度に直接つQ5

自分がライブに参加している感覚を感じたかながるものではないことも示している．

Q6

自分の応援が応援するメンバーに伝わったとる．
Q2「ライブに集中することはできたか」については有意自由記述には，「ペンライトの振動が演者と一体化しているような感覚を持たせてくれたように感じる」，「振動す感じたかるのが単純に楽しい」，「ライブのフィードバックが視覚的なもの以外（振動）で帰ってくるのは革新的だと思った」

4.3 実験結果と考察「振動があるペンライトを使った後に市販のものを使った際に物足りなさを感じた」など，振動機能に対して好意的な意見が多く，これらの反応は，従来のシステムを現地で動かした際の振動機能への反応と比べても大きかった．遠隔地において，離れた場所にいる存在から受ける触覚刺激のフィードバックが期待していた以上に好影響をもたらし，今回の提案システムにおいても重要な要素であったと考えられる．否定的な意見には「コメントはライブ感が無くなる気がした」，「動画とラグがあったので，少し没入感が減った気がする」などがあり，コメント反映のさせ方の見直しやタイムラグへの頑健性の改善が今後の課題である．
ビデオの様子からは，現地の観客に比べて遠隔地の被験
図 7

アンケート結果者たちの盛り上がりが明らかに大きいことが分かった．これは，被験者たちが全員知り合いであったことも影響して被験者アンケートの結果に対して t 検定を行い，各項目いるが，大きな動きや声によって演者に迷惑がかからないの p 値を求めた．アンケートの設問ごとの平均スコア（7という遠隔地特有の条件にも関係があると考える．

段階）と p 値を図 7 に示す．

5. 実際のライブイベントでの実証デモ

平均スコアは全ての設問において，「インタラクティブペンライト」が「通常のペンライト」を上回り，「“通常のペンライト”と“インタラクティブペンライト”のどちらをまた使いたいと思うか」の質問には 8 人の被験者全員が，“インタラクティブペンライト”と答えた．
Q1「ペンライトを使用することで臨場感を感じたか」，Q6「自分の応援が応援するメンバーに伝わったと感じたか」は，どちらとも有意差があった．これは，提案システ
ムが，遠隔視聴者にとって感じづらい臨場感や自身の応援「遠隔ライブ参加システム」の実用性を確認するため，群馬県大泉町で行われたイベント，“活きな世界のグルメ横丁”[6]にて，実証デモを行った．同イベント内で行われるステージイベントを，「遠隔ライブ参加システム」を用いて埼玉大学建物内の一部屋に生配信し，一般の方にシステムを体験して頂いた．図 8 に遠隔地側（埼玉大学），現地側（大泉町）の様子を示す．システムはおおむね良好に作動し，実用性を確認できた．

がメンバーに伝わっているという実感を向上させることに有効であると示している．
Q3「応援するメンバーとの一体感を感じたか」，Q4「映像に映る遠隔地のライブ参加者との一体感を感じたか」についても，どちらとも有意差があった．この結果は提案システムが遠隔視聴者にとって，演者や現地の観客との一体感増強に有効であることを示している．
Q5「自分がライブに参加している感覚を感じたか」についても有意差を確認できたのは，上記の通り，被験者にと© 2019 Information Processing Society of Japan

図 8

実証デモの様子311

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

6. まとめと今後の展望
本稿では，これまでに開発した双方向ライブ支援システム“Affinity Live”における，演者の演技を振動として聴衆に伝える機能と，聴衆の応援を演者に発信する機能を遠隔

1B-32
2019/3/6

演出システムによるコミュニケーションと演出効果の拡張.
研究報告ユビキタスコンピューティングシステム（UBI）,Vol.2012-UBI-35, No.8, pp.1-8, 2012.
[6] “活きな世界のグルメ横丁”.
https://www.town.oizumi.gunma.jp/01soshiki/06jyumin/02syokou/1427426868-95.html, (参照 2018-12-24).

視聴者に拡張させ，遠隔からのライブ視聴を支援する「遠隔ライブ参加システム」を提案した．
「遠隔ライブ参加システム」の実現のため，1）現地の演者の動きを遠隔視聴者の持つペンライトに振動データとして送る機能，2）遠隔視聴者がペンライト型デバイスを振ることで各ペンライトに対応するコメントが流れる機能，3）流れているコメントが現地の舞台装置や CG 映像に反映される機能，以上 3 つの機能を開発した．その後，「遠隔ライブ参加システム」の評価実験を行い，ライブの遠隔視聴者にとって本システムが，現地との一体感，臨場感，参加性を向上させるのに有効であることを示した．
今回の評価実験の環境では被験者の応援が演者に伝わる仕組みが，演者の後ろに映し出される CG 映像のみであり，演者にとってはほとんど被験者の応援を感じられていないのにも関わらず，遠隔視聴者にとって応援が演者に伝わったという実感が向上した．これは，遠隔視聴者が演者に応援が伝わっている実感を得るためには，必ずしも演者に応援が伝わる必要がないという可能性を示唆しており，今後分析していく必要があると考えている．今後は，遠隔視聴者と現地の観客間における，ライブへの参加の仕方の違いや，各フィードバックに対して受ける印象の違いなどにも目を向けて，遠隔視聴者がより良いライブ体験を得るための機能を模索する足掛かりとしていく．また，システ
ムの規模については，ライブビューイングや複数の遠隔地からの利用も想定できる規模を目指して，多人数の応援を分かりやすく画面上に反映する仕組みを検討していきたい．
謝辞

本研究の一部は，日本学術振興会・課題設定による先導的人文学・社会科学研究推進事業領域開拓プログラ
ム「観客と共創する芸術―光・音・身体の共振の社会学的・芸術学的・工学的研究」の助成による．本研究を進めるにあたり，実験の実施にご協力をいただきました大泉町観光協会の皆様に感謝申し上げます．

参考文献
[1]

[2]

[3]
[4]

[5]

大津耕陽, 福島史康, 高橋秀和, 平原実留, 福田悠人, 小林貴
訓, 久野義徳, 山崎敬一. Affinity Live：演者と観客の一体感を増強する双方向ライブ支援システム. 情報処理学会論文誌,Vol.59, No.11, pp.2019-2029, 2018.
田中一晶, 加藤良治, 中西英之. 鏡型ビデオ会議における視触覚相互作用によるソーシャルテレプレゼンスの強化. 情報処理学会論文誌, Vol58, No.5, pp.946-954, 2017.
“ニコニコ生放送”. http://live.nicovideo.jp/, (参照 2018-12-24).
山下大貴, 宮崎啓, 中井智己, 高崎祐哉, 垂水浩幸.遠隔音楽
ライブ支援システムにおける視聴者の識別. 第 79 回全国大会
講演論文集, Vol.2017, No.1, pp.987-988, 2017.
米澤拓郎, 徳田英幸. Control Manually: 視聴者協力型ライブ© 2019 Information Processing Society of Japan312