This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 26 回日本バーチャルリアリティ学会大会論文集（2021 年 9 月）

VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化
VibeShare::Performer — Interactive online music live performance which has Emoji, haptics, and sound eﬀects
山崎勇祐 1)2) ，白井暁彦 1)

Yusuke YAMAZAKI and Akihiko SHIRAI
1) GREE VR Studio Laboratory，REALITY 株式会社
2) 東京工業大学工学院
概要: コロナ禍で対面の音楽ライブの開催が制限される中、オンラインで出演者と観客の一体感を向上させるシステム「VibeShare::Performer」を提案・開発し、ミュージックバーで開催されるオンラインライブにて実証実験を行った。3 日間の実験で観客から合計 108,031 回のエモートが送られ、それらを配信と会場内での時間差を考慮する「未来カンペ」とともに、拍手音効、スタジオへの投影、出演者への触覚刺激に変換してライブ内で使用することで、観客の存在感を出演者と体感・共有に成功した。
キーワード： アート・エンタテインメント, テレプレゼンス, コミュニケーション, 触覚, 音楽ライブ

1.

はじめに

2.

VibeShare::Performer

近年、COVID-19 感染症対策により、音楽ライブをはじ

我々はこれまでオンラインイベントでの双方向・非言語めとするイベントがオンライン・無観客で開催されることコミュニケーションを実現する技術 “VibeShare” [5] を提は珍しくない。Zoom や YouTube Live のようなライブブ案し、オンラインカンファレンスやオンライン講義にて利ロードキャスティングプラットフォームによって、高品質な用してきた [6]。音楽の現場に関わる人々へのヒアリング調

オンラインライブ配信が円滑に開催できるようになった。一査から、従来考えられていた「オフラインの出演者・オンラ方、出演者とオンラインの観客のインタラクションはチャッインの聴衆」という単純な 2 地点の双方向性ではなく、(1)ト機能や Twitter 等の別メディアを経由したテキストによ適切なタイミングで拍手が必要、(2) 観客は他の観客と一緒る言語的なフィードバックに留まり、従来のライブ会場で自に盛り上がりたい、(3) 主催者側は双方向性の効果測定をし然に存在していた、観客の表情や拍手、歓声などの「非言語たい、といった課題があることが見出された。本稿ではこ的な感情のインタラクション」が欠落している。こうした非のような課題を解決すべく、VibeShare 技術を音楽ライブ

言語インタラクションは音楽ライブの「非日常感」や「一体での一体感演出に適応させた VibeShare::Performer を感」に寄与し、出演者だけでなく観客を含めたリアルタイム提案し、ミュージックバーで開催されたオンラインライブの体験価値において重要な役割を担うことが知られておりでの実証実験を通して得られた定量・定性的な知見を記す。

[1]、その実現を試みた研究や「CommentScreen」や拍手ロ

VibeShare::Performer （図 1）は、ライブ会場に存在しボット「クラッピー」などの製品やサービスが存在する。

ない観客のタップ情報（以下エモート）を、WebSocket でオンライン音楽ライブの双方向化について、米澤らは視通信し、会場に設置されている VibeShare 端末（ブラウザ

聴者が特定の単語を配信プラットフォームのチャット機能にアプリ）で受信することにより、プロジェクションマッピン入力することで、出演者を映すカメラや会場の演出を制御

グや拍手音、出演者への振動触覚に変換することで、出演する方式を提案した [2]。大津らは出演者の衣装と視聴者の者が観客の存在感を共有することができる。

ペンライトを同期させることに注目し、出演者の動きや発2.1

VibeShare::Vote — Emoji による感情表現

声量をペンライト型デバイスの振動・点灯パターンに変換

音楽に対する聴衆の反応は会議等と異なり言語化しづらし、視聴者のペンライトの振り方によって LED が組み込まい。また拍手や歓声も含め、匿名が好ましく反応速度が短れた出演者の衣装の点灯パターンを制御することで両者のいほど好ましいという特徴がある。VibeShare::Vote は一体感を増強するシステムの提案を行っている [3]。Wu ら

VibeShare が持つイベント向けユーザ投票機能である。視は視聴者が希望する音楽のモードを演奏中リアルタイムに聴者は Emoji で表現されたボタンによって感情をエモート投票することで、指揮者のように曲調を制御することがでとして投票できる。この機能を強化し、YouTube ライブ等きるインタラクティブシステムを提案している [4]。のコメント機能と共存しつつ、より高速かつ多様な Emojiを連打できる「バーチャルおひねり」を設計した。

図 1: システム構成図。出演者への拍手音効は指向性スピーカーを使用。音声と映像、Emoji は OBS で合成し YouTubeに配信している。現地スタジオでの参加者も視聴者と同様にスマホブラウザから VibeShare を利用できる。

Emoji を一度タップしてから一定時間内に再度タップされめ、激しいパフォーマンスや故障，断線，電池切れといったた場合は連打判定となり、その回数が保持されるとともに、不具合への対応がしやすい。また将来的には現地オフラインUI の Emoji ボタンが大きくなる。連打が終了すると Emojiでの観客への特別なインタラクション提供も可能と考える。の種類とともに連打回数がサーバーに送られ、Emoji、拍さらに、出演者がエモートによって送られた拍手を音効

手、振動触覚の種類の決定、Emoji の大きさの制御に利用として体感できるよう、会場に指向性モニタースピーカーされる。これは、シンプルな UI で、ユーザーのエモート表を配置し、事前に同会場で収録した 5 種類×強さ 3 段階の現意欲を向上させ、高速に大量のリクエストを処理可能と計 15 種類の拍手音を、拍手エモートの量に応じて再生したする実装となっている。

（図 1 中央上）。

2.2

映像, 触覚, 音効による応援の体感共有技術

2.3

遅延を超える協調技術 - 未来カンペ機能

出演者の演奏を阻害せずにオンラインの観客の応援を感オンラインの観客からの拍手を音効として再生する場合、じられるよう、映像, 触覚, 音効による応援の体感共有を可タイミングの制御が重要である。視聴者にとって、演奏を能にした。観客が送ったエモートを場内に併設されたプロ阻害せず、かつ出演者の演奏に対して適切な想いを伝えらジェクターを用い、会場の壁に Open Broadcaster Softwareれるタイミングは多くの場合、楽曲の終了時にある。つま（以後 OBS）を用いてリアルタイム合成した（図 1 左上）。

り、演奏終了のタイミングで観客が遅延や違和感なく拍手

また特定のエモートがサーバーに送られる度、出演者に特を出演者に伝えられることで一体感が実現できると考えた。

定の振動触覚を提示した（図 1 右上）。振動触覚を提示する

そこで、配信ディレクター側が視聴者に向けて自然なコミュ装置には、演奏中に十分な強度で振動を伝えられ、かつ装ニケーションを伝えるディレクター機能「未来カンペ」を設着が容易で演奏の邪魔になりにくいネックレス型触覚デバ計、実装した。YouTube Live を用いたライブ配信では通信

イスの Hapbeat-Duo を用いた。ユーザーは普段使いのス品質の安定化を考慮すると、通常 10–20 秒程度の遅延が生

マートフォン端末において特定のページを Web ブラウザでじる。即時性が重要となるインタラクションは、本機能を開くだけで音声出力によって触覚デバイスを駆動できるた用いることで、実スタジオでの演奏が終わるタイミングで「演奏が終了します。拍手をお願いします。」といったカンペトが消費された（［ドリンク］500 ポイント、［ドル袋］1000（メッセージ）を観客に向けて表示することで、YouTube のポイント、［花］10 ポイント）。これらの消費ポイントは集遅延よりも早く到達する拍手信号の共有を実現できる。出

計され、プロジェクションマッピングでライブ会場に投影

演者は遅延無く拍手を浴びることができ、視聴者は番組へされた。［花］［ドリンク］の累計消費ポイントが一定値をの主体的な参加が可能になり、出演者の表情やライブの一上回るごとに、本物のお酒や花束が公演中出演者に贈呈さ体感といった雰囲気作りに大きな貢献がある。

れ、その光景も同様に配信された。観客は画面下部に配置された YELL 追加ボタンで自由に YELL を追加することができる。実験目的であり実際に課金されることが無いと事前に説明を行なった。3 日間の実験で観客から合計 108,031回のエモートが送られた。

4.

タイムライン分析
本節では 3 日間のうち最も参加者が多かった 3 日目 (Day3)に焦点を当てる。出演者はキーボード、ギター、ベース、ドラムの 4 名の奏者からなる Instrumental Band「寿司ドミナント」 であり、全員が Hapbeat-Duo を着用した。観客が Emoji をタップした総回数は 71,323 回だった。配信時
間全体 160 分でのエモート送信は 1 分あたり 445 回、観客一人あたり 20 回/min という頻度になる。対する YouTube
コメントは番組累計で 242 件だった。観客から送られた 4種類の Emoji を時系列順に集計したものを図 3 に示し、以後同図について考察を行う。演奏中領域に注目すると、演奏終了時と、その後 3 分程度［拍手］が集中して送られてい図 2: (上) 未来カンペ機能のタイムライン。(下) 観客画面る。これは観客が演奏終了時に未来カンペ機能で送られてでの表示。配信者よりカンペが送られると画面上部に黄色

きた指示に従って［拍手］を送り、かつ数十秒遅れで配信画い帯と共にメッセージが表示される。

面上で演奏が終了した際に改めて［拍手］を送っていたことが示されている。このように演奏終了時に［拍手］が集中していること、公演中に出演者が拍手について「拍手うれし3.

実証実験ライブいです」と複数回言及していたことからも、ライブにおけ実証実験は、ヒビノエンタテインメント株式会社が運営る一体感の演出に寄与できていたことが確認できた。またするミュージックバー “REAL DIVA’S” および、同所が開主催側や演奏者側で特定のギフトを喚起させる発言を行なっ催するオンラインスペシャルライブ配信にて実施した。期た直後の時間帯において、対応した Emoji の割合が増えて間は 2021 年 3 月 24–26 日の 3 日間， 19–21 時で行われ、いる（「花」19:46–19:47、［ドリンク］20:11–20:12）。同様関係者を除いた参加者は 1 日目が 18 人、2 日目が 20 人、3に、出演者が拍手や Emoji に関連した言及をした直後の時日目が 31 人であった。期間中ライブ会場内に一般客は存在間帯で、該当する Emoji のタップ数が急増しており、出演せず、図 2 下に示されるようなプロジェクションマッピン

者–観客でのコールアンドレスポンスと同様のコミュニケー

グの他、YouTube Live のチャット欄が別の壁面に投影されションが成立していることが読み取れる。ており、出演者はいつでも観客からの文字コメントを読むことができた。番組終了後、観客の属性や番組の感想に関

5.

出演者・観客の感想するアンケートを行ったところ、全期間における総数は 22

番組終了時に行った視聴者アンケート結果によると（図件のうち男性 11 人、女性 11 人であり、年代は 20 代 1 人、4）、22 人中 19 人が「楽しめた」と回答しており、性別年

30 代 3 人、40 代 8 人、50 代 6 人、60 代 3 人、不明 1 人

代問わず既存の観客に違和感なく受け入れられていたことであった。観客のタップ情報（以下の内容を含む：送信しが確認できた。また半数が「出演者との一体感がある」、3

た時刻、Emoji の種類、連打回数、ユーザー名）は図 1 中分の 1 程度が「他の観客との一体感がある」「一緒に番組を段に示す通り逐一データベースに保存された。Emoji は [拍作っている感じがした」「出演者に感情を伝えられた」と答

手]、[ドリンク]、[ドル袋]、[花] の 4 種類を用いギフトと呼えている。本システムは観客にとってのオンラインライブんだ（画像は図 3 凡例を参照。以後、[拍手] と記した場合、の体験価値を向上させたとともに、音楽ライブに重要な要Emoji の拍手であることを指すこととする）。

素である一体感についても一定の貢献ができたことが確認

観客にはミュージックチャージに見立てた課金要素「YELL」
が始めに 5000YELL 付与されており、［拍手］以外の Emojiをタップするごとに、それぞれの Emoji に設定されたポインできた。また各日終了後、女性シンガー、男性ドラム奏者、男性キーボード奏者に、演奏中に感じられた振動触覚につ図 3: タイムライン分析結果：Day3。横軸は時刻を表す。図中の色付き領域は演奏中、休憩中、キーボードパート（ソロ、もしくはドラム伴奏）を表す。図中の文字はその時刻に起きた出来事を示し、鍵括弧内の内容は出演者が話した内容を示す。
いてヒアリングしたところ、いずれも「演奏中でも振動は感用してもらい、その効果について検証を重ねていきたい。

じられた」「振動は演奏の邪魔にならなかった。むしろ（観謝辞 フィールドデータ取得にご協力頂いた出演者・視聴者の客の存在を感じられて）嬉しかった」といった回答を得ら皆様、ヒビノ株式会社・大高正巳氏、末木真人氏、REALITYれた。これにより、振動触覚によって観客の存在感を体感さ株式会社・荒木英士氏、塩谷尚史氏に感謝の意を記します。

せることに成功したことが示せた。一方、装着時の外観に付録 YouTube にて実証実験ライブの公開を行なっている。

ついては「衣装に合わせたい」という意見が女性シンガー

https://www.realdivas.net/archive21-3

から出てきており、触覚提示デバイスの要件として、装着参考文献の安定性と並んで、見た目を容易にカスタマイズできることが重要な要素となることが発見できた。

[1] Hiroyuki Tarumi, Tomoki Nakai, Kei Miyazaki, DaikiYamashita, and Yuya Takasaki. What do remote music performances lack? In International Conference
on Collaboration Technologies, pp. 14–21. Springer,
2017.
[2] 米澤拓郎, 徳田英幸ほか. 視聴者協力型ライブ演出システムの実装と評価. 情報処理学会論文誌, Vol. 53, No. 3,

pp. 1007–1016, 2012.
[3] 大津耕陽, 福島史康, 高橋秀和, 平原実留, 福田悠人, 小林貴訓, 久野義徳, 山崎敬一ほか. Aﬃnity live: 演者と観図 4: Day3「寿司ドミナント」の視聴者アンケート結果

客の一体感を増強する双方向ライブ支援システム. 情報処理学会論文誌, Vol. 59, No. 11, pp. 2019–2029, 2018.

[4] Yongmeng Wu, Leshao Zhang, Nick Bryan-Kinns,

6.

結論and Mathieu Barthet. Open symphony: Creative par-オンライン音楽ライブにおいて出演者と観客の一体感を向ticipation for audiences of live music performances.

上させることを目的としたシステム VibeShare::Performer

IEEE MultiMedia, Vol. 24, No. 1, pp. 48–62, 2017.

を提案し、実証実験ライブを通してその効果を検証した。観

[5] GREE VR Studio Laboratory. Vibeshare, July 2021.

客から送られたエモート情報の分析、アンケート、出演者ヒ

[6] 山崎勇祐, 白井暁彦. Vibeshare: Vote: オンラインでのアリングの結果から、提案システムはオンラインライブに出演者と観客の非言語コミュニケーションの実現 (映像おける拍手とコールアンドレスポンスの役割を果たしてお表現 & コンピュータグラフィックス)–(映像表現・芸術科

り、観客にはライブの楽しさや一体感の増強に寄与し、出学フォーラム 2021 (expressive japan 2021)). 映像情報

演者と観客の存在感を共有できていることを定量・定性的

メディア学会技術報告= ITE technical report, Vol. 45,に確認できた。本システムはいずれも市販されている汎用

No. 8, pp. 17–20, 2021.

的な装置で構成されており、観客はパソコンやスマートフォンなどの汎用端末でウェブブラウザを開くだけで参加することができるため、容易に導入することが可能である。今後、VibeShare::Performer をより多くのアーティストに活