芸術科学フォーラム2021

VibeShare: Vote
－オンラインでの出演者と観客の非言語コミュニケーションの実現－
Yusuke Yamazaki, Akihiko SHIRAIGREE VR Studio Laboratory
REALITY, Inc.

2021/03/08

問題提起：現状のオンラインコミュニケーションは非言語コミュニケーション不足
1人で録画を見ている感覚

お客さんが見えない！
ライブ配信（映像・音声）
届かない！
音圧による体感音響
存在感

届かない！

テキストチャット
（チャット欄・SNS）

他の観客の声援・熱狂

リアルタイムに見られないテキストチャット（チャット欄・SNS）

📢👏👍😂✨
拍手・歓声・表情などが...

リモートの観客

後から確認
届かない！

出演者

解決案：VibeShareによる多様な感情伝達手段・Hapbeatによる豊かな触覚体験
ZoomやYouTubeと融合して利用可能

👍😃

😍

��

😂

※文字による情報保障はUDトーク等を利用可能

タップ振る

拍手

声援
表情
様々な方法で [想い] を届ける
高速(1秒以下)で伝送

多様な表現への活用

観客の声援に反応、コール＆レスポンスがオンラインでも可能に映像や音声に合わせた触覚体験

観客・受講生[社会包摂] 聴覚に障害がある方にも音楽イベントを楽しめる[合理的配慮] リモートライブをリアルライブと同レベル以上に感動的な体験へ[教育] リモート授業でも言語表現能力を気にせずミュニケーションできる

観客からの拍手と声援をLEDに反映

エモートを振動で体験

様々な形態で[想い]を体感
国際的な実証実験多数

デモ：触覚とエモートだけでお互いの存在を感じる VibeShare
画面下部のアイコンをタップすることであなたのエモートを投票できます。
いつ、何回タップしてもOKです！たくさん投票して発表を盛り上げてください！
自分や他の参加者のエモートがこのエリアにリアルタイムで表示されます
こちらから送信ページを読み込んでください。

エモートが送られるとHapbeatが振動します

規約に同意していただけましたら、こちらをタップし次に進んでください。

いいね驚き

なるほど好き同時接続数

スマホ画面（PCでも可）“Haptic Minesweeper”
触覚のみで距離・方向を提示

VibeShare: Vote システム構成
Voteページ

配信ツールで合成

デモはこちらから②配信ツール合成用ページに参加者全員分のエモートを反映

視聴者 S①Sのタップ情報●送信された時刻●
送信者●種類●
タップされた回数をサーバーに送信

配信画面

出演者用
ダッシュボード

Hapbeat-Duo

T の端末

講師・出演者 T

振動提示・Tが装着
振動駆動用の音声信号を出力
音声ケーブルで接続

Websocket③タップ情報を都度保存

視聴者 n
不特定多数

②Sのタップ情報をブロードキャスト①→② 遅延：200msec 程度

VibeShare
サーバー

必要に応じてデータベースからタップ情報を取得

データベース

OBSの全画面プロジェクターをZoomで画面共有

触覚フィードバック / Hapbeat の利用
触覚フィードバックの利点

https://hapbeat.com/● まだチャネルとして使われていない（映像や音声だと配信の邪魔になる）●

刺激に対する応答性が早く、確実に気付ける

Hapbeatの利点

IEEE World Haptics Conferene 2019
DM1.01 Haptic Minesweeper
VR学会大会 2019
[首の触知覚を用いたナビゲーションシステムの提案]

小型：簡単に総脱着可能
装着者の動作を邪魔にしない

ステレオ音声制御で容易かつ自在に制御可能
多様な触覚刺激を提示可能
実装例“Haptic Minesweeper”
首への触覚のみで距離・方向を提示

フィールド実験
・国際 3D アバターライブでのプロトタイプ：SIGGRAPH ASIA 2019 Real-Time Live!
・オンラインカンファレンスでの利用：CCSE2020
・オンライン講義での活用と評価機能：デジタルハリウッド大学大学院講義

国際 3D アバターライブでのプロトタイプ：SIGGRAPH ASIA 2019 Real-Time Live!
Distance from Brisbane to Tokyo

7,154 km
= 20.95 fps
By ideal optic speed (round trip)

オーストラリアの観客の👏拍手や📢声援を東京の出演者に伝達

SIGGRAPH ASIA 2019 Real Time Live「SA19RTL」で検索！

国際 3D アバターライブでのプロトタイプ：SIGGRAPH ASIA 2019 Real-Time Live!
観客の反応に応じて紙ふぶき＆パオズが降下⇨VR空間内で視覚的に拍手や歓声を表現

演者は皆Hapbeatをリアルでも装着し、観客の盛り上がりが振動で分かる（バーと同期してHapbeatが振動）
観客の拍手量演者（リアル）のLEDが左右のバーに同期して光る⇨観客に向けての可視化

観客の声援量→ 観客も、自分達の声援が出演者に届いていることが視覚的に分かり、盛り上がりに寄与オンラインカンファレンスでの利用：企業研究カンファレンスCCSE2020
観客への問い掛け⇨観客の印象を測れる
ネガティブな反応もくみ取りやすい
観客が異常を伝えられる⇨動画の音声が出ていないことを忠告
随時エモートが飛び交い、聴衆の存在を感じながら発表ができた⇨楽しい

観客を見ながら登壇しているような感覚 ⇨ 非言語コミュニケーションの実現オンライン講義での活用と評価機能：デジタルハリウッド大学大学院講義
20名程度、留学生や社会人学生など多様な受講生⇨分け隔てなくコミュニケーションが可能
エモートが投票された時間帯からエモートが送られたイベントを抽出⇨授業改善に利用可能
デジタルハリウッド大学大学院講義 2021/1/27

生徒からの感想を読み上げ
感想を問い掛けベストVTuber
受講者投票発表

VibeShare呼びかけ
発表時間を超えたら、🦀を送るよう呼びかけ

Twitter社の大統領に対する扱いについて言及

バヤールのセルフポートレートについて説明

生徒発表（企画の説明）

生徒発表
バーチャルキャンパス

総投票数
🎁：16
🦀：144
🤔：46
😍：207

アートと社会包摂
・触覚とエモートでオンラインでのコミュニケーションをインクルーシブに・具体的な取り組み案

課題：オンラインでのコミュニケーションは”インクルーシブ”ではない●●”見る”・”聞く”ことができないと楽しめない
日本語をタイピングできないとコミュニケーションできない
お客さんが見えない！

ライブ配信（映像・音声）

届かない！

届かない！
音圧による体感音響
聴覚や視覚が不自由な方に床を踏みしめる衝撃
とって重要な触覚情報が不足 etc...

📢👏👍😂✨
歓声・拍手・表情などが...

届かない！

タイピングした日本語メッセージ

リモートの観客・受講生

タイピングに不慣れ方や、外国人の方がメッセージを送るハードルが高い

出演者・講演者⇨ VibeShare & Hapbeatで、あらゆる人が芸術文化を享受できる鑑賞・創作・発表機会の創出へ具体的な取り組み案
目標：エモートや触覚を活用した、あらゆる人が芸術文化を享受できる鑑賞・創作・発表機会の創出
体感して楽しめるリモート美術館鑑賞会

リズムを体感して楽しめる音楽ワークショップ

・美術品を見た時の感想
・映して欲しい場所を指示

⚡

⚡
⚡

⚡

手拍子（触覚）

・作品を触ったときの感触・触覚で作品を演出

⚡

⚡

⚡

⚡
一定のテンポで振動を体感

声・手拍子を認識して体感体感する手拍子に合わせて演奏

誰でも楽しめる芸術文化鑑賞
📢👏👍😂✨
⚡

拍手・手拍子掛け声・歓声

⚡

⚡

⚡

⚡

⚡
⚡

⚡

⚡
⚡

⚡

触覚による新たな鑑賞体験

歌舞伎・演劇
・床の振動
・殺陣の迫力

⚡

⚡

⚡

⚡

⚡

祭り
・太鼓の音圧・神輿の揺れ演奏・ホールの残響感
・指揮者の動作

まとめ：オンラインでの出演者と観客の非言語コミュニケーションの実現
オンラインでの出演者と観客の非言語コミュニケーションの実現● フィールド実験から、エモートが表情や頷き、拍手として機能していることが確認された
VibeShare が貢献できる内容● ライブ配信への没入度・アーティストとファンの親密度の向上● オンライン講義の内容改善・学習効果の向上● 文化芸術による社会包摂の実現

イベントの出演者と観客達の隔たりを無くし多様な参加者が一体となってパフォーマンスに影響を及ぼしあうことで、オンラインイベントの体験をより良いものへ