WISS 2017

プレゼンテーションにおける実空間とオンライン空間の聴衆コンテクストの融合
長田一馬*

岩淵

志学† 益子宗†

概要． 近年，手軽にライブ配信ができる Web サービスが充実してきている．これにより，プレゼンテーションの際に実空間のみならず，サービスを介したオンライン空間にも聴衆がいる場合が多くなった．一般的に発表者は会場や聴衆の雰囲気から多くのコンテクストを読みとり，ダイナミックに発表のニュアンスを調整する．しかし，物理的に離れている聴衆のコンテクストは実空間のそれと比べて伝わりにくい．本研究では Mixed Reality 技術によって実空間とオンライン空間のコンテクストを融合し，発表者に対してより臨場感を与える手法を提案する．また，実際に構築した HoloLens を用いたデモシステムについて述べる．

1

はじめに

近年，ライブ配信サービスの普及により，プレゼンテーションをインターネット上で配信する機会が増加している．また，プレゼンテーションにおいて発表者が聴衆の興味関心といったコンテクストを把握することは，聴衆が何を求めているのか，中心に話すべきことは何かを考えることを可能とする．これは聴衆の発表内容の理解を深めることにもつながり，プレゼンテーションの意味を高めるといえる．
しかし，現在のライブ配信サービスではコメントによって聴衆の様子を確認できるものの，発表者の目の前に存在するのはその場にいる聴衆のみであり，遠隔地でサービスを経由して参加するオンライン空間の聴衆の態度や関心，また人数も実感として把握することは難しい．
そこで本稿では Mixed Reality(MR)を用いてオンライン空間のコンテクストを実空間に融合し臨場感を与えることで，発表者，聴衆双方の支援を行うシステムの提案を行う．

2

関連研究

ただし，聴衆全員分のロボットを用意するというのは，現実的とは言えない．
Wang らはパフォーマンスを行う発表者の様子だ
けでなく，別会場の聴衆の様子をスクリーンに映し出すことで，ふたつの実空間同士を結び付けた[3]．
発表者は多くの聴衆の様子を確認することは可能であるが，その為には聴衆は同じ場所に集まる必要がある．そこで我々は，遠隔の聴衆がライブ配信サービスを利用して，自宅など自由な場所からオンライン空間で参加しつつも，その聴衆のコンテクストを発表者に伝える手法を提案する．

3

提案手法

MR を利用してオンライン空間にいる聴衆を発表者の目の前にいる聴衆と同じ実空間に融合させるシステムを提案する．
発表者は透過型のヘッドマウントディスプレイ(HMD)を装着し，これまでのプレゼンテーションと変わらない通常のプレゼンテーションを行う（図1）．ただし，発表者の視界には現実の聴衆のみならず，オンライン空間から参加する聴衆が現実の聴衆コメントや数値による情報だけでなく，オンライン空間の聴衆のコンテクストを発表者が知ることができる方法の一つとして，カメラを搭載し，遠隔で操作をすることができるロボットを使用したものがある[1][2]．ロボットの見ている方向，動きから発表
者は遠方の参加者の様子を把握することができる．
Copyright is held by the author(s).
* 筑波大学 情報学群情報メディア創成学類，†楽天株式会社 楽天技術研究所

図 1. プレゼンテーションの様子

WISS 2017と同様に表示され，全ての聴衆の様子を確認することができる．実空間にオンライン空間の聴衆をアバターとして表示させることで，その存在感を高め，発表者としては，あたかもその場所にすべての聴衆が参加しているかのように感じられる．オンライン
空間から参加する聴衆は，コメントを投稿したり，リアクションを返すことで，その行動を発表者側に存在する自分のアバターの行動として発表者へコンテクストの提示が可能となる．聴衆側が身体の動きや，表情を検出するデバイスやソフトウェアを使用することで，さらに発表者に与える臨場感を高めることが可能と考えられる．発表者から聴衆へ与えられるコンテクストは発表内容だけでなく，発表者に見られているという情報もある．これも発表者がアバターを見ていることを聴衆に伝えることで，ただ聴くだけではない，その場にいるかのような体験を再現することが可能だと考えられる．

プロトタイプ作成

4

3 の提案手法で述べた内容の一部を実装したプロトタイプの作成を行った．発表者が装着する透過型
HMD には HoloLens1 を使用し，聴衆のコメントやリアクションの取得にはチャットツールである Slack2を利用した．
4.1を行う（図 2）．Slack のユーザーと対応しており，Slack のコメントに応じてそのアバターに吹き出しによるコメントの表示，及びリアクションを行わせることが可能（表 1．
コメントによるアバター行動）．
また，臨場感を高めるためアバター出現の際や，コメント表示の際の音声はアバターの位置から聞こえるようになっている．
聴衆側への発表者の視線情報の提示
聴衆側へ発表者に注目されていることを提示する機能として，Slack の Channel の Topic を書き換えることで可能とした（図 3）．これにより発表者側だけ全体のシステム構成

聴衆のアバターを表示する HoloLens 用アプリケーションを作成した．また，Slack の API を使用し，Slack から必要な情報を受け渡すアプリケーションを作成し，ノート PC 上で動作させた．これらは発表者側のアプリケーションであり，これらとは別にオンライン空間から参加する聴衆は，インターネットに接続可能な各自のデバイスを使用し，Slack の投稿及び，ライブ配信の視聴を行う．
4.2

図 2. 発表者の視界（上:通常，下：システム使用）機能

聴衆アバターの表示
Slack にログインしているユーザーに対応したアバターを HoloLens により実空間に融合させて表示図 3. 聴衆への発表者の注目の提示でなく聴衆側へのコンテクストの提示も可能とした．

5

まとめ

プレゼンテーションにおける発表者にオンライン空間の聴衆のコンテクストを伝え，より臨場感を与えるシステムの提案とプロトタイプの作成を行った．
プロトタイプではライブ配信サービスとの連携や，聴衆の表情取得など，まだ実装しきれていない機能があるが，聴衆のコンテクストを発表者に伝えることの実現をすることができた．

表 1．コメントによるアバター行動
コメント「:clap」「！！」を含む
コメント
上記以外の
コメント

使用状況
発表の開始，終了時など驚いた際のコメント

通常時

アバターの行動
拍手を行う
表情を変え，ギザギザの吹き出しによるコメン
トの表示
楕円形の吹き出しによるコメン
トの表示

1 HoloLens, https://www.microsoft.com/ja-jp/hololens
2 Slack, https://slack.com/

参考文献
[1]

福島寛之，鈴木雄介，細野直恒．遠隔参加者の存在感を表現する会議ロボットシステム．人間工学，44：pp.300-301 (2008)．

[2]

OriHime, http://orihime.orylab.com/, (2017/10/18)[3]

C. Wang, X. Zhu, E. Geelhoed, I. Biscoe, T. Röggla, P.
Cesar, How Are We Connected? Measuring Audience
Galvanic Skin Response of Connected Performances. In
International Conference on Physiological Computing
Systems. (2016)）