情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B03
2021/3/10

遠隔からキャラクタエージェントとして参加することにより空間を共有するテレコミュニケーションシステム
柏木敏朗†1角薫†2

概要：本研究では，遠隔地にあたかも存在しているような体験ができるテレコミュニケーションシステムの開発を行った．仮想現実や通信・撮影技術の発達により，展示会や学会への参加，スポーツ観戦などを自宅からあたかもその会場にいるかのように参加できるようになった．しかしながら，現場にいる人が遠隔地の人を視認できないため，遠隔地から参加している人の意思を現場にいる人に伝えることが難しい．このようなローカル参加者とリモート参加者で会場に共存し，実際と同じようなコミュニケーションを可能にすることは課題の 1 つである．そこで本研究では遠隔地の人を会場に仮想的に存在させ，会場の映像を遠隔地の人見ることができるようにすることで，あたかも会場に互いが存在しているように会話を行うことができるシステムの提案・開発を行う．開発方法として 360°カメラで撮影された周辺環境情報を遠隔地の人にヘッドマウントディスプレイを用いて体験させ，遠隔地の人の映像を球体型ディスプレイに CG 映像で投影する．

1. はじめに a
仮想現実や通信・撮影技術の発達により，展示会や学会への参加，スポーツ観戦などを自宅からあたかもその会場る場合のテレプレゼンスまで検討されていない．そこで本研究では遠隔地に自身の 3 次元映像を仮想的に存在させ，加えて遠隔地の身の回りの映像を視聴できるテレコミュニケーションシステムを開発する．にいるかのように参加できるようになった．しかしながら，本論文では遠隔地の空間を共有する新たなコミュニケ

現場にいる人が遠隔地の人を視認できないため，遠隔地かーションシステムの開発と活用例，今後の課題について論ら参加している人の意思を現場にいる人に伝えることにはずる．

限界がある．このようにローカル参加者とリモート参加者があたかも同じような場に共存するようなコミュニケーシ

2. 関連研究

ョンを可能にすることは課題の 1 つである．

遠隔地の環境情報を体験・視聴することができる研究はい

テレワークの普及により，多くのビデオ会議ツールが活くつか行われている．Jingxin らは上部に 360°カメラを搭用されており，遠隔地の人とあたかも実際に会って会話し載した走行可能なロボットとヘッドマウントディスプレイているような体験が可能となった．従来のテレコミュニケを用いて，そのロボットの視界を体験できる[2]．ほかにも，ーションツールは大型のディスプレイなどを用いることに

OmniEyeball は 360°カメラを上部に搭載した球体型ディより実物大の高解像度の映像や高品質な音声を互いに通信

スプレイを用いて，遠隔地の身の回りの映像を球体型ディすることで，あたかも目の前に遠隔地の人がいるように感スプレイに投影させることで，自身のいる空間と遠隔地のじる．しかしながら 2 次元的な表示であるために，遠隔地空間それぞれの身の回りの映像を共有しながらコミュニケの人の映像や音声が平面的になり，目線や物理的な存在感ーションを行うことができる[3]．環境情報を取得することなどの情報が失われ，実際の対面での会話とギャップが存で遠隔地の雰囲気や状況などを感じることができる．

在する．このような 3 次元的な情報は拡張現実や仮想現実を用いることで再現が可能である．Holoportation は人やモ

3. 提案システムノを 3D キャプチャし，遠隔地のスペースに仮想的にテレ遠隔地の空間を共有するコミュニケーションシステムのポートすることができるシステムである[1]．これにより遠開発を行う．図 1 は本研究の提案システムの概要図である．

隔地の人を自分と同じ空間に 3 次元的に存在しているよう

B 空間にいる人の 3D モデルを A 空間に存在させ，A 空間に見せ，実際と同じような会話を可能とした．の 360°映像を B 空間の人が視聴する．

このように仮想現実や拡張現実を用いることによって自身の空間に遠隔地の人を存在させ，実際と同じような会話ができるようになった．しかし展示会など 1 つの空間にローカルで存在している人と遠隔地の人が集まる必要があ

3.1 使用デバイス
本研究のシステムはヘッドマウントディスプレイと360°カメラ，球体型ディスプレイで構成されている．
A 空間に存在する 3D モデルの視点からの周辺映像を取得するために 360°カメラを用いる．そこでリアルタイム† 公立はこだて未来大学
1 g3120001@fun.ac.jp
2 kaoru.sumi@acm.org© 2021 Information Processing Society of Japan198

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B03
2021/3/10

図 1 システム概要
で高解像度の全天球映像を撮影できる KODAK PIXPRO のVIVE Tracker というトラッキングデバイスを用いて球体型4KVR360 を採用した．そしてその全天球映像を視聴するた

ディスプレイに対するユーザの顔の位置を測定し，その位めにヘッドマウントディスプレイ(HTC VIVE) を使用する．

置から実在感が高く見える 2D 映像生成しプロジェクタか

図 1 のように A 空間に存在する 3D モデルの視点からのら曲面スクリーンへ投影することによって，立体的な映像映像を撮影するために，3D モデルの視点に近い高さにをユーザに見せることができる．また図 2 のように透明な360°カメラを設置する必要がある．しかしながら拡張現実

アクリルで作成されたスタンドを用いて球体型ディスプレを視聴するためのシースルー型ヘッドマウントディスプレ

イの頭頂部に 360°カメラを設置する．

イを用いた場合，構造上 3D モデルが半透明に見えてしまシステムの構造として，図 1 のように片方の空間にいるうため，360°カメラの高さを調整する器具と干渉し，存在ユーザはヘッドマウントディスプレイを装着し，もう片方感が阻害されてしまう．そこで 360°カメラを視点に近いの空間にいるユーザは 360°カメラを上部に搭載した球体ところに設置でき，物理的にオクルージョンが可能である型ディスプレイを用いて会話を行う．

球体型ディスプレイを用いて 3D モデルを投影することに3.2 空間を共有する側(360°カメラ+球体型ディスプレイした．球体型ディスプレイは図 2 のように上部にアクリル側)の曲面スクリーン，下部に魚眼レンズが取り付けられたプ

図 1 の左側の A 空間は遠隔地の人に周辺映像を送信し，ロジェクタが設置されている．球体型ディスプレイは，またその空間上のユーザはキャラクタエージェントを球体型ディスプレイに投影することで実際に遠隔地の人がいるように視認することができる．事前に遠隔地の人の顔の 3Dスキャンを行い，そこで得られた 3D モデルを球体型ディスプレイに投影することでリアルなプレゼンスを作る．顔の向きは遠隔地のヘッドマウントディプレイを装着したユーザの顔の向きと連動し，表情はリップシンクなど相手の音声に応じて口の開閉を推定することで生成する．そのため，顔の頷きや顔の向きから相手の意思や見ている方向が認識できる．
3.3 空間を共有される側(ヘッドマウントディスプレイ側)

図 2

球体型ディスプレイと 360°カメラ© 2021 Information Processing Society of Japan

図 1 の右側の B 空間にいるユーザは遠隔地の空間を体験

199

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

することができる．ユーザはヘッドマウントディスプレイ

1B03
2021/3/10を行うことが可能になった．

を装着し，相手側の 360°カメラから撮影される全天球映

現状，球体型ディスプレイにはキャラクタエージェント像を仮想空間上で視聴することで，相手の空間にいるようの顔の映像は音声によって表情の生成を行っている．そこな体験が可能となる．そのため遠隔地の人が目の前にいるで MEETMIKE や Siren, Stephen らの研究のようなリアルタと錯覚し，A 空間に一緒に存在しているように感じることイムで人の顔の表情や視線を再現するシステムを用いたができる．

3D モデルを球体型ディスプレイに投影することよりリア加えて遠隔地の人の声の位置を認識できるようにするた

ルなプレゼンスを表現できる[4][5][6]．また球体型ディスめに音声を 3 次元的に生成する．そのためにヘッドマウン

プレイには顔以外の手などが投影されていないため，頷き

トディスプレイのほかに 7.1ch サラウンド搭載のヘッドホなどのジェスチャは可能であるが，手などのジェスチャをンを装着する．先ほども述べたが球体型ディスプレイに立表現することができない．そのようなノンバーバルなコミ体映像を投影する方法として VIVE Tracker による顔の位置ュニケーションについても検討していきたい．

認識を行っている．つまりこれは遠隔地の相手が，自身が向いている方向に対して前後左右どこにいるのかを認識することができる．そのため，7.1ch サラウンドで仮想的にそ

参考文献の方向からの音声を生成し，どこから遠隔地の人が声を発[1]しているのかを知覚できるようにする．つまり後ろから声をかけられるなどの実際のような音による知覚ができる．

[2]

4. 本研究の活用例
本研究のシステムは，展示会や劇場，学会など会場の明るさや演出，雰囲気などの環境情報を共有しながらコミュ[3]

ニケーションを取りたいときに活用できる．従来はスマー
トフォンのカメラや 360°カメラを現地にいる人が用いて，遠隔地の人の視界や視点を制御して会場の雰囲気を共有し[4]ていたため，遠隔地の人が会場のどの部分を見ているのかを認識するのが難しかった．それに対して本研究のシステ
ムを使うことで，会場のどの方向を向いているかがわかるため，あれやそれといった指示語が使うことができるようになり意思疎通がしやすくなる．例えばスポーツ観戦や演

[5]
[6]

Sergio. O. et.al.. Holoportation: Virtual 3D Teleportation inReal-time. 29th ACM User Interface Software and Technology
Symposium, 2016, p. 741-754.
Jingxin, Z. et.al.. A 360°Video-based Robot Platform for
Telepresent Redirected Walking. ACM/IEEE International
Conference on Human-Robot Interaction, Workshop on Virtual,
Augmented and Mixed Reality for Human-Robot Interaction, 2018,p. 58-62.
Zhengqing, L. Shio, M. Toshiki, S. and Hideki, K. OmniEyeball:
Spherical Display Embedded with Omnidirectional Camera Using
Dynamic Spherical Mapping. 29th Annual Symposium on User
Interface Software and Technology, 2016, p. 193-194.
Mike, S. Chris, E. and Kim, L.. Meet Mike: Epic Avatars.
SIGGRAPH ’17 VR Village, 2017, 12p.
“SIREN”. https://www.3lateral.com/projects/siren.html, (参照2020-11-20).
Stephen, L. Jason, S. Tomas, S. and Yaser, S.. Deep Appearance
Models for Face Rendering. ACM Transactions on Graphics, 2018,vol. 37, no. 4, p. 1-13.

出を現地にいる人と遠隔から参加している人がともに同じ体感をしながら，遠隔地の人からの「あれ見て」などの会場の環境情報についての会話が可能になる．また展示会や学会ではオフラインとオンラインのハイブリッド開催が挑戦的に行われている．本研究のシステムを用いることでリモート参加している発表者とローカル参加している傍聴者が実際に会場で会話をしているような体験も可能である．
現在，球体型ディスプレイは固定しているため，遠隔地の人は動くことができないが，ロボットなどを用いて移動可能にすることで会場にいる人と同じように遠隔地の人が会場を歩きながら，会場にいる人と会話を行うことができるようになるだろう．

5. まとめ・今後課題
ヘッドマウントディスプレイと 360°カメラ，球体型ディスプレイを用いて 1 つの空間であたかも共存しているようにコミュニケーションができるシステムの開発を行った．
本研究のシステムにより，ローカル参加者とリモート参加者が互いに会場にいると錯覚しながらコミュニケーション© 2021 Information Processing Society of Japan200