全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Display

が、本研究では、この視覚機能を五感ディスプレイと共に実現する。
２．研究の背景
5G 無線通信の普及が期待される中、遠隔地間を結んでバーチャルに共同活動を可能としたり、遠隔の空間でも眼前の空間と同様に作業を行うなどの高速通信の池井 寧 ( Yasushi Ikei, Ph. D.)

応用が現実的となってきた。しかしながら、遠隔地に東京大学 大学院情報理工学系研究科 特任教授おいて移動を伴う活動に参加するには、まだ解決しな(Professor, Graduate School of Information Science Technology,
The University of Tokyo)

ければならない問題が多い。高解像度カメラの小型化により臨場感に寄与する映像を取得し、高速に伝送す

日本バーチャルリアリティ学会， ヒューマンインタフェース学会，日本機械学会，IEEE，ACM 他
受賞：ACM, Best Virtual and Augmented Reality Technology（2018），Innovative Technologies 賞 (2018, 2017, 2012 年). 日本バーチャルリアリティ学会論文賞 (2017, 2014, 2002 年), Best Paper VSMM (2012 年)
他
著書：五感情報を活用した超臨場感体験システムと応用可能性, 技術情報協会 (2018 年) 超臨場感, エヌ・ティー・エス (2008 年) 他
研究専門分野：五感インタフェース 超臨場感 バーチャルリアリティ

ることが可能となったが、それだけで遠隔の体験が可能となるわけではない。
遠隔の体験には、遠隔にいてそこに参加しているという感覚、すなわち臨場感がこれまでとは異なる水準で達成されることが必須となる。このためには、理想的には五感の機能が遠隔地で発揮されなければならないが、まず視覚の機能と視点の移動機能が重要である。

あらまし

しかしながら、それだけではオペレータが実際に長時

無線通信技術の急速な進展とバーチャルリアリティ間使用して遠隔地での作業を行うことは実際には困難用のインタフェースの普及によって遠隔地のリアルタである。それは、映像の解像度が向上したなかで、映イム体験の実現が近づく中で、リモートワークへの要像の視点（カメラ位置）が動くと、映像酔いが深刻な求もますます高まる状況である。

障害となるためである。これに対処するには、オペレ

本研究では遠隔地への参加・活動のライブ体験を実ータが実際に遠隔地で行動している感覚が得られるよ現するため、遠隔地で移動するカメラを全天球の２眼うに五感へのディスプレイで情報を提示し、視覚情報の構成とすることで任意方向の立体視が可能となる視だけが身体から乖離することを妨げ、人間の外界知覚覚システムとそのカメラを移動するためのアバターロと身体知覚の統合を支援することが有効と考えられる。

ボットシステムを構築した。さらにこれらのカメラから得られたライブ映像に対応する他の感覚への情報提３．研究の方法示として、前庭感覚提示、音響提示、振動提示、気流

本研究では、上記の観点から、まず臨場感の高い視提示を行うことで、映像酔いを有意に抑制することが覚機能を得るために、全天球カメラを利用した遠隔全可能となった。これらにより、遠隔地のライブ体験の方位立体視システムを構成し、これを新たに構築した基礎技術を進展させることができた。

移動機に搭載した。これらにより、遠隔地を移動する体験の視覚的な情報提示の部分を格段に向上させるこ

１．研究の目的ととした。また移動機能のために、カメラの回転運動

本研究の目的は、遠隔地の全天球リアルタイム立体に適合した制御が行いやすい構造の移動ロボットを構映像を観察者に提示し、その映像の地点でカメラを移築することとした。さらに、移動するカメラの映像（移動することで、その場（空間）への没入感・臨場感の動する視点の状況）において、視覚以外の感覚を整合高い体験を提供するシステムを実現することである。

させるための身体感覚の提示機能の開発を行った。

このためには、全方位への立体映像を得る必要がある

1TELECOM FRONTIER No.111 2021 SPRING

全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Display

3-1. 2 台の全天球カメラによる立体視システムる点が本研究の新規性の一部である。
3-2. 遠隔地を移動する立体視システム
前節の全方位立体視カメラシステムを移動機に搭載し、遠隔地で視点の位置を変更可能とした。これは、遠隔地の体験（テレエクスペリエンス）を行うための基本機能である。遠隔地の体験としては、多様な要求があるが、まず視点を移動するための構成である。
遠隔の現実世界での視点の移動のためにカメラを動

図1

かす手段として、もっとも実用面で現実的な方法はカ

TwinCam カメラシステム

メラと送信器を搭載した移動機を現地の操縦者に任せ本研究では、遠隔地における全方位のリアルタイムる方法である。この構成はセンターの専門オペレータ立体視を可能とするために、2 台の全天球カメラを並が、遠隔地の現場に実際に行くことなく、大型施設の置し、観察者の両眼に対応させて視差を正確に再現す

メンテナンスや現地作業者と対話しながら共同作業をる構成（TwinCam カメラシステム、図 1）を設計し、そ行うことを可能とする点で有効である。

れを移動機に搭載した。この 1 対のカメラの配置は、両眼の眼間距離にほぼ等しく設定されており、仮想的にその位置に眼球が置かれたことに相当している。これらから得られた映像によって、観察者はカメラの中心の光軸方向で遠隔地を立体視することができる。観察者は Head Mounted Display(HMD)を装着することでその映像を見るが、正面だけでなく、頭部を鉛直軸まわりに回転させて方位を変えて見た場合も正しい立体視が可能となるように遠隔のカメラが回転する。ただし、このとき 2 台のカメラは、頭部と同じ方向を向く

図2

TwinCam Go システム

ように回転するのではなく、レンズの光軸の方位を変えずに、観察者の頭部における眼球位置と等価な場所

図 2 は、前項の TwinCam カメラシステムを Segwayにカメラのレンズ中心を置く。カメラは全周の映像をに搭載した構成である。
2 台のカメラ（Theta V、Ricoh）取得できるので、HMD に提示する映像の部分を全周映の映像信号は、2 台の制御用 PC（MacBook Pro）で取り像の中で回転すれば同じ結果が得られる。

込み、webRTC で映像と音声を送信している。通信はこ

この構成は、遠隔の立体視映像を得るときに次の利の時点では携帯型無線ルータ（WiMAX）で走行中のデー点がある。まず、観察者が見回す動作をした場合の頭タを送信しているが通信速度は条件に大いに依存する。

部回転に対して、通信遅延と制御の遅延によりカメラ

今後、5G 通信が利用できれば十分な実用性を持つと考のレンズ位置の回転が実際の頭部角度に追従していなえられる。カメラシステムは、スタビライザに固定さい場合でも、HMD の回転に対応した映像が提示されるれ、車体の揺動の一部を減衰している。この車体の実ので見かけ上、上記の遅延がなくなる。さらに、遠隔際の操作は、センターの専門オペレータの指示に従っ

地のカメラは頭部回転に対応して位置を変化させるが、て操縦者が行うが、Segway は歩行者とほぼ同様の経路レンズの方位は変わらないので映像の運動ぼけが発生を進むことが可能であるため、実際の作業員と同様にしない。これらの特長により、遠隔地の立体映像を全近い観点で作業に参加することが可能である。

方向で体験でき、他の 2 眼方式の問題点を解決してい2TELECOM FRONTIER No.111 2021 SPRING

全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Displayにカメラの運動に対応する身体的な刺激を同時に加えることで映像酔いの軽減を行った。手法として、HMDを装着した観察者が電動車椅子に着座し、映像の運動状態に応じた電動車椅子による前庭感覚刺激を提示するもの、振動を足底に提示するもの、気流を顔面に提示するものを検証した。

図 3 アバターロボット
図 3 は、構築した移動ロボットシステム（アバターロボット）である。上部に TwinCam カメラシステムを搭載し、専門オペレータが操縦コマンドを送るとともに、現地の映像を受け取る構成である。このアバターロボット（TriStar 1）は、全方位車輪を 3 個装備することにより、任意の方向に進行できると同時に中心回

図4

TwinCam と電動車椅子に登場する体験者りの回転も行いやすい構成となっている。車輪は個別の DC モータで駆動され、制御器（Nvidia Xavier AGX）

図 4 は、Segway に搭載された TwinCam カメラシステが車体の移動方向に応じて各車輪の回転速度を制御しムと体験者側の構成を示している。体験者は、搭乗している。車体には、カメラのほかに距離センサ、自己た電動車椅子から並進（前後）運動の加速度と回転（左位置計測センサが搭載され、障害物検出と部分的自律右）運動の回転角加速度を受ける。映像は、TwinCam移動のデータ収集を行っている。このアバターロボッ

カメラシステムから webRTC で受信すると、カメラの映トは、遠隔地での移動と作業の支援機能として周囲の像取得と通信で遅延が発生している。これは、カメラ物体と人間の顔の認識を内蔵しており、作業環境の自内部で圧縮変換する時間が大きい（300 ms 程度）が、律的な情報収集を行うことが可能となっている。

その環境での通信遅延時間と電動車椅子の運動の発生までの制御遅延を求めておき、映像に同期した車椅子

3-3. 観察者の身体フィードバックの効果運動を提示する。

センターのオペレータは、走行の操縦を依頼して自分では行わない場合と、自分で直接操縦を行う場合があるが、そのいずれにおいても映像を見る視覚刺激以外の現地情報の提示がないと、映像酔いが発生する。
映像酔いは、取得した運動関連情報の知覚統合の不良状態であり、視覚情報を含む感覚情報が全体として人間の従前の正常な知覚処理範囲に入らないことによるものである。しかしそのメカニズムと根本的な解決方法は明らかになっていない。この映像酔いを緩和するには、本来の運動状態に相当する知覚情報を与える、

図5

もしくは酔いを回避できるような統合を誘導する情報

足底振動による歩行感覚の生成を与えることが当面の対策と考えられる。
本研究では、観察者に遠隔地の視覚情報を与える際
3TELECOM FRONTIER No.111 2021 SPRING

全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Display

図 5 は、アバターロボットに搭載されたカメラシス
テムからの映像に対して、観察者の足底に歩行時の着地を模擬した振動を加える提示を行っている構成である。

図8

気流刺激による SSQ の減少

図 8 は、旋回運動する映像（VR 空間を旋回進行する）に対して、着座で頭部運動のない HMD による観察者に変動する気流方向で顔面・頭部に気流を提示した場合
図6

足底振動の歩行運動対応 SSQの酔いの評価（SSQ）を示している。運動視差を持つ映像に対して、気流が有意に映像酔いを抑制しているこ

図 6 は映像中で廊下を進行している際に、足底に速とが示されている。

度変動を考慮した歩行時の着地刺激を与えた場合の酔い（Simulator Sickness Questionnaire 指標、SSQ）

４．将来展望の抑制効果を示している。

遠隔参加もしくはテレイグジスタンス体験の有用性
はかねてより明確であるが、その際の臨場感を構成する情報は複雑である。臨場感は、本人の身体が存在する眼前の現実空間ではない空間に、自分が存在すると感じることであるが、その状態自体は自然な人間の知覚状態ではない。現実的な要求として、遠隔地の周囲の見回しは優先順位が最も高いと考えられるが、これについては我々の研究で全方位リアルタイム立体視が可能となった。次には、視点の移動であるがこれに直図7接に対応するのは自分自身の身体で移動した結果を遠前庭刺激による SSQ の減少

隔地のカメラの移動量とすることだが、これは歩行のための物理空間またはトレッドミルを用意することに

図 7 は、カメラ映像の直線運動の加減速に対して、なる。しかし、この場合の問題は、自己身体の能動運電動車椅子の加速度を変動させて提示した際の映像酔動に対して遠隔地からの視覚情報と他の感覚情報が必い（SSQ）の値を示している。この場合、カメラ映像（カず遅延するため、それによる酔いの発生が不可避となメラ）の空間中の加速度の 25 ％近傍の加速度を提示ることである。

することにより、映像酔いを 50 ％程度抑制すること

本研究の移動方式は、現地操縦者に任せる場合と直が可能となっている。

接音声による指示を用いており、この場合は遅延があまり問題とならない。移動の直接的変化事象の情報は、その意味で受動的に与えられるため、それに対応する
4TELECOM FRONTIER No.111 2021 SPRING

全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Display

視覚以外の提示情報を用意することが可能となる。上Sharing for Immersive Remote Collaboration

記の能動運動に対応するためには、バーチャルリアリ

with Vestibular Haptic Chair to reduce VR

ティ空間を用いた遠隔空間の表現が必要となるであろ

Sickness, ICAT-EGVE2019, pp. 19-20, 2019.

う。遠隔の実際空間ではなく、バーチャルリアリティ[5] V. Yem, K. Yamaoka, G. Sueta, Y. Ikei, Dual空間の場合は、視覚情報に対応する身体感覚を補正しBody: Method Of Tele-Cooperative Avatar Robotて提示することが実空間の場合より行いやすいため、With Passive Sensation Feedback To Reduce

遠隔の場合もこれをうまく利用することが考えられる。

Latency Perception, E-Tech, Siggraph Asia 2020.
[6] Vibol Yem, Reon Nashiki, Tsubasa Morita,
Fumiya Miyashita, Tomohiro Amemiya, Yasushi

おわりにikei, TwinCam Go: Proposal of Vehicle-Ride

本研究では、遠隔地の全天球リアルタイム立体映像を観察者に提示し、映像の地点においてカメラを移動

Sensation Sharing with Stereoscopic 3D Visual

することで、その場（空間）の没入感・臨場感の高い

Perception and Vibro-Vestibular Feedback for体験を提供するシステムとして必要性の高い部分を実Immersive Remote Collaboration, Siggraph Asia

現することができた。全方位への立体映像を得るため

2019, Emerging Technologies (SA '19).のシステムを構築し、その視覚情報とともにそれを補Association for Computing Machinery, New York,

完する五感情報のディスプレイを用いることで、遠隔NY, USA, pp. 53-54., 2019. doi.org/10.1145/

体験の基礎の一部を実証することができた。

3355049.3360540[7] Yujin Suzuki, Vibol Yem, Koichi Hirota,

参考文献

Tomohiro Amemiya, Michiteru Kitazaki ,[1] Kento Tashiro, Toi Fujie, Yasushi Ikei, Tomohiro

Yasushi Ikei, Airflow Presentation Method forAmemiya, Koichi Hirota, and Michiteru

Turning Motion Feedback in VR Environment,Kitazaki. 2017. TwinCam: Omni-directional

ICAT-EGVE2019, pp. 15-16, 2019.
[8] 池井 寧, 広田 光一, 阿部 浩二, 雨宮 智浩, 佐Stereoscopic Live Viewing Camera Reducing
Motion Blur during Head Rotation. Proceedings

藤 誠, 北崎 充晃，身体的追体験の概念の提案と一of SIGGRAPH ’17 Emerging Technologies, Los

部機能の試験実装―多感覚・運動情報提示による歩Angeles, CA, USA, July 30 -August 03, 2017,行・走行体験の共有，日本バーチャルリアリティ学

Article 24, 1–2. doi.org/http://dx.doi.org/10.1145/

会論文誌，24(2), pp. 153-164, 2019.

3084822.3084831[2] Yasushi Ikei, Vibol Yem, Kento Tashiro, Toi

関連文献

Fujie,[9] Reon Nashiki, Vibol Yem, Tomohiro Amemiya,

Tomohiro Amemiya, Michiteru Kitazaki, Live

Yasushi Ikei, Footstep Sound for Suppression ofStereoscopic 3D Image With Constant Capture

VR Sickness and Promotion of Sense of Agency,

Direction of 360 Cameras for High-Quality

ICAT-EGVE2019, pp. 11-12, 2019.

Visual Telepresence, IEEE Virtual Reality 2019,[10] Ryunosuke Yagi, Toi Fujie, Tomohiro Amemiya,

2019.

Michiteru Kitazaki, Vibol Yem, Yasushi Ikei, VR[3] Yasushi Ikei, Kento Tashiro, IMAGE

Sickness Reduction in Stereoscopic VideoCAPTURING DEVICE, U.S.patent 11006028,

Streaming System ‘TwinCam’ for a Remote2021.

Experience , ICAT-EGVE2019, pp. 27-28, 2019.

[4] Tsubasa Morita, Vibol Yem, Tomohiro Amemiya[11] K. Yamaoka, R. Koide, T. Amemiya, M.

and Yasushi Ikei, Vehicle-Ride Sensation

Kitazaki,
5TELECOM FRONTIER No.111 2021 SPRING

全天球立体カメラと五感ディスプレイによるテレエクスペリエンスに関する研究
Telexperience by TwinCam Omnidirectional Camera System and Multisensory Display

V. Yem, Y. Ikei, Rendering of Walking Sensation
for a Sitting User by Lower Limb Motion
Display , ICAT-EGVE2019, 2019

この研究は、平成２９年度ＳＣＡＴ研究助成の対象として採用され、平成３０～令和元年度に実施されたものです。

6TELECOM FRONTIER No.111 2021 SPRING