情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3C63
2018/3/5

遠隔地の作業者との体験共有のための実験システム
床井 浩平1,a)

大山 英明2

河野 功3

岡田浩之4

概要：遠隔地にいる作業者の視界を指示者に伝送し，そこに相互の姿勢を互いの視界に重畳することにより，作業者と指示者が体験を共有して各種の実験を行うためのシステムについて報告する．このシステム
では作業者と指示者の双方が HMD を装着し，作業者側に設置した全天球カメラで取得した遠隔地の光源環境，もしくは作業者の HMD に装着したステレオカメラの映像をネットワーク経由で指示者に伝送して，指示者が作業者の環境下にいる臨場感のもとに作業者に指示を行うことが可能である．

Experimental System for Sharing Experiences with Remote Workers
Kohe Tokoi1,a)Eimei Oyama2

Isao Kawano3

Hiroyuki Okada4

Abstract: In this presentation, we report on a system for performing various experiments in which theinstructor shares the experience of the remote worker by transmitting the field of view of the worker to theinstructor and superimposing mutual attitudes there. In this system, both the worker and the instructor
wear HMD, and the remote light source environment captured by the omnidirectional camera placed in theworker side or the images of the stereo camera attached to the operator’s HMD is transmitted via the network
to the instructor. As a result, the instructor can instruct the worker under the presence as if he/she were inthe environment of the worker.

1. はじめに作業現場にいる作業者に対して，指示者が遠隔地から作本研究では，このような遠隔作業支援のための各種の実験を目的とした，テレイグジスタンス技術にもとづく遠隔行動誘導や体験共有を行うシステムを開発している [3]．

業内容や機器の操作等を指示しようとする場合，言葉によテレイグジスタンスは，遠隔地の人型ロボットの感覚情る指示だけでは作業者において指示内容があいまいになっ報を共有しロボットを操縦者の動きに追従させることによたり，解釈に齟齬が生じたりするという問題がある．またり，遠隔地の人型ロボットを操縦者自身の身体のように操指示者の側にも，作業者の状況や作業現場の環境の把握がる技術である [4], [5]．

難しいという問題がある．

また遠隔行動誘導技術は，拡張現実（Augmented Reality,このため，このような用途には以前から双方向の映像通AR）技術を用いた遠隔作業支援システムである [6], [7]．

信システムを用いた手法が用いられている．しかし，通信体験共有技術とは様々な体験をしている人（実体験者）の回線が狭帯域である場合には，注目する領域について重点感覚情報を，実体験者が体験した状態（体勢）で追体験者的に情報を伝送するなどの工夫 [1] が求められる．また，単に提示 することにより，追体験者が臨場感を持って実体験純な映像通信では細かな作業の際の意思疎通に十分な情報者の体験を追体験する技術である [8], [9], [10]．

を交換できない場合があり，立体映像を用いて空間的な位置の把握や存在感の伝送を試みた例 [2] もある．
1234a)

和歌山大学 Wakayama University
産業技術総合研究所 National Institute of Advanced Industrial
Science and Technology
宇宙航空研究開発機構 Japan Aerospace Exploration Agency
玉川大学 Tamagawa University
tokoi@sys.wakayama-u.ac.jp© 2018 Information Processing Society of Japan

これらの技術の情報処理には共通した部分が多数存在する．そのため本研究は，テレイグジスタンス型ロボット操
縦/遠隔行動誘導/体験共有の実験において，共通に使用できるプラットフォームの開発を目指している．本発表では作業者と指示者を人として，作業者の環境の指示者への伝送による体験共有のデモンストレーションを行う．

1107

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3C63
2018/3/5

HMD

HMD

External
Software/Hardware

Omnidirectional
CameraOmnidirectional
CameraGame Pad

Gesture Sensor

Instructor’s Packet
HeaderGesture Sensor

Instructor's
PC

Worker's
PC

Game Pad

Gesture

図 1

SharedMemoryPostureMatrixHead Tracking

GestureSharedMemoryHead
Tracking

SharedMemoryChannelRGB-D Camera

External
Software/Hardware

システム構成Fig. 1 System configuration

HMD

Worker’s Packet
HeaderPostureMatrixFirstFrame

Omnidirectional
CameraSharedMemory

Omnidirectional
CameraSecondFrame(Instructor’s Environment)

RGB-D Camera

図 3 通信の概要

Fig. 3 Communication overviewの視野に重畳して表示する．これにより遠隔地にいる作業
図 2ロボットヘッドに取り付けた全方位カメラ

Fig. 2 Omnidirectional camera attached to the robot head

者と指示者が協調して作業することが容易になる．ゲーム
パッドはこの手のモデルや環境に配置するモデルの視点に対する位置の微調整のほか，HMD に表示する映像の画角

2. システムの概要
2.1 システム構成や位置などの調整に用いる．
作業者側の RGB-D カメラは作業者の目前にある物体の見かけと三次元形状の取得に用いる．対応している RGB-

本システムのハードウェア構成を図 1 に示す．このシD カメラは Microsoft 社 Kinect，Kinect for Windows，

ステムは作業者と指示者の双方がヘッドマウンテッドディ

Kinect for Windows v2，Kinect for Xbox One，SoftKi-スプレイ（Head Mounted Display, 以下 HMD）を装着しnetic 社 DepthSense 311/325，および Creative 社 Senzて使用する．使用可能な HMD は Oculus Rift DK1/DK2

3D である．これを用いる場合はカラー画像とデプス画像あるいは CV1 である．これらの HMD のほかに，通常のを作業者側から指示者側に伝送し，指示者側で形状を再構ディスプレイや 3D ディスプレイに表示することも可能で成してから，指示者側の全方位カメラで取得した環境に合ある．対応している 3D ディスプレイの映像方式は，トッ成して表示する．

プアンドボトム方式，サイドバイサイド方式，およびフレームシーケンシャル方式である．

2.2 通信の概要

作業者の視野は HMD に装着したカメラ（一般的な Web

作業者と指示者の間の通信には UDP を用い，データ送

カメラ 1 台あるいは 2 台，もしくは Ovrvision Pro）のほ信をステートレスで行う．作業者側では HMD により取得か，等距離射影方式の魚眼カメラ（Kodak PIXPRO SP360されるヘッドトラッキング情報と，ジェスチャセンサで取4K など）や全方位カメラ（RICOH THETA S）が使用で得した手の姿勢情報を，共有メモリ（ファイルマッピング

きる．これらも HMD に装着して使用するほか，据え置きオブジェクト）上に同次座標の変換行列の形で格納する．

で使用することもできる．全方位カメラをロボット（川田HMD のヘッドトラッキング情報は並進と回転を表す四元工業 NEXTAGE）の頭部に取り付けた例を図 2 に示す．

数の組み合わせで得られるため，これを一つの行列にまとジェスチャセンサ（Leap Motion）は HMD に装着し，めている．またジェスチャセンサーからは骨格の絶対位置作業者と指導者の双方の手の動きを取得する．これを相互情報が得られるが，これも並進と回転からなる同次座標のに伝送して自分の手と相手の手の動きを示すモデルを双方変換行列に変換している．

© 2018 Information Processing Society of Japan1108

情報処理学会 インタラクション 2018
IPSJ Interaction 2018{}

3C63
2018/3/5

指示者の視野作業者の視線マーカー"position": [ <x>, <y>, <z> ],"rotation": [ <x>, <y>, <z>, <angle> ],"scale": [ <x>, <y>, <z> ],"controller": <番号>,"remote_controller": <番号>,"model": "<形状データファイル名>","children": [<シーングラフのノード>,：<シーングラフのノード>]

指示者の視線マーカー

作業者HMD

指示者HMD

図 5 指示者の HMD の表示

Fig. 5 Display of instructor’s HMD

図 4 シーンファイルの書式

Fig. 4 Scene file format

変換行列を共有メモリ上に置くことにより外部プログラ
ムから変換行列を読み書きすることが可能になり，任意のコントローラを追加することが容易になっている．また，ここに格納されたデータは相互に相手方に伝送されるため，遠隔地の外部機器の操作に利用することもできる．
作業者側からは，これに作業者側のカメラやセンサで取得した画像を追加して送信している．現状はヘッドトラッ
キング情報やジェスチャ情報と映像フレームとの同期を容易にするため，フレーム毎に JPEG で符号化している．

2.3 ソフトウェアの機能
これらのほか，開発したソフトウェアは以下の機能を持つ．

• 映像の取得に魚眼カメラや全方位カメラを用いた場合は，それを平面投影像に展開し，環境映像から操縦者の視野の映像を切り出す機能をもつ．また，パンチルトカメラの映像を合成して全天球画像として用いる機能も実験的に実装している．

図 6 手のモデルの重畳表示

Fig. 6 Superimposed display of hand model

チャ情報を用いて，シーンのアニメーション表示を行うことができる（図 6）．
このシーンファイルの書式を図 4 に示す．一つのオブジェクトがシーンの一つのノードに対応している．

"position" はパーツの位置，"rotation" はパーツの回転，"scale" はパーツの拡大率を指定する．

"controller" は 共 有 メ モ リ 上 に 置 か れ た 自 分 の ト
ラッキング情報やジェスチャ情報の変換行列の番号，• 広角ステレオカメラ Ovrvision Pro や 2 台の Web カ"remote_controller" は共有メモリ上に置かれた相手

メラにより取得した立体視映像を表示する機能をもつのトラッキング情報やジェスチャ情報の変換行列の番号

ほか，HMD あるいはパンチルトヘッドに装着した 2を指定する．なお，これらは "position"，"rotation"，

台の全天球カメラ (RICOH THETA S) の映像を安定"scale"より先にパーツに適用される．

化する（映像からカメラの方向変化を除去して並進のみにする）機能を持つ．

• 表示映像に Alias OBJ 形式の三次元形状データを半透明で重畳表示する機能をもつ（図 5）．この配置はマウスやゲームパッドを用いて調整することができる．

Alias OBJ 形式の三次元形状データはパーツ間の階層構"model" はパーツの形状データ (Alias OBJ 形式) のファ
イル名，"rotation" はパーツの位置，"children" はこのノードの下位に配置されるノードを列挙する．ここに他のシーンファイルを指定することもできる．

3. 応用

造や骨格などのロボットの表現に必要となる機能を持たな

本システムは，月惑星の縦孔・地下空洞探査 (UZUME)いため，JSON (JavaScript Object Notation) による独自システム [11] における，テレイグジスタンスロボットの操形式のシーングラフでシーンの記述を行う．階層化された縦に関連した実験に使用されている．

パーツ間の相対的な位置関係はシーングラフ内に記述でき

UZUME システムでは，宇宙飛行士に先駆けて到達が困るほか，共有メモリの変換行列を指定することにより，自難な縦孔・地下空洞等の探査を行う人型ロボットプローブ

分側と相手側の双方のヘッドトラッキング情報やジェスを導入し，将来の月探査技術の事前実証を行うことが検討さ© 2018 Information Processing Society of Japan1109

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3C63
2018/3/5

れている [11], [12]．この人型ロボットプローブは，地上の謝辞

科学者に代わって理学的な探査を行う実験遠隔操作型代理

本研究は JSPS 科研費 17K00271 の助成により実施して科学者（Experimental Remote-controlled Scientist Agent,いる．

ERSA）と呼ばれる [13]．地上の科学者は拡張現実感技術を活用した広視野・高解像度の HMD を装着し，ERSA が参考文献活動する環境に没入することで，ERSA に乗り移ったよう[1]な臨場感の下で ERSA を操作することができる．
この ERSA の実現には，月・惑星探査や宇宙ステーション[2]（ISS）で宇宙飛行士を支援することなどを目的に，月などの超長距離で、地球上の操作者の思い通りに動かす事ができる[3]

スーパーテレイグジスタンスロボット（Super-TelExistenceRobot, STER）技術 [14] の開発が必要である．
このような目的に，本システムの遠隔地にいる作業者の体験を共有する機能が利用可能であると考えられた．

[4]

しかし，STER 技術の開発において解決すべき課題のひ
とつに，遠隔地のロボットと操縦者の通信の遅延がある．

[5]

一般的なテレイグジスタンス技術 [4], [5] は，ロボットと[6]操縦者の間に高速・広帯域の通信路があることが前提になっている．ところが地上–月面間の通信では，帯域が非常に狭いだけでなく，大きな伝送遅延が存在する．このう
ち帯域の問題は将来改善される可能性があるが，伝送遅延[7]は物理的距離に起因するため，改善手法がそもそも存在しない [15]．このため，このような条件の下で遠隔地の環境[8]をテレイグジスタンス技術により操縦者の周囲に再現しても，操縦者の動作に対する表示遅れのために，操縦者はロボットを正しく操縦することができない．

[9]

そこで，このシステムを用いて遠隔地の光源環境（環境映像）全体をあらかじめ指示者（操縦者）の側に転送し，[10]指示者の視野を作業者の視野とは独立して提示することにより，操縦者の頭部の動き（視線の移動）に伴う表示の遅[11]れを見かけ上解消する手法が提案されている [16]．この方法では，例えば図 2 のようにロボットの頭部にカメラを取[12]り付け，操縦者のヘッドトラッキング情報に従ってロボッ
トの頭の向きを変更した場合に，時間遅れによって不正な[13]映像が操縦者に提示されることを抑制できる [15]．

4. おわりに本システムはまだ開発途中であり，実装はしていても期

[14]

[15]

待通り動作していない機能や，不安定な部分が多数ある．
特に映像をフレームごとに JPEG で符号化することは，非常に大きな通信帯域が必要となるため，現状では目標とす[16]る遠隔地との通信に使用するのは困難であることが予想される．この映像の符号化手法の改善は必須である．
また，シーンの記述に用いているシーンファイルには，glTF[17] などの標準化された書式を採用すべきである．
本システムをロボットに応用することを考えれば，ROS

[17]
[18]
[19]

井口信和, 床井浩平, 内尾文隆. “分散ネットワーク環境における 技術相談のための画像 QoS 設定機能.” 情報処理学会論文誌 41.9, 2651-2660 (2000)
床井浩平. “立体ディスプレイを用いたテレプレゼンスの実験.” 3D 映像, Vol. 23, No. 4 (2009)
大山英明, 城間直司, 八木下明宏, 根本太晴, 岡田浩之, 鈴木夏夫, 床井浩平. “TelExistence Display System (TED): テレイグジスタンス／遠隔行動誘導／体験共有のための AR 表示オープンソースソフトウェア.” 第 18 回計測
自動制御学会システムインテグレーション部門講演会
SI2017, 2C2-06 (2017)
Susumu Tachi. “Telexistence.” 2nd edition, World Scientific (2015)
舘 “テレイグジスタンス.”” 日本ロボット学会誌, Vol. 33,No. 4, pp.215-221 (2015)
Maeda, T., Ando, H., Iizuka, H., Yonemura, T., Kondo,D., and Hashimoto, Y. “Immersive tele-collaboration
with Parasitic Humanoid: How to assist behavior directly in mutual telepresence.” ICAT 2011, Osaka, Nov.
30 (2011)
Eimei Oyama, et al. “Behavior Navigation System for
Harsh Environments.” Advanced Robotics, Vol. 30, Issue 3, pp. 151-164 (2016)
Naoji Shiroma and Eimei Oyama. “Development of Virtual Viewing Direction Operation System with Image
Stabilization for Asynchronous Visual Information Sharing.” Proc. of IEEE RO-MAN2010 (2010)
Naoji Shiroma and Eimei Oyama. “Asynchronous visual
information sharing system with image stabilization.”
Proc. of IEEE/RSJ IROS 2010, pp. 2501-2506 (2010)
Daisuke Kondo, et al. “View sharing system for motion
transmission.” in the 2nd Augmented Human International Conference (AH’11) (2011)
河野功, 他. “月火星縦孔地下空洞探査 (UZUME) システ
ムの研究.” 宇宙科学技術連合講演会講演集 60, 6p. (2016)
河野功, 他. “月火星の縦孔・地下空洞探査 (UZUME) 計画のシステム検討.” 第 16 回宇宙科学シンポジウム講演集. (2016)
児玉浩明, 松尾忍, 河野功. “月惑星探査用代理科学者シス
テムのミッション成立性の研究.” 宇宙科学技術連合講演会講演集 59, 5p. (2015)
河野功 他. “月の縦孔・地下空洞探査のためのスーパーテレイグジスタンスロボットの研究.” 第 33 回日本ロボット学会学術講演会講演予稿集. (2015)
大山英明, 金奉根, 城間直司. “時間遅れの大きい通信下におけるテレイグジスタンス型ロボット操縦のための表示システム.” 宇宙科学技術連合講演会講演集 59, 4p. (2015)
床井浩平, 大山英明, 河野功. “遠隔地のロボットと視覚を共有する AR 型 HMD システム.” 宇宙科学技術連合講演会講演集 60, 5p. (2016)
Khronos group. “glTF Overview.”
https://www.khronos.org/gltf/ (1/29/2018 参照)“ROS.org — Powering the world’s robots.”
http://www.ros.org/ (1/29/2018 参照)“urdf - ROS Wiki.”
http://wiki.ros.org/urdf (1/29/2018 参照)(Robot Operating System[18]) の URDF (Unified Robot
Description Format[19]) に対応する必要がある．

© 2018 Information Processing Society of Japan1110