TVRSJ Vol.24 No.1 pp.137-140, 2019

ショートペーパー（応用）テレイグジスタンスロボットにおける身体表現機能のVR 拡張
井上 康之*1 ムハマド ヤーメン サライジ*2 加藤 史洋*1舘 暲*1Expansion of Bodily Expression Capability in Telexistence Robot using VR
Yasuyuki Inoue*1 MHD Yamen Saraiji*2 Fumihiro Kato*1 and Susumu Tachi*1
Abstract --- This paper reports the system visualizing bodily gestures of the user operating asurrogate robot. The conceptual core of telexistence explains that a human-like robot equippingwith various substitute devices of human functions can be used as the surrogate body of human(i.e. avatar). Although a 3-DOF robot-head can provide the basic functions of telexistence, theserobots have limited capacity to express bodily gestures performed by the robot’s user. Here, we
propose the bodily expression capacity expansion method by using virtual reality to realize remote
embodied communication.
Keywords: telexistence, surrogate robot, TX-toolkit, embodied communication
1 はじめに

表1 TX-toolkit の仕様

テレイグジスタンスは人間の存在そのものを実質的に遠隔地に伝える技術を指す概念[1]である。テレイグジ
スタンスを実現するには人間の知覚・運動機能と同等の能力を持ちユーザが実際に実世界で行動するための代理ロボット（アバター）が必要である。我々の研究室はこれまでに様々なコンセプトのテレイグジスタンスロボッ
トを開発してきた[2-6]。従来，それらのロボットは高価で数が少なく，広く普及させることは困難であったが，近年の VR 技術の発展と普及に伴い，より安価にテレイグジスタンスロボットを開発・量産することが可能になってきた。そのひとつが “TX-toolkit”（TeleXistence toolkit）である（図 1，表 1，付録参照）。

Table 1 Specification of TX-toolkit

サイズ

362mm×167mm×232mm

重量2.5kg（バッテリー含む）

自由度

頭部 3 自由度

電源

DC16V（外部またはバッテリー）

可動域

Yaw ±90°, Pitch ±20°, Roll ±20°

視野角

水平 100°, 垂直 98°

解像度

960×950 pixel/eye @ 60fps

応答性

映像遅延 100ms 以下

TX-toolkit はテレイグジスタンスを実現する基本機能を内蔵し，また拡張性も有しているため，様々なテレイグジスタンス研究に利用することができる（例えば[7]）。
しかし，頭部以外の可動部位がなく，ユーザの身体動作（ジェスチャ）を遠隔地に伝える能力は十分ではない。
本論文では VR を用いて TX-toolkit の身体表現機能を拡張し，代理ロボットによる臨場感ある遠隔身体コミュニケーションを実現する手法を提案する。
2 関連研究図1 テレイグジスタンスツールキット
Fig.1 TeleXistence toolkit*1 東京大学，高齢社会総合研究機構*2 慶應義塾大学，大学院メディアデザイン研究科*1 Institute of Gerontology, The University of Tokyo*2 Graduate School of Media Design, Keio University

TX-toolkit のような頭部だけのロボットや，頭部もない（カメラやディスプレイだけ備えた）ロボット（例えば[8]）にはユーザのアバターとなるボディが存在しないため，ユーザは遠隔環境で自分の身体を見ることも相手にジェスチャを見せることもできない。これに対して，Yamenet al.[9-10]は代理ロボットの周囲にユーザの手をバーチャルに再現してユーザ自身[9]や対話相手[10]に提示―137―

日本バーチャルリアリティ学会論文誌するシステムを提案し ている。し かし このシステムはHMD を被ったユーザ本人にしかアバターが見えなかったり[9]，プロジェクタ光を投影可能な平面上にしかアバターを表示できない[10]などの課題があった。また，村田らは MR デバイスを使って移動ロボットの周囲に 3Dの人型アバターを重畳提示してユーザの存在感を遠隔環境に再現するシステムを提案している[11]。しかし VRアバターの視点位置とロボットのカメラ位置が一致しない場合，ユーザのアバターに対する身体所有感が損なわれたり，ユーザと対話相手の間のアイコンタクトに齟齬が生じる可能性がある。これらの先行研究に対して，ユーザのジェスチャ情報を遠隔環境で相互に共有して複数の VR アバターに同時に提示する可視化システムを構築することで，代理ロボットを通じたより自然なコミュニケーションを実現することが可能だと考えられる。次節より，この提案システムの詳細について説明する。
3 システム概要
本システムは実ロボットの周辺に 3DCG で生成されたバーチャルアームを表示することでユーザに自らの代理となるアバターを提示し，さらに，そのジェスチャ情報を別の TX-toolkit を操作する他のユーザや対話相手に伝えてアバター提示させることで，複数の人間どうしの相互的な身体コミュニケーションを実現する。
3.1 マスタースレーブシステム
図 2 は 1 人のユーザと 1 台の TX-toolkit の間のマスタースレーブシステムの概略図である。

Vol.24, No.1, 2019

は先行研究[13]と同様の提示システムを用いている。
以下に本システムの詳細を述べる。まず，TX-toolkit
本体の機能を用いて頭部のマスタースレーブ制御を行い，ユーザの視点とカメラの視点を合わせる（(1)式）。
⋯ 1_     _ 

次に，VR 映像に関して，ユーザの視点から見た VR
ハンドの位置・姿勢が本当の手の位置・姿勢と一致する(2)式を満足するように逆運動学でロボットアームのジョイント角を求める。
__⋯ 2_    _  

最後に，VR 映像を生成する VR カメラの位置と姿勢を TX-toolkit の実カメラと一致させ，アバターのロボットアーム・ハンドを 1 人称視点で提示する（(3)式）。
⋯ 3_     _ 
以上により，ユーザの装着する HMD には TX-toolkitのカメラが取得した実際の映像と VR アバターが重畳して表示される。その際，アバターのロボットハンドはユーザの本当の手と同じ場所に見えるため，自己身体に対する視覚情報と固有感覚情報が整合し，ユーザはアバターに対する身体所有感を得ることができる。また，ユーザの視点位置はロボットのカメラ位置と一致するため，アイコンタクトの齟齬は起きない。なお，ユーザが手に持つトラッキングセンサの 6-DOF の情報では 7-DOF のロボットアーム姿勢が一意に定まらないため，ユーザの腕とロボットアームの向きが異なる場合があるが，その姿勢はジョイスティックの入力で調整可能である。また，ユーザが把持するセンサのボタン押下状況や近接状況に応じてロボットハンドの指を動かすことができる。
3.2 ロボットユーザ間の身体コミュニケーション
図 3 は同一環境に置かれた複数台の TX-toolkit に個別に接続しているユーザ間の身体情報を相互に共有するシステムを示したものである。

図2 マスタースレーブシステムの概略
Fig.2 Overview of master-slave system

ユーザの頭部と手先の位置・姿勢に関するデータはHMD（Oculus CV2）とトラッキングセンサ（OculusTouch）により取得され，TX-toolkit 本体と VR アバター（ロボットアーム）に対するマスタースレーブ制御に利用される。
VR アバターの制御には既存のロボットシミュレーションシステム[12]の一部を用いており，また，実際のカメラ映像と VR アバターを 1 人称視点で重畳提示させる手法―138―

図3 ロボットユーザ間の身体情報共有
Fig.3 Embodied information sharing between robot users

各ユーザは自分のアバターを 1 人称視点で見ながら，

井上・他: テレイグジスタンスロボットにおける身体表現機能の VR 拡張

同時に，別のユーザから送られてきたジェスチャ情報を用いて生成された他者アバターを 3 人称視点で見る。
すなわち，あるユーザの視点から見たとき，手前側には自分のアバターが見え，奥側にある（別ユーザが操作する）TX-toolkit にはその別ユーザのアバターが見える。
その時，TX-toolkit どうしの位置関係の情報も共有する
ことで，他者アバターのロボットアーム・ハンドが実際のロボットに張り付いて提示されるように調整する。以下に，システムの挙動を説明する。まず，3.1 節のマスタースレーブシステムで得られた自分のアバターのジェスチャ情報（ロボットアーム・ハンドのジョイント角データ）を別ユーザに送信し，別ユーザからはその人のジェスチャ情報を受信する。次に，自分と相手それぞれの TX-toolkitの空間座標情報（  ,   ）を用いて，自分のロボットのカメラから見た相手のロボットの空間座標  _   を求める。最後に，受信したジェスチャ情報を用いて相手のアバターを生成し，上記の空間座標に提示することで，別ユーザの操作する実ロボットに重畳して VR アバターが表示される。各ロボットが置かれた空間座標情報は計測で求めるか，またはロボットどうしの位置が固定されている場合は事前に規定値として与える。本システムを用いてロボットユーザに実際に提示する映像を図 4 に示す。なお，上記のシステムの説明や図はユーザ数が 2 名の場合の例であるが，3 名以上についても同様の情報共有処理を行うことで各ユーザに複数人の他者アバターを表示させることも可能である。

ユーザは対話相手をカメラ映像を通じて直接見ることができるため，そのジェスチャ情報や位置情報は本システ
ムでなく TX-toolkit 本体の映像システムで伝送される。
遠隔対話者には TX-toolkit ユーザから共有システム経由で送られたジェスチャ情報に基づいて生成された VRアバターが，その人の視点位置からロボットを見たとき
   _の空間座標  に MR 表示される。
本システムを用いて TX-toolkit のユーザと遠隔対話者に実際に提示する映像を図 6 に示す。なお，上記の説明と図はロボットユーザ 1 名と遠隔対話者 1 名の例であるが，ロボット側・対話者側が複数の場合でも同様の処理を行うことで複数人でのコミュニケーションが可能である。

図5 遠隔対話者との身体情報共有
Fig.5 Embodied information sharing with remote interlocutor

図4 ロボットユーザの見る映像
Fig.4 Subjective view of a robot user

3.3 遠隔対話者との身体情報共有
図 5 は TX-toolkit ユーザと遠隔対話者の間における身体情報共有システムの動作を図示したものである。
TX-toolkit のユーザどうしは 3.2 節の方式でカメラ映像中に相手のアバターを可視化して身体コミュニケーションを行うのに対して，その場所で TX-toolkit のユーザと直接対話する遠隔対話者に関しては光学透過型の MRデバイス（Microsoft Hololens）で相手のアバターを可視化して身体コミュニケーションを実現する。
システムの挙動は 3.2 節の場合とほぼ同じで，ユーザのジェスチャ情報と空間座標情報が相手に共有されてVR アバターの提示が行われる。ただし，TX-toolkit の―139―

図6 ロボットユーザ(a)と対話者(b)の見る映像
Fig.6 Subjective views of robot user(a) and interlocutor(b)日本バーチャルリアリティ学会論文誌

Vol.24, No.1, 2019

Kamiyama, K. Minamizawa, and S. Tachi,“Enforcedtelexistence: teleoperating using photorealistic virtual bodyand haptic feedback”, In SIGGRAPH Asia 2014 Emerging
Technologies, Article 7, 2014.
[10] M. Y. Saraiji, C. L. Fernando, K. Minamizawa, andS. Tachi, “Development of Mutual Telexistence Systemusing Virtual Projection of Operator’s Egocentric BodyImages”, Proceedings of the 25th International Conferenceon Artificial Reality and Telexistence 2015, pp.125 - 132,2015.
[11] 村田，須賀，上野，清田，栗原:VR/MR 技術を用いた同室感を有する遠隔コミュニケーションシステムの提案，日本バーチャルリアリティ学会第 23 回大会論文集，2018.
[12] 井上，M. Y. Saraiji，C. L. Fernando，加藤，山崎，田島，舘：テレイグジスタンスの研究（第 89 報）―テレイグジスタンスのためのロボットシミュレーションシステム―，日本バーチャルリアリティ学会第 22 回大会論文集，2017.
[13] 山﨑，井上，M. Y. Saraiji，加藤，舘：整合的な視触覚刺激がテレイグジスタンスにおける自己位置定位に与える影響，日本バーチャル リアリティ学会論文誌，
Vol.23，No.3，p.119-127，2018.
[14] http://www.jst.go.jp/kisoken/accel/research_project/ongoing/h26_05.html

4 まとめ
本論文は，ハード的な制限がある代理ロボットに対して VR アバターを用いてユーザの身体ジェスチャ情報を別のユーザや対話相手との間で相互に共有することによって，代理ロボットの身体表現能力を VR 的に拡張する手法の提案と，そのシステムの実装を行った。今回の実装では頭部が存在する代理ロボット（TX-toolkit）を用いたため VR アバターは腕と手のみを表示したが，頭部のないロボットであれば頭部も含めてユーザの動きを本システムの手法を使って VR 表示することでその身体表現を補完することができる。このシステムを用いることで実際には別の場所にいる人どうしが同じ場所に集合し，相槌や頷き・指差しなどの非言語的な情報を用いた身体コミュニケーションが可能になる。
謝辞
本研究は国立研究開発法人科学技術振興機構（JST）の戦略的創造研究推進事業（ACCEL）「触原色に立脚した身体性メディア技術の基盤構築と応用展開」の支援によって行われた。

A 付録

参考文献
[1] S. Tachi, Telexistence (2nd Edition). WorldScientific, 2015.
[2] S. Tachi, H. Arai and T. Maeda, “Tel-existence
master-slave system for remote manipulation”,
Proceedings of IROS ’90. IEEE International Workshop,
pp. 343–348, 1990.
[3] N. Kawakami and D. Sekiguchi, “TelesarPHONE –Communication Robot based on Next Generation
Telexistence Technologies -”, International Symposium onRobotics, pp. 1 – 4, 2005.
[4] K. Watanabe, I. Kawabuchi, N. Kawakami, T. Maedaand S. Tachi, “Torso: completion of egocentric telegnosissystem”, ACM SIGGRAPH 2007 emerging technologies,
2007.
[5] S. Tachi, K. Watanabe, K. Takeshita and K.
Minamizawa, “Mutual Telexistence Surrogate System:TELESAR4 - telexistence in real environments using
autostereoscopic immersive display -”, IEEE/RSJ
International Conference on Intelligent Robots andSystems, pp. 25 – 30, 2011.
[6] C. L. Fernando, M. Furukawa, T. Kurogi, S. Kamuro,
K. Sato, K. Minamizawa and S. Tachi, “Design ofTELESAR V for Transferring Bodily Consciousness inTelexistence”, 2012 IEEE/RSJ International Conferenceon Intelligent Robots and Systems, pp.5112 – 5118, 2012.
[7] M. Y. Saraiji, R. L. Peiris, L. Shen, K. Minamizawa,and S Tachi, “Ambient: Facial Thermal Feedback in
Remotely Operated Applications”, Extended Abstracts ofthe 2018 CHI Conference on Human Factors in Computing
Systems, D321, 2018.
[8] https://www.doublerobotics.com/double2.html[9] M. Y. Saraiji, C. L. Fernando, Y. Mizushina, Y.

A.1 テレイグジスタンスツールキットの概要
テレイグジスタンスツールキット（以後，TX-toolkit）はJST-ACCEL 身体性メディアプロジェクト[14]が開発したテレイグジスタンスロボットである。臨場感ある遠隔コミュ
ニケーションを可能にするステレオカメラとバイノーラルマイク，および，ユーザの声を伝えるスピーカを備えており，遠隔地の人と対面しながら会話することができる。
運動機能として頭部 3 自由度の首振り運動を行うサーボ機構を持ち，ユーザは頭を動かして遠隔地の様子を見渡すことができる。ユーザとのマスタースレーブシステ
ムを実現するためのネットワーク通信機能を持ち，TXtoolkit が取得したカメラ映像や音声などのデータはリアルタイムにユーザ側のクライアント PC に送られ，ユーザはヘッドマウントディスプレイ（Oculus CV2）を通じてその映像や音声を体験できる。ロボットの制御やデータ通信に関する処理は，TX-toolkit に内蔵した小型 PC とユーザ用のクライアント PC にあらかじめインストールされたソフトウェアで実行されるため，ユーザは自分でソフトを開発することなく TX-toolkit を直ちに利用することが可能であり，様々な応用場面にそのまま持ち込んで動作させることができる。
2018 年 8 月現在，TX-tookit 本体とクライアント PC・ヘッドマウントディスプレイを一つにまとめた評価キットが10 セット用意されており，企業や学術機関との共同研究に利用することができる。

―140―(2018 年 8 月 31 日受付)
受付