2006 亜州芸術科学学会学術大会

臨場遠隔制御の研究（第 46 報）- 再帰性投影技術を用いた相互臨場遠隔制御装置の視覚系
Study on Telexistence (XLVI)-Optical System for Mutual Telexistence Using Retro-reflective Projection Technology

南澤 孝太 1,2，神明前 方嗣 1，梶本 裕之 1，川上 直樹 1，舘 暲 1
Kouta Minamizawa, Masatsugu Sinmeimae, Hiroyuki Kajimoto, Naoki Kawakami, Susumu Tachi
1

Abstract:: 東京大学大学院 情報理工学系研究科 (The Univ. of Tokyo)

2: E-mail kouta@star.t.u-tokyo.ac.jp

In this paper, we introduce an optical system on the slave robot and the master cockpit of mutualtelexistence system. Using RPT (Retro-reflective Projection Technology) and HMP (Head-Mounted Projector), thissystem provides presence of communication partner to both the operator and the observer. Moreover, visual andhaptic sensations of operator's arm are integrated. The operator can recognize that the robot arm is virtually same as
his arm. It makes high realistic sensation to the operator and improves operability.

Keywords: Retro-reflective Projection Technology, Head-mounted Projector, Master Cockpit, Mutual Telexistence

1. INTRODUCTION
我々は，あたかも Robot が存在する場所で直接作業しているかのような高度の臨場感を伴って Robotを遠隔操縦する，或いは Robot の周辺環境と相互作用的双方向 Communication を行える技術を，「相互臨場遠隔制御（Mutual Telexistence／相互テレイグジスタンス）」[1][2] と呼び，その実現に向けた研究を行っている．
相互臨場遠隔制御系に於いて自然な双方向交流(Communication)を行うためには，操縦者に対して

Fig.1: Mutual telexistence master-slave system"TELESAR II"

Robot と同化しているような没入感を与えるだけでなく，遠隔地における他者に対しても，恰も操縦者

そこで本論文では，再帰性投影技術[4][5]を用い，がその場に存在しているような臨場感を与えること

Master-Slave System に於いてこれらの条件を満たが重要な要素となる．即ち，視覚についていえば，すような視覚系を提案する．

相互臨場遠隔制御に於ける視覚系の基本的な要求機

我々は従来，再帰性投影技術を用いて人型 Slave

能は下記の二点といえる．

Robot の体表に操縦者の姿を投影することを提案し① 操縦者に対して Robot と時間的・空間的に等価ており[7]-[8]，この概念を実証し左記②を実現するな立体視覚映像を提示する② 遠隔地における他者に対して，操縦者の存在を視覚的に提示する．

ものとして，相互臨場遠隔制御装置「TELESAR II」[10] (Fig.1)の Slave Robot において，操縦者の姿を投影する手法を開発した．また，左記①も同時に満しかし，[3]のような従来の Master Cockpit に於いて， たすため，Slave Robot と同様に再帰性投影技術を用
これ等を両立するものは確立されていなかった．
いた Master Cockpit の視覚系を試作した．

2. Retro-reflective Projection Technology
まず，再帰性投影技術の基本原理について簡単に述べる．再帰性投影技術では，提示面として再帰性反射材(retro-reflector)を用い，提示面に対して観察者の目と光学的に共役な位置より映像を投影する(Fig.3)．再帰性反射材の高指向性反射(Fig.2)により，再帰性反射材が塗布可能であれば，任意の形状・材質の物体を提示面として利用可能な上，その映像はFig.4: The Optical Camouflage

観察者当人にしか提示されず，複数の観察者が存在する際には同じ物体に於いても各人に対して異なる映像を提示することができる．また投影源の位置が観察者の目と光学的に等価であることから，提示面の形状による映像歪みや観察者との距離による輝度変化が生じないといった特徴を持つ．
これらの特徴を利用して，M. Inami らによる光学迷彩(Fig.4) [9][10]などの応用例が開発されており，再帰性投影技術が有用であることは既に実証されてFig.5: Head Mounted Projector (HMP): "X'tal Visor"

いる．また，投影を行う装置として，T. Sonoda ら[11]は，小型軽量ながら両眼立体視が可能な映像提示装置である Head

3. Optical System on TELESAR II

Mounted Projector (HMP)「X'talVisor」(Fig.5)を開発した．「X'tal Visor」の装着者

遠隔地の他者と高い臨場感の Communication を

は，両手を用いて作業を行いながら立体映像を見る行うにあたって，相手の表情が見えることは非常にこ と が で き る た め ， 本 論 文 で 提 案 す る Master重要であると我々は考えている．そのため TELESAR

Cockpit において利用するために必要な機能を満た

II では，再帰性投影技術を応用し，操縦者の実時間しているといえる．

映像を人型 Slave Robot に提示した．Slave 側環境における複数 RPT Projector の配置と，Master 側環境における撮像素子の配置を一致させることで，RPTProjector を通して人型 Slave Robot を見ている複数の観察者は，同じ提示面を見ているにも関わらず，Fig.6 のようにそれぞれの観察位置に適合した異なFig.2: Reflection on retro-reflective screen

る方向からの操縦者の映像を見ることができる．
Fig.7 に本視覚系の構成を示す．

Fig.6: Operator's aspects on the slave robot
Fig.3: Principle of RPT systemfrom various viewpoints

一方，広い視野角による高い没入感を得られる，
CAVE [12] や HRP Super Cockpit[13] 等 の IPT(Immersive Projection Technology) を用いる視覚系も数多く提案されている．これらは多くの外部装置と膨大な費用を要するものの，装着する装置は偏光眼鏡程度の小さなもので済むため，Fig.11b のように，通信相手に提示する表情も HMD と比較すると自然である．しかし，この手法に於いても目の表情を捉えることができないため，TELESAR II では，眼鏡装着が不要な裸眼立体視液晶提示器を複数枚用いた視Fig.7: RPT system for TELESAR II slave robot

覚系(Fig. 12a)が提案された．しかしこれらの視覚系に共通する問題点として，操縦者自身の身体が提示

我々は 2005 年 6 月の日本国際博覧会（愛知万博）

系の手前にあるために操縦者自身の腕が見えてしまに於いて，TELESAR II の展示を行い(Fig.8)，操縦者い，Slave Robot の腕を自分の腕と同化して認識するの表情が見える本手法が遠隔地間ことができないという欠点があった．即ち，従来でCommunication の実現に対して有効であることをは，Master-Slave 間における視野の一致と操縦者の示すことができた．

表情の取得は二律背反の関係にあったといえる．

自然な

4.2 Proposed System
前項で示した問題を解決し，Master-Slave 間での視野の一致と操縦者の表情の取得を両立することを目的として，頭部搭載型視覚投影器(HMP)と再帰性
投 影 技 術 (RPT) を 用 い た Master Cockpit System(Fig.9)を提案する．
Fig.8: Observers of TELESAR II at World EXPO 2005

4. Optical System on Master Cockpit
4.1 Conventional System
遠隔制御における視覚系としては，古くから，Robot の頭部で撮影した両眼立体視映像を，頭部搭載型視覚提示器（HMD）を用いて提示するという手法が多くとられてきた．HMD を用いることで操縦者の視野が Robot の視野と一致し，撮像−提示間の画像処理も最低限で済むため実時間性も高く，相互臨場遠隔制御における視覚系の要件①を満たしているといえる．しかしながら，HMD の構造上，操縦者の顔面を覆うことが不可避であり，Fig.10b のように対話の相手に対して表情が隠されてしまうためCommunication に不向きである．また，視野角が狭Fig.9: Proposed optical system for

いため没入感が得られにくいという問題も存在する．

mutual telexistence using RPTa) master cockpitb) aspect on slave robot

Fig.10: Using HMD: Head Mounted Displaya) master cockpita) master cockpitb) aspect on slave robot

Fig.12: Using auto-stereoscopic displayb) aspect on slavea) master cockpit (black areasb) aspect on slave

robot

have retro-reflectivity)

robot

Fig.11: Using IPT: Immersive Projection Technology

Fig.13: Using HMP: Head Mounted Projector
and RPT: Retro-reflective Projection Technology

本提案手法では，Fig.13a のように Master Cockpit

5. EXAMINATIONの前面・側面を再帰性反射材で覆い，操縦者は HMPを装着する．HMP を通して，Fig.3 に示した原理に再帰性反射材による Screen のみでは，従来の視覚より Slave Robot の頭部に取り付けられた二眼撮像系と同様，Master Arm および操縦者自身の腕が見え素子で取得された両眼立体視映像を投影する．HMPてしまうために操縦者の視覚が Slave Robot の視覚を用いることで，操縦者の表情を覆うことなく操縦と異なってしまい，没入感の欠如を招くという問題者への視覚提示が可能となるため，本手法では，が生じる．そこで本提案手法では，操縦者の手腕及Fig.13b に示したように観察者から見た Slave Robot

び Master Arm を筒状の再帰性反射材で覆い，そこにおける操縦者の像において操縦者の表情が，裸眼に Slave Robot が取得した Robot Arm の実時間映像における投影映像（Fig.12b）と同程度に視認できる．

を投影することで，この問題の解決を試みた．本実

これにより操縦者と観察者の間での，表情を含んだ験では遠隔地の人形を抱き上げる状況を仮定し，Communication が実現可能となる．

Fig.14 には Slave Robot の視覚，Fig.15 には再帰性反射材による壁面投影系のみの Master Cockpit における HMP を装着した操縦者の視覚，Fig.16 にはMaster Arm 及び操縦者の腕部を筒状の再帰性反射材で覆った際の操縦者の視覚を示す．

しかし Fig.16 を見ると投影映像に輝度のばらつきが生じてしまっていることが確認できる．これは，HMP の投影面に対する再帰性反射材の角度が投影部位によって異なるために，再帰性反射の反射率が変化してしまっているためである．壁面の投影面に関しては，投影面形状を，操縦者の頭部を中心としFig.14: View from a camera on slave robot's eyeた半球形にすることで解決可能である．また，Master

when holding a teddy bear

Arm を覆う筒状体に関しては，Master Arm の位置情報取得機構によって，その位置が正確に計測可能であるため，予め模擬的に算出された反射率分布から投影すべき輝度分布を導出可能である．
また，本手法における撮像系の利点として，操縦者の頭の動きに合わせて駆動される Slave Robot 頭部に搭載されているため，HMP による提示映像はSlave Robot の視野映像を操縦者にそのまま伝送すればよく，Slave Robot と操縦者の眼間距離及び視野

Fig.15: View from operator's eye using HMP

角を一致させれば，一切の画像処理を施さずに直接without a retro-reflective cover on master arm

HMP で映像提示を行えるという点が挙げられる．即
ち本手法は，視覚系の単純化と実時間性の向上が簡単に実現できるという長所を持つ．
さらに，本視覚系においては，映像投影を操縦系の内部から行うため，操縦系外部には一切の機構を必要としなく，低価格かつ省面積の視覚系を構築することが可能である．

Fig.16: View from operator's eye using HMP
with a retro-reflective cover on master arm

7. CONCLUTION
相互臨場遠隔制御における対面 Communicationの重要性に着目した Slave Robot 映像提示系を実装

6. DISCUSSION
実際に本提案手法に於ける Slave Robot の視覚情報(Fig.14)と操縦者の視覚情報(Fig.16)を比較すると，色再現性も含め，高い精度で一致することが確認できる．以上より，Master Cockpit に於ける力覚提示と視覚提示の融合が実現され，操縦者に対して，自分自身の腕が Slave Robot の腕と視覚的にも体性感覚的にも本質的に等価である，高度な臨場感を提示することができた．

し，その知見に基づいて，操縦者に対して Robot と時間的・空間的に等価な両眼立体視覚を提示すること及び遠隔地における他者に対して操縦者の存在を視覚的に提示することを両立する Master Cockpit の視覚系を提案し，その試作を行った．本提案手法によって，遠隔地の通信相手に対する操縦者の存在感が高められ，さらに操縦者の視覚と体性感覚が完全に一致することによって操縦者に高い臨場感を提示することが可能となった．

8. FUTURE WORK

[6] S. Tachi: "Telexistence and Retro-reflective Projection
Technology

再帰性投影技術における今後の課題としては，HMP のさらなる小型軽量化と無線化，および再帰性提示面の角度による輝度の変化への対処手法の確立が挙げられる．また，Master Cockpit の複数の撮像素子で取得する操縦者映像から Slave Robot 周辺の任意の位置における正しい投影映像を生成する手法(RPT)",

inProc.

ofVRIC2003,

pp.69/1‒69/9, Laval Virtual, France, 2003.5[7] S.

Tachi:"RecentAdvanceinTelexistence‒

Retro-reflective Projection Technology Based Mutual
Telexistence ‒ ", ISMCR2003 ‒ Toward Advanced
Robotics: Design, Sensors, Control and Applications ‒,Madrid, Spain, 2003.12[8] S. Tachi, N. Kawakami, M. Inami, and Y. Zaitsu:の確立も急務といえる．また，Master Cockpit 内の"Mutual Telexistence System Using Retro-Reflective

天井部や床部にも再帰性投影材を設置することで全Projection Technology", International Journal of

周囲提示系を構築し，没入感を向上させ Master

Humanoid Robotics, Vol. 1, No. 1, pp. 45-64, 2004.3

Cockpit の応用範囲を拡張することを検討している．

[9] R. Tadakuma, K. Sogen, H. Kajimoto, N. Kawakami, and

本論文では Master-Slave System における Master

S. Tachi: "Development of Multi-DOF Master-Slave

Cockpit としての提案を行ったが，Robot の操縦，Robot からの力覚帰還，そして本提案手法による視覚系という３つの大きな要素を持つ本操縦系は，汎用的な高臨場感 Human Interface として，人工現実

ArmwithTelexistence",

Bilateral

Impedance

inofProc.

Controlfor

ISMCR2004,

pp.

D21/1‒D21/4, NASA Johnson Space Center, Houston,USA, 2004.9[10] M. Inami, N. Kawakami, and S. Tachi: "Optical空間(Virtual Reality Space)への没入装置，あるいはCamouflage

Using

娯楽・遊戯における操縦装置として等，様々な応用

Technology",

inが期待できる．

Symposium on Mixed and Augmented Reality, pp.

Retro-reflective

Proc.

ofIEEE

Projection
International348-349, 2003.10[11] M. Inami, N. Kawakami, and S. Tachi: "Optical

REFERENCES[1] S. Tachi: "Toward next generation telexistence"in Proc. IMEKO-XV World Congress, Vol. X (TC-17 &ISMCR '99), pp. 173-178, Tokyo / Osaka, Japan,
1999.6[2] S. Tachi: "Toward the telexistence next generation", inProc. 11th Int. Conf. Artificial Reality and Telexistence(ICAT2001), pp. 1-8, Tokyo, Japan, 2001.12[3] S. Tachi, K. Komoriya, K. Sawada, T. Nishiyama, T.
Itoko, M. Kobayashi, and K. Inoue, "Telexistence
cockpit for humanoid robot control", Advanced
Robotics, Vol. 17, No. 3, pp.199 ‒ 217, 2003.6[4] M. Inami, N. Kawakami, D. Sekiguchi, Y. Yanagida, andS. Tachi: "Head-Mounted Projector", ACM SIGGRAPH'99 Conference Abstracts and Applications, p. 179(Emerging Technologies), 1999.8[5] M. Inami, N. Kawakami, D. Sekiguchi, Y. Yanagida, andS. Tachi: "Visuo-Haptic Display Using Head-MountedProjector", in Proc. of IEEE Virtual Reality 2000, pp.
233-240, 2000.

Camouflage",

InternationalVR,Media

Art

andTechnology 2004 Proceedings, p. 19, 2004.12[12] T. Sonoda, T. Endo, Y. Suzuki, N. Kawakami, and S.
Tachi: "X'tal Visor", ACM SIGGRAPH 2005 (EmergingTechnologies), 2005.8[13]

C. Cruz-Neira, D. J. Sandin, and T. A. Defanti:"Surround-Screen Projection-Based Virtual Reality:
The Design and Implementation of the CAVE", in Proc.
of SIGGRAPH '98, pp. 179-188, 1998.