日本バーチャルリアリティ学会第 11 回大会論文集(2006 年 9 月)

テレイグジスタンスの研究(第 47 報)-相互テレイグジスタンスシステムにおける任意視点立体
映像提示手法Study on Telexistence (XLVII)-A Method of projecting appropriate images from any viewpoint for mutual telexistence system山崎潤, 梶本裕之，川上直樹，舘暲
Jun YAMAZAKI, Hiroyuki KAJIMOTO, Naoki KAWAKAMI and Susumu TACHI東京大学 大学院情報理工学系研究科(〒113-0033 東京都文京区本郷 7-3-1, Jun̲Yamazaki@ipc.i.u-tokyo.ac.jp, {kaji, kawakami,tachi}@star.t.u-tokyo.ac.jp)
Abstract: For Mutual telexistence system which consists of the master cockpit and the slave robot, it isimportant for communication to display the operator’s image on the slave robot so that one can feel theoperator presents there. And the image that should be displayed depends on the viewpoints where people
see the slave robot. In this paper, we propose a method of projecting images which are appropriate

for any viewpoint, using RPT (Retro-reflective Projection Technology). In this method, we
acquire the image from the 3D model onto which a texture image is mapped, and we canachieve a simple system with this method.
Key Words: Mutual Telexistence, Retro-reflective Projection Technology, Any Viewpoints, 3D Modelが存在する際には同じ物体においても各人に対して1.はじめに異なる映像を提示することができる．
マスターコクピットとスレーブロボットから構成される相互テレイグジスタンスロボット[1][2]において，遠隔地にいるロボットの操作者の存在をリアルに感じながらコミュニケーションを取るためには，様々な方向からスレーブロボットを見たとき，その方向に応じた操作者の映像が提示されることが重要である．本研究では，スレーブロボットにマスター
通常の物体
鏡
再帰性反射材
コクピット内の操作者の任意視点立体映像を投影す
図 1 物体の反射特性るための撮像系の構成，及びその手法について述べる．
プロジェクタ

2.従来研究この章では，再帰性投影技術(RPT:Retro-reflective Projection Technology)[3][4]の原理，及び，再帰性投影技術を用いた従来の相互テレイグジスタンスロボットの撮像・投影系について述べる．

観察者

ハーフミラー
再帰性反射材

2.1.再帰性投影技術(RPT: Retro-reflective ProjectionTechnology)
再帰性投影技術では，提示面として再帰性反射材(retro-reflector)を用いる．再帰性反射材とは，図1 のように，乱反射を起こす通常物体(図 1 左)，鏡面反射を起こす鏡面(図 1 中)に対して，高指向性の反射特性を示す物体である(図 1 右)．
再帰性反射材を提示面として，観察者の目と光学的に共役な位置より映像を投影すると(図 2)，その映像は観察者当人にしか提示されず，複数の観察者

図 2 再帰性投影技術の原理以上の特徴を利用し，「Xʼtal Visor」[5]，「光学迷彩」[6][7]といった研究が現在までに行われている．

17しかし，このシステムには，マスターコクピット内の操作者に対するカメラの相対位置と，スレーブロボットに対するプロジェクタの相対位置が揃っていないと，適切な映像をスレーブロボットに投影することができない，という問題点がある(図 4)．相対位置が揃っている場合には，適切な映像（図 4 上
では操作者の顔の正面）を投影することができる．
しかし，相対位置が揃っていない場合，適切な映像（図 4 下では操作者の横顔）を投影することができない．
この問題は、プロジェクタ位置の移動に応じて，マスタ側のカメラを移動させることで解決する。しかし、そのようなシステムを採用すると，プロジェクタの位置情報をマスタ側に送り，その情報に応じて移動したカメラから得られた画像を再びスレーブ側に送る，という手順をとるため，時間遅延が大きくなる．また，この手法を実現するためのシステムは複雑になりがちである．特に，複数の人間がスレーブロボットとコミュニケーションをとろうとする
場合，マスタ側のカメラも，その人数分必要であり，複数カメラ間の干渉を考慮したシステムを構築しなくてはならない．

2.2.従来の相互テレイグジスタンスロボットの撮像・投影系
我々は，相互テレイグジスタンスロボット「TELESARⅡ」(図 3)に対し，再帰性投影技術を用いて，スレーブロボットの表面にマスターコクピット内の操作者を投影する手法[8]を開発した．この手法により，遠隔地の他者に対しても，あたかもスレーブロボットの位置にマスターコクピット内の操作者が存在するような感覚を提示することができ，自然なコミュニケーションをとることができる．

図 3 相互テレイグジスタンスロボット TELESARⅡ(左)スレーブロボット(右)マスターコクピット

Operator

Projector

CameraThe Slave Robot

The Master Cockpit

Operator

CameraProjector

The Master Cockpit

The Slave Robot

図 4 （上）カメラに対する操作者の相対位置と，プロジェクタに対するスレーブロボットの相対位置が揃っている場合（下）相対位置が揃っていない場合
18そこで本研究では，マスターコクピット内の操作者の３次元モデルを作成し，このモデルをプロジェクタ位置に応じた視点から見たときの映像を投影することにより，簡便で時間遅延の小さいシステムを構成する手法を提案する．具体的な３次元モデルの作成法としては，リアルタイムで奥行情報の取得が可能なレンジファインダを用いてポリゴンモデルを作成し，画像をテクスチャとしてマッピングする手法を用いる．
次章において，この手法の詳細について述べる．
3.３次元モデルの作成
３次元モデルの作成は，レンジファインダにより取得した奥行情報を基にしたポリゴンモデルの作成と，ポリゴンモデルへのテクスチャ画像マッピングにより行う．以下に，詳細を述べる．
4.3.1.レンジファインダによる奥行情報取得
本研究では、奥行情報を取得するためのレンジフ
ァインダに SwissRangerTM2RevB (CSEM 社製)を使用した(図 5)．このレンジファインダは TOF(Time OfFlight)方式を用いて、対象物体までの距離を測定することができる．

図 6 奥行情報を基に作成したポリゴンモデルの例
5.3.2.テクスチャ画像のマッピングカメラで撮影した画像を，テクスチャ画像として，ポリゴンモデルにマッピングする．
例として，図 6 に示したポリゴンモデルに，レンジファインダと同位置から撮影した画像をテクスチャ画像としてマッピングして３次元モデルを作成し，様々な方向から見た結果を図 7 に示す．ここでは，ブルーバックの手法を用いて背景を消し，人物像のみを表示している．
レンジファインダからの光線が届かない箇所(図7 においては後頭部等)では，実際の形状と異なる部分が見られるが，顔の表情はどの方向から見ても，ほぼ自然な形状となっている．

図 5 レンジファインダ：SwissRangerTM2RevB
表１に SwissRangerTM2RevB のスペックを示す．最大 30fps でデータを取得できることが，このレンジファインダを本研究で採用した主な理由である．
表 1 SwissRangerTM2RevB のスペック
Number of pixels
Up to 124x160(ROI option)
Depth resolution
Down to 5mm
Wavelength of
870nm
illumination
Illumination power
800 mW opticalMaximum range
7.5m
Frame rate
Up to 30fps
Diagonal field of+/- 30°
view(HxW)(+/- 21°x+/- 23°)
このレンジファインダを用いて取得した奥行情報を元に作成したポリゴンモデルの例を図 6 に示す．
これは，平面の壁を背景とした，人物の胸から上の形状を示している．

19

然な映像を提示するためには，どれだけの精度が必要であるかについても，調べる必要がある．
以上の事項について考慮し，さらに自然な映像を提示することが今後の目標である．
参考文献[1] S. Tachi: "Toward next generation telexistence"in Proc. IMEKO-XV World Congress, Vol. X (TC-17 &ISMCR '99), pp. 173-178, Tokyo / Osaka, Japan,
1999.6[2] S. Tachi: "Toward the telexistence nextgeneration", in Proc. 11th Int. Conf.
Artificial Reality and Telexistence(ICAT2001), pp. 1-8, Tokyo, Japan, 2001.12[3] M. Inami, N. Kawakami, D. Sekiguchi, Y.
Yanagida, and S. Tachi: "Head-MountedProjector", ACM SIGGRAPH '99 Conference
Abstracts and Applications, p. 179 (EmergingTechnologies), 1999.8[4] M. Inami, N. Kawakami, D. Sekiguchi, Y. Yanagida,
図 7 ポリゴンモデルにテクスチャ画像をマッピングした３次元モデルの例
6.おわりに本稿では，スレーブロボットに投影する任意視点立体映像を生成するため，レンジファインダを用いて作成したポリゴンモデルにテクスチャ画像をマッピングした３次元モデルを作成する手法を提案した．
本手法により，簡便で時間遅延の小さいシステムによって，マスターコクピット内の操作者の任意視点映像を投影することが可能となった．
今後の方針として，さらに実際の形状に沿った３次元モデルを作成するために，複数のレンジファインダとカメラをマスターコクピット内の操作者の周囲に配置すること，さらに，時間方向に情報を蓄積し，モデル作成に反映させることを検討中である．
また，レンジファインダの計測誤差は，環境光等のデータ取得環境に左右されるため，十分に精細なモデルが作成可能な環境について調べると共に，自20and S. Tachi: "Visuo-Haptic Display Using
Head-Mounted Projector", in Proc. of IEEE VirtualReality 2000, pp. 233-240, 2000.
[5] T. Sonoda, T. Endo, Y. Suzuki, N. Kawakami, and S.
Tachi: "X'tal Visor", ACM SIGGRAPH 2005 (EmergingTechnologies), 2005.8[6] M. Inami, N. Kawakami, and S. Tachi: "OpticalCamouflage", International VR, Media Art andTechnology 2004 Proceedings, p. 19, 2004.12[7] M. Inami, N. Kawakami, and S. Tachi: "OpticalCamouflage Using Retro-reflective Projection
Technology", in Proc. of IEEE International
Symposium on Mixed and Augmented Reality, pp.
348-349, 2003.10[8] S. Tachi: "Recent Advance in Telexistence ‒Retro-reflective Projection Technology Based
Mutual Telexistence ‒ ", ISMCR2003 ‒ Toward
Advanced Robotics: Design, Sensors, Control andApplications ‒ , Madrid, Spain, 2003.12