テレイグジスタンスの研究（第 34 報）− 高存在感提示システムの試験的実装 −川上直樹*1 財津義貴*1 中川高志*1

稲見昌彦*1 関口大陸*2 舘暲*1

Study on Telexistence (XXXIV)-Implementation of a High-Existence Display SystemNaoki Kawakami*1, Yoshitaka Zaitsu*1, Takashi Nakagawa*1,
Masahiko Inami*1 , Dairoku Sekiguchi*2 and Susumu Tachi*1
Abstract - TNG (Telexistence Next Generation) is a technical concept that enable two men placed other space tobe together and work together virtually in same place. In this paper, we describe about implementation of ahigh-existence display system, which is a step to accomplish a TNG System. And discuss about components of
TNG system and devices. In this trial system, a operator can see the real image of the remote cooperator’s bodyand face on the surface of a master-slave robot. By using HMP(Head-Mounted Projector), torso-shaped robot androbot screen, not only the operator feel to exist in the cooperator ‘s side, but also cooperator feel as if there
EXIST the operator.
Keywords: Telexistence, existence, Head-Mounted Projector, robotics and display

1.

はじめに

2.

テレイグジスタンスの構成要素と情報の流れ

実空間型次世代テレイグジスタンス[1,2]とは、実空間

本章で、テレイグジスタンスを構成する要素についてでの使用を想定した次世代テレイグジスタンスであり、定義する。図１に示される 2 つの空間「遠隔行動者空間」

互いに離れた実空間に存在する人間同士が一方の実空間「行動空間」を考える。遠隔行動者空間(必ず実空間であにバーチャルに共存し、その実空間で互いに協調して行る)には、行動空間にバーチャルに存在し行動しようとし動することを目指す技術概念である。従来型のテレイグている人が存在する。この人を「遠隔行動者」と呼び、ジスタンスとは相手側の実空間（以降、行動空間と称す

遠隔行動者空間内の環境を「遠隔行動者環境」と呼ぶ。

る）にバーチャルに存在しようとしている人間（以降、行動空間には遠隔行動者と常に同じ位置姿勢を保ってい遠隔行動者と称する）に、自身が行動空間に存在しているバーチャルな遠隔操作者が存在する。行動空間内に存るかのような「臨場感」を提示する。実空間型次世代テ在し、共同作業等を行う相手を「共同行動者」、行動空間

レイグジスタンスのシステムは「臨場感」に加えて、行内の環境を「行動環境」、行動空間内にバーチャルに存在動空間に実際に存在する人間（以降、共同行動者と称すする遠隔行動者を「バーチャル遠隔行動者」と呼ぶ。

る）に対して、バーチャルに存在しようとしている相手（遠隔行動者）があたかもその実空間に実際に存在して遠隔行動者空間

行動空間いるかのような「存在感」を提示するという新たな機能
共同行動者を最終的なゴールと設定しており「完全なるテレイグジ遠隔行動者環境スタンス」を実現することが可能となる。
（図１参照）

バーチャル遠隔行動者
遠隔行動者

本稿では実空間型次世代テレイグジスタンスシステム

バーチャルに共存の高存在感視覚提示システムの部分を抽出した試験システムを実装し、「高存在感な」視覚情報を提示する機能を

図 1 実空間次世代テレイグジスタンスの構成要素検証した結果を報告する。

Fig.1 Components of Real Space Telexistence
2.1*1: 東京大学大学院 情報理工学系研究科*2: 科学技術振興事業団*1: Graduate School of Information Science and Technology,
University of Tokyo*2: CREST, JST(Japan Science and Technology Corporation)

従来型テレイグジスタンス

まず、従来型テレイグジスタンスに関して遠隔行動者空間と行動空間の間で交わされる情報とその流れについて定義する。両空間の間で交わされる情報を一言で表す

とすれば「臨場感情報」である。臨場感情報とはその名に必要な情報である。
次世代テレイグジスタンスにおいて臨場感情報と存在の通り臨場感の情報であり、遠隔行動者に対して「自分が行動空間に存在して行動している」という臨場感を感感情報は以下のように送受信される。

じさせるために必要な情報の集合である。遠隔行動者に遠隔行動者空間では遠隔行動者の行動情報と共1.

行動空間の臨場感を与えるためには，遠隔行動者の行動同行動者のバーチャルに存在する領域で取得さを行動空間に実時間で反映させると同時に、行動空間内れる遠隔行動者に起因する感覚情報が取得され，において遠隔行動者が存在すべき領域、すなわちバーチ行動空間に送信される。

ャル遠隔行動者が存在する領域で取得される行動空間の行動空間ではそれらの情報が受信され，遠隔行動2.

画像や音響、接触情報などといった感覚情報を遠隔行動者の行動の結果が行動空間に実時間で反映され者に実時間で提示すればよい。従って、臨場感情報はると同時に遠隔行動者の感覚情報が共同行動者に実時間で提示される。

遠隔行動者の行動情報(位置，姿勢，行動指示情報等)

同時に、行動空間ではバーチャル遠隔行動者が存

3.

バーチャル遠隔行動者が存在する領域で取得さ在する領域で取得される行動空間の感覚情報がれる行動空間の感覚情報(行動空間の視聴覚，触取得もしくは計算され、遠隔行動者空間に送信さ覚情報など)れる。の 2 要素から構成されるといえる。

遠隔行動者空間ではそれらの情報が受信され、遠4.

隔行動者に実時間で提示される。

前者は遠隔行動者の行動を行動空間に反映させると同

本稿では、これらの定義に基づき、次世代型テレイグ時に遠隔行動者に与えるべき行動空間の情報を切り出して取得するために必要な情報であり、後者は遠隔行動者ジスタンスシステムの試験的実装を行った．に行動空間の情報を提示するために必要な情報である。

3.

高存在感提示試験システムの設計

従来型テレイグジスタンスにおいて臨場感情報は以下
高存在感視覚提示試験システムは，以下のような条件のように送受信される。
1.

遠隔行動者空間で遠隔行動者の行動情報が取得され、行動空間に送信される。

2.のもとで構築する。
1.

き合って着座姿勢で行動する。

行動空間で遠隔行動者の行動情報が受信され、遠隔行動者の行動の結果が行動空間に実時間で反2.

同時に、行動空間ではバーチャル遠隔行動者が存在する領域で取得される行動空間の感覚情報が取得もしくは計算・合成され、遠隔行動者空間に送信される。

4.

遠隔行動者空間で行動空間の感覚情報が受信され、遠隔行動者に実時間で提示される。

2.2

次世代型テレイグジスタンス

我々が目標とする次世代型テレイグジスタンスは前述の臨場感情報に加え、共同行動者に対して「遠隔行動者が行動空間に存在する」という存在感を感じさせるために必要な情報の集合である「存在感情報」が必要である。
共同行動者に遠隔行動者の存在感を提示するためには、遠隔行動者空間内での遠隔行動者の画像及び音声，接触情報などといった感覚情報を行動空間内の共同行動者に提示する必要がある。従って、存在感情報は共同行動者の行動情報(位置，姿勢など)共同行動者が取得すべき遠隔行動者に起因する感覚情報(遠隔行動者の姿、声、接触情報など)の２要素からなる情報といえる。前者は遠隔行動者に起因する情報を取得する領域，すなわち共同行動者が存在する領域を決定するために必要な情報であり、後者は行動空間内に提示すべき遠隔行動者の情報を取得するため共同行動者に対して、遠隔行動者の画像を高存在感に実時間で提示する。

映される。
3.

遠隔行動者と共同行動者はバーチャルに互いに向3.

遠隔行動者空間内に行動空間の画像を提示するが，高臨場感な提示を行う機能は実装しない．
3.1

高存在感提示試験システムの構成要素

本システムでは視覚情報として遠隔・共同行動者の姿を、行動情報として頭部の位置姿勢に着目して、システムを構築する。システムは以下の要素から構成される。
遠隔行動者空間側
視覚情報取得装置
遠隔行動者空間内の視覚情報取得装置にはトルソ型撮像ロボット[3]を用いる。トルソ型撮像ロボ
ットは遠隔行動者空間内における共同行動者の頭部位置姿勢に追従し，共同行動者の頭部位置姿勢から得られる遠隔行動者空間の画像を取得する．
視覚情報提示装置
遠隔行動者空間内の視覚情報提示装置にはプロジェクタ 1 台とスクリーンを用いる。遠隔行動者のバーチャルな頭部位置姿勢から取得された行動空間の単眼画像をバックプロジェクション方式で提示する。
行動情報取得装置
遠隔行動者空間内における遠隔行動者の行動情報取得装置には ADL1(Shooting Star Technology 社

製)という機械リンク機構装置を用い、遠隔行動者運動する円筒型の頭部スクリーンの 2 スクリーンから成の頭部位置姿勢を実時間で取得する。

る。2 つのスクリーン間の隙間は再帰性反射布で覆われ行動空間側ており、頭部スクリーンの運動によって投影される遠隔視覚情報取得装置

行動者の画像が途切れてしまうことがないようになって行動空間内の視覚情報取得装置には次節で説明いる。スクリーンの大きさは，胴部スクリーンが幅約するスクリーンロボットの単眼カメラを用いる。

750mm×高さ約 1000mm であり、頭部スクリーンが幅約スクリーンロボットのカメラは行動空間内におけ300mm×高さ約 300mm である。この大きさは着座状態のる遠隔行動者のバーチャルな頭部位置姿勢に追従遠隔行動者の胴体及び頭部の幅及び高さを基準に，遠隔し、そこから得られる行動空間の両眼画像を取得

行動者の胴体及び頭部の画像が確実にスクリーン内に投する。このカメラはスクリーンロボットの頭部ス影されるように一回り大きく設定した。頭部スクリーン

クリーンの裏側に設置されており，スクリーンのは 7 自由度アーム PA-10(三菱重工製)の手先に取り付けら

表側からはレンズの大きさの穴(直径 7mm)以外はれており、並進 3 自由度、回転 3 自由度の運動が可能で見えないようになっている。

ある。
頭部スクリーン表面の中心点から向かって右方向に

視覚情報提示装置
行動空間内の視覚情報提示装置には頭部搭載型

32.5mm 離れた位置にカメラレンズ用の直径約 7mm の穴プロジェクタとスクリーンロボットを用いる。ス

があいており、その奥に行動空間の画像を撮影するため

クリーンロボットの頭部スクリーンは三菱重工製の小型 CCD カメラが 1 基取り付けられている。CCD カの 7 自由度アーム PA-10 によって遠隔行動者の頭メラの水平方向の画角は約 50deg. である。
システム構成部位置姿勢と同じ位置姿勢を取るように運動し、

3.3

共同行動者の頭部搭載型プロジェクタ[4]からスク以上の構成要素を基にした高存在感提示試験システム

リーンロボットに遠隔行動者の画像を投影すればの実装図を図３に示す。

遠隔行動者の画像がスクリーンロボットに重なって見える。
行動情報取得装置
行動空間内における共同行動者の行動情報取得装置には頭部搭載型プロジェクタに取り付けられた 6 自由度機械リンクを用いる。
このシステムにおける共同行動者は着座状態であり，運動範囲が狭いので機械式リンクによる頭部位置姿勢の計測が可能である．共同行動者の頭部位置姿勢を実時間で取得する。
3.2

スクリーンロボット

スクリーンロボットとは、人型スレーブロボットのス

図３ 高存在感提示試験システムの構成要素

クリーンとしての機能をモデル化した物体型可動再帰性

Fig.3 Components of High-Existence Display System

反射スクリーンである。(図２)
本システムでは計 4 台のコンピュータ(PC)を用いる。1台目のコンピュータ(PC1：celeron433MHz，MS-DOS 6.2)は頭部搭載型プロジェクタに取り付けられている機械式リンク機構の関節角を受信し，順キネマティクス問題を実時間で解くことにより共同行動者の頭部位置姿勢を取得してトルソ型撮像ロボットを制御するコンピュータ(PC2)に送信する。2 台目のコンピュータ(PC2：celeron433MHz，MS-DOS 6.2)は、PC1 から送信された共同行動者の頭部位置姿勢を受信し、トルソ型撮像ロボットのド
図２

スクリーンロボット

ライブユニットに制御指令電圧を送信することでトルソ(左：全体図 中央：頭部の並進 右：頭部の回転)型撮像ロボットの追従制御を行う。3 台目のコンピューFig.2 Screen Robot

タ(PC3：Pentium II 433MHz，Windows98)は ADL-1 の関節スクリーンロボットは行動空間内に固定された円筒型角を受信し、順キネマティクス問題を実時間で解くことの胴部スクリーンと、遠隔行動者の頭部運動に追従してにより遠隔行動者の頭部位置姿勢を取得し，PA-10 のドライブユニットに速度指令信号の形で制御指令を送信す

イグジスタンスシステムを実装するキーとなる高存在感ることでスクリーンロボットの頭部スクリーンの追従制提示技術について構築手法を検討し、実装したことで目御を行う。4 台目のコンピュータ(PC4：Celeron 500MHz，標とする実空間型次世代テレイグジスタンスシステムのWindows2000)は頭部搭載型プロジェクタの画角をトルソ実現の可能性が実証され、今後の研究の礎となる多くの型撮像ロボットの CCD カメラの画角とバーチャルに一知見が得られた。

致させるために、トルソ型撮像ロボットが取得した画像を画像中心点を中心におよそ 90% に縮小して頭部搭載型プロジェクタに出力する。
4.

高存在感提示試験システムの動作結果

以下に高存在感提示試験システムを実装し作動させた結果を報告する。図 4 において 1a、2a は遠隔行動者とトルソ型撮像ロボット、共同行動者とスクリーンロボットの位置関係はそれぞれ 2m の距離をおいて互いに向き合って座っている状態である。この状態で共同行動者が得る画像は 3a である。図より頭部スクリーンに遠隔行動者の顔の画像が、胴部スクリーンに遠隔行動者の胴体の画像が投影されていることが見て取れる。また，スクリー
ンロボットの頭部スクリーンに空いているカメラ用の穴が遠隔行動者の画像の左眼にちょうど重なっていることも見て取れる。その後、1b 図のように遠隔行動者が頭部を運動させると、2b 図のようにスクリーンロボットの頭部スクリーンが遠隔行動者の頭部運動に追従して運動する。この状態で共同行動者が得る画像は 3b となる。遠隔行動者の顔の画像がスクリーンロボットの移動した頭部

図４

スクリーンに投影されており，左眼の位置も頭部スクリ高存在感提示試験システムの動作

Fig4. Implementation of High-Existence Display Systemーンのカメラ穴の位置に一致していることが見て取れる。
また、正常な立体視能力を持つ成人男性 5 名について

6.

遠隔行動空間の立体画像が正しく知覚されているかどうかを確認する実験を行った。各被験者に共同行動者の位[1]置から本システムを介して遠隔行動者の着座位置に設置

舘, 阿部: テレイグジスタンスの研究 (第 1 報); 第21 回 SICE 学術講演会ヒューマンインタフェース学した奥行きの違う 2 つの視標を見せてどちらが手前にあるかを答えてもらったところ、5 人とも手前にある視標

参考文献

会論文誌, pp. 167-168, (1982)[2]を正しく答えることが出来た。

稲見, 川上, 関口, 柳田, 前田, 舘: テレイグジスタ
ンスの研究（第 30 報）−頭部搭載型プロジェクタ

以上より、高存在感提示試験システムによって共同行を用いた次世代テレイグジスタンスシステムの試

動者の頭部位置から得られる遠隔行動者の立体実画像を、験的実装−,第 17 回日本ロボット学会学術講演会予

遠隔行動者と同じ位置姿勢をとるスクリーンロボットに稿集, pp.839-840(1999)

実時間で正しく投影することが可能であることが実証さ[3]れた。

財津, 中川, 稲見, 川上, 柳田, 前田, 舘, テレイグジスタンスの研究(第 32 報)-頭部運動に高速追従す

5.

るトルソ型撮像ロボットの開発-, ヒューマンイン

おわりにタフェース学会研究報告集, Vol.3, No.2, pp.51-54,

本稿では、実空間型次世代テレイグジスタンスの完成というゴールをめざし、その過程で高存在感提示システ
ムの可能性を探るための試験的実装について、主に構成要素の整理と、最終システムに向けたシステム上の問題点を検証する目的での試験的実装を目標とした。そのため「存在感」の評価に関しては不十分で、今後の課題として残されている。また、各構成要素に関しても改善・改良の余地が多分にある。しかし、実空間型次世代テレ(2001)[4]

稲見, 川上, 関口, 柳田, 前田, 舘：頭部搭載型プロジェクタの研究, ヒューマンインタフェース学会
研究報告集, Vol.1, No.3, pp.39-42, (1999)
謝辞
本研究は科学技術振興事業団の戦略的基礎研究推進事業の一部としておこなわれた。