テレイグジスタンスの研究（第 66 報）- Telesar5 のための視聴覚伝送系の設計古川正紘*1 佐藤克成*2 南澤孝太*1 舘 暲*1
Study on Telexistence LXVI: Tele-operation Using Eye and Hand of TELESAR V
Masahiro Furukawa*1, Katsunari Sato*1, Kouta Minamizawa*1 and Susumu Tachi*1― 本稿では，テレイグジスタンスシステム Telesar5 の特徴である「見たところ見たように触る」ための視聴覚伝送システムの設計と実装について述べる．視聴覚と触覚の融合により遠隔作業を円滑に実現するた
め，HMD と一体となった FST マスタシステムを用いて視聴覚情報の提示と操作者の運動計測を同時に行う．HMDは現実の距離感を損なうことのない広視野角ハイビジョン画質の視覚情報を提示可能である．これに加えて現実空間と遠隔空間を視覚的にシームレスに接続可能なビデオシースル機能をも有する．さらに，頭部運動と連動した能動的な視点移動を実現するために，頭部の位置姿勢を FST マスタシステムで計測する．
Abstract

Keywords :Telexistence, Telepresence, Haptics, Master-slave system, Head Mounted Display

1. はじめに遠隔地にいながらにして見たところを見たよ
うに触ることができるテレイグジスタンスロボ
ットシステムの実現に向け，我々は図 1 のTelesar5 を実証研究プラットフォームとして研究を行っている[1][2]．本稿では特に，視聴覚伝送のための設計および実装について述べる．
あたかもスレーブロボットと同化し自分の身体のような臨場感を得るためには，正しい距離感を得られる視覚伝送系と自然な触運動を伝送するための運動伝送系が必要となる．これを実現するために，我々は視聴覚と触覚を融合させリアルタイムに遠隔地に伝送することを目指している．
これにより，オペレータは遠隔地にいながらにして自然な距離感を得ながら遠隔作業や遠隔コミュニケーションを行うことができるようになる．
Telesar5 の視覚伝送系には，正しい距離感の提示だけでなく高解像度化が求められる．Telesar5が伝送する触覚とは，硬さ，重さ，テクスチャ，形状（全体の形状と細部の形状），温度の 5 種類と網羅的である[2][4]．また従来のテレイグジス
タンスシステムでは，物体の把持・移動などの手先の移動量が比較的大きい作業を対象としていた．これに対し Telesar5 では網羅的に触覚を得ることができるため，図 1 に示したような物体の移
*1:

*2:

*1:
:

*2

慶應義塾大学大学院メディアデザイン研究科，{m.furukawa, kouta, tachi}@tachilab.org
日本学術振興会／慶應義塾大学大学院システムデザイン・マネジ
メント研究科，sato@tachilab.org
Graduate School of Media Design, Keio University
JSPS / Graduate school of System Design and Management, Keio
University

し替えなどの手先の移動がほぼ生じない作業も対象とすることができる．ここでもし伝送される
視覚情報が低解像度である場合，視触覚矛盾が生じ自然な臨場感が得られない可能性がある．例えば，対象物に指先を押し当てたまま低速で移動させている場合，指先ではテクスチャの移動を感じているが，指先の移動が生じているようには見えない場合などが該当する．
さらに，オペレータが自然にテレイグジスタンス状態に移行するためには，オペレータの存在する現実空間とスレーブロボットが配置された遠隔空間との間を視覚的に無矛盾に接続する必要がある．つまり，視覚伝送系を現実空間から遠隔空間へと切り替えた瞬間に，目の前がオペレータの腕からスレーブロボットの腕へと切り替わり直ちにテレイグジスタンス状態に移行できることが理想である．

図 1 Telesar5 全体像
Fig. 1 Overview of Telesar5以上のことから Telesar5 の視覚伝送系に求められる要件とは，自然な距離感を得られ，網羅的な触覚伝送と矛盾のない高い解像度を持ち，さらに視覚的に無矛盾に現実・遠隔空間を接続可能であることとなる．しかしながらこれら全ての要件を満たす視覚伝送系は実現されていない．
そこで本稿ではこれらの要件を満たし，更に聴覚伝送系を加えた視聴覚伝送系として，頭部搭載型ディスプレイ(HMD)およびスレーブヘッドの設計と実装について述べる．
2. 視聴覚伝達システムの設計

1.1 Telesar5 における視聴覚伝送システム
テレイグジスタンスシステムにおける視聴覚伝送の目標は，直接得られる視聴覚と等価な感覚が伝送系を介して得られることである．そこでまず，視覚伝送のために必要な用件を述べる．
まず Telesar5 では手や腕が見える範囲での作業を目的としていることから，手元を含んだ作業空間において十分に等価な感覚が伝送できればよい．十分に等価な感覚とは，本稿ではこの空間において正しい距離が得られることと定義する．
手元での作業を考えた場合，視覚伝送系には(a1)両眼立体視，(a2)運動視差，(a3)能動的な視点移動に対応できる必要がある．なぜならば，把持しようとする対象物との距離を直ちに得られなければ作業に支障があるため，両眼立体視が前提となる．次に，作業を行う際には積極的に視点を動かし対象物を観察するため，運動視差が必要である，さらに，作業中には把持した対象物だけでなく机の上に置かれた資料などを見る事が多いことから，能動的な視点移動が生じる．すなわち，(a1)(a2)は満たしていても(a3)に対応できない設置型の立体映像提示手法[5]は適していない．以上のことから Telesar5 の視覚伝送系は両眼立体視，運動視差，能動的な視点移動全てに対応できる HMD が最も適しているといえる．本稿ではこれに加え，提示系と光軸を共有する位置にカメラを配しビデオシースル構成をとる．
次に聴覚伝送に求められる要件について述べる．前述の通り，作業において能動的な頭部運動が生じることから，聴覚情報もまた頭部運動に追従して実時間で伝送される必要がある．しかしな
がら，Telesar5 においては触覚伝送に焦点を当てているため，精密な聴覚伝送は目的としていない．
例えば，頭部伝達関数を再現する必要はないことから，聴覚伝送系は後述のとおり簡略化が可能である．そこで以後は主に HMD の光学系設計について述べる．

図 2 距離感が維持される視覚提示設計法
Fig. 2 Visual Display Method
2.2 光学系設計
視覚伝送系を介して直接視と同一の視覚情報を得るためには，次の 3 要素を一致させる必要がある．すなわち，(b1) 水晶体調節緊張弛緩，(b2)網膜像の大きさ，(b3) 両眼の輻輳角である．しかし，これらすべてのパラメータを一致させる必
要はなく，水晶体調節を固定しても自然な融合像が得られる輻輳範囲が存在することがわかっている．この関係は表 1 のようにまとめられる[3]．
表 1 自然な融合像が得られる輻輳範囲
Table1. Coverage of Adequate Convergence
水晶体調節[mm]2001000

輻輳範囲[mm]100～500200～∞

本稿では手元の作業空間で自然な融合像が得られることを目的に，水晶体調節距離 1 [m] を採用する．
次に視覚提示のための光学設計について述べる．まず図 2 に本稿で採用した光学系を図示する[3]． オペレータからの距離が dobj の位置にある物体の大きさが lobj であるとき，この物体は距離dvir にある等価提示面に対して大きさ lvir として透視変換される．オペレータからの距離 k にある凸レンズと am + k の位置にある映像提示面を用いて等価提示面を構成するためには，式(1) を満たす必要がある．
𝑓𝑚 =𝑎𝑚 (𝑑𝑣𝑖𝑟 − 𝑘)𝑑𝑣𝑖𝑟 − 𝑎𝑚 − 𝑘(1)

2.3 光学系の試作
本稿で目標とした仕様は，水平画角 60 度・ハイビジョン画質である．そこでマスタ側の提示素子として 1280×800[px](WXGA) の解像度を持
つ 5.6 型 LCD，HV056WX1-100 を用いた．スレーブ側には撮像系として，1920×1080 [px] (FullHD) の解像度を持つ 1/3 型 CMOS 撮像素子を有する TOSHIBA 製カメラヘッド IK-HR1H および水平画角 61.56 [deg] の富士フィルム社製
カメラレンズ TF4DA-8 を採用した．
これら仕様および式(1) を用いてマスタ側の接眼レンズの焦点距離を求める．まずマスタ側とスレーブ側の視野角を一致させることができた
時の理想的な撮像素子の位置は am = 101.5[mm]と求まる．このことから式(1) からマスタ側レンズの焦点距離 fm = 113[mm]，度数(=1/fm) 8.83[D]を得る．表 1 は水晶体調節と自然な融合像が得られる輻輳範囲の間には正の相関があることを示している．つまり自然な融合像が得られる輻輳範囲をオペレータに近い側に取るためには，水晶体調整距離 dvir を短く取ればよい．ここで式(1) を変形した式(2) から，fm-am>0 かつ fm>0 のとき
fm と dvir は負の相関を持つことがわかる(ただし k=0)．
𝑑𝑣𝑖𝑟 =𝑓𝑚 (−𝑎𝑚 + 𝑘) − 𝑎𝑚 𝑘
𝑓𝑚 − 𝑎𝑚(2)

そこで理論値 1/fm = 8.83[D] よりも小さい
8.75[D] を最適値として用いた．このとき，オペレータから等価提示面まで距離は dvir=910[mm]となり，理想値 1000[mm] と比較し誤差が大きい．そこで接眼レンズの度数 1/fm=8.75[D] を用
い て 再 び 等 価 提 示 面 の 距離 am を 求 め 102.6[mm] を得た．以上の結果から，最適設計値として am=102.5[mm] を用いることとした．このときのオペレータから等価提示面 までの距離はdvir=994[mm] であり理想値 1000[mm] に対して誤差が抑えられている．

従 っ て ， 最 適 設 計 値 am=102.5[mm] ，1/fm=8.75[D] を持つ光学系を用いることで，オペレータはハイビジョンの高解像度映像を61[deg] の広視野および 200～∞[mm] の輻輳範囲で自然な融合像が得られることが期待されることがわかった．

ビデオシースル機能を実現するため，同HMD には光軸を提示系と共有するカメラを両眼に搭載している．このカメラの光学系を同様のパラメータを用いて設計することで，現実空間と遠隔空間とをシームレスに接続する視覚伝送系が設計できる．
以上のパラメータを用いて設計した HMD の詳細仕様を表 1 に，接眼部寸法を図 3 に，外観を図 4 左にそれぞれ示す．またスレーブヘッドを図4 右に示す．表 1 の HMD 本体重量は，図 3 に示した接眼部に加えて，ヘッドホン・後頭部に位置する LCD ドライバを含んだ重量である．HMD は片眼ごとに独立ユニットで構成され，眼間距離調整機構を介して両眼が接続されている．筐体内部に配した台形表面鏡を用いて，LCD から放射された光線を 1 回屈折させ接眼レンズまで届けて

表 1 HMD およびスレーブヘッド仕様
Table. 1 Spec sheet of HMD Prototype
マスタ

スレーブ

視覚 H×V [deg]61 × 4062 × 48素子対角 [inch]

5.6 LCD

1/3 CMOS

焦点距離 [mm]11410～∞

両眼交差率 [%]

8989

眼間距離 [mm]59～6965

本体重量 [kg]

1.2

N/A

画素解像度 [px]1280 × 800

1920 × 1080

視角 H×V [min/px]

2.9 × 3.0

1.9 × 2.7

走査周波数
H×V [Hz]
音声入出力 [ch]49.2k× 60.00

67.43k× 59.94

In 1 / Out 2

In 2 / Out 1

図 3 HMD の寸法
Fig. 3Dimension of HMD

図 4 マスタ HMD(左)，スレーブヘッド(右)Fig. 4

HMD (left), Slave Head (right)図 5 視聴覚伝送システム構成
Fig. 5 System Diagram of Audio-Visual Transfer System
いる．図 3 から，HMD に搭載された両眼カメラが提示系と光軸を共有していることがわかる(右側面図のみ透過線を記載)．
3. 視聴覚伝送システムの実装試作した HMD をスレーブヘッドと接続し視聴覚伝送を行うための全体構成を図 5 に示す．前
述の通りスレーブヘッドで Full HD 画質で撮像された視覚情報は，長距離伝送に向いた HD-SDI形式でマスタ側に伝送される．マスタ側では伝送された視覚情報を画像変換装置 Digital Arts 社製
画像変換装置 XC1 sio を用いてハイビジョン画質を維持したまま左右反転させている．これはHMD 内で光路を 1 回屈折させているために必要となる．聴覚伝送系の実装も，図 5 に示したとおりである．
能動的な視点移動の計測は，旭光電機株式会社と共同で開発した FST(Flexible Sensor Tube) を用いて行う．FST は合計 6 本の多関節接型の計測チューブを有する．このうち 2 本を HMD 頭側部に接続し，頭部運動の計測を行う．ここで計測された頭部運動にスレーブヘッドが追従することで，手元の空間内で能動的に視点移動を行っても無矛盾な視覚情報を得ることができる．さらに，
図 5 内の Video Switcher を切り替えることで，現実空間と遠隔空間を視覚的にシームレスに切り替えることができる．
4. おわりに
本稿では，見たところを見たように触るテレイグジスタンスシステム Telesar5 の視聴覚伝送系について，その設計と実装について述べた．特に視聴覚と触覚を実時間で融合するためには，網羅的に伝送される触覚との整合性が必要であることを述べた．そのためには，視覚情報の高解像度化，手元の空間で距離感の維持，能動的な視点移動への対応が求められた．そこでこれらの要件を満たす HMD およびスレーブヘッドの設計および実装を行ない，実現可能性を示した．
今後は実装した視聴覚伝送系を運動伝達系および触覚伝達系と併用して能動的な触運動を行い，ハプティックテレイグジスタンスシステムの有効性を検証する．
謝辞
本研究の一部は戦略的創造研究推進事業（JST-CREST）「さわれる情報環境」プロジェク
トの助成を受けたものである．
参考文献
[1]

舘暲，南澤孝太，古川正紘，佐藤克成：テレイグ
ジスタンスの研究（第 65 報）Telesar5：触覚を伝えるテレイグジスタンスロボットシステム，エンタテイメントコンピューティング 2011（2011）[2]

佐藤克成，南澤孝太，古川正紘，舘暲：テレイグ
ジスタンスの研究（第 67 報）- 力ベクトルと温度情報による触感伝送，Entertainment Computing(EC2011)，2011．

[3]

舘暲, 荒井裕彦: テレイグジスタンスにおける視覚情報提示系の設計と評価, 日本ロボット学会
誌, Vol.7, No.4, pp.314-326, 1989．

[4]

Lederman, S.J. and Klatzky, R.L.: Hand movements:
A window into haptic object recognition, CognitivePsychology, Vol. 19, pp. 342–368 (1987)[5]S.Tachi:“TWISTER:

Immersive

Ominidirectional

Autostereoscopic 3D Booth for Mutual Telexistence,”
ASIAGRAPH TOKYO 2007 PROCEEDINGS, pp1-6,
2007.