応用論文

全周囲裸眼立体ディスプレイを用いた
サイバースペースへのテレイグジスタンス
渡邊 孝一*1

南澤 孝太*1

新居 英明*2*1

Telexistence into cyberspace using an immersive auto-stereoscopic display
Kouichi Watanabe*1 Kouta Minamizawa*1 Hideaki Nii*2 and Susumu Tachi*1
Abstract – We propose a mutual communication system in which several users can join
the same cyberspace by telexistence. We focused on immersion into space, face-to-facecommunication, physical interaction with the environment, and real-time communication
to construct a system based on these factors in order to solve the problems of conventional
systems. The system is based on TWISTER, which is an immersive auto-stereoscopic
display, and it consists of a user’s face image and systems for motion capture, sound andnetwork communication. Two users in separate places participated in shared cyberspaceby using CG avatars that had actual images of the users’ faces, allowing them to see eachother face-to-face and talk with gestures. Thus, two users can enter the same cyberspaceand communicate face-to-face with detailed embodiment.

Keywords : telexistence, telepresence, TWISTER, cyberspace
1

はじめに

近年，遠隔コミュニケーション技術の進展により，遠隔地と相互にやり取りする感覚情報の質が向上し量が増大している．市販されている遠隔ビデオ会議シス
テム [1] は，感覚情報として視覚情報と聴覚情報を相互に伝達するが，遠隔地から会議に参加する参加者は実際の会場にいる参加者と，その場にいる感覚で議論し合えるまでには至っていない．特に，遠隔からの参加者と実際の会場にいる参加者との間に空間的な隔たりがあり，対等な条件で参加ができない．この不平等な状態は，コミュニケーションを行う空間を実空間と同等な質で共有できていないことから生じる．
遠隔コミュニケーションにおいて，遠隔参加者は実際の会場を映像や音声を利用して共有するが，平面
ディスプレイやプロジェクタを利用した遠隔ビデオ会
議ではそれらが空間的に広がりを持っておらず，会場へ視聴覚的に没入するための臨場感が足りない．そのため，遠隔参加者は実際の会場にいる参加者と共にその会場にいる，という感覚を持てない．また，遠隔参加者は映像を通じて表情やジェスチャーを伝えることが可能ではあるが，それぞれが存在する空間が異なる
ため空間的位置関係が一致せず，相手と向き合って話しているかどうかがわからない．このため，相手の視線までを含めた対面コミュニケーションができているとは言えない．加えて，会場との空間的な隔たりにより遠隔参加者は自身の身体性を実際の会場内で持てず，伝えられるジェスチャーが限られる．例えば，実際の会場内にある物を指し示すときは，遠くからの指差しだけでは伝わらないことが多く，実際に物のそばに行き直接指差す動作が必要となるが，遠隔参加者はそれを行うことが出来ない．これらの問題を解決する
ことで，実空間と同等なコミュニケーションの場の共有が成立し，参加者同士が対等な条件での遠隔コミュ
ニケーションが実現できる．そこで，会議だけでなくパーティなども含めた多人数が参加する遠隔コミュニ
ケーションを想定し，全ての参加者が対等な条件でコ
ミュニケーション空間に参加し，空間を共有できる環
境の構築を目指す．
遠隔コミュニケーションにおけるコミュニケーションを行う「場」の定義として，「場の移動」と「場の接続」の 2 つの分類が文献 [2] にて提起されている．この定義に基づき，「場の移動」によるコミュニケーション
において，場をバーチャル空間，即ちサイバースペー
スとして設けて，全ての参加者がサイバースペースを共有することで対等な条件においてコミュニケーショ
ンを行うことが可能となる．このサイバースペースに，臨場感と存在感と身体性を兼ね備えた遠隔作業／遠隔
コミュニケーションのための技術概念であるテレイグ
ジスタンスを適用することで，参加者が身体性をサイ*1 慶應義塾大学

バースペース内に持つことが出来る．図 1 にテレイグ*2 National University of Singapore

ジスタンスを利用した場の移動による，バーチャル空*1 Keio University*2 National University of Singapore

間を共有した対等な遠隔コミュニケーションの概念を日本バーチャルリアリティ学会論文誌 Vol.17, No.2, 2012

相手の向きに応じた顔が見え，相手の視線まで正確に伝えなければ円滑なコミュニケーションは行えない．
視線はコミュニケーションに大きな影響を与えることが生理学的 [4]，心理学的 [5] に知られており，相手の視線と自分の視線が一致する対面コミュニケーションを満たす必要がある．
サイバースペース内にいることを体感するには，サイバースペース内で思うままに身体を動かし，その動かした身体を視覚的に，体性感覚的に自身のものとして感じられなければならない．また，サイバースペー
図 1 バーチャル空間（サイバースペース）を共有する遠隔コミュニケーションの概念図 [2]Fig. 1 Concept of the remote communication
system using VR space (cyberspace).

スにおける臨場感という観点で見ると，臨場感とは個々の感覚が個別に作用するのではなく，身体と外界との相互作用における時間的変化，そこから生じる自分自身の身体の認識やコミュニケーション対象に対す示す．全ての参加者がサイバースペース内に参加者のる心理状態が総合的に作用して生じるものであると言代理となるアバターを用意し，テレイグジスタンスす

われており [6]，身体の動きに応じた環境とのインタることで，音声や映像だけでなく身体性を兼ね備えたラクションが実現されなければならない．さらに，身高臨場感遠隔コミュニケーションが実現可能となる．

体性は相手に意思を伝える際にも重要である．人との即ち，多くの参加者がテレイグジスタンスにより同一

コミュニケーションにおいては声による言語コミュニのサイバースペースに場を移動し，サイバースペース

ケーションだけでなく表情やジェスチャーによる意思を共有することにより，多人数で対等な高臨場感遠隔伝達からなる非言語コミュニケーションが占める割合

コミュニケーションを行うことが可能となる．

が多いとされており [7]，空間内で身体性を持つこと

本研究では，多人数で対等な高臨場感遠隔コミュニ

はジェスチャー等の質を高めることにつながる．即ち，ケーションを実現するため，サイバースペースをコミュ

サイバースペースの中においても参加者が自身の身体

ニケーションの場として共有する遠隔コミュニケーショを認識し，環境に働きかけ，相手に意思伝達するためンシステムを設計構築する．システムに必要な要件をの身体性が確保されている必要がある．

検討し，全ての要件を満たす統合システムを構築し有用性を検証する．

2

サイバースペースを共有する遠隔コミュニケー

これらの要望をまとめ，サイバースペースを共有す
る遠隔コニュニケーションにおける目標を掲げる．
目標 1 サイバースペースで参加者が視聴覚的に高い臨場感を有する

ションシステムの設計要件

目標 2 参加者同士の視線が一致する対面コミュニケー
サイバースペースを共有する遠隔コミュニケーショ
ンシステムを構築するため，システムの目標を掲げてションが可能目標 3 サイバースペースで参加者が身体性を有する

設計要件を検討する．

2.1

提案する遠隔コミュニケーションシステムの目標

2.2

提案する遠隔コミュニケーションシステムの設計要件だ時に自身の周囲全方向に拡がるサイバースペースに

3 つの目標に対して，システムを構築するための具体的な要件を検討する．
目標 1「サイバースペースで参加者が視聴覚的に高い

没入して空間内を自由に見渡し，サイバースペースの臨場感を有する」に対する要件

サイバースペースを共有し円滑にコミュニケーションを行うためには，まずサイバースペースに入り込ん環境の音を実際の環境と同様に方向性を持って体感できる臨場感が必要である．

コンピュータにおいて生成したサイバースペースに入り込むには，映像を 3 次元的な空間広がりを持ってサイバースペース内で他の参加者とコミュニケー

提示しなければならない（要件 1-1）．人が空間に没ションをするときは，相手が誰であるかを知るための入するためには，人が持つ視野全体に空間を提示する

顔と声の情報が重要である．顔は人の考えや行動の心ことが望ましい．人の視野は両眼で周辺視野を含めて理状態が現れやすいと言われており [3]，コミュニケー

水平視野で 200 度程度と言われており [8]，水平視野

ションにおける意思伝達には顔から表出する表情が重200 度以上を満たす映像提示システムによる映像空間の提示が必要である（要件 1-2）．また，空間における要な要素である．表情だけでなく，相手と向き合い，

渡邊・南澤・新居・: 全周囲裸眼立体ディスプレイを用いたサイバースペースへのテレイグジスタンス

音場は，音源と参加者の位置関係に適切となるように

要件 2-3 顔映像取得カメラと相手アバターの空間的形成される必要がある．よって，参加者の全周囲 360

位置が一致すること（視線が一致するコミュニ度をカバーする音響提示システムによる音空間の提示

ケーションの実現）が必要である（要件 1-3）．映像空間は，参加している参加者や環境の要因によって常に変化すべきである
が，その変化の更新レートはコミュニケーションを阻害しない値でなければならない．一般的に，30 fps の更新レートがあれば映像がなめらかに知覚できると言われており，本システムでも 30 fps 以上の更新レートを要件とする（要件 1-4）．以上より，目標 1 に対する要件は以下の 4 つとなる．

目標 3「サイバースペースで参加者が身体性を有する」
に対する要件サイバースペースにおいて身体性を有するためには，参加者の代理となるアバターが人と同等なサイズで，人が持つ身体部位を有していなければならない．頭，胴，腕，脚の 4 部位は最低限必要であり，作業やジェスチャーにおいては腕の中でさらに手指も必要である．
アバターはこの 5 部位を，人間と同等の大きさや自由

要件 1-1 空間が 3 次元映像として提示されること度で有していなければならない（要件 3-1）．身体性に要件 1-2 水平視野角 200 度以上の映像の提示が可能

よるジェスチャーや環境とのインタラクションを行うであること
要件 1-3 参加者の全周囲 360 度に音響の提示が可能であること
要件 1-4 映像の更新レートが 30 fps 以上であることには，サイバースペース内を動きまわり，オブジェク
トに対して働きかける必要がある．これを実現するには，アバターの腕と手指を参加者が直感的に思うままに動かせるべきであり，参加者の腕と手指の位置姿勢を取得しアバターに直接的に反映する必要がある（要目標 2「参加者同士の視線が一致する対面コミュニケー

件 3-2）．本システムにおいては，環境とのインタラク

ションが可能」に対する要件

ションとして物の把持と移動などを対象とするが，そ対面コミュニケーションを行う上で，相手を認識すの際に実空間においては生じる触覚情報の再現まではるための情報の一つである声の伝達は必須である．自

対象としない．腕と手指の動きだけでなく，アバター

身の声がコミュニケーションをする全ての相手に，コの脚部は操作可能な形で提供され，参加者がアバター

ミュニケーションする全ての人の声が自身に伝わるよを空間内で動かすことが出来なければならない（要件う，相互伝達できなければならない（要件 2-1）．相手を認識し，相手の表情から意思を汲み取るための顔の3-3）．移動は平面上の歩行移動を仮定し，ジャンプな
ど垂直方向への移動はここでは考慮しない．身体性を情報として，できるだけ実空間での対面コミュニケー

共有するサイバースペースに反映させる際に重要なこションで見る顔と同等の顔を提示すべきである．アバとは，自身の動きがサイバースペースに遅れなく表現

ターの顔として CG など人工的に作成された顔を用いされ，相手の動きも遅れなく同期することである．サる方法では，心理状態まで含めた意図を表現すること

イバースペースは要件 1-1 及び 1-2 に従い映像空間とは難しいため，本システムではカメラにより相手の目して提示されるため，映像の通信遅延の許容要件を定や口を含んだ裸眼の実映像を取得し，サイバースペーめる必要がある．視聴覚の通信遅延として，運動視のスに反映させることを要件とする（要件 2-2）．実映

表示遅れの許容時間が 120 ms であるという実験結果

像を用いることの 1 つの特徴として，目の動き，即ちが挙げられているため [9]，本システムではアバター

視線が認識できるところにある．しかし，自身と相手の位置姿勢情報が遅延 120 ms 以内で相互伝達できるの視線を一致させるには，映像の目の動きが視認出来ことを要件とする（要件 3-4）．以上より，目標 3 にるだけでは不十分である．自身と相手の空間的位置関対する要件は以下の 4 つとなる．

係に従って正しくアバターが配置され，アバターの目の位置からの顔の実映像が相手に伝わらなければ，視線の一致は満たされない．即ち，相手に送るための自身の顔の実映像を撮像するカメラは相手の目を代行するものであり，その位置が相手アバターの空間的位置と一致することを要件とする（要件 2-3）．以上より，
目標 2 に対する要件は以下の 3 つとなる．
要件 2-1 声の相互伝達が可能であること

要件 3-1 アバターが人と同等な身体部位（頭，腕，手
指，胴，脚）を有すること
要件 3-2 腕と手指の 3 次元位置姿勢が取得できアバ
ターに反映できること（直感的な身体性の反映）
要件 3-3 アバターの 2 次元平面上の移動操作が可能であること
要件 3-4 相手アバターの位置姿勢が遅延 120 ms 以内
で相互伝達できること

要件 2-2 表情を含む相手の顔の 3 次元実映像をカメラ

本研究では，要件 1-1 から要件 3-4 までの全ての要で取得できること（表情による意思伝達の実現）

件を満たす，統合遠隔コミュニケーションシステムを

日本バーチャルリアリティ学会論文誌 Vol.17, No.2, 2012

提案する．各要件を満たすよう要素システムの構築を行い，統合システムを構築し評価することで有用性を
示す．

2.3

従来研究

サイバースペースを共有する遠隔コミュニケーショ(a)ンにおける従来研究として，例えば Second Life[10] や

there[11] は，一般提供されているサイバースペースを共有する遠隔コミュニケーションシステムの一例である．参加者はアバターを介してサイバースペースを共有し，文字や発話によるコミュニケーションやアバ
ターの動きを介したコミュニケーションを行うことが可能である．しかしながら，操作は基本的にキーボー

(b)

(c)

図 2 (a)TWISTER の概観，(b)TWISTER の下から見た全周囲映像．(c)TWISTER 外部から透けて見えるユーザの映像．
Fig. 2 (a) General view of TWISTER. (b)Auto-stereoscopic image of TWISTER(view from below). (c) User seen fromoutside TWISTER.

ドやマウスによるものであり，アバターは身体を有しを採用した．TWISTER は右目用と左目用の LED 列ているものの，ユーザの身体行動を直接反映したものを有する 36 枚の LED ユニットをユーザ中心の半径でないため要件 3-2 の直感的な身体性に基づく環境とのインタラクションが行えない．また，アバターの顔

1 m の円周上に等間隔に配置し，それらを回転させることで残像効果により 360 度全ての方向に 3 次元が CG であり，表情としては予め用意されたパターン

映像を提示する．回転機構により視差画像を提示する

しか表現できないため，要件 2-2 に基づく表情によるため，メガネ等を着用せずに裸眼で 3 次元映像を体験

意思疎通や要件 2-3 に基づく視線の一致を伴う対面コできる．TWISTER の提示解像度は 3162 x 600 pixel

ミュニケーションは実現できない．従って，本研究でであり，更新レートは 60 fps である．また，ユーザ示す要件のうち一部しか満足していない．また，没入は回転体内部において上半身を自由に動かすことが型空間提示装置である CAVE[12] を用いたビデオアバ可能である．図 2(a) に TWISTER の外観及び (b) にターシステム [13] は，セカンドライフとは異なり要件 3-2 に基づく直感的な身体性の反映が行われており，

TWISTER 内部を下から見た全周囲提示の様子を示す．高速回転による残像効果によって映像を見せてい行動に伴う環境の改変やジェスチャーなどを用いたコるため，図 2(c) のように，LED を装着した円筒面がミュニケーションが可能である．しかし，CAVE にお透けて内部のユーザが外側からはっきりと見える．

ける 3 次元映像を体験するためにはシャッターメガネ

要件 1-3 に対し，TWISTER の回転体内部下方に全を利用することが条件であり，相手の目の動きを含ん周囲音響を提示するためのスピーカを配置する．6 台

だ表情の取得が行えない．そのため要件 2-2 に基づくのスピーカを 60 度間隔で配置し，サイバースペース

表情による意思疎通が不十分であり，本研究で示す要の環境音及びユーザの発話が全周囲の空間音響となる件のうち一部が満たされていない．

ように出力するスピーカと音量を調整して提示する．

TELESAR4 システム [2] は，本論文で示す要件を

音響システムは文献 [16] と同様の構成となっており，

満たすシステムではあるが実空間をコミュニケーショ

音の方向提示が可能であることが同文献において確認

ンの場として共有する手法であり，参加者間の対等性済みである．これらの全周囲 3 次元映像及び音響提示が損なわれる．

システムにより，要件 1-1，要件 1-2，要件 1-3 が満た

他にも文献 [14] の 3 章 3 節ビデオ会議システム及される．

び 6 章 2 節共有仮想空間において，既存の遠隔コミュ

3.2

ニケーションシステムがいくつか挙げられているが，サイバースペース環境と身体性を有するアバ
ターの設計各要件のうちいずれかのみが実現されるに留まっておTWISTER で没入する環境であるサイバースペー

り，本論文で掲げる全ての要件を満たす多人数が対等スとして，図 3(a) 及び (b) に示すような構成図に従うな遠隔コミュニケーションシステムは無い．

サイバースペースを構築した．近未来の装飾を施した

3

サイバースペースを共有する遠隔コミュニケー

3.1

会場に集う状況を想定し，サイバースペース内に構築したユーザの代理となるアバターの身体を借りてそこ

ションシステムの設計にテレイグジスタンスし，リアルタイムで変化する相全周囲 3 次元映像音響提示システムの設計

手の表情と動作を見ながらコミュニケーションを実施

要件 1-1 及び要件 1-2 に対し，サイバースペースのする．サイバースペースの広さは移動可能な領域とし空間映像を提示するディスプレイとして TWISTERて 14 m x 10 m で構築し，動きまわるのに十分な広さ（Telexistence Wide-angle Immersive Stereoscope）[15]を確保した．サイバースペースには近未来のバーを想渡邊・南澤・新居・: 全周囲裸眼立体ディスプレイを用いたサイバースペースへのテレイグジスタンス

定し，オブジェクトとしてバーカウンターや机，人型キャラクタなどを配置している．バーカウンターにはコップのオブジェクトが配置されており，ユーザがア
バターの腕を介して掴み取ることが出来るようになっている．サイバースペースの映像更新レートは 30 fps
を満たすよう設計されており，要件 1-4 が満たされている．
アバターとして，文献 [13] のように映像として取得したユーザの全身像を利用する方法もあるが，アバ(a)

ターの全身映像を相互伝達すると通信遅延が大きくなる．そこで，アバターは CG で構築し，本提案において重要な顔の情報のみを実映像として提示する．単純に，CG の頭部に顔映像を貼り付けただけでは，首から上が実映像であるアバターとなってしまい気持ちが悪く不自然である．そこで，ユーザはサイバースペー
スに宇宙服を着込んで入り込むと仮定し，アバターの頭部を半透明なヘルメットとして構築してその内部に(b)

顔の実映像を提示する．こうすることで，相手ユーザ
が宇宙服を着て空間にいるように見え，CG と実映像の境界の不自然さがなくなる．また，要件 3-2 の身体性の反映については，ユーザから取得した腕と手指の位置姿勢情報に基づいて，CG で構築されたアバターのアームが動けばよいので，送りあう情報は位置姿勢(c)

図 3 (a) サイバースペース全体の設計図面 (b)サイバースペースの概観 (c) CG アバターの概観
Fig. 3 (a) Design drawing of the cyberspace.
(b) Overview of the cyberspace. (c)Overview of an avatar.

情報のみで良い．そのため，ユーザはあらかじめサイ
バースペース内に配置されたアバターに入り込み，サ3.3

3 次元顔映像取得システムの設計

イバースペース内を自由に移動することになる．図

TWISTER 内のユーザの顔を撮像するカメラシス

3(c) にサイバースペース内でユーザの代理となるアバ

テムの詳細を図 4 に示す．TWISTER の特徴である内

ターの外観を示す．アバターは要件 3-1 を満たすよう部が透けて見える効果を利用し，TWISTER の外周にに，一般的な成人男性と同等の背丈と肩幅を有し，片自走が可能なステレオカメラを構築する．TWISTER

腕に 7 自由度（肩 2 自由度，肘 2 自由度，手首 3 自由は外側からは内部が透けて見えるが，内側からは提示度），片手に 8 自由度（親指 3 自由度，人差〜小指各

映像しか見えないため，ユーザはカメラの存在を意識

1 自由度，アブダクション 1 自由度）を有する．アバ

すること無くサイバースペースに没入できる．さらに

ターの脚部には，車輪などの地面に平行に移動可能な機構を想定した移動機構を有する．人間の脚部のようTWISTER は顔部への装着デバイスを必要としない裸眼の立体映像提示装置のため，要件 2-2 で求められるな機構では操縦が難しく，必要以上に映像空間が上下

ユーザの表情を含む顔の実映像を取得できる．図 4(a)動してしまうことから平行移動機構を採用した．このに示した自走可能なステレオカメラを，図 4(b) に示す

移動機構により，要件 3-3 で求められる移動操作に伴ように TWISTER の外側に円周状に設置したレール

う 2 次元平面上の移動が実現できる．顔映像を埋め込む顔部は透明なヘルメット体の内部に楕円形の平面板(半径 1.2 m) の上に TWISTER の中心を向くように複数台設置し，撮像する．レールは TWISTER 内の（以降，顔ボードと表記する）を有しており，それがユーザの目線の高さになるように設置し，ユーザ間のビルボードとしてユーザに対して常に直面するように背丈の違いは TWISTER 内の昇降台によって調整す

回転しつつ，位置関係に適切な相手ユーザの正面や横る．自走ステレオカメラは人間の平均眼間距離に合わ

顔，後頭部などの画像が貼り付けられる．顔ボードにせて 65 mm の間隔に置かれた 2 台のカメラ (Firefly

顔画像を貼る手法を用いることで，頭部サイズの異なMV, Point Grey Research 社) を有し，下部のモータるユーザ間でも作り変えること無くアバターを利用可

によりレール上を自由に動くことができる．カメラの能となり，様々なユーザに対応可能である．

水平画角は 17 deg，垂直画角は 13 度であり，1.2 m
離れた位置から撮影できる範囲は水平 0.36 m，鉛直

0.27 m となる．日本人男性の顔の全頭高の平均は 0.24

日本バーチャルリアリティ学会論文誌 Vol.17, No.2, 2012

m であり [17]，この範囲を十分にカバーできる画角を有している．また，カメラの更新レートは 30 fps であり，取得する画像のサイズは 640 x 480 pixel である．
自走ステレオカメラは，配線など機構的な制約や複数ユーザへの対応のため，円周上を 3 つのエリアに区
切り，各エリアに 2 台ずつ，全体で 6 台を配置した．
自走ステレオカメラは，TWISTER 内ユーザに対す

(a)

(b)
相手ユーザ
顔ボード

る相手ユーザの相対位置関係と相手ユーザの向きから，TWISTER 内ユーザのどの方向から映像を取得

TWISTER

すれば良いのかを判断し，その位置まで円周上を移動

レール

TWISTER
レール

し撮像を行う．これにより．映像提示されるサイバー

顔ボード

スペース内のアバターとカメラの方向が一致し，常にカメラがアバターの目として働くことで，相手の目線からの顔映像を取得できる．取得した映像は相手側に送信され，相手のサイバースペース内で自分の代わりとなるアバターの顔部に貼りつけられて提示される．
アバターの設計において述べたとおり，顔ボードはビ
ルボードのように常に相手ユーザに向くように動くため，カメラで撮像した顔映像をそのまま顔ボードに貼り付けることで，ユーザからみた相手ユーザの顔映
像を適切な位置関係で視認することが可能となる．図

正面から見た場合(c)

横から見た場合

図 4 3 次元顔映像取得システム (a) カメラの概
観 (b) カメラの配置 (c) 顔ボードとカメラの位置関係
Fig. 4 System for capturing user’s face image.
(a) Overview of the camera. (b) Layout of cameras. (c) Relationship between the face board of the avatar andthe camera.
TWISTER࣮࣮ࣞࣝࣘࢨC

TWISTER࣮ࣞࣝTWISTER࣮ࣞࣝ

4(c) にアバターの位置関係と顔ボードの位置関係を示す．相手ユーザが横に移動しながらユーザを眺めると，

ࢧ࢖ࣂ࣮
ࢫ࣮࣌ࢫ

A
ࢧ࢖ࣂ࣮
ࢫ࣮࣌ࢫ

ユーザの横顔が撮像され，顔ボードに貼り付けられることで立体に見ることが出来る．少数のステレオカメ

࣮ࣘࢨA

࣮ࣘࢨB

A
ࢧ࢖ࣂ࣮
ࢫ࣮࣌ࢫ
B

B

ラによりユーザのあらゆる方向からの映像を取得する
ため，相手ユーザに 1 台の自走ステレオカメラを決め
打ちで割り当てるのではなく，ユーザとの位置関係によってリアルタイムに適宜利用する自走ステレオカメ
ラを切り替えながらユーザの撮像を行う．切り替え時の映像がスムーズになるように撮像していないカメラ
は撮像しているカメラに出来るだけ近い位置にいるよう制御する．以上の機構及び制御により，要件 2-3 で求められる視線の一致が満たされる対面コミュニケー
ションが可能となる．

3 人以上のユーザが同一のサイバースペースに存在する場合は，6 台のカメラのうち各ユーザの方向に一致した位置を撮像可能なカメラがそれぞれ担当する．サイバースペース内で自分以外の 2 人のユーザがすれ違う場合，割り当てられるカメラが切り替わる必要がある．図 5 に 2 人のユーザがすれ違う場合のユーザの移動とカメラの移動，割り当てられるカメラの入れ替わりを示している．左の図のような状態から 2 人のユー
ザが近づく方向へ移動すると，中央の図のような状態となり，2 台のカメラが物理的に衝突寸前の状態になる．その状態から 2 人がすれ違うと，カメラの空間位
置はそのままで，ユーザ A の視点からユーザ C を撮像していたカメラはユーザ B の視点となり，ユーザ B

図 5 3 次元顔映像取得システムにおける 2 ユー
ザの入れ替えFig. 5 Two users change the algorithm of theimage capturing system.

の視点からユーザ C を撮像していたカメラはユーザ Aの視点となるように，担当するカメラを電子的に交換する．その後は，右の図のように入れ替わったカメラ
が各ユーザの担当をするよう振る舞う．このように制御することで，カメラの物理的な制約によらず，サイバースペース内の複数のユーザの移動に対応した 3 次
元顔映像の取得が可能となる．ユーザの切り替え手法に関する基礎評価は文献 [18] にて示されており，ユー
ザ切り替えが正しく機能することが確認されている．
要件 2-1 を満たすため，声の取得デバイスとして小型のヘッドセットを利用する．発話を取得する方法は幾つかあるが，ヘッドセットは顔の表情や目，口の動きを阻害せず，簡易に取得できるためこれを採用する．
これらの設計により，要件 2-1，要件 2-2，要件 2-3 が満たされる．

3.4

動作取得システムの設計

要件 3-2 で求められる直感的な身体性による物の把持と移動やジェスチャーを行うための腕と手指の位置
姿勢を取得するシステムとして，光学式モーションキャ渡邊・南澤・新居・: 全周囲裸眼立体ディスプレイを用いたサイバースペースへのテレイグジスタンス

プチャとジョイスティックを合わせたシステムを構築する．モーションキャプチャの方式は接触式と非接触式の 2 手法があるが，ジェスチャーを実現することを考慮すると，計測の正確性よりも拘束性の低さが重要レールであるため非接触の光学式モーションキャプチャシス
テムを採用した．ただし，手指の動きについては非接TWISTER

触式ではオクルージョンの問題を解消しにくく，ある

(a)

(b)

程度安定した把持や指によるジェスチャーが求められるため，装着式であるデータグローブを採用する．ま図6

動作取得システムの (a) マーカ及びジョイ
スティックの配置，(b) 実際の配置の様子
Fig. 6 System for capturing user’s motion.
(a) Layout of markers and joystick. (b)Overview of actual system layout.

た，アバターの移動手法としてはジョイスティックを用いる方法を採用する．アバターの設計において，地面に対して車輪のようなものを想定した平行移動を前提として脚部を設計しており，人の足の歩行動作などの直接的な入力よりはジョイスティック入力による操作の方が容易である．

Network

実空間A

全周囲3
3次元
映像音響提示ユーザ
音声

TWISTERTWISTER 内のユーザの動作を取得するシステムの詳細を図 6(a) に示す．赤外線を用いた光学式モーシ

全周囲
スピーカ

環境
映像・音響

うに TWISTER 内の上部から計測空間全体をカバーするように赤外線カメラを配置する．右腕の手首と肘，

全周囲
スピーカ

サイバースペースTWISTER

環境
映像・音響

ユーザ
位置姿勢

ョンキャプチャシステム（OptiTrack FLEX:V100R2,

NaturalPoint 社）を右腕に適用するため，TWISTERの回転体内部の半径 1 m の空間全体を取得できるよ

実空間B

全周囲3
3次元
映像音響提示サイバースペース
ユーザ
顔画像

腕位置

動作取得 姿勢

アバター
移動量

アバター
移動量

ジョイ
スティック

ジョイ
スティック

光学式
モーション
キャプチャ

腕位置
姿勢 動作取得

光学式
モーション
キャプチャ

データ
グローブ

データ
グローブ

肩にそれぞれ赤外線マーカを装着し，3 点の空間的絶対位置を計測する．肩の位置を基準とした手首位置を

カメラ
移動量

3次元顔映像取得

カメラ
移動量

3次元顔映像取得

算出し，肘の位置を参照しつつ逆運動学により関節角度を算出してアバターに与える．肩に対する手先の位

移動カメラ
ユニット

ヘッドセットマイク

ヘッドセット
マイク

移動カメラ
ユニット

置姿勢から得られる 6 自由度と肘の 1 自由度から，ア
バターの腕が持つ 7 自由度を完全に表現できる．マー
カは 10 ms 以内の遅延にて計測される．手指の動作を

図7

提案する遠隔コミュニケーションシステムの構成図
Fig. 7 Configuration of the proposed remotecommunication system.

取得するため，5 指の関節角度を取得可能なデータグ
ローブ（5DT Data Glove Ultra, 5DT 社）を右手に装着し，各指の曲げ角を取得する．データグローブで取得可能な 5 自由度以外の自由度は，取得した情報か
ら角度を推定して与える．データグローブは 13 ms 以内の遅延にて計測される．データグローブの把持動作
によって指の関節角度情報が送られ，サイバースペー
ス内に移動可能オブジェクトとして配置したコップな
どのオブジェクトを把持し自由に移動させることが出来る．
左腕及び左手にはモーションキャプチャを装着せず，
要件 3-3 に基づいてサイバースペース内を移動するためのジョイスティックの操作に充てる．ジョイスティッ
クは前後左右の移動と左右回転の 3 自由度が割り当て
られ，サイバースペース内を自由に動きまわることが出来る．サイバースペース内のアバターとユーザの動作の整合性を保つため，ジョイスティックを動かすユー
ザの左腕に対応したアバターの左腕は，CG のジョイ
スティックを把持し，ユーザの左腕の位置姿勢とジョ

イスティックの操作行動を再現する．これらの動作取得システムにより，要件 3-2，要件 3-3 が満たされる．

3.5

統合システムの設計

図 1 の概念図に基づいた，2 台の TWISTER を利用した遠隔コミュニケーションシステムの構成図を図7 に示す．
全周囲 3 次元映像音響提示システムは，映像提示のための TWISTER と全周囲スピーカ，共有するサイ
バースペース情報を有し，サイバースペース環境の映像及び音響情報を TWISTER 及び全周囲スピーカに送る．動作取得システムは，光学式モーションキャプ
チャとデータグローブ，ジョイスティックを有し，ユー
ザの腕と手指の位置姿勢情報，アバターの移動量が計測され，全周囲 3 次元映像音響提示システム内のサイバースペースへ送られる．サイバースペースは，ユー
ザの顔映像とユーザ発話以外のユーザ位置姿勢情報を集約し，相手側のサイバースペースと UDP 通信によ

日本バーチャルリアリティ学会論文誌 Vol.17, No.2, 2012

り差分情報を相互伝達し，受け取った情報を用いて空実映像から表情や視線を一致させた意思伝達が可能で間情報の変更を行う．3 次元顔映像取得システムは，移あることを確認した．図 9(a) に投影されたアバターの動カメラユニットとヘッドセットマイクを有する．移顔部に相手ユーザの顔映像が提示されていることが確

動カメラユニットは，サイバースペースからアバター

認できる．(a) は正面を向いている相手ユーザを見たの位置関係に基づくカメラ移動量を取得して，それに場合の投影映像である．相手ユーザの横から相手ユー従って自走ステレオカメラを適切な位置へと動くようザの顔を眺めた時のアバターの顔映像を図 9(b) に示制御する．撮像したユーザの顔画像は，ネットワーク

す．これにより，相手の横顔が見えていることがわかを介して相手側のサイバースペースへ直接送られる．

り，(a) と合わせてユーザの位置関係に適切な 3 次元

ヘッドセットマイクで取得するユーザ発話情報は，自顔映像が提示されていることがわかる．また，ステレ

分側の全周囲スピーカと相手側の全周囲スピーカへ

オカメラとアバターの位置を示すため，TWISTER 外

ネットワークを介して送られ，環境音響と合わせて提部の照明を調節しアバターとステレオカメラを同時に示される．

視認可能にした結果が図 9(c) である．アバターの顔位置に一致するようにステレオカメラが重なって表示

4

遠隔コミュニケーションシステムの検証設計した遠隔コミュニケーションシステムの検証をされており，その結果として視線が自然に一致するシステムが実現できたと言える．

行うための通信実験を試みた．設定した各要件が満た

要件 3-1 から要件 3-3 について，ユーザが人と同等されているか否かの検証を行い，全ての要件が同時にな身体性を持つアバターを介し，サイバースペース

満たされることでサイバースペースを共有した円滑な内の移動やジェスチャー，オブジェクトであるコップ

コミュニケーションが行えるかどうかを確認した．

を持ちながらの移動が可能であることを確認した．図参加する遠隔ユーザを 2 人とし，1 対 1 の遠隔コミュニ

10(a) と (b) にジェスチャーとして手を振ったり指差しをしたりする動作を行なっている様子を示す．また，
図 10(c) にコップを持った相手アバターの映像を示す．

ケーションを行うとした．実施環境として，TWISTER

要件 3-4 の動作の許容遅延量を満たしているかどうかを東京大学本郷キャンパス（東京都文京区本郷）と慶を，構築したシステム要素の性能から理論的に検証し應義塾大学日吉キャンパス（神奈川県横浜市港北区

た．まず，腕や手指の計測にかかる遅延は，データグ日吉）に設置した．通信ネットワーク回線として，両ローブの計測遅延である 13 ms に依存する．計測しTWISTER 間に 10 ギガビット・イーサネットの専用たデータを PC で取得し UDP 送信処理を行うのにお回線を利用した．検証実験における体験者は 20 代 6

よそ 10 ms 程度かかるとし，送信先に送る．伝送路上

名であり，1 人 30 分程度，体験者のうち 2 名は連続での送信にかかる時間は，アバターの位置姿勢情報とで 2 時間程度の体験を実施した．慶應義塾大学側で 3移動可能なオブジェクトの位置姿勢情報のみであり，

名が 1 人ずつ交代で体験，東京大学側も 3 名が 1 人

データのサイズは数 100 B 程度と非常に小さいことかずつ交代で体験した．体験の基本的な流れを示す．まら 10 ms 程度とする．受け取り側で UDP 受信処理に

4.1

検証実験の設定

遠隔コミュニケーションの検証条件として，今回はず，東京大学側のユーザが慶應義塾大学側のユーザに

10 ms 程度，画像に反映させる際に最大 30 ms かか

近づき，コップの置いてあるカウンターに移動を促す．

ると考える．これらを合わせると 73 ms となり，他のコップのあるカウンターに到着した段階で双方がコッ

要因で通信遅延量が多少増えても遅延許容量 120 ms

プを持ち上げ，そのままコップを持って窓側へ移動をは満たされるといえる．要件 3-4 は動作における運動

行う．窓際に到着したあと，乾杯の動作をしてコップ

視遅延に対する要件だが，相手の顔画像に対して同様を飲む（ふりを）した上で簡単に雑談をする．その後に通信遅延を見積もってみる．かかる処理時間は，画は，自由に空間内を移動したり会話したりしながら体像の取得 (30 ms)，PC でのキャプチャ(30 ms)，エン

験を続ける．

コード処理 (10 ms 程度)，通信と共有ファイル書込み

要件 1-1 から要件 1-4 について，サイバースペース(30 ms 程度)，読み出しとデコード処理 (30 ms 程度)，
画像反映 (30 ms) となり，160 ms 程度と見積もられの全周囲 3 次元映像提示については TWISTER の基

る．運動視の遅れ条件である 120 ms と比較すると許本性能によって満たされており，統合システムにおい容値を超えるが，顔映像内の表情の多少の遅れは声やても損なわれずに実現されていることを確認した．図ジェスチャーによって補完できると考えられるため，

8 にサイバースペースの投影映像の例を示す．
要件 2-1 から 2-3 について，サイバースペース内で言語・非言語コミュニケーションを行い，相手ユーザの

ここでは腕と手指の動作にかかる遅延が満たされてい4.2

各要件の検証ることで共有空間の同期が満たされているとみなす．
なお，今回送り合っている情報は利用するネットワー

渡邊・南澤・新居・: 全周囲裸眼立体ディスプレイを用いたサイバースペースへのテレイグジスタンス

(a)

(a)

(b)

(b)

図 8 TWISTER に投影したサイバースペース
映像の例．(a) 左視点映像 (b) 右視点映像
Fig. 8 Example of the cyberspace image projected on TWISTER. (a) Left-eye
view. (b) Right-eye view.

図 11 遠隔コミュニケーション実施の様子．(a)慶應義塾大学側 (b) 東京大学側
Fig. 11 Results of remote communication.
(a) Image result at Keio University.
(b) Image result at The University ofTokyo.

れたブースとともに入り込んだように感じたという意見があった．そのことから，宇宙服のようなものを着てサイバースペースに入り込む状態に近い感覚を誘発できたと考える．また，「あっち」や「これ」といった現
(a)

(b)

(c)

実空間で多用する指示代名詞が示す目的が自然と理解でき，コミュニケーションが行いやすかったという意

図 9 (a) アバターの正面顔映像，(b) アバターの横顔映像, (c) アバターと重なるカメラ
Fig. 9 (a) Front view of an avatar face. (b)Side view of an avatar face. (c) Camera overlapping on an avatar.

見があり，感覚的にも対面コミュニケーションが実現できていることがわかる．これらの主観的な検証結果
より，提案した全ての要件が満たされた統合システム
は，身体性や意思伝達を含んだ遠隔コミュニケーションに有用であるといえる．ジョイスティックによる移動操縦については，コミュニケーションしやすいと感じた人としにくいと感じた人の双方がおり，これについては今後検討する必要がある．

(a)

(b)

(c)

5

おわりに

図 10 (a) アバターの手振り動作，(b) アバターの
指差し動作，(c) コップを持ったアバター
Fig. 10 (a) Hand-waving motion of an avatar.
(b) Pointing motion of an avatar. (c)Avatar with a cup.

ケーションを実現するため，サイバースペースをコミュ

ク伝送路の性能に対して少ないため，参加するユーザ

する遠隔コミュニケーションシステムを実現するため数や移動オブジェクトの種類や数などを，通信伝送路の目標として，(1) サイバースペースで参加者が視聴の通信遅延を満たす範囲で自由に追加することが可能

覚的に高い臨場感を有する，(2) 参加者同士の視線がである．

一致する対面コミュニケーションが可能，(3) サイバー本研究では，多人数で対等な高臨場感遠隔コミュニ
ニケーションの場として共有する遠隔コミュニケーショ
ンシステムを設計構築した．サイバースペースを共有

遠隔コミュニケーションの主観的検証

スペースで参加者が身体性を有する，の 3 目標を掲げ，

統合システムにおいて遠隔コミュニケーションを

各目標を達成するために必要なシステム要件を検討し，行った結果を図 11 に示す．(a) が慶應義塾大学側の全ての要件を満たす統合システムを構築し有用性を検TWISTER ブース内の映像を示しており，(b) が東京大学側の TWISTER ブース内の映像を示している．体験の基本的な流れについては，滞りなく実施できてい証した．全周囲 3 次元裸眼ディスプレイ TWISTER

ることを確認した．

のユーザ動作取得システムを加えて，サイバースペー

4.3に，表情や視線を取得するための 3 次元顔映像取得シ
ステムとユーザの腕と手指の位置姿勢を取得するため体験者から得られた主観的評価として，すべての体

ス内に構築したアバターを介してコミュニケーション

験者より構築したサイバースペース内に実際に居るかを行う統合システムを構築した．その結果，本研究がのような感覚を得ることが出来たという意見を得た．

提案する各要件を全て満たすシステムが実現できていある体験者からは，現実の身体そのものがサイバース

ることを確認した．また，実際に 2 者による遠隔コ

ペース内に入ったというよりは TWISTER で構築さミュニケーションを実施した結果，お互いが対等な条

日本バーチャルリアリティ学会論文誌 Vol.17, No.2, 2012

件で，サイバースペースを共有した遠隔コミュニケー
ションを行えることを主観的に確認した．これらの結果より，提案するシステムがサイバースペースを共有する遠隔コミュニケーションシステムとして有用であるといえる．
今後は，3 者以上での遠隔コミュニケーションの検証実験を行うことで多人数でのコミュニケーションシ
ステムの有効性を検証するとともに，触覚情報も含めた身体性を相互伝達することによるコミュニケーショ
ンの質の向上を図っていく．

[15] Susumu Tachi. TWISTER : Immersive omnidirectional autostereoscopic 3d booth for mutual telexistence. In In Proceedings of ASIAGRAPH 2007,
Vol. 1, pp. 1–6, 2007.
[16] 土場健太郎, 南澤孝太, 新居英明, 川上直樹, 舘 .
TWISTER のための全周囲音響伝送システム. 日本
バーチャルリアリティ学会第 14 回大会論文抄録集,
pp. 2A3–2, 2009.
[17] 勝浦哲夫, 栃原裕, 佐藤陽彦, 横山真太郎（編）. 人間
工学基準数値数式便覧. 技報堂出版, 1992.
[18] 佐野乾一, 等康平, 南澤孝太, 新居英明, 川上直樹,
舘 . TWISTER における多人数対面コミュニケー
ションのための自走式撮像システムの構築. 日本バー
チャルリアリティ学会第 14 回大会論文抄録集, pp.
2A3–1, 2009.

謝辞(2011 年 12 月 19 日受付)

本研究は，総務省の戦略的情報通信研究開発推進制度（SCOPE）及び，科学研究費補助金基盤研究 (A)
課題番号:23240017 の一環として行った．

［著 者 紹 介］
渡邊 孝一 （正会員）
2004 年千葉大・工・情報画像工学科
卒．2006 年東大院・情報理工・システム情報学専攻修士課程修了．2009 年同大博士課程修了．情報理工学博士．同年慶應大院・メディアデザイン研究科助教．2011
年慶應大・メディアデザイン研究科リサー
チャー．2012 年木更津高専・情報工学科
講師．テレイグジスタンスマスタスレー
ブシステムの研究に従事．

参考文献[1] RealPresence, http://www.polycom.com/products/.
[2] 舘 , 渡邊孝一, 竹下佳佑, 南澤孝太, 吉田匠, 佐藤克成. 再帰性投影技術と全周囲裸眼 3D ディスプレイを用いて存在感と臨場感を実現する相互テレイグジス
タンスシステム：TELESAR4. 日本バーチャルリア
リティ学会論文誌, Vol. 17, No. 1, 2012.
[3] 長谷川修, 森島繁生, 金子正秀. 「顔」の情報処理. 電子情報通信学会論文誌. D-II, 情報・システム, Vol.
J80-D-2, No. 8, pp. 2047–2065, 1997.
[4] K. Kampe, C.D. Frith, and U. Frith. “hey john”:
Signals conveying communicative intention toward
the self activate brain regions associated with“mentalizing”, regardless of modality. The Journal of Neuroscience, Vol. 23, No. 5, pp. 5258–5263,
2003.
[5] M. Cook and J.M.C. Smith. The role of gaze in
impression formation. British Journal of Social
Clinical Psychology, Vol. 14, pp. 19–25, 1975.
[6] D Friedman, A Brogni, C Guger, A Antley,
A Steed, and M Slater. Sharing and analyzing
data from presence experiments. Presence, Vol. 15,
No. 5, pp. 599–610, 2006.
[7] M.F. Vargas. Louder than words: an introduction
to nonverbal communication. Ioa State University
Press, 1986.
[8] 増田千尋. 3 次元ディスプレイ. 産業図書, 1990.
[9] 佐藤隆宣, 伴野明, 岸野文郎. 運動視表示の遅延による仮想空間操作への影響. テレビジョン学会技術報
告, Vol. 14, No. 68, pp. 1–6, 1990.
[10] Second life, http://secondlife.com.
[11] There, http://www.there.com.
[12] C. Cruz-Neira, D.J. Sandin, T.A. DeFanti, R.V.
Kenyon, and J.C. Hart. The CAVE: Audio visualexperience automatic virtual environment. Communications of the ACM, Vol. 35, No. 6, pp. 64–72,
1992.
[13] Tetsuro Ogi, Yoshisuke Tateyama, and Satoshi
Oonuki. High presence collaboration using plug-in
video avatar. In Proceedings of the ASASME 2009
IDETC/CIE 2009, Vol. DETC2009-86762, 2009.
[14] 知識ベース「知識の森」S3 群 8 編. 電子情報通信学会. http://www.ieice-hbkb.org/portal.

南澤 孝太 （正会員）
2005 年東大・工学部・計数工学科卒．
2010 年同大大学院・情報理工学系研究科
博士課程修了．博士（情報理工学）．2007
年より日本学術振興会特別研究員 (DC1)．
2010 年慶大大学院・メディアデザイン研
究科・特別研究助教．2011 年同研究科・特任講師．ハプティックインタフェース，
3D ディスプレイ，テレイグジスタンスの研究に従事．

新居 英明 （正会員）
2003 年から 2006 年まで電通大・電気通信学・機械制御博士課程在籍．2006 年
から 2009 年まで東大・情報理工学・シ
ステム情報学専攻助教．2008 年博士（工学）取得．2009 年より慶大メディアデザ
イン研究科講師．2010 年よりシンガポー
ル国立大学研究員．

舘

（正会員）

1968 年東大・工学部・計数工学科卒．
1973 年同大大学院博士課程修了．工学博
士．東大・先端研・教授などを経て，1994
年同大・工学部・計数工学科・教授，2001
年同大大学院・情報理工・教授，2009 年慶大大学院・メディアデザイン研究科・教授．
東京大学名誉教授．テレイグジスタンス，
人工現実感などの研究を行う．IMEKO
ロボティクス会議議長，計測自動制御学会第 46 期会長，日本バーチャルリアリ
ティ学会初代会長．