20 日本バーチャルリアリティ学会誌第 7 巻 3 号 2002 年 9 月
183

特集

サイバースペースと VR「場」の通信を目指した仮想共有空間

本田新九郎、小林
日本電信電話株式会社稔

相手とコミュニケーションしている様子を示している。

１．はじめに遠く離れた人同士が、あたかも同じ場所にいるよう表示装置として CAVE™[2] を用い、実物大表示するこな感覚で交流ができ、さらに、協調して作業するためのとで、相手との距離感等も含む現実空間に近い形のコ便利なツールが自由に使える環境があれば、現在の職場ミュニケーションが実現されている。

環境、生活環境が大きく変化するのではないか。NTT では、このようなコミュニケーションや共同作業を支援するシステムの実現技術の研究を進めている。ここでは、そのような取り組みの例として、「場」の通信シス
テ ム GAVA™ (Generation and Acceleration environment forVirtual and Augmented reality communication)[1] を 中 心 とした取り組みを紹介する。GAVA™ は、次世代コミュニ
ケーションの一形態として、遠隔地にいる人同士が、あたかも同じ場所にいるような感覚を得られる環境の実現を目指した、没入型の仮想共有環境システムである。
「場」の通信の目指すところは、雰囲気なども含むコミュニケーションの「場」の総合的な共有であるが、まずは、CAVE™ のような利用可能な技術をもとに、空間を共有するサービスコンセプトを可視化し、その効果や技術課

図１

場の通信システム GAVA™ 概観

題の整理を進めている。本稿では、「場」の通信技術の図 2 にシステム構成を示す。CAVE™ に、音響機器や概要を説明し、そこで中核となる技術、さらには応用アユーザの動作を入力するセンサ装置を加えたクライアンプリケーションの紹介を行う。

ト端末装置を装備し、ネットワークを介して仮想空間管理サーバに接続する。仮想空間管理サーバは、仮想空間

２．
「場」の通信GAVA™ の基本形態として実現したシステムの概観をの構成情報と、クライアント端末から送られたユーザの図 1 に示す。この例では、ユーザは CG モデルで構成さ位置情報等を管理し、各端末の要求に応じて配信する。

れた日本庭園に入り、ネットワークを介して表示される

また本システムでは、円滑なコミュニケーションの実現

20

特集

JVRSJ Vol.7 No.3 September, 2002

サイバースペースと VR

21
184に重要とされる仮想空間内の環境音、及びユーザの声を、立体音場技術により呈示している。これにより、ユーザは誰が話しているのかを直感的に理解でき、さらには発話者に対する笑いや拍手等、場の雰囲気を共有することができる。

磁気センサ
クライアントクライアント

多面多面グラフィック
三次元音揚
グラフィック 三次元音場
ディスプレイWS
制御PC
ディスプレイ
制御PC
WS
仮想空間管理仮想空間管理
サーバ
サーバ

スピーカ
スピーカ

立体音揚生成装置
立体音場生成装置

図３ GAVA™ における磁気センサの装着

network
netw ork

テムでは、小型の視線検出装置を用いて利用者の視線方向を検出し、仮想空間中のアバタの目の動きに反映させている。また、マイクに入力される音圧を口の動きに反
図２ GAVA™ のシステム構成映させている。これらにより、豊かな表情の伝達を可能にしている。今日の技術では、立体表示には特殊な眼鏡の装着が必要だが、この手法では、そのような眼鏡を装３．コミュニケーションのためのアバタ表現技術
コミュニケーションでは、ジェスチャや些細な仕草着した状態でも視線情報の伝達が可能であるという利点もある。図 4 にアバタの表情の例を示す。などのノンバーバルな情報も重要な役割を持っている。
我々は、物体だけでなくユーザ自身の姿を CG で表現されたアバタとして表示することで、ユーザの存在や表情を示すコミュニケーションメディアの開発を行っている。
アバタの表現方法としては、映像を用いた方法も有効であるが [3]、現在の GAVA™ システムでは、比較的高精細の CG によりアバタを表示する方式を採用してい図４る。この理由としては、視線や身体の情報をシステムでアバタの表情の例制御して伝達することが可能である点が挙げられる。こまた CG によるアバタを利用する際問題となるのが、のようにアバタの制御可能な実験環境の下では、視線なユーザとその分身としてのアバタの関連付けが相手に伝どの要素がコミュニケーションに与える影響の調査が容わるかどうかである。我々は、ユーザの顔に似せたアバ易になり、次世代のコミュニケーションシステムの設計タを利用できるように、リアルタイムで 3 次元人物顔画に活かすことが出来る。ユーザの動作は、磁気位置セン像モデルを作成できるシステム FaceMaker™ を開発した

サによって計測され、仮想共有空間中のアバタの動きに[4]。FaceMaker™ では、モデルの詳細さを、相手が誰で反映される。人間には多くの関節があるので、全てを計あるか識別可能な程度に留めることで、汎用的な装置測するためには多数のセンサが必要である。しかし、コを用いて短時間での顔画像モデルの作成を可能とした。

ミュニケーションの道具として利用するためには、あ実際に複数の利用者について顔モデルを作成した結果、まり多くのセンサを身体に装着することは非現実的であ両目と口の位置の指定だけの簡単な操作で十分自然にる。そこで GAVA™ では、ロボットの制御などに用い見えるモデルを作成できることが確認できた。図 5 に、られる逆運動学を用いて、図 3 に示すように両手首と背FaceMaker™ による人物顔モデル作成例を示す。

中、頭部に取り付けられた 4 個のセンサ情報から、身体このように CG で作成したアバタをできる限り忠実に全体の動きを推定し、アバタの動作に反映している。

現実に近づける研究を行う一方、用途によっては、特定身体のジェスチャに加えて、視線や口の動きなどの表の動きのシナリオに沿ってユーザの状態を推定すること情もコミュニケーションにおいては重要である。本シス

により、センサの数やシステムへの負荷をさらに減らす

21

22 日本バーチャルリアリティ学会誌第 7 巻 3 号 2002 年 9 月
185

特集 1

サイバースペースと VR視化システムである CompleXcope[6、7] を広帯域ネットワークで接続し、2002 年 1 月より実験的に運用している（ 図 7）。CompleXcope は GAVA™ 同 様、CAVE™ をもとに構築されており、ユーザを取り囲む形で設置された 4 面の大型スクリーンにユーザの視点位置に応じて立体映像を表示することで、没入感の高い仮想空間表示を可能にしている。音響装置も備え付けているが、体の動きを測定する位置センサは頭部と右手（ワンド）の 2箇所となっている。NTT と核融合科学研究所の双方のシステムは、JGN（Japan Gigabit Network: 通信放送機構

図５ FaceMaker™ による人物顔モデルの作成例（TAO）[8] が運用する実験用広帯域ネットワーク）を介ための研究も進めている [5]。図 6 に示すゴルフゲーム

して GAVA™ の仮想空間管理サーバを介して接続されの例では、リアルタイムにセンサ情報を反映させるリアており、共同作業空間が実現されている。仮想空間管理

ルタイム制御と、スイングなどのあらかじめ用意されたサーバは、仮想空間の構成情報や仮想空間内のユーザのパターンに沿った動作を行うパターン制御を切り替えな動作等のイベント情報を管理し、クライアントに配信すがら、ゲームを進行させる状態制御を行っている。ここる。各クライアントシステムでは、配信された相手ユーで用いている磁気センサの数は、2 個（頭部、ゴルフクザの動作情報をもとに相手ユーザを CG アバタとして表ラブ）である。

示する。またシミュレーションシステムに対する操作イ
ベントも同様に配信され、表示を更新する。
このシステムは、核融合科学研究所が開発したシミュレーションソフトウェア VFIVE によるビジュアライズ機能と、NTT が開発した「場」の通信システム GAVA™
における CG アバタを利用したコミュニケーション機能を結合する形で構成されている。システムの概略を図 8
1.5MbpsCAVE System

JGN
1Gbps

核融合科学研究所（岐阜）50Mbps

図６ GAVA™ によるゴルフゲーム

CAVE System

４．シミュレーション共有コラボレーション
日本電信電話株式会社 横須賀通信研究所

GAVA™ のような CG ベースの仮想空間システムの特徴の一つとして、これまでのような 2 次元のディスプレ

図７

核融合研究所と NTT 研究所の JGN による接続

イでは表現できなかった複雑な物理現象などのシミュクライアントレーションを、立体的に可視化できることが挙げられる。
GAVA™ により遠隔地間でこれらのコンテンツの共有がサーバ

・アバター情報・イベント情報・音声データ

������������������

出来ると、専門家が身振りを交えて説明する様子を遠隔
我々はこれまで、核融合科学研究所とシミュレーショ・アバター情報
・イベント情報・音声データ

������������������

仮想空間管理サーバ
・参加者管理・共有オブジェクト管理・配信

����から見聞きし、ディスカッションすることができる。

クライアント・センサデータ
�センサデータ・ワンドデータ
�ワンドデータ�������
���

・センサデータ
�センサデータ・ワンドデータ
�ワンドデータ���

ンデータ共有実験を行ってきた。NTT と核融合科学研

���(横須賀)究所は、横須賀にある NTT 研究所の GAVA™ システム

図８と、岐阜県にある核融合科学研究所で開発したデータ可22

核融合研(岐阜)

核融合研究所と NTT 研究所を接続したコラボレーションシステム概要図特集 1

JVRSJ Vol.7 No.3 September, 2002

サイバースペースと VRに示す。

186
23で叩くゲームを示している。ユーザは、風を受け止める

この実験を通じて、共同作業対象としてのシミュレー

風受容器を先端に取り付けた棒をハンマーの代わりに握ションデータの共有、密度の高い議論を行うためのシる。風受容器の動きを位置センサで計測し、仮想空間中ミュレーション可視化アプリケーション等を実現し、のカッパとの衝突に合わせて床に置かれたノズルから空「場」の通信システムの協同作業（コラボレーション）

気を噴出することで、物体との衝突感を呈示する。風受に対する効果を検証している。

容器により受け止めることにより、風を風としてではなく、力として感じさせることを可能としている。風圧による力覚呈示の特徴としては、ユーザを器具などで拘束しないことが挙げられる。肌触りのような微妙な触覚を伝達するまでには至らないが、ユーザを拘束しないインタフェースの実現を目指した取り組みの一つである。

図９

シミュレーションデータ共有コラボレーションシステムを使用している様子

本システムを使用している様子を図 9 に示す。空中に表示されている緑色の線は、太陽表面の磁力線を示し、床面の色は太陽表面の温度分布を示している。写真は、ユーザが磁力線を指し示しながら説明を加え、相手が指し示した先を見て説明を聞いている様子を示している。

図 10

風圧による力覚提示インタフェース

数百 km 離れた相手とシミュレーションデータを共有しながら、自然にコミュニケーション可能な環境が実現さ

また、GAVA™ のような空間共有型のコミュニケー

れている。データを共有し作業するだけであれば、人物ションシステムを、その特長を活かして、聴覚障害者アバタを使うまでもなく、カーソルによる指示だけでもにも利用可能なヒューマンインタフェースとして応用実現可能である。しかし、人物アバタを用いることで、することも可能である [10]。CyberBalloon と名付けたこ

人物アバタの存在により相手の視点を誘導し、さらに指のインタフェースシステムは、会話の内容を吹き出し示動作で注目するべき対象物へと誘導するという自然な（Balloon）により可視化している。図 11 に CyberBalloon

流れの視点誘導が可能になり、私たちが日常生活で行っを使用している様子を示す。本システムでは、相手とのているコミュニケーションに近い形の、自然で効果的な位置関係等をもとに会話の内容を伝える「意思伝達モーコラボレーション環境を実現することができる。

ド」と、遠くの相手の注意を引く「呼びかけモード」の二つのモードによって、吹き出しの形状と動作を切り替５．ヒューマンインタフェース技術とコミュニケーションえている。呼びかけモードでは、発話者の方向より呼び「場」の通信では、音声や映像を伝えることによってかける相手に対して吹き出しが飛んでくる。よって後方場の雰囲気を共有するほかに、触覚、力覚などの共有からの呼びかけなども認識することができる。また吹きも重要な要素である。力覚を表現するヒューマンインタ

出しの中の文字が常に見やすくなるように、吹き出しのフェースとして、我々は「風圧」を利用して力覚を呈示し、移動軌跡の制御も行っている。単なるテキストチャット

仮想物体の存在や動きを感じさせるインタフェースを実ではなく、動きを伴う吹出しに文字を表示することによ装した [9]。本方式を CAVE™ の中で用いた例を図 10 にり、発話の内容だけでなく、呼びかけの方向等の空間的示す。写真は、仮想空間中で跳ねるカッパを、ハンマーな属性も呈示することが可能になる。このように、分か

23

24 日本バーチャルリアリティ学会誌第 7 巻 3 号 2002 年 9 月
187

特集 1

サイバースペースと VR'93, pp. 135-142, 1993.

りやすい意思伝達の表現方法を研究することにより、聴覚障害者だけでなく健聴者も含め、ネットワークを介し［3］廣瀬通孝、小木哲朗、玉川憲、山田俊郎

没入たコミュニケーションを促進するインタフェースの実現

型コミュニケーションのための高臨場感ビデオアにつながると考えている。

バタ、 ヒューマンインタフェース学会論文誌、vol.2
no.2pp.55-62、2000［4］箕浦大祐、石橋聡、長谷雅彦 簡便に利用できる顔モデル作成システムを用いた仮想空間での出会いにおける 3 次元人物表示の効果 、画像電子学会論文誌、Vol.30 No.4 pp.423-434 2001
［5］M. Ihara, S. Honda, M. Kobayashi, and S. Ishibashi,“Cyber entertainment system using an immersive
networked virtual environment.” SPIE Electronic Imaging
2002, 4660-62, San Jose, Jan. 2002.
［6］影山聡、田村祐一、佐藤哲也 CAVE システム
CompleXcope によるプラズマシミュレーションの可視化、 VR 学会 第 4 回大会論文集、Vol.4、pp21-22、 1999
［7］田村祐一、影山聡、佐藤哲也 没入型 VR 装置と大規模シミュレーション、 VR 学会誌、Vol.6 No.3、pp27-30、 2001［8］http://www.shiba.tao.go.jp/ (2002/07/01 現在 )［9］鈴木由里子、河野隆志、石橋聡 仮想空間における風圧による力覚提示、 VR 学研報

Vol.4,No.1

CSVC99-20、pp.37-42、1999［10］織田修平、八木貴史、小林稔、石橋聡： 没入型仮図 11

聴覚障害者支援インタフェース CyberBalloon
意志伝達モード（上）と、呼びかけモード（下）想共有環境における聴覚障害者の会話支援インタ
フェース 、VR 学研報 Vol.7 No.1 CSVC2002-07、pp.39-44、2002

６．おわりに「場」の通信の通信を目指した仮想共有環境の実現と【略歴】

して、NTT で開発している GAVA™ を中心に要素技術

本田 新九郎 (HONDA Shinkuro)や応用例の紹介を行った。これらの取り組みは、実用化

平 5 慶大・理工・計測卒。平 10 同大学院博士課程修了。に向けてはまだ多くの課題を残しているが、今後、課題

平 9 〜平 11 日本学術振興会特別研究員 (COE)。平 11 日となる技術の開発と、さらにはそれらの技術がコミュニ

本電信電話 ( 株 ) 入社。現在、同社 NTT サイバースペー

ケーションに与える効果に関する調査を進めていく予定

ス研究所 研究員。主に仮想現実感、遠隔コラボレーショである。

ンの研究に従事。情報処理学会、電子情報通信学会各会員。工博。

参考文献

小林 稔 (KOBAYASHI Minoru)［1］T. Kouno, S. Honda, Y. Suzuki, and S. Ishibashi,

昭 63 慶大・理工・計測卒。平 2 同大学院修士課程修了。

"Immersion-type shared communication environment,"

同年日本電信電話 ( 株 ) 入社。平 8 米国 MIT 修士課程修Proc. of IEEE PCM'2000, pp.102-105, Sydney, December 2000.

了。現在、日本電信電話株式会社 NTT サイバースペー［2］C. Cruz-Neira, D. J. Sandin, and T. A. Defanti, "Surround-ス研究所

主任研究員。主に CSCW、ヒューマンインタ

screen projection-based virtual reality: The design andフェースの研究に従事。ACM、IEEE Computer Society、情implementation of the CAVE," Proceedings of SIGGRAPH

報処理学会、電子情報通信学会各会員。工博。

24