高速ネットワークを使ったコラボレーション
京都大学大型計算機センター
小山田耕二

コラボレーション• 人間のかかわりを４階層のプロセスモデルとして表現（松下、1997）
レベル
Collaboration
Communication
Awareness
Copresence

Sense of togetherness
Cooperation/Conflict
Nonverbal
Tone
GestureEye-contact
ActionAtmosphere
Hand
Gaze
Aura/Nimbus
Shared feeling
Asynchronous Voice
Image
Face-to-faceBusinesslike
VerbalText
Presence
Existence

品質1

Copresence
複数の人々の間に時間／空間／情報などを共有しているという感覚が生じるプロセス•––

この層におけるかかわりの質は，共有感がどの程度得られるかという事で決まる
共有感は，人々の間の情報交換媒体の質，すなわち空間的距離／時間的距離／通信路容量などに左右される．

•••

対面環境は遠隔環境より共有感を与える
同期環境は非同期環境よりもすぐれている．
文字通信よりも，高速ネットワークを使った画像通信の方が共有感を与える

Awareness
周囲の人々の状況を把握するプロセス
この層におけるかかわりの質としてAwarenessのレベル付けを行なう

••
–––

•

存在を認知する手足，視線などの動きを認知する場の雰囲気，人の感情などを認知する

Awarenessは会話の質に大きな影響を与える

2

Communication
様々な情報やアイデアを交換するプロセス
この層におけるかかわりの質としてVerbal ，Nonverbalの２つに大別する．

•
•
––––

文字化できるもの
口調，ジェスチャ・表情，アイコンタクト,力覚Collaboration
複数の人によって一人では得ることの出来ない，あるいは非常に困難な価値を創造するプ
ロセス
この層におけるかかわりの質は，人々の間に連帯感がどの程度有るかという事で決まる

•

•
–––

ビジネスライクな協同相手の事を思いやりフレンドリーに協力する状態
相手と喧嘩している状態

3

「個人対個人」から「グループ対グループ」
へ• 研究プロジェクトの国際化– Access Grid プロジェクト（Argonne National Laboratory ）Components of an AG Node
RGB Video

Digital Video

NETWORK

DisplayComputer

Digital VideoVideo
CaptureComputer

Audio
CaptureComputer

NTSC Video

Analog Audio

Digital Audio

Mixer
Control Computer
Echo
Canceller

リモート可視化：公開実験• 稼動中の数値シミュレーション結果を表示– 没入感の実現– 大規模データへの対応– 高解像度への対応

4

可視化とは
規則格子

３角形メッシュ

断面コンタ

線分
構造格子

等値面
点

幾何形状データ
不規則格子

ボリュームレンダリング

ボリュームデータ

画像データ

例：等値面生成• 与えられたスカラ場において、スカラ値が等しい点を連ねた曲面

100GB/150sec=667MB/sec

3GB/150sec=20MB/sec
400MB/150sec=2.7MB/sec

simulation

V

traversal

G

3MB*30/sec=90MB/sec

renderingI5

没入感の実現
液晶シャッターメガネ
Wanda

ロングレンジエミッターMarquee8500/3D

反射ミラー

CAVE(TM)構成図

仮想計測環境：CAVEStudy
CAVEStudy
Description File
Code Generator

File &Parameters

network
Application

Proxy
VIRPI

Aura

ServerSimulation

CAVERNSoft G2

Original
Simulation

TCP/UDP/Multicast
CAVERNSoft G2

CAVElib
OpenGL/Direct3D

Operating Sysstem
TCP/UDP/Multicast
Simulation Server

Visualization and Measurement
Environment in VR6

リアルタイム可視化システム：
VisLink• TCP/IPプロトコルでの接続• データ削減• Plug-in/plug-out• AVSによるローカルグラフィックス
Application

Simulation

Server

VisLibReducer

AVS

TCP/UDP/Multicast
VisLink

OpenGL/Direct3D

Operating Sysstem

Original
Simulation

TCP/UDP/Multicast
Simulation Server
Visualization and Measurement
Environment in VR

JGNプロジェクト：大規模ボリュームデータにおける可視化処理範囲の制限手法の開発（ JGN-G13007）• 研究目標– 効率よく可視化処理範囲の絞込みを行う手法を研究、開発すること
京都大学

岩手県立大学

近畿―３

操作端末
大型計算機

操作端末

大型計算機によるシミュレーション

50Mbps東北―３

可視化サーバ

シミュレーション結果の可視化

7

大規模データへの対応• 大規模化した数値シミュレーションは、分散計算環境で行われることになる– 可視化を行うために全計算結果をひとつの計算ノードに集めるというアプローチは現実的ではない。
– それぞれの計算ノードで部分的な可視化処理を行っておき、そこで生成された可視化データ（幾何または画像）を表示側で統合するというアプローチが有効

VGクラスタ（産総研+三菱プレシジョン）• ハードウェアによるリアルタイム可視化• 空間分割によるスケーラブル処理• シミュレーション計算とレンダリングの並行処理

8

部分ボクセルのアセンブリ• ボクセル化計算がシミュレーション計算に比べて小さいと仮定できる場合有効

並列計算

並列計算

並列計算

部分ボクセル部分ボクセル

部分ボクセルアセンブリ

最終ボクセル

非同期転送の利用• 部分ボクセルを非同期に転送
並列計算

並列計算

並列計算

部分ボクセル

部分ボクセル

部分ボクセル9

高解像度への対応• 複数の研究者が同時に可視化結果を見ることを考えた場合、現在の単一ディスプレーの解像度では十分でない– 複数のプロジェクタを使って、必要な解像度を実現するアプローチが有効

並列フレームバッファ(SGE:IBM)• 乱数を使ったメモリバンクの割り当て
Switch LAN

Switch LAN

Switch LAN

InterfaceControl
PixGenInterfaceControl
PixGenInterfaceControl
PixGenPixel Router
Mem

Mem

Mem
Descrambler

RefreshController
CRT
DriverCRT
Driver

Permuter
CRT
Driver

LCD
Driver

LCD
Driver10

テレイマージョン• バーチャルリアリティとテレビ会議を融合した新しいテレコミュニケーションのメディア• Jaron Laniorらの開発したテレイマージョンシステ
ムでは、テレビ会議システムでは困難であったアイコンコンタクトをとることを可能にしている。
– 複数サイトに設置された多視点カメラを使って取り込まれた現実のシーンを合成– より高速な計算パワーを手にいれるために多視点カメラで得られた映像情報をスーパーコンピュータセンタへ転送し、テレイマージョンを実現するための演算処理を集中化させる

力覚コミュニケーション• フォースフィードバックは、非言語的コミュニケーションにおいて重要な意味をもつ• ３次元的な広がりをもったインタフェースの場を提供する場合、フォースフィードバックが有効• 力覚レンダリングには、サーフェスレンダリングとボリュームレンダリングがある– 仮想物体の表面の硬さ、表面粗さ等を表現する– 仮想物体内部の密度や速度などを表現する

11

フォースフィードバックシステム
車載

芸術
陶芸、書道、絵画

ハプティックコマンダ

触覚ディスプレイ

医療
工業用

手術シミュレーション（テレ）ロボット

ホビー

ＣＡＤ、ＣＡＭ、ＦＥＭ体感

応答遅延値の定量化• 京大SHP（Sensible Human Project）
における実測値• 発生原因を元に3つに分類– シフト型遅延（ユーザ動作に対し反力応答が連続的に遅延）• ネットワークレイテンシによる– ステップ型遅延（入力に対応する反力が返るまでに応答が変化しない不感時間をもつ）• 計算時間などによる– 不規則型遅延（不定期に反力応答が変化しない状態が生じる）• システム割り込み起因する• 最低遅延知覚時間– シフト型：
35ms〜40ms– ステップ型：
5ms– 不規則型遅延： 45ms〜60ms

12アノテーション生成• コラボレーションにおいて、過去のシミュレーション結果から何らかの知見を抽出しようとする場合、それらは、うまく整理されていなかればならない。
– 映像コンテンツ等のマルチメディアコンテンツについてはアノテーション（補足情報）を用いた高度利用に関する研究が盛ん– 人間の手によるメタデータ（マルチメディアデータの内容を記述したデータ）を使って、好みのビデオなどを効率よく検索する手法などが提案されている• ITBLにおけるコラボレーションにおいては、過去の類似のシミュレーション結果を参照することが多くなってくるであろう。
– 現状では、この類似度の判定は、利用者の視覚、経験によることが多い– 定量的、客観的に類似シミュレーション結果を検索できる実用技
術はいまだ開発されていない。

スケルトンを用いた分類法• 数値シミュレーション結果の特徴を抽出し、その結果を用いて分類や検索を行うための手法の開発を行う。
– シミュレーション結果が格子単位で定義されたスカラデータであると仮定する– スカラデータの勾配場のトポロジ表現を使って、シミュレーション結果の特徴を表すスケルトン（骨格）を抽出する。
– スケルトン同士を比べることにより、シミュレーション結果の類似度を判定する– スケルトンには、シミュレーション計算する際に用いたさまざまな条件（境界条件、初期条件）も属性として付与

13ノイズ低減処理• ノイズ自身は、十分に収束していない等の理由により数値シミュレーション結果に内在する。
– 勾配場から得られる特異点に対して適切なラベル付けを行う。
– 重要度の低い特異点を順に除去していく。

• 細線化結果（左）と生成した等値面（右）まとめ• 高速ネットワークを使ったコラボレーション
システムは、将来の情報基盤として必要– グループ対グループ– 力覚コミュニケーション– 没入型可視化– アノテーション生成

14

CAVE/ImmersaDesk• CAVE：完全な没入型VRシステム• ImmersaDesk：
簡易型CAVEシステム• 開発：イリノイ大学EVL(Electronic Visualization Laboratory)• １９９２年にSiggraph'92にて発表

CAVE(TM)構成• ONYX3000シリーズ
×１• CDS社製Marquee8500/3D
×４• SG社製CE3液晶シャッターメガネ ×５• SG社製ELRロングレンジエミッター ×１４• ﾍｯﾄﾞﾄﾗｯｷﾝｸﾞ/Wandaﾄﾗｯｷﾝｸﾞｼｽﾃﾑ
×１• CAVE(TM) Libraryソフトウェア
×１

15

並列レイキャスティング(Kwan-Liu Ma, 1998)• 前処理不要• 2frames/sec（400×400画素,50万格子）• IBM SP2 128(ワイド)ノード使用

pixel

ray segment

非同期通信によるタスク管理• プロセッサが独立した処理を行う• 格子毎の処理と画素毎の処理を多重化
Segments toother processors

bufferbuffer

Polling forincoming
ray segments
Segments fromother processorsTaskswitching

Scan convert a cell

Cell Rendering
Task

Local segments
Image Compositing
Task

Merge ray segments

16部分画像のアセンブリ• アニメーション実現においてボトルネックとなる可能性が高い(100MB/sec =3MB×30frames/sec)
並列可視化

並列可視化

並列可視化

部分画像

部分画像

部分画像

アセンブリ

最終画像

PC用ボリュームレンダリングボード(Pfister, 1999)• PCI カード(32bit 66MHzインタフェース)• vg500 ASIC
– クロック周波数１２５ＭＨｚ– 2563×30 voxel/sec = 4×125×106• 20×64Mbit SDRAM– 16 for Voxel Memory– 2 for Section Memory– 2 for Pixel Memory17

レンダリングパイプライン
ボクセル
メモリ

補間

勾配

分類
テクスチャ
マッピング

積分

CAVE(TM)特徴• 広視野：視野全体をカバー• 開放型：複数人数が同時体験可能• （ヘッドトラッキングは一人のみ）• 高精細：2500×2000• 簡易装着：93g液晶シャッターメガネ

18

CAVE(TM) 利用例• 大学や公共機関• Caterpillar社：
デザイン設計• GM：
General Motors社（VTR）（インテリアデザイン）：
ダッシュボードと内装設計

VGクラスタ• 空間分割によるスケーラブル処理– ボリュームデータを２ｎのサブボリュームに分割し並行処理する
ため、ＰＣを増やすことにより、大規模ボリュームデータを表示可
能
８ＣＰＵシステム
第一次画像重畳ハードウェア

６４ＣＰＵシステムＰＣ

第二次画像重畳ハードウェア

５１２ＣＰＵシステム

８ＣＰＵシステム

第三次画像重畳ハードウェア

６４ＣＰＵシステム

19

VGクラスタ• ハードウェアによるリアルタイム可視化– VolumePro™500等のＰＣ用グラフィックスアクセラレータと画像重畳ハードウェアにより、各ＰＣ間の通信ボトルネックを解消し、高速レンダリングを実現

VGクラスタ• シミュレーション計算とレンダリングの並行処理– 本システムによって、ボリュームデータのレンダリングだけでなく、シミュレーション計算も並行して行うことが可能

20

並列ボクセル化• シミュレーション計算のタイムステップ毎にボクセルメモリに転送
Calculate cell data

Segments tovoxel memory

bufferbufferCell Calculating
Task

Cell Rendering
Task

Scan convert a cell

インデクスを使った高速探索• 等値面と交差する格子を効率よく探索する– 空間ベース(８分木)– データ値ベース(区間木)– シードベース(極点グラフ)

21区間木の利用(Shen, 1996)• 格子点でのデータの(最小値,最大値)を使って格子を表現する
最大値最小値自己増殖的生成• 隣接情報を利用して等値面に交差する格子を特定する

22

極点グラフの利用(Itoh and Koyamada, 1996)
シード格子からの自己増殖型等値面生成
極点グラフの提案

シード格子の特定を高速化
多くの極値を持つ場合、極点グラフ生成がボトルネック

スカラ場表現への適用(C.L.Bajaj,1997)• スカラ場の勾配ベクタに特異点理論を適用– 極大点、極小点、鞍点の探索– 上記特特異点をベクタ線で接続する

23

ボリューム細線化(Itoh Yamaguchi and Koyamada, 1996)• 画像処理における細線化技術の3D化• 極点グラフ作成を効率化• ある格子を除去すると仮定する– 極点を頂点として持つ格子は除去しない– その格子に接続する格子につながりが存在するなら除去する– そうでないなら除去する

24