JGN‑G12022 プロジェクト
遠隔大規模機能分散シミュレーションシステムの試作
日本原子力研究所
大阪大学 サイバーメディアセンター
レーザー核融合研究センター 西原 功修

大阪大学上島下條豊
真司

本プロジェクトは、大阪大学（以後、阪大）を中心としたバイオグリッドプロ
ジェクトと日本原子力研究所（以後、原研）を中心としたITBLプロジェクトおよびレーザー・プラズマ相互作用シミュレーション研究を推進する原研光量子科学研究センターおよび阪大レーザー核融合研究センターが共同でIPv6やGlobus等を利用できるグリッド基盤ソフトウェア環境を構築し、遠隔大規模シミュレーションシス
テムの実証試験を行うことを目的としている。

目的：

昨年度の実施項目
SuperComputerを用いたGlobus環境の構築

転送速度(MB/sec)
転送時間(sec)−ギガビットで接続されたスーパーコンピュータ （SX5)−

バイオグリッドMPI on Globus
超高速ネットワーク
Netperfによる測定
TCP/IP
SuperSuper
SINET
SINET

５〜６倍加速UDP

Gigabit ethernet (9KB＋NOGLOBUS：MPICHのみ）

101

10 0
10 -110 -2
sec
MB/sec

10 -3

CMC本館
(a) #3+#6 (Hippi,GbEther)
Hippi modem

Hippi SW(b) #6 (ノード内)

10 1

#3

#4

#5

転送速度（MB/sec)#2

SW#61Gbps
SW
RCN
P

SW

SW
#7

Gigabit Ethernet Switch

Gigabit Ethernet Switch（ノーマルフレーム）（ジャンボフレーム）

10 -1

10 -2

sec
MB/sec
101

102

103

104

105

106

107

転送データ量（Byte)

Hippi

・GLOBUSを使うと1/5倍程度の通信性能劣化がある。
−＞UDPなどを使うことで通信性能を向上させることを考えなければならない。

1000BASE-LX (ﾉｰﾏﾙﾌﾚｰﾑ)

ネットワーク構築と性能確認

PC-UNIX

TCP̲STREAM

PC-UNIX

Netperfを実行(2002 / 3 )

57344
32768
8192
512
1

1

１．TCPのスループット測定Socket Sizeを57344、32768、8192、512、1と固定し、送信メッセージサイズを変化させることで性能測定を行った。

1009080706050403020100

Socket Sizeを小さくするとスループットも低下したが、57344 Bytesの場合には約93Mbpsのスループットが測定された。
機器のインタフェース(100Base-TX)の性能を出し切っていると思われる。

Send Message Size(Bytes)

1E+07

1000Base-TX

100Base-TX

6E+06

Netperfを実行(2002 / 1 )

G-SW

2E+06

PC-UNIXFreeBSD 4.4
Pentium III 700MHz
memory 128 MB

G-SW

8E+05

Router

RS8000jgnws1(ES40)
Compaq Tru64 UNIX T5.1A
Alpha(EV6.8) 833MHz ×4
memory 4GB

PC-UNIX
RedHat Linux 7.0.1J
Pentium III 850MHz
memory 256 MB

4E+05

JGN
ATM

60000

GSR
12008

1E+05

RS80008000

RS32000

阪大レーザー研

ATM20000

阪大CMC

原研ネットワーク

4000

原研−JGN−阪大

1000

1000BASE-LX (ｼﾞｬﾝﾎﾞﾌﾚｰﾑ)・通信サブルーチンMPI_SENDの立ち上がりには、約2.2msec必要である。
−＞高速化のために小さなデータ転送は、データを纏めて通信回数を減らせる必要がある。

パケット長
Hippi
：64,000 (Byte)
ノーマルフレーム： 1,500 (Byte)
ジャンボフレーム： 9,000 (Byte)

100

1000BASE-SX(ﾉｰﾏﾙﾌﾚｰﾑ)

Throughput(Mbps)

1000BASE-SX(ｼﾞｬﾝﾎﾞﾌﾚｰﾑ)

SSCP：
Super Simulation Center
for Photon

10 7

100

10 -3

オレンジ色 がGbEの経路

jgnws1

10 6101

ILE

#1

10 3
10 4
10 5
転 送 デ ー タ量 (Byte)

Gigabit ethernet （9KB＋GLOBUS）(c)#0+#1(IXS:クロスバースイッチ)

#0

10 2

800Mbps今年度の実施予定項目
IPv6 Grid Environment
IPsecによるSecure Grid Environment
Globus grid toolkit v1.1.3へのIPv6導入
IPSec導入によるセキュアグリッド環境の構築– IPv6においてはIPSec機能がデフォルト– IKE (Internet Key Exchange)による動的鍵交換– グローバルコンピューティングへの対応• セキュリティ強度の向上
・128bits ＩＰアドレス 事実上無限のアドレス空間• 運用コスト低減– Plug‑and‑Play address assignment– Globus CAの発行する証明書によるＩＫＥデーモン同士– NAT‑Free グローバルコンピューティングの相互認証
・End‑End 認証を容易にする。

•IPSec

IPSec
SPI=345
Pass.=“pragma”..

SPI=453
Pass=“APgr1d” ..

IKEGASSIKEGRAM

nexus

DUROC
Modified module

globus_io

Key information for IPSec

GSI
globus_comon

Gatekeeper証明書による相互認証を基にパケットを暗号化(ESPモード）する

MDS
OpenLDAP

機能分散シミュレーションシステム

ITBL技術を利用したPCクラスタによるSuper

IPv6版Globus環境整備とその性能評価

Simulation

Centerfor

photon：SSCPを中心に分散コンピューティング・分散制御技術をさらに発展させた大規模データマネージメントの技術を開発整備していく。
・データ転送の自動化
・高速化・データの格納場所のDB管理・自動可視化支援

IPv6対応 Globusを用いた遠隔計算のパフォーマンス評価

・実行JOBおよび分散システム監視・DBMSのPostgreSQLの分散化・分散制御のエージェント化
・Condorを使ったHTCツール群

結果の解析（計算速度、通信のコスト、並列化の影響）

分散制御エージェント

アプリケーション（バイオ・光量子系ソフト）をGrid上で実行する上で必要とされる環境、ツールの開発

大規模リモート可視化モジュール
AVS/Express

計算サーバ部

バイオグリッドのインフラ構築

リモートモジュール機能
実行指示

計算コード
データ読込みリモート機能IPv6を用いたネットワーク

JGN実行指示ダウンサイズ大阪大学
サイバーメディアセン
ター

実行指示
クロップ
計算結果
データ

ATM（PVC)
IPv6

けいはんな
TAO支援センター

globusによる遠隔計算
ﾘﾓｰﾄﾃﾞｰﾀ取得

可視化処理

阪大PCクラスタ

原研関西PCクラスタ