RENKEI(REsource liNKage for E-scIence)

プロジェクトにおけるPoPの展開配備
東田 学(大阪大学)

松岡 聡、友石 正彦、實本 英之、滝澤 真一朗(東京工業大学)

ADVNET2008
 SACSIS2009

東田 学, 下條 真司, ”LinuxカーネルのTCPウゖンドウサ゗ズ自動最適化と連動したバルクデータ転送”, ADVNET2008

高野 了成, ”HPCユーザが知っておきたいTCP/IPの話～クラス
タ・グリッド環境の落とし穴～”, SACSIS2009チュートリゕル広域分散フゔ゗ルシステムの性能検証例•ウゖンドウサ゗ズの変動に伴うスループットの変化を様々な競合システ
ムと比較検証– スループットを追うだけではなく、TCPウゖンドウサ゗ズの変動などこれまで実地検証されてこなかったパラメータも観測可能
Throughput (RTT=12ms, MTU=9000)

cwnd size (RTT=12ms, MTU=9000)

1,000

12,000,000
IperfIperf

900

HPN-SSH

HPN-SSH

800

Gfarm v2700

PVFS210,000,000

Gfarm v2 12MB

NFSv4 64KB

500
400

cwnd (bytes)

600

PVFS28,000,000

GlusterFS

Mbps

Gfarm v2

Gfarm v2 12MB

GlusterFS
NFSv4 64KB

6,000,000
4,000,000

300
200

2,000,000

100
000

5101520250

5101520sec.

sec.

スループットTCPウィンドウサイズ

25

1GB/sを維持可能な性能計測原器の配置
10Gbps(9.2942Gbps)
SINET3JGN2plus

12.8GB/s

S310- PCIe ×8-lanes (2GB/s ×2)- Offload Engines (LRO, TSO, TOE,…)

RAID5085- PCIe ×8-lanes (2GB/s ×2)- SATA/SAS 8-ports (300MB/s ×8 = 2.4GB/s)

Ram Disk

Type-B: ネットワーク性能検証

SSD-SLC RAID-0/8-stripes- Read: 250MB/s ×8 = 2.00GB/s- Write: 170MB/s ×8 = 1.36GB/s

Type-A: デゖスクI/Oを伴うネットワーク性能検証(初年度に東工大・阪大に設置予定)

実証評価環境の安定性・不安定性を随時表示• 開発者  性能向上の指標• 利用者  ゕベ゗ラビリテゖの把握

H20成果: RENKEI-PoP (Point of Presence) の仕様策定
目的: 拠点間の高速データ転送をサポートするアプライアンスを定義•広域分散ファイルシステムによる利用推進のインセンティブ• 高速なローカルI/OとネットワークI/Oの両立した妥協のないサービス拠点•NAREGIミドルウェアと仮想マシンを組み合わせたアプリケーション・ ホスティング• グリッド認証基盤とアプリケーション実行基盤を平準化• 仮想マシンによる安定版・開発版の同時展開による利用と開発の並行的な促進

マルチプロトコル・低ハードウェアコスト・高性能・グリッドセキュリティ
他拠点連携研究のテストベットとして安価に利用可能
CPU

Core i7 965 Extreme (3.20 GHz)

Memory12GB (DDR3 PC3-10600 , 2GB*6)NIC

10GbE (with TCP/IP Offload Engine)

System Disk

500GB HDD

SSD RAID

256GB (RAID 0, Intel SLC 32GB SSD * 8 )WriteRe-write

RENKEI PoP プロトタイプ

iozoneによる入出力テスト( blocksize = 256KB )File size

Read

Re-read

16GB

996MB/s

827MB/s

908MB/s

773MB/s

32GB

953MB/s

681MB/s

767MB/s

772MB/sそもそも“RENKEI”ってなに!?

RENKEI: REsource liNKage for E-scIence• “RENKEI” is directly not post NAREGI-project– NAREGIの後継プロジェクトではない– NAREGIミドルウェゕのオープンコミュニテゖによ
る開発プロジェクト “OpenNAREGI” (仮称) は別途企画中･･･• “RENKEI” is one ofderivatives from NAREGI背景と目的 e-サイエンス
 計算機やデータ、ユーザ等からなる研究コミュニティを柔軟に形成することにより実現する新たな科学技術研究手法

 e-サイエンスの実現
 単一のグリッドによる研究基盤とコミュニティの形成からさらに発展の段階へ
 運用形態の異なる資源間の連携が新たに必要。
 研究室レベルの資源と情報基盤センターレベルの資源の連携
 異種グリッドミドルウェア間の連携

目的
研究室の資源（LLS）、情報基盤センターの高性能資源群（NIS）、異種グリッドミドルウェア上で提供される計算、データ、データベース等を柔軟に共有・連携させ、仮想研究コミュニティを形成しかつ運用するための基盤技術を確立する。
ＮＩＳ：Ｎａｔｉｏｎａｌ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｓｙｓｔｅｍｓ， ＬＬＳ：Ｌａｂｏｒａｔｏｒｙ Ｌｅｖｅｌ Ｓｙｓｔｅｍｓ

e-サイエンス実現のためのシステム統合・連携ソフトウェアの研究開発
計算アプリケーションユーザ

データベースユーザ

サブテーマ(1) 計算連携
目的：研究室レベル・情報基盤センターレベル間でのシームレスなジョブ実行技術に関する研究
H20年度計画：•ワークフローシステムの検討，プ
ロトタイプ設計および実装着手•異種グリッド環境間の相互運用
アーキテクチャの検討，プロトタイ
プ設計および実装着手•アプリケーション共有方式検討，
プロトタイプ設計

サブテーマ(3) データベース連携
目的：異種データベースの連携・統合，ユーザ認証情報の管理技術に関する研究
H20年度計画：•データベース連携・統合ミドルウェ
アの設計，実装方法の検討•ユーザ認証情報管理ツールの設計，プロトタイプの実装

アプリケーション開発者

サブテーマ(4) アプリケーションインタフェース
目的：異種グリッド環境下でのアプリケーション開発者向けインタフェースに関する研究
H20年度計画：•要素技術およびユースケース調査
•設計着手

DBDB

DB
グリッドミドルウェア

海外とのインターオペレーション

研究室
情報基盤センター群
サブテーマ(5) 実証評価・ユーザ連携
目的：実証評価基盤の構築，情報基盤センターおよびエンドユーザと連携した実証評価
H20年度計画：•事前実証評価環境の構築および計
測評価技術の開発•研究室レベル・情報基盤センターレベル間でのデータ共有技術に関する事前評価

情報基盤センターユーザ

NII CSI委託事業

DB
サブテーマ(2) データ共有
目的：研究室レベル・情報基盤センターレベル間，異種グリッド環境下でのデータ共有技術に関する研究
H20年度計画：•研究室レベル・情報基盤センター
レベル間の分散ファイルシステムの設計，基本機能の実装．
•異種グリッドミドルウェア環境下のファイルカタログシステムの基本機
能の開発

グリッドミドルウェア

計算／データグリッド
アプリケーションユーザ

超高速コンピュータ網形成プロジェクトの夢の跡

“100テラフロップス級”• Good Experiences– 2拠点連携• 2007/08: 阪大-東工大– 6拠点連携• 2007/08: ＋九大、NII• 2007/12: +分子研、名大– 10拠点連携• FY2008: 北大、東北大、東大、名大、京大、阪大、九大+東工大、筑波大認証ポリシーが異なるセンター間の相互連携• 複数の認証局が発行した証明書を利用できるNAREGI
計算機資源環境を構築する• 実際に運用中の計算機センターの大規模資源に対して、NAREGIミドルウェゕからジョブ投入できる環境を構築する
VO形成、相互の資源予約管理• 各拠点から提供された計算機資源のAUP (利用規定)に対応するVO (仮想組織) を形成する• 複数のメタスケジューラが他スケジューラの資源予約の状況を反映した資源予約を行ったうえで、実ゕ
プリケーションによるジョブ投入ができる環境を構築する
運用関係の評価• 実運用環境に展開するに先だって支援体制の実地評
価を行う• GOC (Grid Operation Center)• PERT (Performance Enhancement and Response Team)

NAREGIミドルウェゕで100TFLOPS級のグリッド環境を構築できるか!?

動き出したサ゗エンスグリッドNAREGI―研究リソース共有の世界を広げるミドルウェゕを公開―
平成20年5月9日付けプレスリリースより抜粋

“NAREGI 100T Project”

Phase-2: 3/27時点のノード構成

大阪大学

東京工業大学

分子科学研究所

NAREGI CA

RENKEI-Osaka

Osaka Univ. Grid CA

NII

GSIC-VOS

VO1

RENKEI-NaregiCA/RA

CA/RA

RA
User cert
Host cert

UMS

Portal

UMS/VOMS

Portal

UMS/VOMS

Portal

UMS/VOMS

Portal

SS連携

VOMS

SSSS

SSSS

rcs

IS-NAS

IS-NAS

IS-NAS

IS-CDAS

名古屋大学
IS-CDAS

内部利用 portal /…/cdas

IS-CDAS

IS-CDAS

松岡研内
GridVM Sch

GridVM Sch

GridVM Sch

遊休

GridVM Engines

GridVM Sch

GridVM Sch(Linux)(Solaris)

GridVM Sch

GridVM Engines

vo1利用

IS-CDAS

CDAS/GVM-S

GridVM Sch
dpca064
GridVM Sch
dpca128
GridVM Sch
dpcb064
GridVM Sch
dpcb128
GridVM Sch
dpcc128
GridVM Sch
dpcd048
GridVM Sch
dpcd049
GridVM Sch
dpcd057
GridVM Sch
sr11k

GridVM
pbg2043

九州大学

GridVM

GridVM S&E

GridVM
png1051

GridVM Sch
dpc.kyushu

sng0001(sx)

png1054

GridVM
pfg1005(Linux)GridVM Engines

Fact Sheet 1: 管理ノード構成
Phase-1/
Phase-2

SINET3
接続

グリッド
認証局

IS
ポータル

SS
NAS

CDAS

大阪大学

10Gbps

○

○

○

○

○

東京工業大学

4Gbps

－○

○

○

○

九州大学

－－－－－－NII/NAREGI

1Gbps

○○

◎※1

○

○

2007年8月

分子科学研究所

2008年1月

1Gbps

－○

○

－

○

名古屋大学

2008年3月

1Gbps

－△※2

△※2

△※2

○

2ヶ所

4ヶ所

4ヶ所

3ヶ所

5ヶ所

※1 NII/NAREGIにSS/RCS (NAREGIv1の予約サービス機能) を設置※2 名古屋大学の管理ノードは、学内サービス向けの設定のまま、IS-CDAS以下を連携用に追加設定

Fact Sheet 2: 計算ノード構成
ゕーキテクチャOS

スケジューラ

ノード数

TFLOPS

gridvms1.hpc.cmc

SX-8R

SUPER-UX

NEC NQS-II

10.3

gridvms2.hpc.cmc

x86

Linux

NEC NQS-II

80.4

gridvms3.hpc.cmc

x86

Linux

NEC NQS-II

450

16.8

東京工業大学

tggn-vms2.grp.gsic

x86+ClearSpeed

Linux

Sun GridEngine

120

18.9

九州大学

dpc.kyushu.grid

x86

Linux

PBS Propbg2043

SX-8

SUPER-UX

pfg1005, png1051, png1053,
png3000

x86

dpca064.grid, dpca128.grid,
dpcb064.grid, dpcb128.grid,dpcc128.grid, dpcd048.grid,dpcd049.grid, dpcd057.grid

大阪大学

NII/NAREGI

分子科学研究所

名古屋大学

0.1

NEC NQS-II

20.2

Linux

PBS Pro

140.1

x86

Linux

PBS Pro278

3.4

sr11k.grid

POWER5AIX

LoadLeveler

32

3.5

naregi4.cc

x86

Linux

PBS Pro60.2

ngrd1.cc

SPARC

SolarisParallelnavi

20.3
44.1

“RENKEIOsaka”“RENKEIOsaka”

VO“RENKEIOsaka”

ドメ゗ン

“vo1”

PKI

ドメ゗ン

RO

NII/NAREGI
認証局
阪大CMC
認証局

6拠点

九州大学

大阪大学

名古屋大学

分子科学研究所

東京工業大学

NII/NAREGI

利用者
サービス

グリッド認証局と仮想組織VO: Virtual Organization
RO: Real Organization
PKI: Public Key Infrastructureハリボテでもなんとか動くミドルウェゕ• “We reject kings, presidents and voting; webelieve in rough consensus and runningcode.”  David Clark (1992)– 意訳) プロジェクトが終わって、やっかいな人たちが去って、まがりなりにも動くコードが残ったってチャンス!?

• OpenNAREGI (仮称) を企画中

経験を詰め込んだ「NAREGI箱」• “Point of Presence”– ゗ンターネットの黎明期:• 回線は来た、あとは箱さえあれば･･･「きっと加藤さんならなんとかしてくれる」作戦
再び!?

• そんなの送りつけられて傍迷惑じゃないの!?
– 認証基盤の普及– 自律的なゕップデート

Last One Mile: グリッド登録機関の事業化• UPKIの成果を取り入れたNAREGIミドルウェゕの拡張とNII+情報基盤センターによる事業化– MICSプロフゔ゗ルに対応したグリッド認証局の運用• 運用局規定 (CP/CPS) の策定• NAREGI-CAのShibboleth
対応と既存認証局のゕップデート– NII/NAREGI認証局– 阪大CMCグリッド認証局– NAREGIミドルウェゕの
Shibboleth SP対応

– 既存の情報基盤センターの共同利用窓口がそのままグリッド登録局として機能
峯尾 真一, “グリッドにおけるShibboleth活用 (案)”, 2009/01/07.

MICSプロフゔ゗ルを満たすShibboleth IdP/SPを介したグリッド証明書の発行業務連携
CA
RA基盤センターA
45

Shib SP

2

3

7

DS: W.A.Y.F.

Shib IdP

ID: Kerberos① Shib SP として実装② DS にリダ゗レクト

されたグリッド証明書

され、どの基盤セン発行システムにWebブ

ターから認証を受ける

ラウザでゕクセスかを指定

grid-certreq④＋⑤ RAからラ゗セ

1License ID6User
Certificate

UMS

業務システムンスID の払い出しを行い、利用者に通知する

Shib IdP

ID: LDAP

MyProxy
基盤センターB③ 基盤センターの全国共同利用登録者である
か否か、Shib IdPを経由して認証

業務システムLast One-more Mile: NAREGIミドルウェゕの
継続的な維持• オープンソース型の開発サ゗クルの立ち上げと統合試験環境との一体化によるラ゗フサ゗クルの持続– NAREGIミドルウェゕの
エコシステムを確立
研究開発

利用配備

成果

運用
松岡 聡 , “次世代研究環境のNAREGIグリッドミドルコゕ技術–VO, β2, 管理運用を中心として-”, NAREGIシンポジウム2007.

サブテーマ（5）実証評価・コミュニテゖサポート
1. 研究コミュニテゖ構築のための実証基盤としてのPoP(Point of Presence) の展開•仮想マシンによるゕプリケーション・ホステゖング––•

各サブテーマの成果物をNLS, NISと連携し広域展開するための橋頭堡「安定版」と「開発版」など複数の世代を管理» ゕプリケーション・サービスを維持しながら開発を加速

PoP間では、1GByte/s以上のデータ転送を維持––

ローカルI/Oから広域ネットワークまでボトルネックを解消
様々な環境を再現し検証するための広域ネットワーク・シミュレータの役割

2. 研究コミュニテゖの構築と運営•

次世代スパコン(NLS)、各研究機関スパコン(NIS)、研究室PC/Cluster (LLS) の連携–

各拠点や研究室の持つマンパワー・計算能力・データ・ゕプリケーションの柔軟な融合を目指す

H21計画:
RENKEI-POPによるNISストレージ統合•

RENKEI-POPを介した複数NIS間高速データ共有サービスの実現– 高速データ転送と広域分散FSを用いた複数NIS資源の平準化– NIS上のデータをRENKEI-POP経由でゕクセス– RENKEI-POP間は10Gbps閉路網により接続(デゖスク帯域 ≒ ネットワーク帯域)
Gfarm FileSystem

XX大スパコンRENKEIPOP
SSD

RENKEIPOPSSD

XX FileSystem

東工大
TSUBAME
Lustre FileSystem

Transfer &Cache

Transfer &CacheH21計画:
RENKEI-POP上の仮想ホステゖング環境• ネットワーク構成を含めた柔軟なゕプリケーション、ミドルウェゕ実証環境の実現– 各種設定のパッケージング、デプロ゗の自動化

様々なネットワーク構成の実現•10Gbps閉路網を直接用いたベスト環境

仮想マシンを用いたホステゖング•高遅延、低バンド幅環境

Eucalyptus、Rocks Xen Rollなどを評価、検討

実証環境の世代管理•ユーザが望む環境を実現•開発版、安定版の使い分け

ユーザによるネットワーク構成
ネットワークエミュレータ、各種ラ゗ブラリを提供し、ユーザが設定・取捨選択

RENKEI-POPが作る将来のE-Science゗ンフラ  RENKEIクラウド•

NIS

RENKEI-POPによるNIS、NLSの統合・– データ共有、データ転送・データ仮想化•NISのローカルストレージの「グローバル化」– 仮想サービスホステゖング

RENKEIクラウド• 各種基礎グリッド・クラウドサービス• 各種ゕプリケーションサービス• 異なるバージョンの両立

NISRENKEI-POP
データ転送・共有
仮想サービスホステゖング
仮想ネットワーク– LLSからのシームレスなゕクセス•••

仮想ネットワーク

仮想研究コミュニティクラウド形成• RENKEI-POPによるNIS間の差を吸収

サブテーマ（1）～（4）の成果物
評価環境として運用・提供し、有用性を検証

RENKEI-POP

RENKEI-Net
仮想ネットワーク

RENKEI-POP
RENKEI-POP
LLS

User
RENKEI-POPを介してNISの資源・サービスを仮想化利用

NIS

http://www.e-sciren.org/
プロジェクトロゴは三浦先生が鋭意作成中･･･