アトラス実験とグリッド・コンピューティング〜 世界規模のデータ解析環境の構築

高エネルギー加速器研究機構
計算科学センター
森田洋平
2001/11/1

SSken - Y.Morita - KEK

1Large Hadron Collider at CERN

Detector forLHCb experiment

Detector for ALICE experiment SSken - Y.Morita - KEK

2001/11/1

21

ATLAS Detector

dimensions: ~20x20x40 m
weight : ~7000 ton
2001/11/1
readout ch
ch:: ~1.5 x 108

SSken - Y.Morita - KEK~1850 physicists
from 33 countries

3

ATLAS Collaboration

2001/11/1

SSken - Y.Morita - KEK

42

物理データ解析のチャレンジ"干し針を探しだす""干し草の山の中から草の山の中から針を探しだす"
z 毎秒 10億回の衝突事象→ オンラインで選別→ 毎秒 100 事象を保存→ 1年あたり 10億事象
z データサイズ 1 Mbyte/事象 → 4実験で年間数ペタバイト
z 事象再構築: ~ 300 SPECint95*秒/事象→ 事象再構築だけで 20万SPECint95 のCPUパワーが必要→ データ解析にさらにその数倍が必要になる→ データ解析も国際協力で！

高速I/O,高速I/O, データ主体のコンピューティ
データ主体のコンピューティン
ング
グ
2001/11/1

SSken - Y.Morita - KEK

5高エネルギー実験のデータ解析モデル
Event
カロリメータ1 カロリメータ2
デジタル値
デジタル値

RAW

飛跡検出器 1 飛跡検出器 2
デジタル値
デジタル値

カロリメータ再構成
カロリメータ再構成 飛跡再構成
飛跡再構成
アルゴリズム 1 アルゴリズム 2 アルゴリズム 1 アルゴリズム 2

マグネット1
デジタル値~1PB/年
1MB/事象

磁場再構成
アルゴリズムEventREC
reconstructeddata

カロリメータ1 カロリメータ2
エネルギー エネルギー

飛跡検出器 1 飛跡検出器 2
位置情報
位置情報

カロリメータ再構成
アルゴリズム

飛跡再構成
アルゴリズムマグネット1
磁場

Event

ESD

event summary
data

クラス
ター 1クラスター 2クラス
ター 3エレクトロン同定
アルゴリズム飛跡 1 飛跡 2 飛跡 3 飛跡 4 飛跡 5

ジェット同定アルゴリズムanalysis object
data
2001/11/1

電子1

光子1

電子 2~300TB/年
100KB/事象

Et miss同定
アルゴリズム

Event

AOD

~1PB

ジェット1ジェット2

SSken - Y.Morita - KEK

Et miss~10TB/年
10KB/事象63

データ解析システム構築の考慮点
z

高エネルギー実験のデータ解析は世界中に分散した研究者のグループによる協調的かつ競争的研究活動制御された計算資源協調的研究活動

RAW再構築

データ解析システムはグループ内部の協調的解析と競争的解析をバランス良くサポートしなければならない

Event
Summary
Data

グループ解析
AnalysisObject
Data

個別の研究活動

ランダムに分布する
計算資源

信頼性
信頼性

無矛盾性
無矛盾性

時間的競争
時間的競争

個別の研究

新しいアイデア
新しいアイデア

TAG

2001/11/1

SSken - Y.Morita - KEK

7

LHCの多階層型地域解析センタの多階層型地域解析センタ
LHCRegional
Multi-TierCenter Scheme ーモデル
1 TIPS = 25,000 SpecInt95~PBytes/sec
Online System

Bunch crossing per 25 nsecs.
100 triggers per second
Event is ~1 MByte in size

Tier 1

France Regional
CenterItaly Regional
CenterTier 2

InstituteInstitute Institute~0.25TIPS

Workstations

2001/11/1

CERN Computer
Center >20 TIPS

~622 Mbits/sec Tier 0or Air Freight

US Regional
Center~4~4 TIPS
TIPS ~2.4 Gbits/sec

Tier2 Center
Tier2 Center
Tier2 Center
Tier2 Center Tier2 Center~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS~1 TIPS~622 Mbits/sec

Physics data cache

PC (1999) = ~15 SpecInt95

Offline Farm~20 TIPS
~100 MBytes/sec

Germany Regional
CenterTier 3~100 MBytes/sec

Institute

100 - 1000
Mbits/sec

Tier 4

Physicists work on analysis “channels”.
Each institute has ~10 physicists working
on one or more channels
Data for these channels should becached by the institute server

SSken - Y.Morita - KEK

824 March 2000, WW A/C Panel, P. Capiluppi

4高エネルギー実験データ解析の要求事項
z 実験グループ単位の計算資源とアクセス制御
z 世界中に分散した研究者による解析作業のサポート

z 限りある計算機資源、ストレージ資源、ネットワーク資源の管理とスケジューリング
z グループ内部での実験データの共有と効率的なアクセス
z 解析プログラムの共有
z システムの運用管理と稼動状況モニタリング
z システムの可用性（フォルトトレランス、システムの動的再配置）
z その他のグローバルコンピューティング環境
z ビデオ会議システムによる多地点会議→ グリッドの各種技術が有効に利用できるという期待
2001/11/1

SSken - Y.Morita - KEK

9アトラス実験の"ラス実験の"データ・チャレンジ"チャレンジ"計画z 2001
2001年末年末

Data Challenge 0
アトラス解析ソフトウェアのフル稼働

z 2002
2002年
年

Data Challenge 1
地域解析センター試験

z 2002
2002年末年末

計算機技術デザインのまとめ(Technical Design Report)

z 2003
2003年
年

計算機・ソフトウェア各国分担の覚書

z 2003
2003年
年

Data Challenge 2"~10%" test
計算機・ソフトウェアモデルの実証的検証"~ 0.1%" test

z 解析ソフトウェアと解析システムを段階的に実証する
2001/11/1

SSken - Y.Morita - KEK

105

グリッドとはz インターネットの普及とブロードバンド化に伴う広域分散型超並列計算
z PC
PCの低価格化、の低価格化、高性能化、LinuxLinux普及に伴う普及に伴う超並列クラスターの実現→ 広域ユーザー認証、並列計算、データアクセス、ユーザーインターフェースなどの標準化が必要になってくる
z 仮想的な大規模並列計算機
z Metacomputing [[Smarr
Smarr87]
87]
z “The GRID”
GRID” [Foster[Fosterらら98]

z 次世代のインターネットのソフトウェア基盤
z 既存のソフトウェア基盤の上位レイヤとしてz サービスとプロトコルの研究・提供・標準化
z Grid Forumとして活動を開始
Forum として活動を開始
z電力線 ""PowerPower Grid" の計算機・
ネットワーク版

www.gridforum.org
2001/11/1

SSken - Y.Morita - KEK

11

Gridサービスのアーキテクチャ
Gridサービスのアーキテクチャアプリケーション層…
ン… さまざまなGridアプリケーショ
さまざまなGridアプリケーショ
ン...
...

アプリケー
ション
ツールキット層

リモート
リモート
リモート
非同期
リモート
リモート
リモート
リモート
非同期
リモート
...
データ
計算
可視化
コラボレーショ
ン
センシング
データ
計算
可視化
コラボレーション
センシング
ツールキット
ツールキット
ツールキット ツールキット
ツールキット ツールキット
ツールキット
ツールキット
ツールキット ツールキット

Grid
サービス層

プロト
コ
ル,
プロト
コ
ル,認証,認証, 利用許可,利用許可,資源管理,資源管理, 機器対応,機器対応,資源探索,資源探索, その他
その他

Grid
ファブリック層

Grid対応のアーカイブ,,,計算機,スプレイ装置,Grid対応のアーカイブ,ネットワーク
ネットワーク
計算機, ディディスプレイ装置, その他
その他
およびおよび関連するローカルなサービスなど関連するローカルなサービスなど

2001/11/1

SSken - Y.Morita - KEK

126

世界の高エネルギー実験のGrid
プロジェクト
世界の高エネルギー実験のGridプロジェクト
z PPDG - 米 DoE
z 超高速ネットワーク、大規模超高速ネットワーク、大規模DBDB実証などの実証などのR&D
R&D

z GriPhyN - 米 NSF
z 米Atlas, 米CMS, LIGO, SDSSz Tier2 センター設立の為のセンター設立の為のR&D
R&Dz 米Atlas - インディアナ大などに専属研究者

z DataGrid - 欧 ISTz 2001
2001年から年から3年計画で年計画でLHC4LHC4実験ためのミ実験ためのミドルウェアを開発

z ApGrid-HEP - 日本
z 高エネルギー実験データ解析システムの要求要件から出発した
高エネ研、産総研、東工大、東大の共同プロジェクト→ ""Grid
Grid Data Farm" (Gfarm(Gfarm))
2001/11/1

SSken - Y.Morita - KEK

13

アトラス日本グループの地域解析センターz KEKと素粒子国際研究センター(KEKと東大・ー(ICEPP)の共同で技術ICEPP)の共同で技術開発を推進
z 2006年までにの計算機からなるTier-1
Tier-1デー
デー
2006年までに 約6万SPECint95
SPECint95の計算機からなる
タ解析システムを国内に構築、ストレージを約1
レージを約1ペタバイトまで段階的に増強
z 補完的役割を担うCERN分室を設立
CERN分室を設立
z 2001年末からチャレンジに参加
2001年末から始まるアトラスのデータ・
z NIIのGrid/アト
アトラスの専用回線
NIIのSuperSINET計画にSuperSINET計画にGrid/z 2001
2001年度末に年度末に KEK-ICEPPKEK-ICEPP間に間に 1 ~ 10 Gbps

2001/11/1

SSken - Y.Morita - KEK

147

地域解析センター実現のための技術課題
z 広域広帯域ネットワークの利用
z TCP/IP
TCP/IPの技術的制約との技術的制約と効率的ファイル転送技術の必要性
z サイト間にまたがる研究者の認証とセキュリティの確保
z 実験データの分配・複製機構
z 計算資源の効率的管理

z 大規模データストレージと大規模CPU
クラスター
レージと大規模CPUクラスター
z スケーラブルでフォルトトレラントな大規模システムz 共同研究者間で透過的に利用できる広域データ共有システム

2001/11/1

SSken - Y.Morita - KEK

15

広域高速ネットワークの効率的利用
z 高速・高遅延ネットワークで転送効率を保つためには
Window
Window size
size ∝∝ Latency
Latency ** Bandwidth
Bandwidth

2001/11/1

SSken - Y.Morita - KEK

日欧回線
msec
日欧回線RTT
RTT˜
˜300
300
msec
300
˜
300
Mbit
300msec
msec**11Gbps
Gbps
˜
300
Mbit
*→→ 38
38MbyteMbyte ** TCPデフォルトは 64Kbyte* TCPデフォルトは 64Kbyte

168データ・レゼボワール©
© 2000 東大理 平木敬氏

SuerSINET
10Gbps

ギガビット級ネットワークでの効率的データ転送
Data Cache
ServerRouter

Gigabit Ether
1 GbpsData Storage
StationComputingServers

2001/11/1

SSken - Y.Morita - KEK

17

高遅延高速ファイル転送ファーム
高遅延高速ファイル転送ファーム
遅延時間がもたらす転送効率の変化と並列化データ転送の研究

PC

PC

PC

PC

PC
PC

GigabitFastEther

PC

300ms
500Mbps

PC

可変遅延ルータ
GB Hub

Disk ServerHDD
2001/11/1

PC

PC

PC

PC

PC

PC

FE+GB Hub

FE+GB Hub

SSken - Y.Morita - KEK

GB Hub

Disk Server

HDD
189

Grid Data Farm 共同研究

米国
StarTAPCERN
SINET海外線

高エネ研

loop: ~２７㎞

SuperSINET
SuperSINET
1~10Gbps
1~10Gbps

東大TsukubaWAN
TsukubaWAN
計画中
計画中 2.4Gbps
2.4Gbps

東工大 Tokyo

産総研
1000km2001/11/1SSken - Y.Morita - KEK

5km

Grid Data Farm (Gfarm(Gfarm))

19

Other filesystems

GridFTP
User, Administrator

gfarm client
Web browser
programscriptGridRPC

gfarm server
gfarm pool

Global network

Grid Data Farm File System
Peta-byte scale
Parallel Processing and Parallel I/O

2001/11/1
SSken - Y.Morita - KEK
gfarm://user@server/file

Global network

Dist. Data Mngmnt DB
High Energy Physics
Astronomical Observatory
E-Government
E-Commerce
Data warehouse……

Grid technology
PC Cluster tech.
20**http://datafarm.apgrid.org
http://datafarm.apgrid.org

10

Grid Data Farm (Gfarm(Gfarm)) の発想
zzzzz

安価なPCを数千台規模で並べるのであ安価なPCを数千台規模で並べるのであれば、そのローカルディスクをシステム
論理ファイル名全体のストレージとして活用できないか？
解析は事象ごとに独立なのだから、データをプログラムが実行されるCPU
CPUまで送まで送 gfarm>
gfarm>exec
exec<program><program>gfarm:<filename>gfarm:<filename>
るのではなく、プログラムをデータが存在%%<program>
するCPU
する
CPUまで送ればよいまで送ればよい<program> gfarm:<filename>gfarm:<filename>
データを細かく分けて各ノードに分散し、%%<program><program> gfarm:<filename>gfarm:<filename>
データのセットに論理名をつけて管理す
ればCPU
ればCPUととI/OI/Oの双方の負荷分散になるの双方の負荷分散になる%%<program><program> gfarm:<filename>gfarm:<filename>
データの履歴管理機能を持てばデータの動的再生成が可能になる
各ノードの物理ファイルをgfs_pio_open
ネットワーク上のファイル転送も並列に行うことができる"もともと並列な処理なら、すべてを並列なままで扱おう"""もともと並列な処理なら、すべてを並列なままで扱おう
2001/11/1

SSken - Y.Morita - KEK

21

今後の予定
z HPSSHPSSなどの大容量ストなどの大容量ストレージとの効率的かつスケーラブルな接続
z 数百
数百~1000~1000台規模の台規模のPC
PCクラスターによる性能実証
クラスターによる性能実証z 1 ~ 10 Gbps
Gbpsの高速広域ネッの高速広域ネットワークによる実証試験
z Firewall
Firewall、、サイト間にまたがるユーザー認証インフラの構築
z 世界規模のテストベッド構築と分散データ解析ソフトウェアの実証

2001/11/1

SSken - Y.Morita - KEK

22

11

まとめ
z ギガビット級の国際ネットワークで世界各地の研究所が相互接続される時代がやってきた → LAN
LANととWAN
WANの帯域幅の格差の減少の帯域幅の格差の減少
z グリッド技術は実験データの格納場所やCPU
技術は実験データの格納場所やCPUの場所を直接意識しなくの場所を直接意識しなくす
む仮想的なデータ解析環境を提供する
z 高エネルギー実験に参加する各国が計算資源をネットワーク上に提供する、世界的な多階層型データ解析環境の構築が進みつつある
z KEK
KEKとと東大素粒子国際研究センターでは2006
東大素粒子国際研究センターでは2006年から始まる
年から始まるLHC/
LHC/ア
アトラス
実験のためにTier1実験のためにTier1地域解析センター網を構築する
地域解析センター網を構築する
z 高エネルギー実験分野と計算科学分野の研究者の共同研究が世界各地で進んでいる
z ペタバイト級のストレージと数千台規模の並列処理CPUレージと数千台規模の並列処理CPU、、高速・高遅延ネッ
トワークを有効に結び付けるシステムモデルの構築と検証が急ピッチで進みつつある
2001/11/1

SSken - Y.Morita - KEK

23

12