SS研究会
２００６年８月２９日

Lattice QCDにおけるPflops computing
宇川 彰
筑波大学計算科学研究センター

 はじめに 素粒子標準模型とLattice QCD
 計算の観点から見たLattice QCD
 Lattice QCDとスーパーコンピュータ
 Pflops computingの拓く世界 Lattice QCDと国際協力
 まとめ1

素粒子標準模型とLattice QCD

21

自然界の最小の構成要素とその相互作用は何か？
20世紀の100年間をかけて判ってきたことは．．．．．
 レプトン

6種類の電子やニュートリノ
弱い相互作用・電磁相互作用

 クォーク

6種類の“フレーバー（香り）”up, down, strange,charm, bottom, top
3種類の“カラー（色）”強い相互作用・弱い相互作
用・電磁相互作用

3

素粒子の標準模型
 物質を構成する素粒子
クォーク（６種類）レプトン（６種類）⎛u ⎞⎜ ⎟⎝d ⎠⎛s⎞⎜ ⎟⎝c⎠⎛t ⎞⎜ ⎟⎝b⎠⎛e⎞⎜⎜ ⎟⎟⎝ν e ⎠⎛µ⎞⎜ ⎟⎜ν ⎟⎝ µ⎠⎛τ ⎞⎜⎜ ⎟⎟⎝ν τ ⎠ 相互作用（力）を媒介するゲージ粒子γ

電磁相互作用弱ボゾン

W, Z

弱い相互作用グルオンg

強い相互作用光子

ハドロン （陽子，中性子，π中間子等）は，３個又は２個のクォークの複合粒子uud

陽子=uudワインバーグ・
サラムの理論
量子色力学 (QCD)2

宇宙の進化と物質の起源 ー全歴史ー
3度

10度

バン
ビッグ 宇宙の直後 と ？
を 見る

1000度

5

宇宙の進化と物質の起源 −初期を拡大するとー
原子の形成

銀河・星・惑星．．．

元素の合成
陽子・中性子
クォーク・グルオンの の形成
プラズマ状態

宇宙時間 10 -5秒

1秒

1万年

10億年

宇宙温度 1012K

109K

3000K

20K

3K
63

宇宙の進化と物質の起源にかかわる謎
 宇宙には反物質は存在しない．物質と反物質の非対称性はどのようにして生じたのか？
 陽子や中性子は，クォークとグルオンのプラズマから，どのようにして形成されたのか？
 宇宙に存在する様々の元素は，陽子と中性子から，どのようにして合成されたのか？

これらの疑問に答えるには，素粒子標準模型の記述する，クォークとレプトンから出発して，宇宙の進化と物質の起源を再構成しなければならない．
7

量子色力学 Quantum Chromodynamics
Gross-Wilczek-Politzer 1973

 強い相互作用の基本法則
 基本自由度であるクォークとグルオンは4次元時空の“場”で記述される

q f (x )Aµ ( x )クォーク場
４次元の時空の各点x に定義された場

グルオン場

 無限個の自由度が非線形に強く結合した相対論的な量
子力学系
解析的解法（“紙と鉛筆”）では解くことができず，大規模シミュレーションが唯一の有効な解法
84

時空格子上のQCD （Lattice QCD)

Wilson 1974

４次元単純立法格子

４次元時空の連続体qn
クォーク場は各格子点に定義

U nµグルオン場は各格子リンクに定義

 ファインマンの経路積分
SQCD =

1qn Dnm (U )qm∑ tr (UUUU ) + ∑g s2 Pn,m

作用

物理量は超多重積分平均

O(U , q , q ) =モンテカルロ法による超多重積分平均の計算

1−Sdqn dqn O(U , (U , q , q )) e QCD∏ dU nµ ∏Z ∫ nµn
9

計算の観点から見たLattice QCD

105

Lx

基本変数と基本操作
 4次元単純立方格子


格子点数
格子間隔LyV = Lx × L y × Lz × LtaLza 基本変数U nabqnαa

グルオン場
クォーク場

３ｘ３ｘ４Ｖ ベクトル 各格子線分（リンク）に定義
３ｘ４ｘＶ ベクトル 各格子点（サイト）に定義

 並列化


物理格子を部分格子に分割してプロセッサアレイにマップ
基本変数の相互作用は隣接格子点のみ⇒通信は隣接プロセッサ間のみ



PU1

PU2

PU3PU4

高度にスケーラブルな問題
11アルゴリズムとコア計算
 アルゴリズム：HMC（Hybrid Monte Carlo) 法が基礎

グルオン場の配位生成（モンテ・カルロ・サンプルの生成）

作用をエネルギー関数とする分子動力学法とメトロポリス棄却を組み合わせたモンテカルロ法 コア計算

クォークを処理する大次元連立一次方程式の求解∑ D (U ) x = bnm

mnm

D（U）：複素１２Vｘ１２V次元疎行列



グルオン配位Uの変更毎に計算

BiCGStab法等の反復法を使用



コア・サブルーチン

MULTpn → ∑ Dnm (U ) pm
m126コア計算の特徴（Ｉ） pn → ∑ Dnm (U ) pmm

並列化：3次元空間分割を仮定

U p



物理格子

Lx × Ly × Lz × Lt

計算ノード

nx × n y × nz演算

全て複素演算

隣接サイト結合

各リンク毎に３ｘ３行列Ｕの乗算→演算量大

サイトあたり演算量

1752 × (Lx / nx )× (Ly / n y )× (Lz / nz )× (Lt / 2) flop
通信


隣接ノード通信

通信量

12 × (Lt / 2 + 1)× (Lx ⋅ Ly / nx ⋅ n y + perm )× 2 ×16 Byte
13

コア計算の特徴（ＩＩ） pn → ∑ Dnm (U ) pmm



通信時間の全計算時間に占める比率


ノード間結合リンクあたり通信性能

全計算時間に対する通信時間比率％
100T GByte/s

T/F=０．1

T/F=2T/F=1T/F=0.5
T/F=0.1
T/F=0.05

ノードあたり演算性能
F Gflop/s

1101 N s T (GByte / s )⋅⋅+148 ns F (Gflop / s )演算性能，通信性能，共に強力であることが必要

80

T:TByte/s
F:Gflops

60

40

20

0T/F=10520

25

ノードあたり格子サイズ

1015

147

演算量のスケーリングL 基本パラメータ：


クォーク質量



格子サイズ



格子間隔mπ / mρL ( fm )a ( fm )a
注：長さの単位

1 fm = 10 −15 m

 従来のHMCアルゴリズム（従来型）の演算量⎡ # conf ⎤ ⎡ mπ / mρ ⎤# FLOP' s = C ⋅ ⎢⎥⎥⋅⎢⎣ 1000 ⎦ ⎣ 0.6 ⎦C ≈ 2.8−65⎡ L ⎤ ⎡ a ⎤⋅⎢⎥ ⋅⎢⎥⎣ 3 fm ⎦ ⎣ 0.1 fm ⎦−7Tflops ⋅ year

 領域分割法・マルチタイムステップ法などによる加速⎡ # conf ⎤ ⎡ mπ / mρ ⎤# FLOP' s = C ⋅ ⎢⎥⎥⋅⎢⎣ 1000 ⎦ ⎣ 0.6 ⎦C ≈ 0.11−45⎡ L ⎤ ⎡ a ⎤⋅⎢⎥ ⋅⎢⎥⎣ 3 fm ⎦ ⎣ 0.1 fm ⎦−7Tflops ⋅ year
15

Lattice QCD計算の演算量例：現時点の計算

自然界の値

従来のHMCアルゴリズム加速されたHMCアルゴリズム(領域分割，マルチタイムステップ等)

30x30x30x60
42x42x42x84

30x30x30x60

クォーク質量クォーク質量168

Lattice QCD計算の特徴のまとめ
 計算構造は比較的単純 4次元だが単純立方格子
 単一スケール問題

 演算と通信の双方共に重要
 複素演算 近接相互作用 膨大な演算量
 自然界に対応する計算パラメータへの厳しいスケーリング
 クォーク行列の条件数はクォーク質量に逆比例 物理サイズは大きく取る必要
 格子間隔は小さく取る必要

 精密計算が必須
 統計誤差と系統誤差を全て考慮して数％以下の精度

17

Lattice QCD とスーパーコンピュータ

189

Lattice QCDの発展（I）:1981年
1981 First Lattice QCD simulation
４４ 〜 ８４ latticequenched approx (no sea quarks)
lattice size

lattice spacing

L= 0.8 fm

a = 0.1 fm

size ≈ 2 ×10−15

Creutz-Jacobs-Rebbi
CreutzWilsonWeingarten
Hamber-Parisi

VAXspeed ≈ 1 Mflopsm19

Lattice QCDの発展（II）：1980年代ベクトル型スパコンと共に発展

CRAY-XMP

CRAY-XMP,YMP
VP100/200,S810/20,SX-1/2
１９８１
１９８５
１９８８L(fm)

a(fm)

0.8
1.2
1.6

0.1
0.1
0.1
vectorsupercomputers

1 GFLOPS = one billon flop/sec

2010Lattice QCDの発展（III）:1990年代前半
QCD用超並列計算機の出現 O(10)Gflops
１９９３

L(fm)
2.4a(fm)
0.07

QCDPAX（JPN）
Columbia（USA）

APE（Italy）

GF11（USA）

parallelsupercomputers

vectorsupercomputers

21

Lattice QCDの発展（IV）:1990年代後半
第二世代超並列計算機 O(500)Gflops
１９９８L(fm)
3.0a(fm)
0.05

CP-PACS(JPN)QCDSP(USA)parallel
supercomputers2211

Lattice QCDの発展（V）:2000年代前半
第三世代超並列機 O(10)Tflops
商用機への発展 QCDOCÆBG/L O(100)Tflops
2006

L(fm)
2.4a(fm)
0.1

PACS-CS(Jpn)

QCDOC（USA）
ApeNEXT（Italy）
parallelsupercomputers

vectorsupercomputers

23

Lattice QCDとトップスーパーコンピュータ

地球シミュレータES

BlueGene/L

CP-PACS
格子QCDコードでGordon Bell
Prize runner-up(1997)
数値風洞NWT格子QCDコードでGordon Bell
Prize(1995)

最初のQCDシミュレーション（1980）

QCDOC
米国Columbia大学

24

12

エポックメイキングな計算

25

述語の定義：クェンチ近似とfull QCD計算
 クェンチ近似
 クォークの動的効果を無視する近似；真空でのクォーク・反クォー
クの対生成・対消滅の効果を無視
 計算量が約100分の一に軽減される

 Full QCD計算
 クォークの動的効果を忠実に取り入れた計算
 6種類のクォークの内，特に軽いup,down,strangeの効果を取り入れることが重要 “Nf=2+1 QCD”

26

13

クェンチ近似でのハドロン質量スペクトル（１９９８）
1981年来の懸案

1981 最初の計算

1991 GF11(10Gflops) 系統的計算法の確立

1998 CP-PACS (614Gflops)
計算精度（統計誤差＋系統誤差）3％以下の精密計算

物理結果





定性的一致の確認

5−10％レベルでの系統的差異を確認；クォークの動的効果の間接的証拠

計算量
CP-PACS(0.6Tflops)で199日=0.17Tflops・year

CP-PACS(1998)
27

CP 非保存パラメータ ε’/εのクェンチ計算（I)ε'ω ⎡ Im A2 Im A0 ⎤=−⎢⎥ε2 ε ⎣ Re A2 Re A0 ⎦K→ππ崩壊K中間子が2個のπ中間子に壊れる振幅の計算



標準模型によってCP非保存（物質・反物質の非対称性）を理解するために本質的な物理量



実験では，約30年をかけた大変な実験により漸くその値が決まった（FNALとCERN）
2814

CP 非保存パラメータ ε’/εのクェンチ計算（II）
CP-PACS Collaboration, Phys.Rev. D68 (2003) 014501
RBC Collaboration, Phys.Rev. D68 (2003) 114506

 クェンチ近似のLattice
QCD計算(2003)
ε'ω ⎡ Im A2 Im A0 ⎤=−⎢⎥ε2 ε ⎣ Re A2 Re A0 ⎦CP-PACS(614Gflops)
QCDOC(600Gflops) こちらも苦節17年の末，漸く統計誤差が付けられる結果と得た．
 しかし，符合すら合わない

素粒子物理全体に関る
グランドチャレンジ問題

29クォークの動的効果を取り入れた計算(2004）
HPQCD/UKQCD/MILC/FNAL PRL92(2004)022001
Nf=2+1 results

Quenched results

Light sectorfπ 米国・英国の共同研究グループの計
3MΞ − MN
算
2MBs − MΥ クォークの動的効
ψ(1P − 1S)
果を取り入れた計Υ(1D − 1S)
算により，様々のΥ(2P − 1S)
物理量が数％精度で実験値と一致
Υ(3S − 1S)
Υ(1P − 1S)
 動的クォークの効
果の重要性を証明
0.9 1 1.1
0.9 1 1.1
 計算量：1Tflops・
LQCD/Exp’t (nf = 3)
LQCD/Exp’t (nf = 0)
year?
fKHeavy sector

3015クォーク質量の計算(2005)

mstrange (MS ,2GeV )= 90.9 ± 3.7 MeV
strangeクォーク質量

up,downクォーク質量54.5(µ=2GeV) [MeV]mup − down (MS ,2GeV )= 3.48 ± 0.15 MeVMS



動的クォークの効果を取り入れたLattice QCD(Nf=2+1) 計算
クォークの質量を始めて連続極限で評価し．従来から用いられてきた値より大幅に小さいことを見出した。
使用計算機
Earth Simulator,
KEK SR8000
CP-PACS, VPP5000
計算量
3年がかりで，3.4Tflops・year

Nf=04

Nf=2+1 (K-input)
3.5mudTsukuba-KEK(2005)

Nf=23AWI
2.5

31

Pflops computing と Lattice QCD

3216

演算量のスケーリング再考L 基本パラメータ：
クォーク質量



格子サイズ



格子間隔mπ / mρL ( fm )a ( fm )a
注：長さの単位

1 fm = 10 −15 m

 従来のHMCアルゴリズム（従来型）の演算量⎡ # conf ⎤ ⎡ mπ / mρ ⎤# FLOP' s = C ⋅ ⎢⎥⎥⋅⎢⎣ 1000 ⎦ ⎣ 0.6 ⎦C ≈ 2.8−65⎡ L ⎤ ⎡ a ⎤⋅⎢⎥ ⋅⎢⎥⎣ 3 fm ⎦ ⎣ 0.1 fm ⎦−7Tflops ⋅ year

 領域分割法・マルチタイムステップ法などによる加速⎡ # conf ⎤ ⎡ mπ / mρ ⎤# FLOP' s = C ⋅ ⎢⎥⎥⋅⎢⎣ 1000 ⎦ ⎣ 0.6 ⎦C ≈ 0.11−45⎡ L ⎤ ⎡ a ⎤⋅⎢⎥ ⋅⎢⎥⎣ 3 fm ⎦ ⎣ 0.1 fm ⎦−7Tflops ⋅ year
33Lattice QCD計算の現況（I）
従来のHMCアルゴリズム加速されたHMCアルゴリズム(領域分割，マルチタイムステップ等)

自然界の値

QCDOC
BlueGene/L
ApeNEXT
PACS-CS

Tsukuba-KEK

クォーク質量3417

Lattice QCD計算の現況(II) ハドロンの一体問題，即ち，個々のハドロン（陽子や中性子）の性質を，クォーク・グルオンの第一原理に即して，近似や外挿を行わずに解明・予言する計算が，漸く可能と成りつつある

1個のハドロンを入れるのに十分なサイズの格子
自然界のup, down, strangeクォークに対応する極めて軽いクォーク質量での計算

 必要とする計算量≈ 10Tflops ⋅ year

L=3m

 投入可能なコンピュータ資源
QCDOC
ApeNEXT
PACS-CS
BlueGene/L

10Tflops x 2(USA), x1(UK)
7Tflops x 1(Rome), 6Tflops x 2(Germany) 等
14.3Tflops(Tsukuba)
57Tflops (KEK), 46Tflops (Julich/Germany) etc
35

Pflopsスケール計算の目標：素粒子から原子核・宇宙へ（I）

L=6m

ハドロンーハドロン相互作用の研究

L=9m

ハドロンガス⇔
クォークグルオンプラズマ相転移の研究
3618

Pflopsスケール計算の目標：素粒子から原子核・宇宙へ（II）

126xx126x126x252

84x84x84x168

90x90x90x180

60x60x60x120

37

宇宙の進化と物質の起源再見
原子の形成

銀河・星・惑星．．．

元素の合成
陽子・中性子
クォーク・グルオンの の形成
プラズマ状態

宇宙時間 10 -5秒

1秒

1万年

10億年

宇宙温度 1012K

109K

3000K

20K

3K
38

19

Pflopsスケール計算の目標：素粒子から原子核・宇宙へ（III）
 ハドロン単体のシミュレーションから，ハドロン多体のシミュレーションへ ハドロン間相互作用
 様々な原子核の成り立ち
 宇宙における元素合成
 物質・反物質の非対称性の起源 クォーク・グルオン・プラズマ相転移とプラズマ相の物理特性

 計算規模 100x100x100x200規模の格子（４次元格子作用の場合）（50x50x50x100規模の格子（カイラル格子作用の場合））
 O(1)-O(10) Pflops・yearの計算量

39

Lattice QCDと国際協力

4020

Lattice QCD主要拠点と計算リソース
Main supercomputer sites

Ｗａｓｈｉｎｇｈｏｎ Ｕ
Indiana

QCDOC

Utah

Edinburgh
Liverpool
SwanseaSouthampton

Glasgow
Berlin/Zeuthen
DESY/Neumann
Bielefeld
Regensburg
BlueGene/L

APENEXT x 3

BlueGene/L
Kyoto U
Hiroshima U

MIT/Boston U

BNL/Columbia

ＵＣＳＢ

KEK

BlueGene/L
ＦＮＡＬ

Arizona

U. Tsukuba

St．LouiseJLAB

QCDOC x 2

PACS-CS 米国，欧州（英・独・伊他），日本を中心に，約１０ヶ所
 ２００６年夏時点で，トータル約150Tflopsのリソース
41International Lattice Data Grid（I）
 Lattice QCD 計算のサイクル


基本データはグルオン場の配位（モンテカルロサンプル）
トップエンドマシンで数ヶ月から数ヵ年をかけて数千個から数万個の配位を生成
一度配位が生成されれば，その上では，様々の物理量が計算できる．

 データグリッド構築による国際協力が高い意義“International Lattice Data Grid” (ILDG)

2002年に米・英・独・日により準備を開始
2004年ILDG Boardを設置
2006年夏に米・英・独・日のサイトが運用開始
現在の加盟国 米・英・独・日・オーストラリア・伊・仏
4221

ILDGのための国際標準規格の制定
 QCDml v1.1
 XMLによるグルオン配位を記述するメタデータ
 2004年8月制定

 Binary file format v1.0
 グルオン配位のファイルファーマット
 2005年5月制定

 Middleware architechture グルオン配位の検索・ダウンロードのための共通インターフェース
仕様；実装は各国の独自性に任せる
 2004年12月制定

43

Japan Lattice Data Grid (JLDG) 目標
 日本国内のLattice QCDデータグリッドの構築
 ILDGとのゲートウェイの構築

 参加機関（2006年8月時点）
 筑波大学，KEK，京都大学，広島大学
 2005年11月に発足

 ILDGとのゲートウェイ Lattice QCD Archive (LQA) 筑波大学にて運用・管理44

22

SuperSinetの利用
 素粒子理論計算のための国内ネットワーク
 SuperSINET 1Gbps 専用線を使用
 国内Lattice QCD主要サイトを接続 現在，６サイト間でmirroring
によりデータ保持 (ディスク容量10TBx6)45

JLDG の構成
 unix-like なグリッドファイルシステム(Gfarmを使用)

ILDG



各拠点にストレージを配置，Hepnet-J/scで接続

Mirroringを自動化

ILDG インターフェース

ILDG Gateway

Tsukuba

Grid NAS

Hepnet-J/sc
Gridserver

KEK

Grid NAS

Kyoto.....
Gridserver

Grid File System
Local NAS

Local NAS

SCSC

46

23

Lattice QCD Archive (LQA)
 国内のLattice QCDデータのILDGとのゲートウェイ
運用 2004年2月〜
 蓄積データ Nf=2データ
9750件 1.90TByte（公開済） Nf=2+1データ 18050件 3.69TByte（近日公開予定）

 Pflops時代には
 O(10)-O(100)Pbyte 米・欧に４〜５拠点
 ファイル交換？

月間ダウンロード件数
Date

Data download

May-061456

Apr-061672

Mar-06925

Feb-061136

Jan-061147

Dec-05725

Nov-050Oct-05

2

Sep-05683

Aug-054688

Jul-055931

Jun-052251

47

Lattice QCD Archive (LQA)

トップページ

検索エンジンページ

4824

まとめ



サイエンスとしてのLattice QCD

素粒子・原子核から宇宙の進化と物質の起源を解き明かす基礎物理学の重要課題



一体問題（素粒子）が漸く解決の見込みがつき，多体問題（原子核から宇宙へ）への展開が喫緊の課題

計算科学としてのLattice QCD


近接相互作用する場の量子力学系；極めて高いスケーラビリティを持つ問題



従来からcapability computingの代表例であり，次のステップにはPflopsス
ケールを超える計算が必要

Lattice QCDと国際協力コンピュータ開発と研究の両面で国際的に厳しい競争



それと同時に，ILDGを通じて国際協力の動きが活発であり，将来的な国際的研究環境の基盤になると考えられる

49

25