科 学 技 術 計 算 分 科 会

選 出

SS 研 HPC フォーラム 2009 より

海外招待講演

Current Trends in High Performance
Computing and Challenges for the FutureJack Dongarra
University of Tennessee andOak Ridge National Laboratoryサイエンティフィック・システム研究会

2009 年 9 月 3 日

SS 研 HPC フォーラム 2009

Current Trends in High Performance Computing
and Challenges for the FutureJack Dongarra
University of Tennessee and Oak Ridge National Laboratory

Abstract ：In this talk we examine how high performance computing has changed over the last 10-year and looktoward the future in terms of trends. These changes have had and will continue to have a major
impact on our numerical scientific software. A new generation of software libraries and algorithms
are needed for the effective and reliable use of (wide area) dynamic, distributed and parallel
environments. Some of the software and algorithm challenges have already been encountered,such as management of communication and memory hierarchies through a combination of compile-time and run- time techniques, but the increased scale of computation, depth of memory hierarchies,
range of latencies, and increased run--time environment variability will make these problems muchharder. We will focus on the redesign of software to fit multicore architectures.
Keyword ：High Performance Computing,Multicore,numerical software,algorithms,

parallel computing

Profile：Brief History ：Jack Dongarra received a Bachelor of Science in Mathematics from Chicago State University in 1972
and a Master of Science in Computer Science from the Illinois Institute of Technology in 1973. Hereceived his Ph.D. in Applied Mathematics from the University of New Mexico in 1980. He worked at
the Argonne National Laboratory until 1989, becoming a senior scientist. He now holds anappointment as University Distinguished Professor of Computer Science in the Computer Science
Department at the University of Tennessee and holds the title of Distinguished Research Staff in theComputer Science and Mathematics Division at Oak Ridge National Laboratory (ORNL), Turing
Fellow at Manchester University, and an Adjunct Professor in the Computer Science Department at
Rice University. He is the director of the Innovative Computing Laboratory at the University ofTennessee. He is also the director of the Center for Information Technology Research at the
University of Tennessee which coordinates and facilitates IT research efforts at the University.
Field of research ：He specializes in numerical algorithms in linear algebra, parallel computing, the use ofadvanced-computer architectures, programming methodology, and tools for parallel computers. His
research includes the development, testing and documentation of high quality mathematical software.
He has contributed to the design and implementation of the following open source software packages
and systems: EISPACK, LINPACK, the BLAS, LAPACK, ScaLAPACK, Netlib, PVM, MPI, NetSolve,
Top500, ATLAS, and PAPI. He has published approximately 200 articles, papers, reports andtechnical memoranda and he is coauthor of several books.
Academic society，Award，Book，etc. ：H He was awarded the IEEE Sid Fernbach Award in 2004 for his contributions in the application ofhigh performance computers using innovative approaches and in 2008 he was the recipient of thefirst IEEE Medal of Excellence in Scalable Computing. He is a Fellow of the AAAS, ACM, IEEE, and
SIAM and a member of the National Academy of Engineering.

1

An Overview of High Performance
ComputingandFuture Requirements

H. Meuer, H. Simon, E. Strohmaier, & JD

- Listing of the 500 most powerfulComputers in the World- Yardstick: Rmax from LINPACK MPP

Ax=b, dense problem
Rate

TPP performance- Updated twice a year

Jack DongarraSizSC‘xy in the States in November e
Meeting in Germany in June

University of Tennessee
Oak Ridge National Laboratory- All data available from www.top500.org

1

2

Performance Development

Performance of Top25 Over 10 Years

100 Pflop/s

100000000

22.9 PFlop/s

10 Pflop/s

10000000

1.1 PFlop/s

1 Pflop/s

1000000

1

100 Tflop/s

SUM

100000
10000

1 Tflop/s

1.17 TFlop/s

100 Gflop/s
100
10 Gflop/s
100.8

17.08 TFlop/s

10 Tflop/s

1000

PFlop/s

N=1

0.6

6-8 years

0.4

0.2

N=500
59.7 GTFlop/s

01

My Laptop
1 Gflop/s
1

0.1
100 Mflop/s

1.2

5

7

9

11

13

15

17

Rank

400 MTFlop/s
1993

3

1995

1997

1999

2001

2003

2005

2007

Year
19

21

23

25

4

2009

Looking at the Gordon Bell Prize

Cores in the Top25 Over Last 10 Years(Recognize outstanding achievement in high-performance computing applications andencourage development of parallel processing )1 GFlop/s; 1988; Cray Y-MP; 8 Processors

300000 Static finite element analysis
250000

1 TFlop/s; 1998; Cray T3E; 1024 Processors
 Modeling of metallic magnet atoms, using a

200000variation of the locally self-consistent multiple
scattering method.

150000Cores
100000

1 PFlop/s; 2008; Cray XT5; 1.5x105 Processors

50000

 Superconductive materials

0
1

3

5

7

9

11

13

Rank

15

1 EFlop/s; ~2018; ?; 1x107 Processors(109 threads)

Year
17

19

21

23

25

5

6

Processors Used in Supercomputers

Performance Development in Top500

100 Pflop/s
10 Pflop/s

SUM

1 Pflop/s

N=1

100 Tflop/s
10 Tflop/s
1 Tflop/s

GordonBell
Winners

N=500

100 Gflop/s
10 Gflop/s

1 Gflop/s

Intel 71%
AMD 13%IBM 7%

100 Mflop/s

7

8Industrial Use of SupercomputersCountries / System Share• Of the 500 Fastest
Supercomputer

58%
9%
5%
5%
4%
3%
2%
2%
2%
2%
1%
1%

• Worldwide, Industrial
Use is > 60%




























9



33rd List: The TOP10
Rank

Country

Cores

USA

129,600

1,105

76

2.48

446

1

USA

150,152

1,059

77

6.95

151

2

Germany

294,912

825

82

2.26

365

3

USA

51,200

480

79

2.09

230

Roadrunner / IBM
BladeCenter QS22/LS21
Jaguar / Cray
Cray XT5 QC 2.3 GHz
Jugene / IBMBlue Gene/P Solution

4

NASA / Ames ResearchCenter/NAS

Pleiades / SGI
SGI Altix ICE 8200EX

5DOE / NNSA
Lawrence Livermore NL

BlueGene/L IBM
eServer Blue Gene Solution

6

NSF
NICS/U of Tennessee

Kraken / Cray
Cray XT5 QC 2.3 GHz

DOE / OS
ArgonneNat LabNSF
TACC/U. of Texas

Intrepid / IBMBlue Gene/P Solution
Ranger / Sun
SunBlade x6420

9

DOE / NNSA
Lawrence Livermore NL

10

Forschungszentrum
Juelich (FZJ)

3

7
8

Rmax % of Power Flops/[Tflops] Peak [MW] Watt

Computer

DOE / NNSA
Los Alamos Nat Lab

USA

10

33rd List: The TOP10Site

DOE / OS
Oak
Ridge Nat Lab
Forschungszentrum
Juelich (FZJ)

1
2

Aerospace
Automotive
Biology
CFD
Database
DefenseDigital Content Creation
Digital MediaElectronics
EnergyEnvironment
Finance
GamingGeophysics
Image Proc./Rendering
Information Processing Service
Information Service
Life ScienceMedia
Medicine
Pharmaceutics
Research
RetailSemiconductor
Telecomm
Weather and Climate Research
Weather Forecasting

212,992

478

80

2.32

206

Rank

Rmax % of Power Flops/[Tflops] Peak [MW] Watt

Site

ComputerCountry

Cores

USA

129,600

1,105

76

2.48

USA

150,152

1,059

77

6.95

151

Germany

294,912

825

82

2.26

365

DOE / NNSA
Los Alamos Nat Lab

Roadrunner / IBM
BladeCenter QS22/LS21

DOE / OS
Oak
Ridge Nat Lab
Forschungszentrum
Juelich (FZJ)

Jaguar / Cray
Cray XT5 QC 2.3 GHz
Jugene / IBMBlue Gene/P Solution

4

NASA / Ames ResearchCenter/NAS

Pleiades / SGI
SGI Altix ICE 8200EX

USA

51,200

480

79

2.09

230

5

DOE / NNSA
Lawrence Livermore NL

BlueGene/L IBM
eServer Blue Gene Solution

USA

212,992

478

80

2.32

206

6

NSF
NICS/U of Tennessee

Kraken / Cray
Cray XT5 QC 2.3 GHzUSA

66,000463

76

DOE / OS
ArgonneNat LabNSF
TACC/U. of Texas

Intrepid / IBMBlue Gene/P Solution
Ranger / Sun
SunBlade x6420

USA

163,840

458

82

1.26

363

USA

62,976

433

75

2.0

217

446

USA

66,000

463

76

USA

163,840

458

82

1.26

363

7

USA

62,976

433

75

2.0

217

8

Dawn / IBMBlue Gene/P Solution

USA

147,456

415

83

1.13

367

9

DOE / NNSA
Lawrence Livermore NL

Dawn / IBMBlue Gene/P Solution

USA

147,456

415

83

1.13

367

JUROPA /Sun - Bull SA
NovaScale /Sun Blade

Germany

26,304

274

89

1.54

178

10

Forschungszentrum
Juelich (FZJ)

JUROPA /Sun - Bull SA
NovaScale /Sun Blade

Germany

26,304

274

89

1.54

178

11

Distribution of the Top500

15 Systems on Top 500 in Japan

1200

Rank Location
The Earth
Simulator Center

Manuf

Machine

Year

Cores

Rmax

Rpeak

NEC

2009

1280

12240013107228 JAXA

Fujitsu

Earth Simulator
Fujitsu FX1, Quadcore SPARC64 VII 2.52 GHz,
Infiniband DDR

2009

12032

110600121282

Fujitsu

PRIMERGY RX200S5 Cluster, Xeon X5570 2.93GHz,
Infiniband DDR

2009

8256

87890

96760

Sun Fire x4600/x6250, AMD 2.4/2.6 GHz, Xeon E5440
NEC/Sun 2.833 GHz, ClearSpeed CSX600, nVidia GT200; Voltaire

2009

31024

87010

163188Hitachi

22

1.1 Pflop/s
2 systems > 1 Pflop/s

1000

Inst of Phy &40 Chem. Res (RIKEN)
GSIC Center,

41 TiTech

TFlop/s

800

11 systems > 250 Tflop/s

42

Information Tech
Center, U of Tokyo

Hitachi Cluster Opteron QC 2.3 GHz, Myrinet 10G
Appro Xtreme-X3 Server - Quad Opteron Quad Core 2.3
GHz, Infiniband

2008

12288

82984

113050

Appro

2009

10368

77280

95385

Hitachi

Hitachi SR16000 Model L2, Power6 4.7Ghz, Infiniband

2009

4096

56650

77004

69 Genome C, IMS

Sun

2009

5760

54210

69120

400

78 Kyoto University

Fujitsu

SunBlade x6250, Xeon E5450 3GHz, Infiniband
Fujitsu Cluster HX600, Opteron Quad Core, 2.3 GHz,
Infiniband

2008

6656

50510

61235

SGI

SGI Altix ICE 8200EX, Xeon X5560 quad core 2.8 GHz

200

259 Japan

47 CCS, U of Tsukuba
Nat Inst for Fusion

600

65 Science (NIFS)

U of Tokyo/Human

78 systems > 50 Tflop/s

National Inst for

93 Materials Science
Nat Astro Obs of223 systems > 25 Tflop/s

Nat Astro Obs of

17.1 Tflop/s

Rank

495

469

443

417

391

365

339

313

287

261

235

209

274 systems replaced last time

183

157

131

79

105

53

1

27

0

277 Japan

2009

4096

42690

45875

Cray Inc. Cray XT4 QuadCore 2.2 GHz

2008

3248

22930

28582

Self-made GRAPE-DR accelerator Cluster, Infiniband

Comp Biology Res

394 Center, AIST
397
398

High Energy Acc
Research Org /KEKHigh Energy Acc
Research Org /KEK

2009

8192

21960

84480

IBM

eServer Blue Gene Solution

2005

8192

18665

22937

IBM

eServer Blue Gene Solution

2006

8192

18665

22937

IBM

eServer Blue Gene Solution

2006

8192

18665

22937

13

LANL Roadrunner
A Petascale System in 2008

14

ORNL’s Newest System Jaguar XT5≈ 13,000 Cell HPC chips≈ 1.33 PetaFlop/s (from Cell)≈ 7,000 dual-core Opterons≈ 122,000 cores“Connected Unit” cluster
192 Opteron nodes(180 w/ 2 dual-Cell bladesconnected w/ 4 PCIe x8
links)

17 clusters
JaguarCell chip for each core

2nd stage InfiniBand 4x DDR interconnect(18 sets of 12 links to 8 switches)

2nd stage InfiniBand interconnect (8 switches)
Based on the 100 Gflop/s (DP) Cell chip
Hybrid Design (2 kinds of chips & 3 kinds of cores)
Programming required at 3 levels.
15

ORNL/UTK Computer Power Cost Projections
2008-2012

XT5

1,645

1,382

263

AMD Opteron Cores

181,504

150,17
6

31,328System Memory (TB)

362

300

62

Disk Bandwidth (GB/s)

284

240

44

Disk Space (TB)

10,75010,000

750

532

374

157

Office of
Science

16

From K. Olukotun, L. Hammond, H.
Sutter, and B. Smith

A hardware issue just became asoftware problem> $20M

Will be upgraded thisyear to a 2 Pflop/s
system with > 224K
AMD Istanbul Cores.

Something’s Happening Here…

• Over the next 5 years
ORNL/UTK will deploy
2 large Petascale
systems• Using 15 MW today• By 2012 close to
50MW!!
• Power costs close to$10M today.
• Cost estimates basedon $0.07 per KwH> $10M

XT4

Peak Performance

Interconnect Bandwidth (TB/s)

Dual Core Opteron Chip

Power becomes the architecturaldriver for future large systems

Total> $30M

Cost Per Year
07
17

• In the “olddays” it was:each year
processors
would become
faster• Today the clock
speed is fixed orgetting slower• Things are still
doubling every
18 -24 months• Moore’s Law
reinterpretated.
 Number of cores
double every
18-24 months
18

Today’s Multicores

Moore’s Law Reinterpreted

99% of Top500 Systems Are Based on Multicore

282 use Quad-Core
204 use Dual-Core
3 use Nona-core• Number of cores per chip doubles
every 2 year, while clock speed
decreases (not increases).
 Need to deal with systems with millions
of concurrent threads

Sun Niagra2 (8 cores)Intel Clovertown (4 cores)
IBM Power 7 (8 cores)• Future generation will have billions of
threads!

 Need to be able to easily replace interchip parallelism with intro-chipparallelism• Number of threads of execution
doubles every 2 year

Fujitsu Venus (8 cores)

19

What’s Next?
All Large Core

AMD Istambul (6 cores)

IBM Cell (9 cores)Intel Polaris [experimental](80 cores)

20
IBM BG/P (4 cores)

Commodity

Mixed Large
andSmall Core

• Moore’s “Law” favored consumer
commodities

Many Small Cores Economics drove enormous improvements
 Specialized processors and mainframes faltered Custom HPC hardware largely disappeared Hard to compete against 50%/year improvement

All Small Core

• Implications
Many FloatingPoint Cores

Different Classes of
Chips
Home
Games / Graphics
Business
Scientific21

Future Computer Systems

 Consumer product space defines outcomes It does not always go where we hope or expect
 Research environments track commercial trends Driven by market economics
 Think about processors, clusters, commodity
storage

22

Architecture of Interest• Most likely be a hybrid design• Think standard multicore chips andaccelerator (GPUs)• Today accelerators are attached• Next generation more integrated• Intel’s Larrabee in 2010

• Manycore chip
• Composed of hybrid cores
 Some general purpose Some graphics
 Some floating point

 8,16,32,or 64 x86 cores• AMD’s Fusion in 2011

Intel Larrabee Multicore with embedded graphics ATI• Nvidia’s plans?

23

24Architecture of Interest• Rack composedof multiple
boardsMemoryMemory• Boardcomposed ofmultiple chips
sharingmemoryArchitecture of Interest

25

Architecture of Interest

26

Major Changes to Software• A room full of these racks• Must rethink the design of oursoftware Another disruptive technology
Memory• Similar to what happened with clustercomputing and message passing

 Rethink and rewrite the applications,algorithms, and software• Numerical libraries for example willchange For example, both LAPACK and
ScaLAPACK will undergo major changes
to accommodate this• Think millions of cores

27

Quasi Mainstream
Programming Models

28

DOE Office of Science Next System• DOE's requirement for 20-40 PF ofcompute capability split between the
Oak Ridge and Argonne LCF centers• ORNL's proposed system will bebased on accelerator
technology includes softwaredevelopment environment• Plans are to deploy the system in late2011 with users getting access in2012• C, Fortran, C++ and MPI• OpenMP, pthreads• (CUDA, RapidMind, Cn) Æ OpenCL• PGAS (UPC, CAF, Titanium)• HPCS Languages (Chapel, Fortress, X10)
• HPC Research Languages and Runtime• HLL (Parallel Matlab, Grid Mathematica,
etc.)
29

30

Sequoia LLNLNSF University of Illinois; Blue Waters
•





•
•
•
•

31

Blue Waters will be the powerhouse of the National Science
Foundation’s strategy to support supercomputers forscientists nationwide

Diverse usage models drive
platform and simulation
environment requirements
Will be 2D ultra-res and 3D high-res
Quantification of Uncertainty
engine3D Science capability for known
unknowns and unknown unknowns

T
1

Peak 20 petaFLOP/s
IBM BG/Q
Target production 2011-2016
Sequoia Component Scaling Memory B:F = 0.08
 Mem BW B:F = 0.2
 Link BW B:F = 0.1
 Min Bisect B:F = 0.03
 SAN BW GB/:PF/s = 25.6
 F is peak FLOP/s

T
2

31

T
3

Blue Waters

NCSA/Illinois

1 Pflop sustained per second

Ranger

TACC/U ofTexas

504 Tflop/s peak per second

KrakenNICS/U of
Tennessee

1 Pflops peak per second

Campusesacross the U.S. Several sites

50-100 Tflops peak per second
32

DARPA’s RFI on Ubiquitous High
Performance Computing

NSF University of Illinois; Blue Waters
Blue Waters - Main Characteristics• 1 PFLOP/S HPL, air-cooled,single 19-inch cabinet
ExtremeScale system.
• The power budget for the cabinet is 57 kW, including cooling.
• Achieve 50 GFLOPS/W for the High-Performance Linpack (HPL)
benchmark.
• The system design should provide high performance forscientific and engineering applications.
• The system should be a highly programmable system that
does not require the application developer to directly manage
the complexity of the system to achieve high performance.
• The system must explicitly show a high degree of innovationand software and hardware co-design throughout the life of
the program.
• 5 phases;• Hardware: Processor: IBM Power7 multicore architecture• 8 cores per chip
• 32 Gflop/s per core; 256 Gflop/s chip More than 200,000 cores will be available Capable of simultaneous multithreading (SMT) Vector multimedia extension capability (VMX) Four or more floating-point operations per cycle
 Multiple levels of cache – L1, L2, shared L3
 32 GB+ memory per SMP, 2 GB+ per core
 16+ cores per SMP
 10+ Petabytes of disk storage
 Network interconnect with RDMA technology33 1) conceptual designs; 2) execution model; 3) full-scale simulation; 4)delivery; 5) modify and refine.

Exascale Computing

IESP: The Need

• Exascale systems are likely feasible by 2017±2• 10-100 Million processing elements (cores or
mini-cores) with chips perhaps as dense as
1,000 cores per socket, clock rates will growmore slowly• 3D packaging likely• Large-scale optics based interconnects• 10-100 PB of aggregate memory• Hardware and software based fault management• The largest scale systems are
becoming more complex, withdesigns supported by consortium The software community has responded slowly• Significant architectural changes evolving
 Software must dramatically change• Our ad hoc community coordinates poorly,
both with other software components andwith the vendors• Heterogeneous cores• Performance per watt — stretch goal 100 GF/watt ofsustained performance ⇒ >> 10 – 100 MW Exascale system• Power, area and capital costs will be significantly higher
than for today’s fastest systems
Google: exascale computing study34

 Computational science could achieve more withimproved development and coordination
35

36

A Call to Action

IESP Goal• Hardware has changed dramatically while software
ecosystem has remained stagnant• Previous approaches have not looked at co-design ofmultiple levels in the system software stack (OS, runtime,compiler, libraries, application frameworks)• Need to exploit new hardware trends (e.g., manycore,
heterogeneity) that cannot be handled by existing software
stack, memory per socket trends• Emerging software technologies exist, but have not been
fully integrated with system software, e.g., UPC, Cilk,
CUDA, HPCS
• Community codes unprepared for sea change inarchitectures• No global evaluation of key missing components

Improve the world’s simulation and modelingcapability by improving the coordination anddevelopment of the HPC software environment
Workshops:

Build an international plan fordeveloping the next generation open
source software for scientific highperformance computing
37

All of these issues add programming
complication

Where We Are Today:
SC08 (Austin TX) meeting to generate interest
DOE’s Office of Science funding
US meeting April 6-8, 200965 people
NSF’s Office of Cyberinfrastructure funding
European meeting June 28-29, 2009
70 people
Draft Roadmap
Outline Report
Asian meeting (Tsukuba Japan) October 18-20, 2009
Refine roadmap
Refine Report
SC09 (Portland OR) BOF to inform others
Public Comment
Draft Report presented

38• Assertion: data structure design and data motion
minimization have• more impact on performance than instruction ordering

Nov 2008

 But, these are both architecture specific!

Apr 2009• Resilience: DARPA exascale report has component failure
35-39 mins
 Message delivery failure in MPI-3
 Dead node detection and recovery
 Needs to be integrated from the hardware through theapplication

Jun 2009• Soft error tolerance
 If we assume any operation can give incorrect results, canwe make more robust algorithms?
 Can we better protect high-order bits?

Oct 2009• Some hardware support libraries are only available incertain programming languages, and some programming
models only on certain hardware

Nov 2009

40

39

Conclusions

Collaborators / Support• For the last decade or more, the research
investment strategy has been
overwhelmingly biased in favor of hardware.
• This strategy needs to be rebalanced barriers to progress are increasingly on thesoftware side.
• Moreover, the return on investment is morefavorable to software.

Employment opportunities forpost-docs in the ICL groupat Tennessee• Top500– Hans Meuer, Prometeus– Erich Strohmaier, LBNL/NERSC– Horst Simon, LBNL/NERSC Hardware has a half-life measured in years, while
software has a half-life measured in decades.
• High Performance Ecosystem out of balance Hardware, OS, Compilers, Software, Algorithms, Applications• No Moore’s Law for software, algorithms and applications
41

42

If you are wondering what’s beyond
ExaFlops
Mega, Giga, Tera,
Peta, Exa, Zetta …
103
106
109
1012
1015
1018
1021

kilo
mega
giga
tera
peta
exa
zetta

1024
1027
1030
1033
1036
1039
1042
1045
1048
1051
1054
1057
1060
1063

yotta
xona
weka
vunda
uda
treda
sorta
rinta
quexa
pepta
ocha
nena
minga
luma
43

科 学 技 術 計 算 分 科 会

選 出

SS 研 HPC フォーラム 2009 より

JAXA Supercomputer System(JSS)の紹介と性能概要

宇宙航空研究開発機構
高木 亮治

サイエンティフィック・システム研究会

2009 年 9 月 3 日

SS 研 HPC フォーラム 2009

JAXA Supercomputer System (JSS) の紹介と性能概要
高木 亮治、藤田直行、松尾裕一
宇宙航空研究開発機構[アブストラクト]
宇宙航空研究開発機構（JAXA）は航空宇宙分野における基礎研究から研究・利用までを一貫して行っており、前身の宇宙三機関の時代から高性能計算機を用いた数値シミュレーション技術の重要性を認識し、高性能・高機能な大規模計算機システムの整備・運用を積極的に推進してきた。2009 年 4 月に JAXASupercomputer System（略して JSS）と呼ばれる新しいシステムが稼動を開始した。JSS は複数の計算機シス
テムから構成されるが、その中核は富士通製 FX1 で、マルチコアスカラーCPU を用いた大規模超並列計算機であり、120TFlops の理論演算性能と 94TByte の主記憶容量を持っている。
本講演では JSS の概要を紹介すると同時に、JAXA で実際に使われている航空宇宙分野における CFD
プログラムを用いた性能評価結果について報告する。
[キーワード]航空宇宙、CFD(計算流体力学)、大規模並列計算機、マルチコア

1. はじめに
宇宙航空研究開発機構（JAXA）は、航空宇宙分野の基礎研究から開発・利用までを一貫して行っているが、前身の航空宇宙技術研究所（NAL）および宇宙科学研究所（ISAS）の時代から高性能計算機を用いた数値シミュレーション技術の重要性を認識し、高性能・高機能な大規模計算機システムの整備・運用を積極的に行ってきた。航空宇宙分野における数値シミュレーションは大規模な解析が多く、必然的に大規模並列計
算機システムが必要とされてきた。単純な 2 次元翼型まわりの流れの解析から始まり、計算機の発達とともにより複雑な形状、例えば航空機全機まわりの粘性流れ解析や、より複雑な現象、エンジン内での化学反応を伴う燃焼流れなどの解析へと発展していった。これらの数値シミュレーションは学術研究のツールとしてだけではなく、実際の航空機、ロケット、衛星・探査機などの設計や開発に応用されている。特に実際の応用においては開発において発生したトラブルに対するトラブルシューティング的な課題解決型のアプローチから、
徐々にではあるが設計探査や最適化といった設計プロセスを革新する様な使われ方にシフトしている。
JAXA 統合前後において、旧 3 機関時代からの経緯で統合後も調布、角田、相模原の 3 箇所で大規模計算機システムが運用されていたが、調布、角田のシステムがほぼ同時期にリースアウトするのを契機に 2009
年 4 月に新しい大規模並列計算機システムを導入した。新しく導入した計算機システムは JSS（JAXA
Supercomputer System）と呼ばれ、JAXA 統合後初めての導入となることから、これまで以上に宇宙開発等のJAXA 事業への本格的な活用および宇宙三機関統合のシンボル的な位置づけ（One-JAXA）を意図して導入された。
本報告では、まず始めに JSS の設計思想およびシステム構成、特徴等について紹介する。次に JAXA で利用されている代表的な CFD プログラムを用いた JSS の性能評価結果について報告する。最後に JSS 導入時に実施された大規模解析について紹介する。

12. 設計思想
JSS を設計するにあたり様々な角度からの検討を行った。まず旧システムの課題として大規模 SMP の使い難さがあった。JAXA では SMP ノード内に複数のジョブが混在する運用を行っていたためジョブの計算時間のぶれが発生した。計算時間のぶれはプログラムチューニングの大きな障害となり最後まで抜本的な解決は行えなかった。またメモリバンド幅不足、自動スレッド並列コンパイラの能力不足、スカラーCPU の経験不足などから期待した性能が出せなかった。
本来、どのような計算機（演算性能重視、メモリ性能重視、通信性能重視）を導入すべきかは利用するアプ
リケーションに大きく依存する。最近の JAXA アプリの傾向として工学系アプリの Capacity 計算指向および学術系アプリの Capability 計算指向が挙げられる。工学系はパラメトリック計算などスループット重視のものであり、学術系は性能や規模が重視される。これらのアプリはさらに相対的に計算負荷の大きいアプリ（計算系）、
通信負荷の大きいアプリ（通信系）、メモリアクセス負荷の大きなアプリ（メモリ系）に分類できる。どのような特性を持ったアプリをターゲットとするかで計算機のバランス（演算性能、メモリ性能、ネットワーク性能）が決められるが、JSS では工学系アプリを中心に考えつつ学術系アプリにも配慮する方針とし、そのため演算性能とメモリ性能を重視することとした。
技術的な観点からは、先進的過ぎて実績がなかったり、維持管理（手間、コスト）が大変な技術・システムの採用はやはり困難であり、将来動向は見据えつつも確実な技術や持続可能な技術を採用する必要がある。
例えばノード形態としてはメモリ性能や電力・コストを考えると大規模共有メモリノードよりも有利な小規模ノードを選択した。また結合ネットワーク（インターコネクト）に関しては、伝統的なクロスバーネットワークは物量的に非現実的であり、ファットツリーなど実績のある多段結合網とした。
最後に統合スパコンとしての要求に応えるため、これまでのプログラムの継続性や遠隔地からの利便性に配慮した。そのため各拠点にはフロントエンド機能やファイルサーバ機能を有する遠隔利用システムや分散
データ共有システムを配置した。またベクトルジョブへの配慮から小規模ベクトルシステムを導入した。さらに、前後処理や非並列ジョブ、市販アプリの動作プラットフォームを考えた場合、大きなメモリ空間を有する共有メ
モリシステムは魅力的であり、巨大なメモリを有する共有メモリシステムを別途用意することとした。

3. システム構成と特徴
様々な要求項目や検討の結果、JSS は図 1 および表 1 で示す様に大規模並列計算機システム、ストレージシステム、共有メモリシステム、遠隔利用システム、分散データ共有システムなど複数の計算機システムから構成される複合システムとなった。従来システムに比べて演算性能は約 15 倍、メモリ量では約 25 倍、ストレー
ジ量では約 20 倍程度の性能を有する。JSS の中で実際の計算の中核となるシステムは大規模並列計算機シ
ステムであり、マルチコア CPU をベースにした富士通製 FX1 と呼ばれるスカラー超並列計算機で構成される。
大規模並列計算機システムは 120TFlops の演算性能と 94TBytes の主記憶装置を有する M（メイン）システムと 15TFlops、6TBytes の P（プロジェクト）システムから構成される。これら二つのシステムでは Integrated
Multicore Parallel ArChiTecture (IMPACT) と呼ばれるマルチコア CPU を効果的に利用する技術が採用されている。IMPACT を構成するコア間ハードウェアバリア、共有キャッシュ、自動スレッド並列コンパイラの連携により従来性能が出せなかった細粒度スレッド並列（内側ループでのスレッド並列化）でも十分な性能が期待できるようになった。そのため、ユーザーにはノード間をプロセス並列を用いて並列化し、ノード内は IMPACTの自動並列コンパイラによる自動スレッド並列にまかせるという並列化モデルを推奨している。

2

共有メモリシステムは A（アプリケーション）システムと呼ばれる 1TBytes の共有メモリを有する富士通製
SPARC Enterprise M9000 と V（ベクトル）システムと呼ばれる、4.8TFlops の演算性能と 3TBytes のメモリを有する NEC 製ベクトル計算機システム SX-9 からなる。これらのシステムは巨大な共有メモリを持つ利点を活かして、前後処理を含む非並列ジョブや市販アプリ、ベクトルジョブの実行に利用される。
ストレージシステムとしてはディスクが 1PByte、テープが 10PByte ありディスクへの総実行転送性能は28GByte/s（ioperf により測定）となる。ディスクとテープは階層型ストレージ管理（HSM）を行っている。
JSS の主要部分は調布事業所に設置されるため、角田、筑波、相模原などの遠隔拠点には遠隔利用シス
テム（L システム）を設置した。これは各拠点からの利便性を向上させるためのもので、ファイルサーバやフロ
ントエンドの役割を果たす。また各拠点間でのファイル共有を実現するため J-SPACE と呼ばれる分散データ
共有システムを構築した。調布システムと各拠点のシステムとはスパコンネットと呼ばれる高速ネットワークで接続されている。
JSS 導入にあたり、既存建屋には入りきらないため新建屋を建設した。新建屋では冷却効率の向上を目指
し、排気拡散防止版、空調ダクトを設置するなどして暖気と冷気をできるだけ分離し、冷却効率が高まるような工夫を行った。また一般的な電力による空調の代わりにガスによる空調機の採用や遮音板の設置、室内設
定温度の検討など環境に配慮したものとなっている。

図１：JAXA Supercomputer System (JSS)のシステム図3

表１：JSS の主要計算機システム
名称

JSS-M/P

JSS-A

JSS-V

CPU

ScalarScalarVector

System

MPP

SMP

SMP

ノード数

3008/384

1

3

CPU/ノード

1

32

16

Core/CPU4

41

論理性能 [TFlops]

120/151.2

4.8

ノード性能 [GFlops]

40

40

1,600

総メモリ [TBytes]

94/6

1

3

ノードメモリ [GBytes]

32/16

1

1

メーカー

富士通 FX1

富士通 SEM9000

NEC SX-9

4. 性能評価
JSS における計算の中核となる JSS-M/V に関して実際に JAXA で使われている実アプリケーションによる性能評価を行った。まず JSS-M に対する評価について示す。表 2 にアプリケーションの概要を示す。どのア
プリケーションも日常的に使われている実用アプリケーションであり、各アプリケーションの特性としては P1 とP4 は演算負荷が大きいアプリケーション、P2 とＰ５はメモリアクセス負荷が大きいアプリケーション、P3 はネット
ワーク負荷が大きいアプリケーションである。
表 2：JAXA アプリケーション一覧
名称

適用先

計算手法

並列化

特性

P1

燃焼

FDM+化学反応

MPI+IMPACT

演算負荷が大P2

航空

FVM（構造）MPI+IMPACT

メモリアクセス負荷が大P3

乱流

FDM+FFTXPF+IMPACT

ネットワーク負荷が大

P4

プラズマ

PIC

MPI+IMPACT

演算負荷が大P5

航空

FVM（非構造)

MPI+IMPACT

メモリアクセス負荷が大表 3 に測定結果を示す。この結果より JAXA の実アプリケーションに対して JSS-M は CeNSS（従来システム
である NS-III の中核計算機）より平均で 10 倍以上高速であることがわかる。P2 と P4 の性能比が他よりも高いが、P2 は自動スレッド並列コンパイラの性能向上によりスレッド並列の範囲が広がったためと考えられる。また
P4 は MPI の集合通信の改善が主な理由と考えられる。逆に P3 が悪いのは他アプリケーションと異なり、演算負荷に対して相対的にデータ転送負荷が大きく経過時間ではほぼ同程度となる。JSS-M では通信性能比（対 CeNSS 比で 2 倍にしかならない）は演算性能比（周波数：2 倍、コア数：4 倍、その他：？倍）に比べて悪い
ため、全体の性能比が悪くなったと考えられる。

4

表 3：JAXA アプリによる性能評価
名称

CPU 数

CeNSS
[sec]

JSS-M
[sec]

性能比

P1

744

1380.4

143.3

9.63

P2

750

1468.6

91.5

16.05

P3

512

3517.0

491.7

7.15

P4

750

3061.7

193.0

15.86

P5

750

1447.2

181.6

8.13

平均
(相乗平均)

11.36（10.73）-

JAXA の代表的な実アプリの一つである UPACS を用いて JSS-M の性能評価を行った。UPACS は構造体、
動的配列、ポインター、モジュールといった Fortran90 の機能を活用して作成された汎用的な圧縮性流体解
析プログラムであり、3 次元マルチブロック構造格子および重合格子を扱うことができる。UPACS を用いたスケールアップ評価を図 2a)に示す。使用する CPU を増やす度に計算規模を増大させるスケールアップ評価では 729CPU まで 74%（ブロックサイズは 403）～96％（ブロックサイズは 2003）といった良い並列効率を示した。
ブロックサイズが大きくなると相対的に並列性能は良くなる。何故なら、ブロックの１辺を N とすると演算量は N3に対して通信量は N2 に比例するため、N が大きくなる、つまりブロックサイズが大きくなると相対的に通信によるオーバーヘッドが減少するからである。

a) スケールアップ評価b) IMPACT とフラット MPI の比較
図２：UPACS による JSS-M の評価

IMPACT とフラット MPI の比較を図 2b)に示す。IMPACT とフラット MPI で、どちらが良いかは色々な条件の影

5

響を受ける。例えば、CPU 内並列を考えた場合、IMPACT の並列性能は自動並列コンパイラの能力に依存するが、フラット MPI ではユーザーが明示的に並列化を行うことで高い並列性能が期待できる。一方、プロセス間通信を考えた場合、IMPACT はプロセス数を減少させることができるので、高プロセス並列においても性能劣化が低いが、フラット MPI の場合はプロセス数がコア数倍増えるため、高プロセス並列においては性能劣化が大きいと考えられる。またアプリ側の問題として計算格子のブロックサイズが大きくなるとフラット MPI が有利となる。これは前述したようにブロックサイズが大きくなると通信のオーバーヘッドが小さくなるからである。
ブロックサイズの影響は図 2b)からも読み取れる。現状の JSS の規模ではアプリケーションにもよるが IMPACT
よりもフラット MPI の方が若干有利かもしれないが、今後更なるスケールアップ（コア数、ノード数）を考えた場
合、フラット MPI の限界が見えてきたと考えている。
次にこれも JAXA の代表的なアプリの一つである LANS3D を用いて JSS-M および JSS-V の評価を行った。
LANS3D は航空宇宙分野で比較的初期に開発された先駆的な CFD プログラムで Fortran77 をベースに構造化プログラミング的な考え方で設計され、主にベクトル計算機向けに実装された典型的な圧縮性流体解析プ
ログラムである。並列化に関しては基本的に自動スレッド並列による並列化を行っている。プロセス並列化としては MPI を用いた領域分割に一部対応しているが、多数プロセスによる並列計算は現実的でないためここでは最大 8 プロセスまでとした。この LANS3D を用いて JSS-M/V のスピードアップ評価を行った。問題規模として約 3300 万点の計算格子を固定して、CPU 数を増やすことによる計算速度の向上を評価した。表 4 に計算の概要を示す。JSS-M では IMPACT を用いて、プロセス数として１～８プロセスまで測定を行った。プロセス数に応じて計算格子をブロック分割し、1ＣＰＵに１ブロックを割り当てた。JSS-V および SSS（現在も相模原で運用中の NEC 製 SX-6）ではノード内に限定し自動並列でスレッド数１～１６（SSS は８まで）で計測を行った。またベクトル長の影響を見るため、320x320x320 が１ブロックの計算と 160x160x160 が８ブロックの計算を行った。
測定結果を図 3 に示す。図 3a) は計算時間を比較したもの、図 3b) は相対的実行効率を比較したものである。ここで相対的実行効率は計算時間の逆数を利用したＣＰＵのピーク性能で割った値であり、単位ピーク性
能あたりの計算速度を示す。そのためこれらの値の比較は実行効率の比較と同じ意味を持つ。相対的実行
効率は通常の実行効率とは異なり、利用範囲が限定されるが、ユーザーの実感に近い、計測が容易といったメリットがあるため、ここでは相対的実行効率を比較した。図 3b) より SSS(SX-6)と JSS-M(FX1)では実行効率
で 3 倍程度の違いが見られるが、JS-V(SX-9)と JSS-M(FX1)では約 2.5 倍程度の違いに縮小していることがわかる。また JSS-V(SX-9)は SSS(SX-6)に比べてベクトル長が短くなると性能が悪化することもわかる。
表 4：LANS3D による評価
システム

プロセス数

スレッド数

ピーク性能
[GFlops](ブロックサイズ)
×ブロック数

JSS-M

1
2
4
8

4
8
16
32

40
80
160
320

(320x320x320) x1(320x320x160) x2(320x160x160) x4(160x160x160) x8

JSS-V(SX-9)

1

1,2,4,8,16

102.4～1638.4(320x320x320) x1(160x160x160) x8

SSS(SX-6)

1

1,2,4,8

9.0～720(320x320x320) x1(160x160x160) x8

6

並列手法
IMPACT
MPI+IMPACT

自動並列

SX-6

SX-6

FX1

SX-9

SX-9
FX1

a) 計算時間の比較b) 相対的実行効率の比較

図 3：LANS3D による評価結果（JSS-M(FX1), JSS-V(SX-9), SSS(SX-6)）

5. 大規模解析
JSS 導入時に JSS-M の半分を１ヶ月程度利用する大規模解析を実施した。「液体燃料噴流微粒化過程解明の大規模計算（LSC1）」と「大規模粒子計算で探る宇宙空間衝撃波のダイナミクス ～科学衛星観測成果の理解に向けて～（LSC2）」の 2 件でそれぞれの計算概要を表 5 に、スケールアップでの並列化効率を図４に、計算結果の一例を図５に示す。LSC1 は計算時間ネック、LSC2 はメモリネックの解析である。また並列化
効率も LSC1 では 50%弱であるが、LSC2 は 90%以上の高い値となった。それぞれの計算結果は当該分野で大きな成果を挙げているが、それらの成果もさることながら、導入初期に大きなトラブルもなくこれらの計算が延べ２ヶ月に渡って実行できたことはシステムの安定性・信頼性が非常に高いことの表れである。これとは別に一般的な Linpack HPL の計測も行ったが、その際も延べ 60 時間以上の高負荷計算においてもトラブルな
く計算を完遂することができ、システムの安定性が非常に高いことを実証できた。なお、Linpack に関してはRpeak=121.282TFlops に対して Rmax=110.600 となり高い実行効率（91.19%）を示した。

表 5：大規模解析の概要
LSC1

LSC2

並列規模

1440 プロセス（5760 コア）

1444 プロセス（5776 コア）

計算規模

格子点：58 億点

格子点：4.5 億点、粒子数：500 億個、
メモリ：40TB

計算時間

410 時間740 時間出力ファイル

153TB（25 時間）

180TB（総量：430TB、43 時間）

実行効率

約 4%程度

約 8%程度7a) LSC1b) LSC2
図４：大規模解析の並列化効率（スケールアップ）a) LSC1 の結果

b) LSC2 の結果
図５：大規模解析の計算結果例

6. おわりに
JAXA の新スパコンシステム（JSS）について、設計思想、システムの概要、初期性能評価、大規模解析例などについて紹介した。今後は更なる性能評価、ユーザーのチューニング支援、可視化システムの整備などを進めて行くと同時に、JSS を活用した数値シミュレーション技術により、JAXA 事業における設計開発プロセス
自体の革新を目指し、「もの造り」への貢献をより強力に推進して行く。
以上

8

内

容

• 背景
• JSSの設計思想• システム構成と特徴• 性能評価• 大規模解析• まとめ

JAXA Supercomputer System(JSS)の紹介と性能概要
高木亮治，藤田直行，松尾裕一（宇宙航空研究開発機構）

2

ロケット

JAXAのしごとJAXAにおける数値シミュレーション技術• 学術研究のツール– 宇宙科学を中心に• 航空機、ロケット、衛星・探査機の設計・開発

月・惑星探査– 信頼性向上、開発期間の短縮、コスト削減、先進的技術の開発…
– 数値シミュレーション技術の活用を重点化

地球観測• 基礎実験/データ、打ち上げ実績：欧米と大きな差

航空機• アプローチの仕方

天文学
宇宙物理
通信、技術試験衛星
ほかにも3
宇宙ステーション
教育 いろいろ– 課題解決• 現象理解（極限状態）– 設計プロセスの革新• 概念検討、最適化（設計探査）
3
未来の技術

4

JAXA統合前夜
’85

’90

’95

調布
VP400

旧NAL

’00
Gordon Bell Prizes’94, ’95, ’96

NWT
CRAY Y-MP, M92
Paragon 366

角田
旧ISAS

’05

VP200

VPP500/7’15PRIMEPOWER JSS1(FX1, SX-9)
HPC2500

SX-4

相模原

’10

NS

JSS

JSSの設計思想

SX-6

NSE
SX-6

VPP800/12

SSS

JAXA発足5 / Space
42 Science Simulator
NS: Numerical Simulator System, NSE: Numerical Space Engine, SSS:

5

システム名

NS

NSE

SSS

ピークTFLOPS値

9.3

0.5

1.1

主記憶容量[TByte]

3.7

0.5

1

64

128

総CPU数

1792

演算器の種類

スカラ

ベクトル ベクトル

調布

角田

相模原

旧システム（主にNS）の課題• アプリモデル(1)大規模SMPノードの課題

– 工学系
– 学術系

– 資源枯渇– ベクトルからスカラーへの転換– 性能が出ない• メモリバンド幅の不足、自動並列コンパイラの能力不足• アプリモデル(2)通信– 大規模スレッドの使いにくさ– モデル1：計算多– モデル2：通信多– モデル3：メモリアクセス多– サイトが別々である事の弊害– セキュリティレベル– 高額なソフトウェア、ライセンス管理
7

系• 運用者側から、

モデル2
術• 実行時間のブレ → チューニングができない• 運用部隊の非効率性、情報の一元管理、利用技術の共用• JAXA統合効果⇒ スループット重視（Capacity計算指向）⇒ 性能、規模重視（Capability計算指向）

学• 利用者側から、

アプリケーションからの視点

モデル1

どこを中心に設計するか？

工学系 モデル3
メモリアクセス8

アプリケーションからの視点

運用サイドからの視点• 基本要件• 基本要件– 性能向上（目標：150TFlops）– メモリ性能（B/F=1）– 工学系中心、学術系にも配慮– 安定稼動（トラブルが少ない、設定が楽）– 運用管理が楽、運用コスト少– 設置性（スペース、電力、冷却）– ユーザに対して同一サービスを提供• システム要件– ノード性能、メモリ性能、メモリ量は高い・多い方が良い– ノードは，SMP等の大規模ノードでなくて良い– 現状の並列モデルを大きく変えない– ノード内並列は自動化– 通信はある程度の範囲で速く
9• 遠隔からの利用に対して– ソフトウェアの移植性、汎用性– システムの拡張性– 性能情報が取得可能なこと

10

技術トレンドからの視点

検討結果• 基本技術• CPUまわり– プロセスあたりの性能はできるだけ高くしたい– 先端的過ぎる、実績がないものは危険• 流体解析は計算量が多い– 計算ノードに大規模SMPは性能面で不利• 使いこなすのが大変• 電力、コスト、メモリ性能– 5年間分の需要と将来動向を見据えた確実な技術– スカラーCPUの場合、マルチコアを如何に有効に利用するかが課題• 当面マルチコア• メモリまわり• ノード– 運用実績より、RAM比（TB/TF）=0.6～0.8（90～120TB）で十分– ノードのメモリとして、数10GBは確保したい– 後処理や非並列ジョブのために、ある程度の規模の共有メモリ（数100GB）ノードが別にあると便利– メモリバンド幅は、B/F比=1 程度以上は必要– 小規模ノードが有利（メモリ性能、電力、コスト）• 結合ネットワーク（インターコネクト）– クロスバは無理– フルバンドの多段結合網• 結合NWまわり– 高速な通信はこの範囲（全体の1/4まで）で行われれば良い。
• 全システムを使うジョブはなく、最大でも1/3システム程度。通常は1/20～1/4が多い。

1112

システム構成
計算エンジン部• 大規模並列計算機システム• 共有メモリ計算機システム

ストレージ部

システム構成と特徴• ストレージシステム

分散環境統合部• 遠隔利用システム• 分散データ共有システム• 高速ネットワーク
14

概要

計算エンジン部• 国内最高クラスの性能

システム名称– スカラー：135TFLOPS、ベクトル：4.8TFLOPS• 世界最高クラスのLINPACK実行性能：
91.19%• 実用計算志向、使い勝手・円滑な移行に配慮– 複数のアーキテクチャが混在：選択の自由– 大規模メモリ：100TB以上– 大規模ストレージ：ディスク 1PB、テープ10PB– 共有メモリシステム：1TB共有メモリ• 遠隔地からの利用環境– JSSネット：SINET3、VPNによる高速接続– ローカルシステム
15

Pシステム

ノード数

Aシステム

Vシステム

スカラー

システムタイプ

ベクトル

MPP
3008

CPU数/ノード

SMP
384

1

1

3

32

16

コア数/CPU(全コア数)

4（12,032）

4（1536）

4
（128）

1
（48）

ピーク性能[TFlops]（ノードあたり[GFlops]）

120
（40）

15
（40）

1.2
（40）

4.8
（1600）

メモリ容量[TByte](ノードあたり [GByte])

94
（32）

6
（16）

1
（1000）

3（1000）

富士通
SEM9000

NEC SX-9

製品名

富士通 FX1

16

計算エンジン部（JSS-M/P）• 富士通製FX1クラスタ• 3,008ノード（12,032コア）

計算エンジン部（JSS-M/P）• Integrated Multicore Parallel ArChiTecture：IMPACT– コア間ハードウェアバリア
– 6MB 共有L2キャッシュ– 自動スレッド並列コンパイラ– SPARC64TM VII 2.5GHz、4コア– 40GFlops、32GByte@ノード• 最内ループ並列でも性能が出る• 94ラック– 32ノード、12KW@ラック• 高メモリ性能– 高メモリバンド幅 40GB/s– 低レイテンシ– 高信頼性（チップキル ECC）

4ノード＠シャーシ• FBBファットツリー・インターコネクト– DDR Infiniband• 120TFLOPS、94TB• ノード間高速バリアネットワーク– データ転送とは別– ノード間ハードバリア– 集合通信のハードウエアサポート– OS割り込みによる遅延低減– Linpack：110.6TFLOPS、91.19%• JSS-Pはサブセット（15TFLOPS）
17

Mシステム

CPUタイプ18

計算エンジン部（JSS-A/V）

ストレージ部• 1TBの大規模共有メモリマシン• 前後処理、非並列ジョブ、特殊ジョブ（ベクト
ル向けジョブ、市販アプリ）• DISK：1PByte– RAID5– 4Gbps FC：180本– キャッシュ：360GB– SATA：7200rpm、
750GB• JSS-A：富士通製SEM9000、1ノード– SPARC64TM VII 2.5GHz、4コア、40GF@ﾁｯﾌﾟ– 32CPU(128コア）、1.2TFLOPS– Fluent, NASTRAN, FIELDVIEW• テープ：10PByte⇒• I/Oサーバ：

4.8TFLOPS、3TB

L-systemInfiniband

Ether

FC-SAN SW• HSM：
20

分散環境統合部

LTO
×48

RAID
×90

– SAM-QFS

新スパコン棟• 遠隔利用システム（Ｌシステム）：
主要事業所へのフロントエンド機能の提供• 冷却効率の向上

J-SPACE調布 DISK– 排気拡散防止板、空調ダクト
で暖気と冷気を分離– 電力消費量の試算– ガス空調機– 防音対策

角田 DISKTape– 角田、筑波、相模原

筑波 DISK• インターネット(SINET3)越しの高速なファイル共有

相模原 DISK– SRFS on Ether• 設備制御システム– 自動運転の実現

M-System
P-System
A-System
V-System
Storage System• 各拠点間でのデータ共有が可能な分
散データ共有システム– J-SPACE(HPSS)• 起動・停止時• 負荷に応じた空調制御

JSSnet (VPN, Gigabit Ethernet) on SINET3

21

A-system

FC-SAN SW– SEM9000×3

19

角田

M-system

SRFS/SRFS on Ether– 40×LTO4ドライブ、
8×LTO3ドライブ
SAM-QFSSAM-QFSSAM-QFS– 4×TS3500ライブラリ、 Solaris10
Solaris10
Solaris10
13,332カートリッジ• JSS-V：NEC製SX-9、3ノード– 102.4GFLOPS@CPU– 16CPU、1.6TFLOPS– ノード間はIXSで接続– ベクトル向けジョブ

28GB/sのI/O性能(by ioperf, 270ノード)

Ｌ-System

Ｌ-System

0.3TFLOPS
256GB
20TBytes【SE M5000】

0.3TFLOPS
256GB
3TBytes【SE M5000】

筑波

Ｌ-System相模原

0.3TFLOPS
256GB
3TBytes【SE M5000】

22

空調機
吹出温度
［℃］

空調機
消費電力比
A

計算機
消費電力比
B

システム全体
消費電力比
C=A+B

２０

１（基準）

２．００

３．００

２５

０．９５

２．０８

３．０３

新スパコン棟• 排気拡散防止板• ダクト

JSS-M（FX1）の性能評価
Linpack
JAXAベンチマーク
UPACS
排気拡散
防止板

23

Linpack HPL

JAXAベンチマーク• JAXAの代表的なアプリケーション• Top500のランキングに使われるベンチマーク

Top500ランキング（国内分）
順
位

サイト

22

地球シミュレータ

SX-9/E

28

JAXA

FX1

Rpeak
[TFlops]Rmax[TFlops]

効率
[%]

1,280

131,072

122,400

93.38

12,032

121.282

110.600

91.19

マシン

コア数

40

理研

RX200S5

8,256

96,76087,890

90.83

41

東工大

Sun Fire

31,024

163,188

87,010

53.32

42

東大

HA800012,288113,050

82,984

73.40

47

筑波大

Xtreme-X3

10,36895,38577,280

81.02

名称

対象

手法

並列化

P1

燃焼

FDM+化学反応

MPI+IMPACT

P2

汎用

FVM（構造）MPI+IMPACT

P3

乱流

FDM+FFTXPF+IMPACT

P4

プラズマ

PIC

MPI+IMPACT

P5

汎用

FVM（非構造）

MPI+IMPACT

Data transfer intensive

P3

演算量が多い[2009.6現在]
25

データ転送が多い

JAXAベンチマーク

P4

P5

P1

Memory access intensive
Memory access ratio

Low

4000

18

3500

16

P2

2500

10
2000
8
1500

6

1000

Performance ratio

12

P1
(744)

P2
(750)

P3
P4
(512)
(750)
Applications

隣接

通信

通信

P5

全体比

9.9

7.40

4.6

1.5

1465.60

79.3

18.5

3.0

0.5

リダクション

1.48

0.3

4.9

0.00

6.5

0.0

1650.0

134.6

12.3

472.9

162.3

2.9

1394.1

194.8

7.2
14.3

1.48

隣接
リダクション

2504.80

175.70隣接

102.70

13.50

7.6

リダクション

616.30

3.60

171.2

0.02

0.20

0.1

1208.6150.00

8.1

125.2

10.20

12.3

30.6

0.75

40.8

124.4

20.61

6.0

隣接
通信

比

バリア

隣接
通信

演算

P5
(750)

3次元スケールアップ

リダクション
バリア

9.63

16.48

7.15

15.86

8.13

IMPACT 対 フラットMPI• UPACS
1

23

33

フラットMPIが速い

UPACSを利用• CPU内並列性能– 自動並列：コンパイラ– MPI並列：ユーザー指定

IMPACTが速い• プロセス間通信性能– プロセス数：小– プロセス数：大プロセス数増大• ブロックサイズ– ブロックが大：フラットMPI有利
CPU数

プロセス数

スレッド数

ブロック数

IMACT:1CPU

1

1

4

1

フラットMPI:1CPU

1

4

1

4

IMPACT:1331CPUs

1331

1331

4

1331

フラットMPI:1331CPUs

1331

5324

1

5324

ブロックサイズ増大– 計算負荷(N3)と通信負荷(N2)のバランス
29

通信

バリア

28

– MPI+IMPACT

138.4

演算
P4

2 CeNSS
JSS-M
0 Ratio0

FX1 [sec]

1373.0

演算
P3

4

500

HPC2500 [sec]
演算
演算

14

3000

27

• ブロックサイズは40～200• 729(93))CPUまで良い
並列効率(74～96%)を示す• ブロックサイズが大きくなると並列効率が向上High

JAXAベンチマーク
P1

Time [sec]– ネットワーク：2倍• P2：自動並列コンパイ
ラの改善• P3：通信性能不足• P4：集合通信の改善

P5P2• JSS-MはCeNSS(旧ｼｽﾃﾑ)に比べて11倍(平均)高速• クロック：２倍• コア数：４倍• その他：？

P1

メモリアクセスが多い

P4

Low CPU intensive

26• CeNSS性能比– 演算性能：(8＋α)倍

P2

P3
High

Data transfer ratio– 高い実行効率：91.19%– 長時間安定稼動：60時間40分 → 耐久試験

30

3次元スピードアップ• 問題規模（約3300万点格子）を一定にして使用するCPU数を増やして速度向上
性能を評価

JSS-Ｖ（SX-9）の性能評価
LANS3Dによる評価

プロセス数

スレッド数

ピーク性能
[GFlops]

ブロックサイズ×ブロック数

並列

1

4

40

(320x320x320)x1

IMPACT2

8

80(320x320x160)x2

4

16

160

(320x160x160)x4

8

32

320

(160x160x160)x8

JSS-V

1

1, 2, 4, 8, 16

102.4～
1638.4(320x320x320)x1(160x160x160)x8

SSS

11, 2, 4, 8

9.0～720(320x320x320)x1(160x160x160)x8

システム

JSS-M

MPI+IMPACT

自動並列

32

3次元スピードアップ

3次元スピードアップ• 計算時間（左図）と並列効率（右図）• 相対的実行効率= 1/計算時間/ピーク性能

1
FX– 利用範囲は限定的– ユーザーの実感に近い– 計測が容易-6
SX

JSS-V:3203• FX1に対して-9
SX• SX-9はベクトル長の
影響が大

FX1

34

大規模解析の実施• LSC1：液体燃料噴流微粒化過程解明の大規模計算

大規模解析• LSC1– 並列規模：1440プロセス×4スレッド=5760コア– 計算規模： （←計算時間ネック）• 格子点数：58億点– 新城淳史（JAXA/研究開発
本部）• LSC2：大規模粒子計算で探る宇宙空間衝撃波のダイ
ナミクス～科学衛星観測成果の理解に向けて～– 篠原 育（JAXA/宇宙科学
研究本部）
35

SX-9

– SX-6：約3倍– SX-9：約2.5倍

JSS-V:1603

33

SX-6

– 計算時間：410時間– 出力ファイル：153TB（25時間）– 実効効率：約4%程度• LSC2– 並列規模：1444プロセス×4スレッド=5776コア– 計算規模： （←メモリネック）• 格子点数：4.5億点、粒子数：500億個、メモリ：40TByte– 計算時間：740時間– 出力ファイル：180TB（総量：430TB、43時間）– 実効効率：約8%程度• 導入初期での安定稼動を実証
36

大規模解析

ＬＳＣ１：計算の目的と概要• 並列化効率（スケールアップ）• エンジン燃焼性能に重要な噴霧の物理を解明する– LSC1：50%弱、LSC2：90%強• これまで噴霧の形成過程は謎のまま• 試行錯誤による非効率性と解析精度の悪さが問題

ＬＳＣ１

ＬＳＣ２

B. Chehroudi et al. (2002)

本計算で、噴霧の形成過程を根元から解明する（赤枠内）

37• 気液二相流コード（表面張力あり）で最小液滴形状も解像できる格子で計算し、微粒化物理を解明する• 総格子数約60億点と世界最大規模

38

ＬＳＣ１：成果

ＬＳＣ２：計算の目的と概要• 宇宙における衝撃波は高エネルギー粒子の生成
現場→粒子加速の物理機構は何か？

– 微粒化へ至る詳細な物理を直接観察した• 特に液糸形成、液滴形成における表面張力波の役割について従来の考え方の不備を指摘。これにより従来の噴霧モデルを修正する作業へ移行中。
①縦方向と横方向の不安定

表面不安定の発達（実線：縦方向、点
線：横方向）• 科学衛星によりその場の観測が可能だが先頭傘による速度場乱れ– 衛星観測の限界：絶対的な情報量の不足– 観測データの高精度化：データの解釈が難解②液糸の形成（先頭傘および中心コア） ③液糸からの液滴の形成
液糸表面での表面張力「波」の形成とその不安定化による液滴生成物理を確認した。また、実際の噴霧では純粋なレーリーモード
は起こりにくいことを指摘。

39

実験では高速・小スケール・3次元のため流れ場を細かく見るのはかなり困難• 世界初の本格的な３次元計算により無衝突衝撃波の物理機構の解明、今後の科学衛星観測ミッションと連携40

JSS利用の今後
統合運用

ＬＳＣ２：成果
イオン

調布スパコン

JAXA統合スパコン

2009.4

角田スパコン• 数値シミュレーションによる★設計開発における課題解決★設計開発プロセス自体の革新• 3スパコンの統合による運営の効率化

相模原スパコン
2003.10 2005.10
JAXA発足 JEDI発足

電子

衝撃波遷移層による電子加速（情報・計算工学センター）

観測装置の
高精度化

未解明現象
の理解

具体的活用事例：

衝撃波

と
発展 調
技術
利用 発展の協機
計算

LE-7A、LE-5Bｴﾝｼﾞﾝの設計改良
H-IIBｴﾝｼﾞﾝの横推力リスク回避
LNGｴﾝｼﾞﾝ異常燃焼究明
固体ロケット音響・空力評価

低騒音射点
の設計
設計開発におけ
る課題解決

宇宙開発
宇宙科学
次世代解析技術

無衝突衝撃波の物
理機構が明らかになった。

国産航空機の高性能化
基盤的技術力の向上
学術的発展

航空分野
流体科学
三菱航空機（株）提供

41

革新的設計
ツール

42

利用分野の拡大と「もの造り」への貢献

まとめ

今後の課題

• JAXAの新スパコンシステム（JSS）について紹介した。

• 詳細な性能評価→次期システムに向けて• ユーザーのチューニング支援• 大規模解析の継続←大規模システムの存在意義– 設計思想– システムの概要– 初期性能評価– 初期導入時に実施した大規模解析– 1,000ノード程度を定常的に• 可視化システムの構築– 大規模可視化（並列可視化）• 利用の今後の方向性• 例）現状：25GB →– 「もの造り」への貢献– 課題解決 → 設計開発プロセス自体の革新

JSSでは500GB– 定常解析から非定常解析へ→

桁以上でデータが増大– 遠隔可視化• 例）相模原⇔調布間：500GBを転送すると7時間

43

44

可視化システムの試作
スパコンディスク
のマウント（将来）

4ノード

CPUx2
16GB

CPUx2
16GB

CPUx2
16GB

CPUx2
16GB

GPU

GPU

GPU

GPU

プロトタイプ
可視化システムNFS
10G Ether

フロントエンド

調布
相模原
45

IB.or.10G

File Server

CPUx2
16GB
GPU

1G

Work Station

VIXEL端末46