サイエンティフィック・システム研究会
平成 16 年度 合同分科会 資料2004 年 10 月 28 日

科学技術計算分科会代表報告

21 世紀に生き残る計算機センターをめざして
理化学研究所 情報基盤センター
姫野 龍太郎1. はじめに
まず、最初に TOP500 スーパーコンピュータ・サイトのリストの過去１０年の統計から、これまでのトレンドを調べることで、今後我々がハードウェアとしての計算機としてどんなものを考えればいいかを探る。次に、国立の研究機関と大学は独立法人化を行い、これまでと異なる制度のもとに置かれることになった。そのもとでは、計算機センターも従来と同じような方針と運営では立ちゆかないことが予想される。その状況の分析を行う。最後に、２００４年始めに更新した理研のシステムの導入にあたって、独立法人化を強く意識したシステム設計や運用を採用したので、参考のために紹介する。

2. TOP５００に見る日本の状況
過去１０年、TOP500 の中でアメリカはほぼ常に半分を占めていた。一方、日本は 111 から 33と 1/3 以下に大きくシェアを落としている。この間、計算機はベクトルからスカラーへと主流が変化し、クラスターが登場に急激にシェアを伸ばしている。日本のシェア低下の原因はアーキテクチ
ャが急速に変化しているのに、従来と同じ選択を繰り返し、結果的に価格性能比が悪いシステムを選んでいることにある。

3. 計算機センターの役割の変化
1)

代替手段の登場
古くはワークステーションの登場で計算機センターを使わずにそれなりの計算ができるようになった。ここ１０年を見ると、PC が高速化し、このワークステーションの役割を担い、更にクラスター化することでユーザーが必要とする性能を十分に担うことができるようになってきた。このため、計算機センターに頼らず、自前で計算ニーズを満たすという選択肢があり、計算機センターの必要性が下がってきている。
2)
独立法人化の影響
従来、国立機関の計算機センターの予算は予め決められ、他に転用されることはなかった。
しかし、独立法人化されると理事長の裁量で他の用途に使うことができる。このため、計算機を利用する場合、計算にかかる費用を研究費として配分することと見なし、同様の選別をすることが望ましい。また、一部の研究者だけに利用が限られていることは問題であり、広く計算ニーズを探り、対応することが必要である。

4. 以前のシステムの問題点３で示したことを考慮し、従来のシステムを見直した。問題点は
1) ユーザー層が計算科学に限られ、しかも、外部の共同研究者が多い
2) ベクトル化されていないプログラムでは PC よりも遅い

5. 新システム
そこで今回は価格性能比が良い PC クラスターをシステムの中核にしたシステムとした。システムの利用に関しては競争的資金の募集手続きを参考に、同様の応募書類と選考委員会を設け、審査することとした。しかし、システム全体の１％以下の利用では利用を妨げないよう、簡易な手続きとした。さらに、バイオ系の研究者用に特化したシステムと、高エネルギー物理実験に特化したシステムを用意し、これらの分野の研究に配慮した。

6. クラスターの現状と問題
現状は予想よりも高い利用率と低い故障率で順調に推移している。しかし、予想外に非常にたくさんのシングル CPU のジョブがあり、クラスタ用のジョブ制御システムの限界が見えてきた。

7. 今後
現在、高速なネットワークによるグリッドコンピューティングが急速に進展している。今後、孤立した計算機センターでは多様化するユーザーのニーズに応えられなくなる。そこで、それぞれの計算機センターが連携し、グリッドコンピューティングによって互いに計算リソースを相互利用できるようにして行きたいと考えている。

Advanced Center for Computing and Communication

21世紀に生き残る計算機センタをめざして
理化学研究所
情報基盤センタ
姫野龍太郎
himeno@riken.jp

内容

TOP５００に見る日本の状況
計算機センターの役割の変化

1.
2.
••

代替手段の登場
独立行政法人化の影響

以前のシステムの問題点
新システム

3.
4.
••

5.

Advanced Center for Computing and Communication

構成・性能HPC・Bioポータル

クラスタの現状と問題
2

Advanced Center for Computing and Communication

１．Top500にみる日本の状況
300
250
N o . of System s

約５０％はアメリカ
200
150

日本は減少
１０年で１／３

10050

韓国・台湾・中国は増加

USAJapanGermany
Korea
TaiwanChina

1993.
19 694
19 .695.
19 696
19 .697.
19 69819 .699.
20 60020 .601.
20 602
20 .603.
20 604.603

Advanced Center for Computing and Communication
Processor Architecture Share in Top500

100
80
60

９５年にベクト
年にベクトルからスカラーへ
scalar %vector %

40

SIMD

20
2000
2001
2002
2003
2004
2005

1994
1995
1996
1997
1998
1999

04

Advanced Center for Computing and Communication

System Architecture Share in Top500
80、SIMD、
70 単一CPU
単一CPU、SIMD、SMPは消滅
SMPは消滅Cluster

60 クラスタがメジャーにConstellation

50MPP

40SIMD

30Single
Processor
SMP

20101993
19 .694
19 .695
19 .69619 .697
19 .6
98
19 .6
99
20 .600
20 .6
01
20 .6
02
20 .6
03
20 .604.60

5Advanced Center for Computing and Communication

１０年間のTOP５００の推移
n スカラがベクトルを駆逐
n SMPからSMPのクラスタ（Constellation）
n クラスタが生まれてメジャーにn アメリカは 50% を維持
n 日本は1/3にn 韓国、台湾、中国は増加

6Advanced Center for Computing and Communication

なぜ日本は減少したか?
n アーキテクチャーの変化に追いつかなかった
n 大きなセンターは同じアーキテクチャ
n クラスタは特定の研究プロジェクト向きで、一般的な計算機センターに向かない

7

Advanced Center for Computing and Communication

今はクラスタが全盛?
n クラスタの良さはコストパフォーマンス
n しかし、クラスタは以下の場合は一般的に不向き¨ 大きなメモリーが必要で、並列化できない場合¨ 可視化¨ 計算機センター用途n 信頼性
n ジョブ管理8

Advanced Center for Computing and Communication

２．計算機センターの役割の変化
n 代替手段の登場¨ ８０年代後半のWSの登場¨ PCの高速化¨ PCクラスタの登場

n 独立法人化の影響¨ 予算の流動化・
理事長裁量¨ 計算センター運用費は特定研究への補助？

9Advanced Center for Computing and Communication

計算速度のトレンド
Earth Simulator★
SX-5▲ SR8000ASCI Blue ★ +VPP5000
ASCI Red
SX-4 ★
VPP800Flop/s12tera３．８年で１０倍

1010101010+NWT

SX-3 S-3800▲
VP2000SX-2S-820▲

giga

S-810 ▲★++★

+ CRAY C90

CRAY Y-MP
VP400

ILLIAC4CRAY X-MP + CRAY2VP200
CDC76008CRAY T90

PCの高速化CRAY16

STRETCH

mega+

CDC1604

IBM704

WSの登場

CDC6600 230-75/APU

LARC

９年で１０倍410UNIVAC

kilo
2

３．８年で１０倍

計算機センターの蜜月の終わり

ENIAC

10Mark I

1950

1960

1970

1980

1990

Source:L.Smarr
ＡＳＣＩＵＲＬ

2000
10

Advanced Center for Computing and Communication

1CPUの速度(himenoBMT)

10000
Itanium2

MFLOPS

1000

P-4

100
Pentium

P-II, IIIPentium

Fujitsu

HitachiNEC101994/06 1995/10 1997/03 1998/07 1999/12 2001/04 2002/09 2004/01

11

Advanced Center for Computing and Communication

HimenoBMTと並列化
n HimenoBMT¨ 三次元の非圧縮性流体解析ソルバーのカーネル¨ ３次元一般曲線座標系¨ 圧力のPoisson方程式のソルバー部分¨ Jacobi法12Advanced Center for Computing and Communication

１９９９年からIA32のクラスタをテスト
n Pentium 2 x 8 cluster,

800

1999
700
n Pentium 3 x 8 cluster,
600
1999

1D
3D
3D+overlap
HPF

MFLOPS

500

400

300

200

1000
12345
No. of CPU

67813

Advanced Center for Computing and Communication

２０００年に導入テストしたクラスタ：
P4x64+Myrinet in 2000
27000
24000
21000

SMALL
MID
SMALL + multi
MID +multi(2,4,8)24.3
GFLOPS !!

MFLOPS

18000
15000

(4,2,4)

１CPUの44倍

12000
9000
6000

(4,2,2)

VPP700Eの３２PEと同じ性能(2,2,2)3000
0204060# of CPU14

Advanced Center for Computing and Communication

これらの結果からn PC性能はベクトル機の1/5の性能
n クラスタ性能はインターコネクトが十分速ければ台数とともに性能は向上する
n ネットワークコストは台数の増加とともに増加¨ 小規模クラスタの方が価格性能比がよい

研究室単位で購入できる安価な高速計算機
大規模化はコスト的に不利
計算機センターの存在理由は？
15

Advanced Center for Computing and Communication

独立法人化
n 理事長裁量¨ ２００３年５月の理研での出来事¨ ある日、理事長から電話が¨ スパコンのリプレースは延期!!

n 背景¨ 当時のスパコン：
ユーザーの2/3は外部¨ ユーザーは課金されず、使いたい放題¨ 運用費は研究費と等価¨ 理研のためになっているか16Advanced Center for Computing and Communication

３．以前のシステムの問題点%

それまでのシステム¨ Fujitsu VPP700E/160¨ ベクトル型並列計算機（１９９９年導入）計算性能、メモリ容量などPCなみ
n プログラムがベクトル化されていないと、性能は
PC以下

nc

1999
年
19 2月
99
19 年699 月
年
120 0月
00
年
20 2月
00
年
2000 6月
年
120 0月
01
年
20 2月
01
年
2001 6月
年
20 10月
02
年
20 2月
02
20 年602 月
年
20 10月
03
年
20 2月
03
20 年603 月
年
10月

nCPU稼働率の推移
100.00
90.00
80.00
70.00
60.00
50.00
40.00
30.00
20.00
10.00
0.00

年月

稼働率は９０％前後で、ジョブは常に満杯
n 主なユーザーは、計算科学分野で固定化
n¨ 計算化学、計算流体力学、分子動力学n

新規のユーザーにとってベクトル化は困難¨ スカラー向きソフトの利用が増加¨ フリーソフトの利用希望の増加

DB検索・実験データ処理ニーズ
n 並列化できないプログラムの存在n¨ １CPUで大きなメモリが必要

2002年1月

VU比2001年1月

0-20
20-40
40-60
60-80
80-1002000年1月

0%

20%

40%

60%

80%

100%

17

Advanced Center for Computing and Communication

４．新システム：その狙い

これまで以上の研究分野をカバー
従来のユーザー
計算科学
2/3が外部

RIKEN

バイオ分野
高エネ分野

18

Advanced Center for Computing and Communication

新システム設計での基本的な考え方

n コスト性能比の良い計算機

n できるだけ多くのフリーソフトが利用できる環境
n １CPUで大容量のメモリが利用できる環境
n 新規分野の開拓¨ 高エネルギー物理（実験データ処理）¨ ライフサイエンスn 旧来のユーザーも利用できる環境
n 他の計算機センターとの連携

異なるサブシステムから構成される複合型システム¨ Linux PCを高速ネットワークで接続したLinuxクラスタ¨ 大容量メモリ計算機（SX7）¨ グリッドコンピューティング技術を使ったジョブ制御

19

Advanced Center for Computing and Communication

リプレース

20

Advanced Center for Computing and Communication

新システムの概念図
MPIExperimental
data proc.
Bio-informatics

３２CPU, Mem. 256GB
256GFLOPS
XP

Interactive use

NRAT
R
FO

Large scale job

Computational
Chemistry

２０４８CPU, Mem.:1-2GB+I
MP

１０,０００GFLOPSMD Grape

Current UsersSPC

New Comer
21

Advanced Center for Computing and Communication

RSCCの特徴（１）n

用途ごとに異なるサブシステムで構成¨ Linuxクラスタは６つに分割

高並列のジョブ実行(通常128CPU並列，最大1024CPU並列)
長時間のジョブ実行（24時間から最長1週間）
n 占有利用も可能（現在は、高エネ物理実験データ解析、ゲノムDB用）
nn¨ SX-7

巨大なメモリを必要とするプログラム（Linuxでは最大2GB）
ベクトルチューニングされたプログラム
n VPPからLinuxクラスタへの中継的役割

nnn

複合システムを意識させないために¨ GRID技術の導入による計算資源の仮想化
n

ITBLプロジェクトにおける計算リソースとして利用¨ 利用者には、どのサブ・システムを使うかは明示させない¨ データはプログラム実行時にローカルHDDへコピー¨ HPCポータル：
Webによるスパコンの利用
22Advanced Center for Computing and Communication

RSCCの特徴（２）nLinuxクラスタでVPP Fortranをそのまま実行¨ Linux用XP Fortranの導入

n

ライフサイエンス分野¨ 常に最新のDBをLinuxクラスタのローカルHDDに配置するために、２５６CPUを占有：バイオ関連DBミラーサービスと連携¨ Bioポータルからのジョブ実行n

高エネルギー物理実験データ解析¨ 高速テープライブラリ装置（HPSS)を導入¨ 巨大な解析結果をテープライブラリ装置に直接格納

n

ITBLプロジェクト¨ 計算機センターアライアンス¨ 計算資源の相互活用

23

Advanced Center for Computing and Communication

ファイル処理n クラスタへは入力ファイルを転送
n 処理後、計算結果をユーザーホーム領域へ転送
n こうすることで¨ 処理がどこでも：
グリッドコンピューティング¨ ファイルアクセスが並列：
高速¨ 他のコンピュータから独立：
干渉がない¨ 転送に時間がかかる¨ 一部プログラムには修正が必要¨ データベース参照には不利¨ 会話型処理に不向き24

Advanced Center for Computing and Communication

RIKEN Super Combined Cluster
User

HDD
20 TB

User

Tape Storage
200 TB

User

User

Itanium2 Server: 2

POWER4 Server: 7
Tape Drive: 4 (16)
Disk Cache: 2TB

Front endServer

GEther

128Nodes(256CPUs)
Cluster×4Vector
Parallel
MDGrape
Cluster

512Nodes(1024CPUs)
Cluster

NEC SX-7/32
0.28TFLOPS
256GB
Pentium4 1.7GHz x 64
2GB/Node,Myrinet64GFLOPS×20
1.50TFLOPS

理論性能

25

Advanced Center for Computing and Communication

先代(VPP700E/160PE)

理論ピーク性能Intel Xeon 3.06GHz
4GB/Node, InfiniBand
6.26TFLOPSIntel Xeon 3.06GHz
2GB/Node,
Myrinet/InfiniBand,
1.56TFLOPS×4384 GFLOPS

現在（Linux cluster＋SX7）

比Linux cluster１：6.2TFLOPS

16

Linux cluster２：6.2TFLOPS

16

MD cluster：1.7TFLOPS

4.4

SX-7：0.28GFLOPS

0.73

合計16.1TFLOPS

41.9

PC cluster１：2TB
記憶容量

320 GB (160PE)

PC cluster２：1TB

10

SX-7：256GB
ディスク容量4.4 TB

20TB

4.5

テープ容量

100 TB

200TB

2LinuxクラスタでのLINPACK性能：8.73TFLOPS （70.4%)
世界で７位、日本で２位(2004.6)
今年度・来年度でMD-GRAPE３を導入：６０TFLOPSへ

26

Advanced Center for Computing and Communication

ライフサイエンス分野
n バイオ関連DBミラーサービス¨ バイオ関連のDBは散らばっている
n ユーザは各DBに様々なサーバを渡り歩く
n 理研内サーバに収集→ダウンロード元の一元化
n 24時間以内に最新DBを収集・公開¨ DBミラーの効果
n ダウンロード作業の短縮化
n DB情報管理をリスト一覧でWeb上に公開

n バイオポータル¨ 実験系研究者のためのDB検索サービス
n ウェッブを使ったインターフェースn 計算量小àローカル処理
n 計算量大àRSCCで処理

ユーザーは使っている計算機を意識しない

n DBはバイオDBミ
ラーと同期
27

Advanced Center for Computing and Communication

バイオミラーDBとバイオポータル・RSCCの関係

実行
依頼

結果取得
Webサーバ

小型計算サーバ

小大

小型計算サーバーのDBと同期
ダウンロードを一元化

RSCC

DBミラーサーバ

クラスターノードのローカルディスクと同期

28

Advanced Center for Computing and Communication
高エネルギー物理分野 大規模加速器実験におけるデータ処理及びシミュレーション

データ

クラスタから高速データア
クセス（HPSSシステム）

理研BNLセンター

理研和光

データ解析・シュミレーション
RSCC

測定器

加速器

29

Advanced Center for Computing and Communication

コンピュータ利用審査

21-50

n 従来：

11-20

51-

1-3

¨ 希望者は全て許可¨ どれだけ使おうと課金０

4-10¨ 2/3は外部ユーザー¨ 名ばかりの共同研究

n 現在どの位の人数で使っているか2000.12月ているか2000.12月¨ 資源の１％未満：
従来同様¨ １％以上：申請制¨ 研究意義と利用計算機資源を記入¨ 課題審査委員会で審議（研究費の審査と同じ）30

Advanced Center for Computing and Communication

５．クラスタの現状と問題点
n CPU利用状況
n 故障状況
n これまでの問題点31

Advanced Center for Computing and Communication

CPU usage on 512 nodes
Lunux Cluster pc1

CPU usage ratio (%)

806040200MarAprMayJunJulAug
32

Advanced Center for Computing and Communication

CPU usage on 4 x 128 nodes
Lunux Cluster2a

Lunux Cluster2c

CPU usage ratio (%)

80

CPU usage ratio (%)

80
60

60

40

40

20020

Mar

Apr

May

Jun

Jul0Aug

Lunux Cluster2d (Batch)Mar

AprMayAug

CPU usage ratio (%)

CPU usage ratio (%)

JulLunux Cluster2d (Interactive)

2080

Jun

60

1040200MarAprMay

JunJul0Aug

MarAprMayJunJulAug

33

Advanced Center for Computing and Communication

CPU usage on Vector/parallel SX-7
SX-7

CPU usage ratio (%)

8060
40200Mar

AprMayJunJulAug
34

Advanced Center for Computing and Communication

ハードウェア故障
これまでの故障は全てクラスタの計算ノード
Myrinetの故障は２回
故障は再起動時（計算中の故障は０）number of hardware faillures

15〜2004/Sep/2

10

予防保守：
InfiniBand ケーブル交換:
512/1024
Blade server ノード交換
128/128

5Launch 3/1

03

4

5

6

7

8

9month35

Advanced Center for Computing and Communication

現状n 予想以上に通信を必要としないジョブが多い
n 予想を超える数万件のジョブリクエストの要

望
n ジョブスケジューラが対応できない
n コントロールノードの性能不足
n 会話型の利用は非常に少ない
n ハードウェア故障は予想より非常に少ない36

Advanced Center for Computing and Communication

今後の計算機センター
n なにもしないと à

縮小 à コンビニ化
n 一方で、拡大し、巨大化¨ ナショナルセンター：
地球シミュレータn 他にない特徴を持つ
n 他のセンターと補完し合う連合を作る
n 新たなユーザーの確保¨ 今のユーザーを見ても明日はない¨ 今はユーザーでない人にどう使って貰うか

n 計算機利用の審査は研究費の審査と同じ
37¨ 同じ価値となる計算機リソースである必要

Advanced Center for Computing and Communication

今後の計算需要n 仮定を置いて演算量を少なくした計算

実な計算

à 原理に忠¨ 分子軌道法à分子動力学à第一原理計算

n 個々のミクロなシミュレーションを統合したマクロなシミュレーションへ à マルチレベル¨ レベルを繋ぐモデル化が必要¨ 分子の反応 à 分子ネットワーク à¨ 部品個体à 完成品、 部品 à 加工機全体

n 単一の現象のシミュレーションから複合したシミュレーションへ à マルチフィジックス

à 互いに関連する複合解析¨ 構造/流体 à 構造・熱・流体・化学反応¨ 単機能の解析

à 逆問題としてシミュレーション

n 実験データの処理¨ タンパク質構造解析¨ 高エネルギー物理

38

Advanced Center for Computing and Communication

未来はコンピュータパワーに
n 従来、新しい道具の開発は新しい発見につながった¨ 顕微鏡、望遠鏡・・・・

n 計算機の性能向上は従来不可能と考えられた計算を可能に¨ CFD、MD、第一原理計算

n 今後も計算機性能の向上で、新たに飛躍的に進展する研究分野が生まれる可能性¨ 飛躍的な発展はPCからではなく、スーパーコン

ピュータから39