PC クラスタWG報告
姫野龍太郎 理化学研究所

Outlinew PCクラスターとはw 背景
w 目的w メンバー
w WGの検討内容
w 活動w 今後の予定
2001年11月1日

計算って？

SS研合同分科会

21

PCクラスターとはw 複数台のPC＋NICネットワーク＝分散メモリー型並列計算機
w 市販PCをそのまま集めて構成
w ラックマウント型PCで構成

2001年11月1日

SS研合同分科会

3背景
w 安い・速い
w 科学技術計算分科会:PCクラスタは
Poorman’s Supercomputeer
w 合同分科会でのLinux討論会
10000

1000

P-IV
P-II, III100

Pentium
101994/06

2001年11月1日

計算って？

1995/10

SS研合同分科会

Pentium

Fujitsu

1997/03

1998/07

Hitachi
1999/12NEC
2001/0442

問題点
w 一から十まで、自己責任性能が出ない組み合わせn 新しいのは避ける
nw 自分の作業量を含めたトータルコストは大w 大規模な構成では小規模では気づかない問題も2001年11月1日

SS研合同分科会

5

WG設置の目的w PCクラスタの設計や保守に関する要望をまとめ、実現を図る
w 中小システムは効果が明らかなので、普及を図る
PR活動
n システム設計や運用の手引書作成
n アプリケーションの移植の要望や支援n

2001年11月1日

計算って？

SS研合同分科会

63

WGメンバーw [会員]○姫野 (理研)、真鍋(KEK)、庄司(原研) 、石井（広島大学）
w [富士通]○ 石田、大空、久門、佐藤、市川

2001年11月1日

SS研合同分科会

7

WGで話題として取り上げるもの(1)大規模なシステムにおける問題点の抽出(2)今後のクラスタ用ハード/ソフトの動向調査(3)規模による運用特性の違い(4) PCクラスターのリスク

2001年11月1日

計算って？

SS研合同分科会

84

(1)大規模なシステムにおける問題点
w ジョブのモニタリング、ロードレベライザーなどの管理ソフトが十分でない
w シリアルコンソールかモニター切り替え機か、
w リセットの手間w 資産管理上の問題
w ベンダーのサポートが受けられない
w データ管理(NFSは数百台規模では動かなくなるなど)
2001年11月1日

SS研合同分科会

9(2)クラスタ用ハード/ソフトの動向調査
w サーバー用CPUの動向
w Myrinet、GbitEthernetその他、高速ネット
ワークの動向w Linux/SCORE/MPI-CH(RWCPの今後なども含む)
w コンパイラー性能
w メモリーやチップセットの動向
2001年11月1日

計算って？

SS研合同分科会

105

(3)規模による運用特性の違い
w 基本的にマルチ・ユーザーには向かないのか
w ユーザーに占有時間を与える運用方法の検討
w 規模による適正化は可能か
w 小規模のシステム導入のポイントの整理
w 中規模のシステム導入の注意点
2001年11月1日

SS研合同分科会

11(4)PCクラスターのリスク
w ハードウエアのトラブル
w ソフトウエアのトラブル
w トラブルにあわないための仕様書の作り方、ベンチマークの仕方

2001年11月1日

計算って？

SS研合同分科会126活動(1)調査・ディスカッション(2)講演会の企画(3)WG会合

2001年11月1日

SS研合同分科会

13(1)調査・ディスカッションw 外部(新情報開発機構などの機関や、先端ユーザー、LINUX協会、インテルなど)に協力を求め、レクチャーやディスカッションを行ってゆく。
w この予定は事前に公開し、興味を持つ会員であればWGに限らず、参加できるものとする。
2001年11月1日

計算って？

SS研合同分科会

147

(2)講演会の企画
w 広くPCクラスターを普及し、さらに関係者への影響力を増すために、SS研会員に限らない、広い層を対象としたPCクラスタに関する講演会を企画・運営する。
富士通本社
n 200人規模の講演会
n 2002年5月9日(SS研総会の前日)
n

2001年11月1日

SS研合同分科会

15(3)WG会合
w これまでに2回開催
w #1は自己事例紹介と活動内容の検討
w #2から実質的な活動
富士通研究所・久門氏“PCクラスタ〜その性能と今後〜”
n RWCP・住吉氏“RWCPでのPCクラスタへの取り組みと構築上のポイントについて”n

2001年11月1日

計算って？

SS研合同分科会

168

久門氏の講演要約
w 性能の向上が著しいが、スペック通りの性能を出すには、慎重な選択が必要
w 知識が性能を決める
w 差は増大傾向
w CPUはP4が当面最適
w インターコネクトの比較
専用 : Myrinrt, cLAN, Infiniband
n コモディ
ティ: 性能が確認されたＮＩ
Ｃを選択する事が必須n

2001年11月1日

SS研合同分科会

17

住吉氏の講演要約(1)w PCクラスタを確実に動かすためには、ハードウエアの適切な選択が大事
w 空調、電力、ケーブリングなど細かく気を使う必要。これがあとの稼働に大きく響く。
w 自分でどこまでやるのか/やれるのかをよく考えて、仕様書を書こう
w 導入当初の試験が初期不良出しや、所定の性能を出すために重要
2001年11月1日

計算って？

SS研合同分科会

189住吉氏の講演QA#1
Qケーブル配線が多数あるが、ラックの場所を移動させる場合はどうするのか?
Aそのラックに接続されているケーブルを全部はずして移動するしかない。
Q配線をすっきりということだが、一本ずつケーブル長が違うのか?
A1本ずつ違う。ただし、PCを搭載する構成が決まれば何mが何本という形で業者に作ってもらうことができる。
Q電源の線は各PCから全部だしているのか、UPSはどうしているのか?
A各PCから出している。UPSは数が多いため設置していない。
2001年11月1日

SS研合同分科会

19

住吉氏の講演QA#2
Q.セキュリテイ対策はどうしているのか?
A.PCクラスタをプライベートネットワークに接続し、対外接続はファイアウォール経由とする、各ノードへのtelnetを禁止する、といった対策が考えられる。
Q.大きな計算をする場合各ノードに結果ファイルが分散することになるが、それらの管理はどうすればよいのか?
A.計算後にバラバラのデータを1ヶ所へ集めて処理する方法、クラスタファイルやNFSのようなファイルを利用する方法、計算ノードで最終処理(可視化など)までする方法、などが考えられる。（WGで今後継続して、調査する）

2001年11月1日

計算って？

SS研合同分科会

2010

住吉氏の講演QA#3
Q.並列コンパイラはMPIを不要にするものではないのか?
A.理想はそうだが、現実はMPIで開発されている方が多い。
C.富士通はVPPのコンパイラでそれを実現しているのだから、そういう技術をPCクラスタでも実現してほしい。
Q.1000台規模のクラスタの利点と欠点は?
A1.利点はトラブル切り分けの時、半分のシステムに分割して同一プログラムを流すことにより問題個所を切り分けられる。
A2.欠点は数が多いのでハードトラブルが色々出る
C.トラブルが出たときベンダーの対応力がわかる。
2001年11月1日

SS研合同分科会

21

住吉氏の講演QA#4
Q.トラブル発生率の高い順にいくつかの問題を教えてほしいA.ケーブルの接続不良が多い、その他は熱問題によるCPUのトラブル、メモリエラー、DISK障害、ネットワークスイッチ障害、という感じ。
Q.某ベンダーのPCはファンがよく壊れたがそういうことはな
いのか?
A.RWCPではファンが壊れたということはない。
Q.途中でノードを追加したとき、SCoreはそこだけ最新バージョンにできるのか?
A.全ノードでバージョンを合わせる必要がある。
2001年11月1日

計算って？

SS研合同分科会

2211

Know-Howまとめ#1
w 構築上のポイント
アプリケーションの性質の把握 ：実際に測定
n ネッ
トワークの選択 ：実際に測定
n ラックレイアウト：移動を考慮したレイアウト
n 試験 ：一晩くらいの全ノード通信試験が必須、NASベンチマークで値の検証するn

2001年11月1日

SS研合同分科会

23

Know-Howまとめ#2
w 購入時のポイントn

購入業者にどこまで頼むかを明確に、技術力があり実績を持つ業者選定が重要。

w 運用面
1000台規模の故障率はベンダーのエラー率程度
n トラブル切りわけは半分ずつ切りわけて確認n

2001年11月1日

計算って？

SS研合同分科会

24

12

WGでの議論#1
w ファイル ：PCクラスタを構成するCPU廻りは安価にできても、ファイル廻りにお金がかかる。
w プリ/ポスト処理との連携 ：PCクラスタで数値シミュレーションさせた時のプリ/ポスト処理システムとの連携で使いやすい接続、大量のシミュレーショ
ン結果データの取り扱い
w 計算センターとしての大型PCクラスタの運用 ：運用管理機能(特に課金)、エンドユーザのデータの扱い
2001年11月1日

SS研合同分科会

25

WGでの議論#2
w ハードスペック向上速度にどう対応するか? ：価格低下、性能向上が激しく、仕様書を作って調達をかけても導入時にはものがない可能性がある。また、増設時には同じものが手に入らない。テスト環境が必要。
w 計算だけでなく、計算結果出力の画像処理などの処理が必要。これらを効率的におこなうにはどうしたらよいか。
w 同様に ファイルI/Oは全体のスループットとして重要であるが、これを、並列化された計算性能に見合うだけ実現しなくてはならない。どうしたらよいか。
w その他・・・・・

2001年11月1日

計算って？

SS研合同分科会

26

13

まとめ
w 現在、熱い議論の最中
w 今後、クラスタによるグラフィックやファイルについて調査
w さらにガイドラインなどを整備し、公開予定
w 来年5月に講演会を開催

2001年11月1日

計算って？

SS研合同分科会

27

14