東京工業大学学術国際情報センター
TSUBAME 2.0ガイダンス

2006 TSUBAME 1.0 85TFlops/1.1PBアジアNo.1 「みんなのスパコン」 x86 CPU+アクセラレータ2007 TSUBAME 1.1 100TFlops/1.6PBストレージ・アクセラレータ増強2008 TSUBAME 1.2 160TFlops/1.6PB GPUアクセラレータ680枚増強2010/11/01 TSUBAME 2.0 2.4PFlops/7.1PB日本初のペタコン、TSUBAME1.0の30倍の性能• TSUBAME初の完全2
•理論値2.4PFlopsのばく大な演算性能– CPU合計性能: 220TFlops  • • •4.4倍(TSUBAME1.2比) — GPU合計性能: 2.18PFlops  ▪▪▪20倍•合計容量7.1PByteの巨大ストレージ– T1.2の4.5倍の容量•バイセクションバンド幅200Tb/sの高速光ネットワーク
TSUBAME 2.0ガイダンス
m

•ソフトウェア資産の継続性と新規運用–既存のMPI, OpenMP, CUDAプログラムの利用–既存ISVアプリの大部分の利用— SUSE Linux Enterprise 11 (T1.2はSUSE10) –新たにWindows HPC Serverの運用(今回は説明対象外） • GPU対応アプリも採用、ぜひ使ってください– CPUよりも計算が短時間で済む⇒課金も少なくてすむ–現在はAMBER/Maple、今後も続々対応予定
TSUBAME 2.0ガイダンス
4
B " s – 748 A Ti 9 9 TSUBAME 2.0ガイダンスo 5
TSUBAME 2.0ガイダンス

ペタバイト級HDDストレージ：Total 7.13PB (Lustre+ home)
地列ファイルシステム領域5.93PB MDS.OSS HP DL360 G6  30nodes Storage DDN SFA10000 x5 ( 10 enclosure x5) Lustre( 5File System ) OSS: 20   OST:  5.9PB MDS: 10  MDT:  30TB OSS x20 MDS x10 Storage Server HP DL380 G6  4nodes BlueArc  Mercury 100  x2 Storage DDN SFA1000  x1 ( 10 enclosure x 1 ) NFS,CIFS用x4 NFS.CIFS.iSCSI用x2 un SL8500 8PB Titenet3 Science.ノード間相互結合網:フルバイセクションノンブロッキング光QDRInfinibandネットワークEdge Switch Voltaire Grid Director 4036 179switches IB QDR : 36 port Edge Switch (10GbE port付き) Voltaire Grid Director 4036E 6 switches IB  ODR:34port 10GbE: 2port Sinet3 Voltaire Grid Director 4700  12switches IB QDR: 324port
'ード: 2.4PElops (CPU+GPU), 224.69TElops
Thinst算ノードHP Proliant SL390s G7   1408nodes CPU Intel Westmere-EP  2.93GHz (Turbo boost 3.196GHz) 12Core/node Mem:55.8GB (=52GiB) 103GB (=96GiB) GPU NVIDIA M2050 515GFlops,3GPU/node SSD 60GB x 2 120GB ※55,8GBメモリ搭載node 120GB x 2 240GB ※103GBメモリ搭載node OS: Suse Linux Enterprise Server Windows HPC Server CPU Total: 215.99TFLOPS (Turbo boost 3.2GHz) CPU+GPU: 2391.35TFlops Memory Total:80.55TB (CPU) + 12.7TB (GPU) SSD Total: 173,88IB
CPII
100TBXEY。 2010IB SSD
Mediumは15ノード
HP DL580 G7  24nodes CPU Intel  Nehalem-EX 2,0GHz 32Core/node Mem:137GB(=128GiB) SSD 120GB x 4   480GB OS: Suse Linux Enterprise Server CPU Total:  6.14TFLOPS
Fatit算ノード
HP DL580 G7  10nodes CPU Intel Nehalem-EX 2.0GHz 32Core/node Mem:274GB (=256GiB) ※8nodes 549GB (=512GiB) ※2nodes SSD 120GB x 480GB OS: Suse Linux Enterprise Server CPU Total: 2.56TFLOPS PCI –E  gen2 x16  x2slot/node GSIC:NVIDIA Tesla S1070GPU
•  Thinノード, Mediumノード, Fatノードの三種類•  Thinノード: 1408台[一番良く使われる計算ノード] — HP Proliant SL390s G7 —  CPU: Intel Xeon 2.93GHz 6コア× 2=12コア• Hyperthreadingのために24コアに見える— GPU: NVIDIA Tesla M2050 3GPU — Memory: 54GB (一部は96GB) — SSD: 120GB (一部は240GB) – ネットワーク: QDR InfiniBand x 2 = 80Gbps
TSUBAME 2.0ガイダンス
•   Medium/Fatノード:M24台+ F10台[大容量メモリが必要なジョブ向け] — HP Proliant DL580 G7 — CPU: Intel Xeon 2.0GHz 8コア× 4 = 32コア• Hyperthreadingのために64コアに見える– Memory: 128GB (Medium), 256/512GB(Fat) – SSD: 480GB – ネットワーク: QDR InfiniBand x 1 = 40Gbps – GPUとして、TSUBAME 1.2で使っていたTesla S1070を利用可能
TSUBAME 2.0ガイダンス
9

TSUBAME 1.2ノードとTSUBAME 2.0 (Thin)ノードの性能比較理論性能
*3 3.196(GHz) * 4 (FP) * 6(Core) * 2(Socket) = 152.4GFlops *4 515(Gflops) * 3 = 1545GFlops CPUの制約のためメモリ単体の合算値より低い*5アプリ性能・ベンチマーク性能参考値(*6) *6 実際のTSUBAME2.0ノードと異なる測定環境なので参考値
TSUBAME 2.0ガイダンス

•ホーム
— NFS, CIFS, iSCSI
•  BlueArc Mercury 100 (一部GridScaler) • DDN SFA 10K × 1, SATA × 600 disks •並列ファイルシステム— Lustre •  MDS : HP DL360 G6  ×  6 •  OSS : HP DL360 G6  ×  20 •  DDN SFA 10K  ×  3, 2TB SATA  ×  3550 disks, 600GB SAS ×  50 disks — GPFSによる提供の予定あり
TSUBAME 2.0ガイダンス
11

●利用開始までの流れ●課金とtsubameグループについて
TSUBAME 2.0ガイダンス

•利用申請(必須)
–東エ大ポータルにログインして、メニューからTSUBAME利用ポータルにシングルサインオン(SSO)で申請–メールで仮パスワード発行、TSUBAME利用ポータルで本パスワードを設定して利用開始–ペーパーレスで即日利用が可能• TSUBAME2.0へのログイン–従来通りにSSHによるログイン–学外からは鍵認証のみでログイン可能とし、セキュリティを強化• TSUBAME1.2からのデータ移行– TSUBAME1.2のユーザデータ(home, work等)はTSUBAME2.0に移行–移行データは一定期間後に消去
TSUBAME 2.0ガイダンス
13

• TSUBAMEアカウントでのログイン•東工大ポータルからのSSOも可能•以下のサービスが利用可能–アカウント新規利用申請、利用者情報の変更、利用停止(利用者自身) – TSUBAMEグループの作成、管理–予算の追加、登録(予算管理者のみ) – Hキューの予約(グループ参加者) –有償サービス利用履歴閲覧(利用者ごと、管理者) –課金請求データの閲覧(予算管理者のみ)
TSUBAME 2.0ガイダンス
14

•無償サービス–インタラクティブ、デバッグ専用ノードの利用–小規模の計算試験(2ノード10分間まで) • 11月は8ノード6時間に緩和–個人用ストレージサービス(25GB、home領域、全学ストレージ、学内ホスティング） •有償サービス–研究目的の大規模計算(従量制、定額制) – Work領域(グループ利用、月額制) –プリンタ利用サービス(予定) –追加ISVアプリケーション利用(予定)
TSUBAME 2.0ガイダンス
15
•研究室、研究プロジェクト単位でグループ作成(TSUBAMEグループ) • TSUBAMEポイントによるプリペイド従量制– 1ポイントで従来の1ノ一ド･時間を利用できるポイント制–従来: 1口=25000円/2880ノ一ド・時間– 1口=5000円/600ポイント(時間単価はほぼ変わらず、性能は大幅に向上) •定額制の仮想ノ一ド計算サービス(12月開始予定) •グループ共有の大規模work領域サービス(2011年4月開始予定)
TSUBAME 2.0ガイダンス
16

•アカウント名の変更
– 学生:東工大ポータルと共通(例.10B0001) –教職員、その他:全学メールの@の前を変換したもの(例.東工太郎ならtoukou-t-aa) •東工大ポータルとの連携–東工大ポータルからSSOでTSUBAME利用ポータルを利用可能–アカウント有効期間は東工大ポータルと連動するため、年度ごとの継続申請不要
TSUBAME 2.0ガイダンス
17

•教育システムとの連携–アカウントの共通化(認証サーバ、ストレージ、一部アプリケーションはTSUBAME2.0を利用) – TSUBAMEアカウントで演習室端末を利用可能•有償利用の利便性向上– TSUBAMEグループは年度を跨いで継続利用可能– TSUBAMEグループに複数の予算を紐付け可能– 1つのTSUBAMEグループで従量制と定額制を区別して利用可能–グループ共通で利用可能な大規模ストレージ–オンラインでの申請、ペーパーレス化
TSUBAME 2.0ガイダンス
18

TSUBAME 2.0ガイダンス
TSUBAME1からTSUBAME2へのデータ移行について• TSUBAME1(T1)上の古いデータは全て安全に保存されています. • TSUBAME2(T2)で古いT1のデータを利用するためには，ユーザ自身でデータの移行を行う必要があります. •　以降,ユーザによるデータ移行方法を説明します.
TSUBAME 2.0ガイダンス
20

1. T2のインタラクティブノードにログインする$ ssh -Y   login-t2.g.gsic.titech.ac.jp   -l   USER-ID-T2 1.  T2のインタラクティブノードからt2b010133～t2b010136のいずれかのノードに対して, T1のアカウントでログインする$ ssh   –Y   t2b010133   –I   USER-ID-T1 TSUBAME1のアカウントを指定する
TSUBAME 2.0ガイダンス
21

•  T2のストレージ領域をマウントしている•以下のT1の領域が/t1以下にマウントされている– home0～home5, home  bk0 – work10, work2, work  bes, work  bes2, work  bes3 — archive1, archive2 – depot1, depot2 – iwork1 ～ iwork4, ihome, iwork例.)  /home0/target dir    → /t1/home0/target dir
TSUBAME 2.0ガイダンス

•ユーザ自身で, scpによりデータをコピーする.転送元を指定–後日,簡易スクリプトを提供する予定詳細はTSUBAME2.0 WEBページ経由でお知らせします. http://tsubame.gsic.titech.ac.jp/
TSUBAME 2.0ガイダンス

•システムソフトウェア・ストレージ•バッチキューの構成と使い方•アプリケーション
TSUBAME 2.0ガイダンス
24

•   Windows OSを新規にサポート●ジョブスケジューラが変更されたため、バッチジョブ投入才プションが大きく変わります
TSUBAME 2.0ガイダンス

–利用の手引をご参照ください• T1.2同様、CUDA C/FortranによるGPUプログラミング可能– CUDA+MPIの場合はコンパイラの組み合わせについてご相談をTSUBAME 2.0ガイダンス
将来的にはテープライブラリと連携した階層型ファイルシステム(GPFS)も提供予定
TSUBAME 2.0ガイダンス

• TSBAMEグループを登録、ディスクオプションを有効にした段階で, /work0以下にグループ名のディレクトリが生成•生成されたディレクトリ内に自分の作業ディレクトリを作成する/work0/group-name/USER01, USER02, .... • 2011年4月までは10TBまで無料• 2011年4月以降は1TB/月で課金
TSUBAME 2.0ガイダンス
28

•インタラクティブノード– i:インタラクティブ専用ノード— t : Tesla(GPU)デバッグ専用ノード• バッチキュー － [S]ノ一ド占有系: 12CPUコア、3GPUのノ一ド利用– [H]予約系: Thinノードをノード数、期間を予約して利用– [V]仮想マシン共有系: 8CPUコア(16hyperthread)の仮想ノ一ド利用– [G] GPU系: 4CPUコア、3GPUのノード利用•超大規模並列–数千～万の超大規模並列計算のための利用(要審査、年に数回)
TSUBAME 2.0ガイダンス
29

•  Sキュー : 12CPUコア, 3GPU, 54GBメモリを持つノードを利用–従来のSLAキューに相当–多数CPUまたはGPUによる並列性や、I/O(ディスク・通信)性能が必要なジョブ向け–ノ一ド内のジョブ混在は起こらない－従量制課金•大容量メモリが必要なジョブには、S96, L128, L256, L512キュー –数字はメモリ容量(GB) – Sに比べ1.5倍、2倍…の課金– L系はMeduim/Fatノードなので、CPUが多く、GPUが古いTSUBAME 2.0ガイダンス30
•予約した期間ノードを占有して利用–従来のHPCキューに相当— 1000CPUコアレベルの並列性が必要なジョブ向け– Webから日程・ノード数を予約–バッチキューを介さない利用も可–従来よりも、柔軟な予約が可能•ノード数は16以上自由、期間は一日単位で最大7日
TSUBAME 2.0ガイダンス
31

•ノードあたり8CPUコアを利用–従来のBESキューに近い–逐次ジョブや比較的小規模なジョブ向け– KVM仮想マシン技術により、以下のようなノードに見える•  8CPUコア(hyperthreadingで16コアに見える) • 32GBメモリ• TSUBAME 1.2ノード相当、GPUは無し–ノード内にジョブは混在しうる(BESキューのように) – I/O速度は他キューより下がるので注意– MPI並列計算対応、ただしMVAPICH2のみ－定額制課金
TSUBAME 2.0ガイダンス
32

•ノードあたり3GPU+4CPUコアを利用– GPUジョブに適している–以下のようなノードに見える• 4CPUコア• 3GPU • 22GBメモリ– Vキュージョブと仮想マシン技術によりノードを共有–従量制課金、Sに比べ0.5倍  (お買い得) — GPU講習会近日予定
TSUBAME 2.0ガイダンス
33

※各キューへの配分ノード数は今後の利用状況に応じて調整します※ノード占有Windowsなどは検討中ですTSUBAME 2.0ガイダンス
34

•既存のN1GEからPBS Proに変更になり、使い方も変わります• ~/testにあるmyprogというプログラムを、Sキューで実行する場合(1)スクリプトファイルを作っておく(たとえばjob.shというファイル)
job.shファイル(2) t2subコマンドで投入t2sub –W group  list=xxx –q S ./job.sh -q xxx:キュー名を指定-W group  list=xxx: TSUBAMEグループ番号を指定
TSUBAME 2.0ガイダンス
35

(1)myprogがMPIプログラムとする。スクリプトは以下のように: job.shファイル#!/bin/sh cd $HOME/test mpirun –n並列数–hostfile $PBS_NODEFILE ./myprog (2) t2subコマンドで投入t2sub –q S –W group  list=xxx –l select=10:mpiprocs=12大-l place=scatter ./job.shこの場合、ノードあたり12並列× 10ノード= 120並列で実行•
TSUBAME 2.0ガイダンス
36

(1) myprogがプログラムとする。スクリプトは以下: #!/bin/sh cd $HOME/test job.shファイル./myprog (2) t2subコマンドで投入t2sub −W group  list=xxx −l select=1:ncpus=8 −q S ./job.sh •この場合、1ノードで、8並列で実行
TSUBAME 2.0ガイダンス

• -l walltime=10:00:00ジョブの最大実行時間。省略すると1時間• -l mem=40gbジョブが利用するメモリサイズ(ノードあたり)。省略すると1GB • -o /work0/xxx/yyy.txt標準出力の出力先ファイル名• -e /work0/xxx/yyy.txt標準エラー出力の出力先ファイル名詳細はweb上の「利用の手引」をご参照ください
TSUBAME 2.0ガイダンス
38

• t2statジョブの状態を確認。通常は自ジョブのみ例) t2stat −a:他ユーザのジョブも表示例) t2stat V:指定したキュー(V)の情報のみ表示• t2delジョブの終了を待たずに削除例) t2del 147.t2zpbs03
TSUBAME 2.0ガイダンス
39

1. TSUBAME利用ポータルにログイン2.ノード予約を選択3.予約状況の確認4.利用開始日(スロット)、ノード数を指定して空きを検索※画面は開発中の物です
5.予約可能一覧より選択し、予約確定予約確定後の利用方法1.スロット開始日時を待つ•スロット開始は10:00 2.利用開始• t2subによるジョブ投入t2sub –W group_list=xxx ¥ −q R10 ./job.sh •インタラクティブ実行1. t2rstatコマンドで予約キューに属すノード一覧を取得t2rstat 2.ノードにsshログイン可能※画面は開発中の物です
TSUBAME 2.0ガイダンス

* : Windows HPC環境でも利用可能TSUBAME 2.0ガイダンス42
•サポート外ISVアプリケーション– IMSL:数値演算ライブラリfor Fortran & C – MOPAC:量子化学計算– SAS:統計解析
TSUBAME 2.0ガイダンス

ISVアプリケーションでのGPU使用例: AMBER job.sh AMBERでは、pmemdがGPU対応• #!/bin/sh t2sub <グループ,キュー指定> ./job.sh

TSUBAME 2.0ガイダンス

TSUBAME 2.0ガイダンス•利用の手引の公開•メールによる技術的サポート• FAQの整備•利用者向け講習会–初心者向け講習会(年6回、英語も) – ISVアプリケーション講習会(年2回) – GPU講習会(GPUコンピューティング研究会主催) TSUBAME2.0 WWWサイトhttp://tsubame.gsic.titech.ac.jp/問い合わせ先soudan@cc.titech.ac.jp
TSUBAME 2.0ガイダンス
48