内容に関するご質問はIda＠cc.u-tokyo.ac.jp
まで、お願いします。

第140回 お試しアカウント付き
並列プログラミング講習会「ライブラリ利用：科学技術計算の効率化入門」
東京大学情報基盤センター 特任准教授 伊田 明弘

1

お試しアカウント付き講習会

講習会概略
開催日： 2020年10月7日（水）13：00 -16：30
場所：Online開催
 講習会プログラム：
 10月7日（水） 13：00 - 13：15 システム紹介（講師：伊田） 13：15 - 14：15 スパコンと線形計算ライブラリ（BLAS, LAPACK）（講師：伊田） 14：15 - 14：30 休憩＆質問 14：30 – 15：45 Xcryptを用いたジョブ並列処理 (講師：平石) 15：45 – 16：30 実習＆質問
■講習会資料：
Webページ「第ページ「第140回お試しアカウント付き並列プログラミング講習会」
回お試しアカウント付き並列プログラミング講習会」
ページ「第で講習会資料をダウンロードすることができます2

お試しアカウント付き講習会

講習会の進め方
Zoomを利用したオンライン講習会です

この講義は録画されています 質問があるとき以外はミュートでお願いします ビデオもオフを推奨します 基本的にはSlackを使って質問に対応します Slackに未登録の場合はなるべく早く登録お願いします slackの登録メールの配送に小一時間かかることがあります 「cc-lecture140.slack.com」のチャンネルを使ってください

必要に応じてスクリーンショットなどで画像を共有してください Windows：Alt + PrtScn で作業中ウィンドウのショットがクリップボードにコピーされます。Slackのチャット部分で貼り付け(Ctrl + V)
 Mac : command + shift + control + 4 の同時押し、その後撮りたいウィンドウ上でspaceを押すことで、スクリーンショットがクリップボードにコピーされます。Slackのチャット部分で貼り付け(command + V)
 こちらが気づくために、Zoomのチャットにも一言書いてください 質問本体はSlackにお願いします。
3

講習会：Oakforest-PACS実践

アンケートへ回答のお願い 第140回講習会「科学技術計算の効率化入門」アンケートQRコード4

東大センターのスパコン2基の大型システム，6年サイクル（？）

FY
11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Yayoi: Hitachi SR16000/M1
IBM Power-7

JCAHPC:
Tsukuba, Tokyo

54.9 TFLOPS, 11.2 TB

T2K Tokyo
HitachiOakforest-PACS (OFP)
Fujitsu, Intel Xeon Phi

140TF, 31.3TB

Big Data & Extreme
Computing

25PFLOPS, 919.3TB

Oakleaf-FX: Fujitsu PRIMEHPC
FX10, SPARC64 IXfx

BDEC System
60+ PFLOPS

1.13 PFLOPS, 150 TB

Oakbridge-CXIntel Xeon CLX

Oakbridge-FX
136.2 TFLOPS, 18.4 TBIntegrated Supercomputer
System for Data Analyses &Scientific Simulations

6.61 PFLOPS

Reedbush-U/H, HPE
Broadwell + Pascal

Supercomputer System withAccelerators for Long-Term
Executions 5

1.93 PFLOPS

Reedbush-LHPE
1.43 PFLOPS

Exascale System(2021 Fall ?)本講習会で利用するスーパーコンピュータ■Oakbridge-CX (富士通富士通,
富士通 Intel Xeon Platinum 8280)
・6.61 PF ・全1,368ノードの内ノードの内128ノードにノードにSSDを搭載を搭載
・全ノードの内ノードに

6

スーパーコンピュータシステムの詳細
 以下のページをご参照ください 利用申請方法
 運営体系
 料金体系
 利用の手引などがご覧になれます。
https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/7

ログインしたら$ pwd

Return/home/t00***$ cd /work/gt00/t00***$ pwd Return/work/gt00/t00***
$ cd
$ pwd

ReturnReturn/home/t00***

8

Return1. ログインしたら「/home/t00***」」
ログインしたら「にいます2. /homeは容量が少ないのでは容量が少ないので「/work/gt00/t00***」に移動」に移動
3. 「cd」で」でhomeに戻れますに戻れます」で9

OBCXのディレクトリ構成のディレクトリ構成/home/home/t00***/home/kUVXYZ/home/mUVXYZ/
ルート
ディレクトリ/work/work/gt00/work/gt00/t00***/work/po****/work/jh******

LUSTRE ファイルシステム/usr/etc
9高速なファイルの読み書きができる
OBCXスパコンの計算は、全部ここから実施
スパコンの計算は、全部ここから実施
トラブルもたまにあるので /homeから隔離されていますバッチ処理とは スパコン環境では、通常は、インタラクティブ実行（コマンドラインで実行すること）はできません。
 ジョブはバッチ処理で実行します。
バッチキュー

ジョブの依頼

バッチ処理
システムがジョブを取り出す

実行
ユーザ
10

スパコン

バッチ処理を用いたジョブの実行方法
 ジョブの投入：

pjsub <ジョブスクリプトファイル名>#!/bin/bash#PJM -L rscgrp=lecture#PJM -g gt00
#PJM -L node=1#PJM --omp thread=10#PJM -L elapse=00:01:00#PJM –j./hello
ジョブスクリプトファイルの例：run.sh
11

キュー名：lecture
利用グループ名：gt00

ジョブ待ち時間を減らすポイント
 「elapse」を適切に設定しましょう！
投入ジョブ

・とりあえずと、最大時間を書いておくのは大損#!/bin/bash#PJM -L rscgrp=lecture#PJM -g gt00
#PJM -L node=1#PJM --omp thread=10#PJM -L elapse=00:01:00#PJM –j./hello
ジョブスクリプトファイルの例
12

時間

ノード数
Backfillのイメージ図本講習会でのグループ名とキュー名 グループ: gt00

課金情報（財布）を管理するのに使用される
 キュー 名: tutorial

キューとは、スパコンにバッチジョブを投入する時の待ち行列の名前（詳細は後述）13

本お試し講習会でのキュー名
 本演習中のキュー名：
 tutorial 最大15分まで
 最大ノード数は8ノード(448コア) まで
 本演習時間以外（24時間）のキュー名：

 lecture 利用条件は演習中のキュー名と同様

14ジョブの管理コマンド
以下のコマンドを使用して、ジョブの投入、削除、確認を行う
コマンド

内容使い方

pjsub

ジョブの投入$pjsub “script.sh”

pjdel

ジョブの削除$pjdel “job ID”

pjstatジョブの状態$pjstat

注＊これらのコマンドはスパコンによって異なる

pjstatのオプション
 -H: 終了したジョブの確認
 --rsc -b : 各リソースグループの混雑具合を確認可能
 --rsc -x : 各リソースグループで要求可能なリソース量を出力pjstat --rsc -b の実行画面例$ pjstat --rsc –b
RSCGRPSTATUS
debug[ENABLE,START]
short[ENABLE,START]
regular|---- small[ENABLE,START]|---- medium[ENABLE,START]|---- large[ENABLE,START]`---- x-large[ENABLE,START]interactive|---- interactive_n1 [ENABLE,START]`---- interactive_n8 [ENABLE,START]
lecture[ENABLE,START]
tutorial[DISABLE,STOP]

使える
キュー名
(リソースグループ)
16

現在
使えるか

TOTAL RUNNING QUEUED HOLD OTHER
33000
106
33
68
50NODE
192
724614477190
40145104270

1410000001031
1031
1031
1031

00000000000000000000192
192
3297

ジョブ 実行しての総数 いるジョブの数待たされているジョブの数

講習会：科学技術計算効率化

ノードの利用可能数

Nano（OBCX上で使えるエディタ）
編集画面

Nanoの基本的な操作方法について$nano で起動 ^G → CtrlとGキーを同時押し
 M-U → Escキー、Uキーを順番に押す

コマンド確認画面
 ^ → Ctrl
 M → Esc - → 順次押す
17

操作

コマンド

ファイルを開く^R

別名保存^O ファイル名 Ret

上書き保存

^O

マーク

M-A

マークキャンセル

M-A

コピー

M-6

切り取り

^K

貼り付け

^U

検索

^W

終了

^X