内容に関するご質問はkawai＠cc.u-tokyo.ac.jp
まで、お願いします。

第193回 お試しアカウント付き
並列プログラミング講習会「ライブラリ利用：科学技術計算の効率化入門」
東京大学情報基盤センター 特任助教 河合 直聡

1

お試しアカウント付き講習会

講習会概略
開催日： 2022年10月20日（木）13：00 -16：30
場所：Online開催
 講習会プログラム：
 10月20日（木） 13：00 - 13：15 システム紹介（講師：河合） 13：15 - 14：15 スパコンと線形計算ライブラリ（BLAS, LAPACK）（講師：河合） 14：15 - 14：30 休憩＆質問 14：30 - 15：45 Xcryptを用いたジョブ並列処理 (講師：平石) 15：45 - 16：30 実習＆質問■講習会資料：
Webページ「第193回お試しアカウント付き並列プログラミング講習会」
で講習会資料をダウンロードすることができます2

お試しアカウント付き講習会

講習会の進め方
Zoomを利用したオンライン講習会です

この講義は録画されています✓ 質問があるとき以外はミュートでお願いします✓ ビデオもオフを推奨します✓ 基本的にはSlackを使って質問に対応します✓ Slackに未登録の場合はなるべく早く登録お願いします✓ slackの登録メールの配送に小一時間かかることがあります✓ 「cc-lecture140.slack.com」のチャンネルを使ってください✓

必要に応じてスクリーンショットなどで画像を共有してください✓ Windows：Alt + PrtScn で作業中ウィンドウのショットがクリップボードにコピーされます。Slackのチャット部分で貼り付け(Ctrl + V)
✓ Mac : command + shift + control + 4 の同時押し、その後撮りたいウィンドウ上でspaceを押すことで、スクリーンショットがクリップボードにコピーされます。
Slackのチャット部分で貼り付け(command + V)
✓ こちらが気づくために、Zoomのチャットにも一言書いてください✓ 質問本体はSlackにお願いします。
3

講習会：Oakforest-PACS実践

アンケートへ回答のお願い
 第193回講習会「科学技術計算の効率化入門」アンケートQRコード4

東大センターのスパコン
3基の大型システム，6年サイクル（？）

FY
11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Yayoi: Hitachi SR16000/M1
IBM Power-7

JCAHPC:Tsukuba, Tokyo

54.9 TFLOPS, 11.2 TB

T2K Tokyo
HitachiOakforest-PACS (OFP)
Fujitsu, Intel Xeon Phi

140TF, 31.3TB

Big Data & Extreme
Computing

25PFLOPS, 919.3TB

Wisteria/BDEC-01
A64FX / Xeon＋A100

Oakleaf-FX: Fujitsu PRIMEHPC
FX10, SPARC64 IXfx
1.13 PFLOPS, 150 TB

33.1 PFLOPS

Oakbridge-CXIntel Xeon CLX

Oakbridge-FX
136.2 TFLOPS, 18.4 TBIntegrated Supercomputer
System for Data Analyses &Scientific Simulations

6.61 PFLOPS

Reedbush-U/H, HPE
Broadwell + Pascal

Supercomputer System withAccelerators for Long-Term
Executions 5

1.93 PFLOPS

Reedbush-L HPE
1.43 PFLOPS

本講習会で利用するスーパーコンピュータ■Oakbridge-CX (富士通, Intel Xeon Platinum 8280)
・6.61 PF ・全1,368ノードの内128ノードにSSDを搭載

6

スーパーコンピュータシステムの詳細
 以下のページをご参照ください 利用申請方法
 運営体系

 料金体系
 利用の手引などがご覧になれます。
https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/7

ログインしたら$ pwd

Return/home/t00***$ cd /work/gt00/t00***$ pwd Return/work/gt00/t00***
$ cd
$ pwd

ReturnReturn/home/t00***

8Return

1. ログインしたら「/home/t00***」にいます
2. /homeは容量が少ないので「/work/gt00/t00***」に移動
3. 「cd」でhomeに戻れます9

OBCXのディレクトリ構成/home/home/t00***/home/kUVXYZ/home/mUVXYZ/
ルート
ディレクトリ/work/work/gt00/work/gt00/t00***/work/po****/work/jh******

LUSTRE ファイルシステム/usr/etc
9高速なファイルの読み書きができる
OBCXスパコンの計算は、全部ここから実施
トラブルもたまにあるので /homeから隔離されていますバッチ処理とは スパコン環境では、通常は、インタラクティブ実行（コマンドラインで実行すること）はできません。
 ジョブはバッチ処理で実行します。

バッチキュー

ジョブの依頼

バッチ処理
システムがジョブを取り出す

実行
ユーザ
10

スパコン

バッチ処理を用いたジョブの実行方法
 ジョブの投入：

pjsub <ジョブスクリプトファイル名>#!/bin/bash#PJM -L rscgrp=lecture#PJM -g gt00
#PJM -L node=1#PJM --omp thread=10#PJM -L elapse=00:01:00#PJM –j./hello
ジョブスクリプトファイルの例：run.sh
11

キュー名：lecture
利用グループ名：gt00

ジョブ待ち時間を減らすポイント
 「elapse」を適切に設定しましょう！
投入ジョブ

・とりあえずと、最大時間を書いておくのは大損#!/bin/bash#PJM -L rscgrp=lecture#PJM -g gt00
#PJM -L node=1#PJM --omp thread=10#PJM -L elapse=00:01:00#PJM –j./hello
ジョブスクリプトファイルの例
12時間

ノード数
Backfillのイメージ図本講習会でのグループ名とキュー名 グループ: gt00

課金情報（財布）を管理するのに使用される
 キュー 名: tutorial

キューとは、スパコンにバッチジョブを投入する時の待ち行列の名前（詳細は後述）13

本お試し講習会でのキュー名
 本演習中のキュー名：
 tutorial 最大15分まで
 最大ノード数は8ノード(448コア) まで
 本演習時間以外のキュー名：

 lecture 利用条件は演習中のキュー名と同様

14ジョブの管理コマンド
以下のコマンドを使用して、ジョブの投入、削除、確認を行う
コマンド

内容

使い方

pjsub

ジョブの投入$pjsub “script.sh”

pjdel

ジョブの削除$pjdel “job ID”

pjstatジョブの状態$pjstat

注＊これらのコマンドはスパコンによって異なる

pjstatのオプション◼ -H: 終了したジョブの確認◼ --rsc -b : 各リソースグループの混雑具合を確認可能◼ --rsc -x : 各リソースグループで要求可能なリソース量を出力pjstat --rsc -b の実行画面例$ pjstat --rsc –b
RSCGRPSTATUS
debug[ENABLE,START]
short[ENABLE,START]
regular|---- small[ENABLE,START]|---- medium[ENABLE,START]|---- large[ENABLE,START]`---- x-large[ENABLE,START]interactive|---- interactive_n1 [ENABLE,START]`---- interactive_n8 [ENABLE,START]
lecture[ENABLE,START]
tutorial[DISABLE,STOP]

使える
キュー名(リソースグループ)
16

現在
使え
るか

TOTAL RUNNING QUEUED HOLD OTHER
33000106336850NODE
192
7246144771904014510
42701410000001031
1031
1031
1031

00000000000000000000

192
192
3297

ジョブ 実行しての総数 いるジョブの数待たされているジョブの数

講習会：科学技術計算効率化

ノードの利用可能数

Nano（OBCX上で使えるエディタ）
編集画面

Nanoの基本的な操作方法について$nano で起動
◼ ^G → CtrlとGキーを同時押し◼ M-U → Escキー、Uキーを順番に押す

コマンド確認画面◼ ^ → Ctrl
◼ M → Esc
◼ - → 順次押す
17

操作

コマンド

ファイルを開く^R

別名保存^O ファイル名 Ret

上書き保存

^Oマーク

M-A

マークキャンセル

M-A

コピー

M-6

切り取り

^K

貼り付け

^U

検索^W

終了

^X