オンライン講習会の⼿引き「第3回 GPUミニキャンプ〜HPC編〜」「第4回 GPUミニキャンプ〜DL編〜」
東京⼤学情報基盤センター
2021年6⽉

質問は下川辺まで：shimokawabe(at)cc.u-tokyo.ac.jp

講習会手引き「GPUミニキャンプ 」

1

はじめに
• 東京⼤学情報基盤センター（以下，本センター）では2021年6⽉22⽇，29⽇に第158回お試しアカウント付き並列プログラミング講
習会「第3回 GPUミニキャンプ〜HPC編〜」 ， 2021年6⽉23⽇，30⽇に第159回お試しアカウント付き並列プログラミング講習会「第3回 GPUミニキャ
ンプ〜DL編〜」を開催します。
• 本ミニキャンプでは，これからGPUを利⽤される⽅またはすでに利⽤されているが効率化を進めたい⽅、スパコンのGPUを利⽤したい⽅，を対象に，Wisteria/BDEC-01システムを活⽤した実践を⾏います。
• 本ミニキャンプでは、参加者がコードやデータセットを持ち込み、GPUに関連した課題に対して、メンターからの助⾔を受けながら、その課題解決に取り組みます。
• 本講習会は，ZoomおよびSlackを⽤いたオンライン講習会として実施します。

• 本資料は，オンライン講習会受講のための事前準備について記載します。
• 本講習会においては，Wisteria/BDEC-01システムへログインできるようになっていることを前提とします。

講習会手引き「GPUミニキャンプ 」

2

お願い等
• ハンズオンのためのPC，Zoom及びスパコンへ接続するためのネット
ワーク環境は各受講者でご準備ください。
• PCは Windows/Microsoft Update，Apple Security Updateなどで最新のセキュリティアップデートを⾏ってください。
• 必ずウィルス対策ソフトウェアをインストールし，ウィルス検索を実⾏して問題がないことを事前に確認してから受講してください。
• セキュリティ対策未実施の場合はオンライン講習会受講を認めません。

• OSは、Windows、Macどちらでも構いませんが、SSHを⽤いてセンターのスーパーコンピューターへ接続ができることが必要です（後述）。
• 演習の実施に当たり，受講⽣にセンターのスーパーコンピューターを1⽉間利⽤できる無料アカウント（お試しアカウント）を発⾏します。
講習会手引き「GPUミニキャンプ 」

3• PC上のソフトウェア類の準備• スパコンへのログイン• ログインしたら・・・• 講習会で使うコミュニケーションツール
(Zoom, Slack)の設定• 東大情報基盤センターのスパコン

Cygwin: Windows上のUNIXライクな環境
https://www.cygwin.com/• 利⽤者ガイド• https://cygwin.com/cygwin-ug-net.html• まずやるべきこと• インストーラ（setup-x86_64/32.exe）を予め⼊⼿• インターネットに接続し，インストーラをダブルクリック• 以下指⽰に従ってインストールを進めてください

以下しばらくはCygwinの話
Mac/Linuxの方はスキップしてください
講習会手引き「GPUミニキャンプ 」

5

指⽰に従ってください
https://www.cygwin.com/

1

3

2

4

講習会手引き「GPUミニキャンプ 」

ダウンロード元のサイトを選択してください。
「jp」ドメインの方がよさそうです6まずはデフォルト機能のインストールからhttps://www.cygwin.com/• 基本的な機能はデフォルトのインストールで⼊りますが，必要なもの
が抜けている可能性があります。
• 従ってマニュアルで指定する必要があります• インストーラをダブルクリックすれば後で追加も可能です• 本講義では下記が必要です（デフォルトのインストールでは抜けている可能性あり）• openssh (for all users)• openssl (for all users)• インストールされているかどうかは確認が可能です

講習会手引き「GPUミニキャンプ 」

7

“openssh”の確認（1/3）

Type “openssh”

講習会手引き「GPUミニキャンプ 」

8

“openssh”の確認（2/3）“Keep”と出てきたら“openssh”はインストール済み

講習会手引き「GPUミニキャンプ 」

9“openssh”の確認（3/3）“Skip” が現れたら「未インストール」を意味する

以下「openssh」を例にマニュアルインストールの実施方法を紹介する

講習会手引き「GPUミニキャンプ 」

10

“openssh”のインストール（1/3）

プルダウンメニューをクリック

講習会手引き「GPUミニキャンプ 」

11

“openssh”のインストール（2/3）

適切なバージョンを選択（通常は最新版）

講習会手引き「GPUミニキャンプ 」

12

“openssh”のインストール（3/3）

「Skip」のかわりにバージョン番号が出てきたら“openssh” のインストール準備完了（インストールは完了していない）「次へ」をクリックしてインストールを実行

講習会手引き「GPUミニキャンプ 」

13

“ssh-keygen (OpenSSH)” ：インストールの確認$ ssh-keygen --hssh-keygen: unknown option -- usage: ssh-keygen [-q] [-b bits] [-C comment] [-f output_keyfile] [-m format][-t dsa | ecdsa | ecdsa-sk | ed25519 | ed25519-sk | rsa][-N new_passphrase] [-O option] [-w provider]ssh-keygen -p [-f keyfile] [-m format] [-N new_passphrase][-P old_passphrase]ssh-keygen -i [-f input_keyfile] [-m key_format]
ssh-keygen -e [-f input_keyfile] [-m key_format]
ssh-keygen -y [-f input_keyfile](…)
ssh-keygen -L [-f input_keyfile]ssh-keygen -A [-f prefix_path]ssh-keygen -k -f krl_file [-u] [-s ca_public] [-z version_number]file ...
ssh-keygen -Q -f krl_file file ...
ssh-keygen -Y find-principals -s signature_file -f allowed_signers_file
ssh-keygen -Y check-novalidate -n namespace -s signature_file
ssh-keygen -Y sign -f key_file -n namespace file ...
ssh-keygen -Y verify -f allowed_signers_file -I signer_identity-n namespace -s signature_file [-r revocation_file]

講習会手引き「GPUミニキャンプ 」

14

“ssh (OpenSSH)” ：インストールの確認$ sshusage: ssh [-46AaCfGgKkMNnqsTtVvXxYy] [-B bind_interface][-b bind_address] [-c cipher_spec] [-D [bind_address:]port][-E log_file] [-e escape_char] [-F configfile] [-I pkcs11][-i identity_file] [-J [user@]host[:port]] [-L address][-l login_name] [-m mac_spec] [-O ctl_cmd] [-o option] [-p port][-Q query_option] [-R address] [-S ctl_path] [-W host:port][-w local_tun[:remote_tun]] destination [command]

講習会手引き「GPUミニキャンプ 」

15

その他
• Cygwinのインストールに60-90分程度かかる場合もあります• ⼗分時間のあるときにインストールしておくことをお勧めいたします• Windows 10以降であればCygwinの替わりにWSL（Windows
Subsystem for Linux）を使うことも考えられます。
• Windows，Linuxに詳しい⽅はお試し頂いても結構ですがOpenSSH等の機能のインストールをご確認ください

講習会手引き「GPUミニキャンプ 」

16

17

• PC上のソフトウェア類の準備• スパコンへのログイン• ログインしたら・・・• 講習会で使うコミュニケーションツール
(Zoom, Slack)の設定• 東大情報基盤センターのスパコン

スパコンへのログイン• SSH公開鍵認証（SSH Public Key Authentication,
SSH=Secure Shell）に基づく– パスワード認証よりも安全，と言われている• 手順– Windows：Cygwinを立ち上げる，Mac・Unix：Terminal起動– ①PC上で鍵（秘密鍵，公開鍵）を生成する• 秘密鍵，公開鍵• パスフレーズ（Passphrase）：鍵認証のためのパスワード– ②スパコンポータルサイトにログインする• センターから供給された利用者ＩＤ（tVWXYZ）と「初期パスワード」を使用• 本ミニキャンプでは、一般利用のIDも利用可（ただし事前申告が必要）• ポータルサイトにログイン後，パスワード（Password）変更を求められる，字数，
使用文字等に色々規則があるので注意すること– ③スパコンポータルサイトに「公開鍵」を登録する– ④ＰＣからsshによってスパコンにログインする①PC上で鍵（秘密鍵，公開鍵）を生成（1/3）$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/user/.ssh/id_rsa):
Enter passphrase (empty for no passphrase): Your Favorite Passphrase
Enter same passphrase again: Same Passphrase
Enter
Your identification has been saved in /home/user/.ssh/id_rsa.
Your public key has been saved in /home/user/.ssh/id_rsa.pub.

Enter
Enter

The key fingerprint is:
SHA256:vt88O+PTcscHkOyabvxGjeRsMWLAWds+ENsDcReNwKo nakajima@KNs-NEW-VAIO
The key's randomart image is:+---[RSA 2048]----+|. o=oo.o+ ||+ O... .|
操作手順
|
.+o+.
|
|
+oB.
|
• ssh-keygen –t rsa <Enter>|So *o*|• <Enter>
|
.E
B.o |
• お好きなPassphrase <Enter>|.. = . o ||.=oB o +|• 同じPassphrase <Enter>|.+o+*O ..|+----[SHA256]-----+

①PC上で鍵（秘密鍵，公開鍵）を確認（2/3）$ cd .ssh$ ls
id_rsaid_rsa.pub⇒秘密鍵（Private Key）
⇒公開鍵（Public Key）

$ cat id_rsa.pub
ssh-rsa
AAAAB3NzaC1yc2EAAAADAQABAAABAQDa6InmOYYaCrWjQDukjiNEfdW8veUwJyZtEI3
oDu0A28eey6p0wbtI7JB09xnI17O7HG4yYvOM81+/nlAHy5tAfJly0dsPzjTgdTBLdg
i3cSf5pWEY6U96yaEr0Ei8Wge1HkXrhcwUjGDVTzvT0Refe6zLdRziL/KNmmesSQfR5
lsZ/ihsjMgFxGaKsHHq/IErCtHIIIf9V/Ds2yj6vkAaWH6asBn+ZsRiRFvwHPhkYAnp/j3LY6b8Qfqg0p4WZRenh/HgySWTYIGi8x67VzMaUlm9qlK0QFMCaK2rivX1fmbwyWJ/vrWDqiek6YXoxLDu+GPeQ4CPvxJcZnqF9gf3 nakajima@KNs-NEW-VAIO

①公開鍵をコピー（3/3）$ cd .ssh

操作手順• cat id_rsa.pub <Enter>$ ls• “ssh-rsa”にカーソルを合わせ
id_rsa• 最後の行の”f3”までを選択して「Copy」によって記憶id_rsa.pub• 最後の「nakaima@KNs-NEW-VAIO」まで含める。ここに$ cat id_rsa.pub
漢字が含まれている場合は含めず、後で適当に付け足す。
ssh-rsa
AAAAB3NzaC1yc2EAAAADAQABAAABAQDa6InmOYYaCrWjQDukjiNEfdW8veUwJyZtEI3oDu0A
28eey6p0wbtI7JB09xnI17O7HG4yYvOM81+/nlAHy5tAfJly0dsPzjTgdTBLdgi3cSf5pWEY
6U96yaEr0Ei8Wge1HkXrhcwUjGDVTzvT0Refe6zLdRziL/KNmmesSQfR5lsZ/ihsjMgFxGaK
sHHq/IErCtHIIIf9V/Ds2yj6vkAaWH6asBn+ZsRiRFvwHPhkYAnp/j3LY6b8Qfqg0p4WZRenh/HgySWTYIGi8x67VzMaUlm9qlK0QFMCaK2rivX1fmbwyWJ/vrWDqiek6YXoxLDu+GPeQ4CP
vxJcZnqF9gf3 nakajima@KNs-NEW-VAIO

②スパコンポータルサイトにログイン（1/3）
情報基盤センターから送付されたファイル

教育利用

Wisteria/BDEC-01 利用登録のお知らせ
Wisteria/BDEC-01)

塙 敏博 様下記のとおり登録しましたのでお知らせします。

2021年5月12日

2021年5月20日
東京大学情報基盤セ タ 長

講義名

ス コ

利用期間

グ(1)、ス コ
2021年5月
2021年6月
70 名

利用登録者数
キ

グ

グ

グ( )

ジェクトコ

2021年9月
2021年7月
ディスク量01234567

名※ lecture-o,lecture8-o,lecture-a,lecture8-atVWXYZ※ 教育利用では以下の「講義用キ」のみ利用可能です。情報基盤センター
その他のキは使用できません。
情報基盤センター
講義時間中から送付された利
lecture8-o

用者ID（tVWXYZ）
lecture-o
講義時間以外から送付された初期パスワード（8桁）

公 印
省 略

gt68

24 TB

②スパコンポータルサイトにログイン（2/3）
https://wisteria-www.cc.u-tokyo.ac.jp/cgi-bin/hpcportal.ja/index.cgi

情報基盤センターから送付された利用者ID（tVWXYZ）

情報基盤センターから送付された初期パスワード

②初期パスワードの変更（3/3）
情報基盤センターから送付された初期パスワード

変更後のパスワードを入力（2回）

パスワード規約に注意

③ 公開鍵登録（id_rsa.pub） (1/2)

1. 「SSH公開鍵登録」を選択
2. 先ほどCopyした「id_rsa.pub」を貼り付ける
3. 「登録」をクリック

③ 公開鍵登録（id_rsa.pub） (2/2)

4. ここを確認！

各システム情報・利⽤⽀援ポータルサイト• Oakforest-PACS（OFP）⽇本語• https://www.cc.u-tokyo.ac.jp/supercomputer/ofp/service/• https://ofp-www.jcahpc.jp/cgi-bin/hpcportal.ja/index.cgi• Oakforest-PACS（OFP）English• https://www.cc.u-tokyo.ac.jp/en/supercomputer/ofp/service/• https://ofp-www.jcahpc.jp/cgi-bin/hpcportal.en/index.cgi• Oakbridge-CX（OBCX）⽇本語• https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• https://obcx-www.cc.u-tokyo.ac.jp/cgi-bin/hpcportal.ja/index.cgi• Oakbridge-CX（OBCX） English• https://www.cc.u-tokyo.ac.jp/en/supercomputer/obcx/service/• https://obcx-www.cc.u-tokyo.ac.jp/cgi-bin/hpcportal.en/index.cgi• Wisteria/BDEC-01 ⽇本語• https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/• https://wisteria-www.cc.u-tokyo.ac.jp/cgi-bin/hpcportal.ja/index.cgi• Wisteria/BDEC-01 English• https://www.cc.u-tokyo.ac.jp/en/supercomputer/wisteria/service/• https://wisteria-www.cc.u-tokyo.ac.jp/cgi-bin/hpcportal.en/index.cgi

講習会手引き「GPUミニキャンプ 」

27

④PCからログイン（1/2）$ ssh tVWXYZ@wisteria.cc.u-tokyo.ac.jp
Enter passphrase for key '/home/user/.ssh/id_rsa: Your PassphraseEnter

1. ssh tVWXYZ@wisteria.cc.u-tokyo.ac.jp <Enter>2. 鍵生成時に打ち込んだPassphrase <Enter>④PCからログイン（2/2）-------------------------------------------------------------------------------Wisteria/BDEC-01 Information
Date: May. 28, 2021-------------------------------------------------------------------------------Welcome to Wisteria/BDEC-01 system* Operation Schedule
05/28(Fri) 22:00 - 06/09(Fri) 08:30
06/09(Wed) 08:30 - 06/09(Wed) 17:30
06/09(Wed) 17:30 - 06/25(Fri) 09:00
06/25(Fri) 09:00 - 06/25(Fri) 22:00
06/25(Fri) 22:00 -Normal Operation
HPC Challenge
Normal Operation
System Maintenance
Normal Operation

ログインに成功したら，今後のメインテナンスのスケジュールなどが表示される

For more information about this service, see
https://www.cc.u-tokyo.ac.jp/supercomputer/schedule.php* How to use
Users Guide can be found at the User Portal (https://wisteria-www.cc.u-tokyo.ac.jp/).
If you have any questions, please refer to the following URL and contact us:
https://www.cc.u-tokyo.ac.jp/supports/contact/
Last login: Sat May 29 21:35:15 2021 from 133.11.59.131[tVWXYZ@wisteria01 ~]$SSH公開鍵認証の手順（1/4）①PC上での秘密鍵・公開鍵作成
Wisteria$> ssh-keygen –t rsa

OBCX

id_rsa
秘密鍵/Private Key+ Passphrase
id_rsa.pub
公開鍵/Public Key

OFPPortal Site
WisteriatVWXYZ+ Password

Portal Site
OBCX

id_rsa
秘密鍵/Private Key+ Passphrase
id_rsa.pub
公開鍵/Public KeytIJKLM+ Password

tABCDE+ Password

Portal Site
OFP

SSH公開鍵認証の手順（2/4）②スパコンポータルサイトへのログイン

Wisteria

OBCX

OFP

id_rsa.pub
公開鍵/Public Key
id_rsa
秘密鍵/Private Key+ Passphrase

id_rsa.pub
公開鍵/Public Key

Portal Site
OBCX

id_rsa.pub
公開鍵/Public Key

Portal Site
OFP

同じ公開鍵を複数のスパコンに登録可能

Portal Site
Wisteria

SSH公開鍵認証の手順（3/4）③公開鍵（id_rsa.pub）の登録

Wisteria

OBCX

OFP

Wisteria

Portal Site
OBCX

id_rsa
秘密鍵/Private Key+ Passphrase

id_rsa.pub
公開鍵/Public Key

id_rsa.pub
公開鍵/Public Key

Portal Site
OFP

同じ公開鍵を複数のスパコンに登録可能

Portal Site
Wisteria

SSH公開鍵認証の手順（3/4）③公開鍵（id_rsa.pub）の登録

id_rsa.pub
公開鍵/Public Key

OBCX

OFP

SSH Public Key Authentication
SSH公開鍵認証
SSH= Secure Shell• id_rsa• Private Key（秘密鍵） ：PC上
• ⽂字通り「秘密」にしておくこと• 他の⼈に送ってはいけない• 基本的には作成した場所からコピーしたり移動することもしないこと• id_rsa.pub• Public Key（公開鍵）：スパコン上• コピー可能，他の⼈にe-mailで送ることも可能• もし複数のPCからスパコンにログインする場合は，各PCごとに「公開鍵・秘密鍵」のペアをssh-keygenによって作成• 各スパコンに複数の公開鍵を登録することは可能• スパコン上の公開鍵のうちの⼀つがPC上の「秘密鍵＋Passphrase」とマッチすると確認されるとログインできる

講習会手引き「GPUミニキャンプ 」

34

id_rsa
秘密鍵/Private Key+ Passphrase
id_rsa
秘密鍵/Private Key+ Passphrase

Wisteria

Portal Site
OBCX

id_rsa
秘密鍵/Private Key+ Passphrase

id_rsa.pub
公開鍵/Public Key

id_rsa.pub
公開鍵/Public Key

Portal Site
OFP

秘密鍵（id_rsa）＋Passphrase

Portal Site
Wisteria

SSH公開鍵認証の手順（4/4）④PCからスパコンへのログイン

id_rsa.pub
公開鍵/Public Key

OBCX

OFP

id_rsa
秘密鍵/Private Key+ Passphrase
id_rsa.pub+ Passphrase

公開鍵/Public Key

公開鍵/Public Key

id_rsa.pub

Wisteria

Portal Site
OBCX

id_rsa
秘密鍵/Private Key

id_rsa.pub
公開鍵/Public Key

id_rsa.pub
OBCX
公開鍵/Public Key

Portal Site
OFP$> ssh-keygen –t rsa

Portal Site
Wisteria

複数のPCからスパコンへログインする場合には各PCで「公開鍵・秘密鍵」のペア作成

id_rsa.pub
公開鍵/Public Key

OBCX

OFP

OFP

スパコンには複数の公開鍵を登録できる

スパコンには複数の公開鍵を登録できる$ cd .ssh$ ls authorized_keys
authorized_keys.ssh/authorized_keysには登録された公開鍵が格納されている。このファイルの後ろに新たな公開鍵（new_public.key）
を付け加えることもできる。

$ cat authorized_keys
ssh-rsa
HGCAB3NzaC1yc2EAAAABIwAAAQEA1r0Hr8M1JIJBO2n9S0GQm0xzGCwh3PpcJo7Z8oDr6HCAXhbKz
HA0ibRMJFCwDJCRGNJlYiHEYHWzouuXGNa9teso7aXYkq2PxbO76C60ZCPoLqf/jQRqnUSnjHJ4Ug
mDdlQWaAks+q/2ExOwjBB6GZmaHGijTximOFGiM1DI78OHkHC8pFzjvP2kT9yRvykvOVvlG10VYi+
5CawYfuROiRBjfUS47RSOlCzjNP20pYO57DUCfOv+/8B1+l1wilbjKQHjuNp5XuclFfFdGaxfJchD/sB5sRxtYfz80xzwGmN8pVecpUjd//xAqdYYHmLAKUE2oH8MnBIRybpWGVie6w64
ssh-rsa
AAAAB3NzaC1yc2EAAAADAQABAAABAQDa6InmOYYaCrWjQDukjiNEfdW8veUwJyZtEI3oDu0A28eey
6p0wbtI7JB09xnI17O7HG4yYvOM81+/nlAHy5tAfJly0dsPzjTgdTBLdgi3cSf5pWEY6U96yaEr0E
i8Wge1HkXrhcwUjGDVTzvT0Refe6zLdRziL/KNmmesSQfR5lsZ/ihsjMgFxGaKsHHq/IErCtHIIIf
9V/Ds2yj6vkAaWH6asBn+ZsRiRFvwHPhkYAnp/j3LY6b8Qfqg0p4WZRenh/HgySWTYIGi8x67VzMa
Ulm9qlK0QFMCaK2rivX1fmbwyWJ/vrWDqiek6YXoxLDu+GPeQ4CPvxJcZnqF9gf3$ cp authorized_keys tmp$ cat tmp new_public.key > authorized_keys

id_rsa
秘密鍵/Private Key+ Passphrase
id_rsa.pub+ Passphrase

公開鍵/Public Key

公開鍵/Public Key

id_rsa.pub

id_rsa.pub
公開鍵/PublicWisteria Key

Portal Site
OBCX

id_rsa
秘密鍵/Private Key

id_rsa.pub
公開鍵/Public Key

id_rsa.pub
OBCX
公開鍵/Public Key

Portal Site
OFP$> ssh-keygen –t rsa

Portal Site
Wisteria

各スパコンに複数の鍵を登録する

id_rsa.pub
公開鍵/Public Key

id_rsa.pub
OBCX
公開鍵/PublicKey

id_rsa.pub
OFP

OFP Key
公開鍵/Public• PC上のソフトウェア類の準備• スパコンへのログイン• ログインしたら・・・• 講習会で使うコミュニケーションツール
(Zoom, Slack)の設定• 東大情報基盤センターのスパコン

PCからログイン$ ssh tVWXYZ@wisteria.cc.u-tokyo.ac.jp
Enter passphrase for key '/home/user/.ssh/id_rsa: Your PassphraseEnter

1. ssh tVWXYZ@wisteria.cc.u-tokyo.ac.jp <Enter>2. 鍵生成時に打ち込んだPassphrase <Enter>ログインノードと計算ノード
Wisteria は主にログインノードと計算ノードから構成されています。
• ログインノード：プログラム作成、コンパイル、ジョブ投入• 計算ノード： ユーザプログラムを実行– バッチジョブ実行：バッチジョブシステムに処理を依頼して実行する方法。スパコン環境で一般的。実行処理をスクリプトで指示。長時間、大規模実行。
– インタラクティブジョブ実行：PCでの実行のように、コマンド入力で対話的に実行する方法。デバッグ用、短時間、数ノード実行。

•/home はログインノードからのみ参照できます。/work はログインノードと計算ノード両方から参照できます。基本的には /work で作業します。

ログインノード
SSH接続

> ls

・ プログラム作成
・ コンパイル・ ジョブ投入/home
領域

バッチジョブ・ 大規模実行

計算ノード

インタラクティブジョブ
・ デバッグ利用/work 領域

ログインしたら$ pwd/home/tVWXYZ$ cd /work/gt00/tVWXYZ$ pwd/work/gt00/tVWXYZ
$ cd
$ pwd
/home/tVWXYZ

1. ログインしたら「/home/tVWXYZ」に入る
2. /homeは容量が少ないので「/work/gt00/tVWXYZ」に移動すること
3. 「cd」でホームに戻れますチーム専用ディレクトリ
• 本ミニキャンプでは、個人利用の /work/gt00/tVWXYZ ディレクトリの他に、チーム専用のディレクトリが利用できます。チームで共有するコードやデータなどはこちらに転送ください。
• チーム専用ディレクトリへは、同一チームのメンバーの講習会アカウン
トと一般アカウント（事前申告があった場合のみ）、メンターのアカウン
トがアクセスできます。
• チーム専用ディレクトリは、講習会の受付番号が k21-0Y-15X-xxのとき、以下となります。
– /work/gt00/GROUP_15X-xx

45

Copy：PC to Wisteria$ scp ./a.dat

tVWXYZ@wisteria.cc.u-tokyo.ac.jp:

PC上のCurrent Directoryに例えば「a.dat」というファイルがあるとき、「a.dat」をWisteriaのホーム
ディレクトリ（/home/tVWXYZ）の下にコピーする$ scp ./a.dat

tVWXYZ@wisteria.cc.u-tokyo.ac.jp:/work/gt00/tVWXYZ/test/

PC上のCurrent Directoryに例えば「a.dat」というファイルがあるとき、「a.dat」をWisteria上のディレクトリ「/work/gt00/tVWXYZ/test」の下にコピーする$ scp -r ./testL tVWXYZ@wisteria.cc.u-tokyo.ac.jp:
PC上のCurrent Directory下に例えば「testL」というディレクトリがあるとき、「testL」及びその中身をWisteriaのホームディレクトリ（/home/tVWXYZ）の下にコピーする$ scp -r ./testL tVWXYZ@wisteria.cc.u-tokyo.ac.jp:/work/gt00/tVWXYZ/test
PC上のCurrent Directory下に例えば「testL」というディレクトリがあるとき、 「testL」及びその中身をWisteria上のディレクトリ「/work/gt00/tVWXYZ/test」の下にコピーする46

Copy：Wisteria to PC$ scp tVWXYZ@wisteria.cc.u-tokyo.ac.jp:~/a.dat ./Wisteriaのホームディレクトリ（/home/tVWXYZ）下に例えば「a.dat」があるとき、PC上のCurrent
Directory下に「a.dat」をコピーする$ scp tVWXYZ@wisteria.cc.u-tokyo.ac.jp:/work/gt00/tVWXYZ/test/a.dat ./Wisteria上にディレクトリ「/work/gt00/tVWXYZ/test/」があり、その中に「a.dat」があるとき、「a.dat」をPC上のCurrent Directoryにコピーする$ scp -r tVWXYZ@wisteria.cc.u-tokyo.ac.jp:~/L1 ./Wisteriaのホームディレクトリ（/home/tVWXYZ）下にディレクトリ「L1」があるとき、「L1」とその中身をPC上のCurrent Directoryにコピーする$ scp -r tVWXYZ@wisteria.cc.u-tokyo.ac.jp:/work/gt00/tVWXYZ/test/L1 ./Wisteria上のディレクトリ「/work/gt00/tVWXYZ/test/L1」があるとき、「L1」とその中身をPC上のCurrent Directoryにコピーするポータルサイトでのマニュアル等閲覧（1/2）

ポータルサイトでのマニュアル等閲覧（2/2）

ライブラリのインストールなど• 個人利用するライブラリなどは、計算ノードから参照できるように /work 以下のディレクトリ（/work/gt00/tVWXYZ）にインストールしてください。
• コンパイルに必要なシステムにインストール済みのライブラリは事前に module load
してください。プログラム実行時にもそれらを module load する必要があります。
• ライブラリはログインノードでコンパイルして構いません。ただし、ログインノードは他ユーザと共有して利用されているため、コンパイルやファイル表示・編集などを除いてプログラムの実行は禁止されていますので、ご注意ください。
• Python利用者で必要なモジュールを PyPIでインストールする（pip コマンドを使う）
場合は、事前に必要なモジュールを module load して、いくつかオプションを与えてpip install する必要があります。詳細は下記などを参照してください。この他に
Anaconda や miniconda を使うこともできます。
– https://www.cc.u-tokyo.ac.jp/public/VOL21/No4/11.201907python.pdf

• PC上のソフトウェア類の準備• 東大情報基盤センターのスパコン• スパコンへのログイン• ログインしたら・・・• 講習会で使うコミュニケーションツール
(Zoom, Slack)の設定

Zoomの準備• ダウンロード：https://zoom.us/download#client_4meeting• クライアントを事前にインストールしてください。
– 今回、各自のZoomアカウントを作る必要はありません。

• インストール済みの方は、必ず最新バージョンに更新してください。
– 5/30 現在、5.6.6– バージョン5でないと接続できません!!

• 使い方：
https://utelecon.adm.u-tokyo.ac.jp/zoom/how_to_use

Slackの登録• 質疑応答には、Slackを使います。
• 本ミニキャンプでは、申込時に登録されたメールアドレスに対して、ミニ
キャンプ用のSlack ワークスペースへ招待致します。
• 申込時と異なるメールアドレスを登録したい場合は、ご相談ください。
• チャンネルは、– 「第3回 GPUミニキャンプ～HPC編～」は、utokyo-20210622– 「第4回 GPUミニキャンプ～DL編～」は、utokyo-20210623
を利用します。

• PC上のソフトウェア類の準備• スパコンへのログイン• ログインしたら・・・• 講習会で使うコミュニケーションツール
(Zoom, Slack)の設定• 東大情報基盤センターのスパコン

54

3システム：利用者2,600+，学外55+%• Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))（本郷）– データ解析・シミュレーション融合スーパーコンピュータ– 3.36 PF, 2016年7月〜 2021年11月末（予定）• Reedbush-U（CPU only，2020年6月30日で退役）• Reedbush-H（2GPU’s/n），Reedbush-L（4GPU’s）– 東大ITC初GPUクラスタ (2017年3月より), DDN IME (Burst Buffer)• Oakforest-PACS (OFP) (富士通, Intel Xeon Phi (KNL))– JCAHPC (筑波大CCS＆東大ITC)，2022年3月末退役予定– 25 PF, TOP500で22位（日本4位）（2020年11月）– Intel Omni-Path アーキテクチャ（OPA）, DDN IME (Burst Buffer)• Oakbridge-CX（OBCX） (富士通, Intel Xeon Platinum 8280)– 大規模超並列スーパーコンピュータシステム– 6.61 PF, 2019年7月 〜 2023年6月，TOP500で69位（2020年11月）
講習会手引き「GPUミニキャンプ 」– 全1,368ノードの内128ノードにSSDを搭載，OPA

Wisteria/BDEC-01• 2021年5⽉14⽇運⽤開始• 東京⼤学柏Ⅱキャンパス

55

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富⼠通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing• ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s• シミュレーションノード群 (S, SIM)：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF• 7,680ノード（368,640 コア），20ラック，Tofu-D• データ・学習ノード群（D/L, DL）：Aquarius

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PFIntel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps

External
Resources• 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサーネットワーク他）に直接接続• ファイルシステム：共有（大容量）＋高速
講習会手引き「GPUミニキャンプ 」

1PB, 1.0TB/s

External Network
外部ネットワーク

外部リソースGFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
*1: Fugaku, *2 NVIDIA DGX SuperPOD, TOP/Green 500@Nov. 2020
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

14.66*1

Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

26.20*2

System研究分野別利用CPU時間割合（2020年度）
工学・
ものづくり
デー
タ科
生物科学 学
生体力学
地球科学・
宇宙科学
エネル
ギー・
物理学
材料科
学

メニィコアクラスタ
Intel Xeon Phi(Oakforest-PACS)

Engineering
Earth/Space
Material
生物科学
生体力学
Energy/Physics
Info. Sci. : System
エネルギー・
Info.
Sci. : Algrorithms
工学・
物理学
ものづくり
Info. Sci. : AI
Education
Industry
材料科学
Bio
Bioinformatics
地球科学・Social Sci. &宇宙科学
Economics
Data
マルチコアクラスタ
Intel CLX
(Oakbridge-CX)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data研究分野別利用CPU時間割合（2020年度）
バイオインフォマ
ティクス・医療画像処理・ゲノム解析

工学・
ものづく
り

地球科学・ Engineering
宇宙科学 Earth/Space

生物科学
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズムGPUクラスタ (2GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-H)

工学・
ものづくり

バイオインフォマ
Material
ティクス・医療画像
Energy/Physics
処理・ゲノム解析
Info. Sci. : System 材料科学
Info. Sci. : Algrorithms
Info.
Sci. : AI
生物科学
情報科学：
生体力学
アルゴリズム
Education
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data
GPUクラスタ (4GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-L)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化