Reedbush
Quick Start Guide
東京大学 情報基盤センター

2018年9月21日 改版

目次
1. 目次
2. Cygwinインストール(1)3. Cygwinインストール(2)4. 公開鍵の作成
5. 利用支援ポータルへのアクセス
6. パスワード変更（初回の場合）
7. パスワード変更成功画面
8. 利用支援ポータルへの再ログイン
9. 言語の変更
10.公開鍵の登録(1)11.公開鍵の登録(2)12.公開鍵の登録(3)13.公開鍵の登録(4)14.ログイン15.利用可能ディレクトリ
16.プログラムの作成
17.コンパイルと実行
18.バッチスクリプトの作成
19.バッチスクリプト例(1)20.バッチスクリプト例(2)21.バッチジョブの実行
22.バッチジョブの削除
23.アプリケーション※UNIX/Macから利用される方は「4.公開鍵の作成」からお読みください1

Cygwinインストール(1)• Cygwinをインストールします。
– http://cygwin.com/index.htmlからsetup-x86_64.exe(32bit版の場合は、 setup-x86.exe）をダウンロードして、実行します。
– パッケージの選択画面で、X11の「Default」をクリックし、「Install」に変更します。
X11の「Default」をクリックします「Install」に変わり、各パッケージがインストール対象になります2

Cygwinインストール(2)– OpenSSHを検索して、クリックして、「Skip」から、インストール対象に変更します。

1. Opensshを検索
2. クリックすると、チェックボック
スがSkipからチェックドボックスに変更されます。

3

公開鍵の作成• CygwinのCygwin64 Terminal（Windowsの場合）、Terminal端末（UNIX/Macの場合)を開きます。
• ssh-keygenコマンドを実行します。
– ホームディレクトリ/.sshに公開鍵（id_rsa.pub）、秘密鍵（id_rsa）が作成されます。
$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/username/.ssh/id_rsa):
Created directory '/home/username/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/username/.ssh/id_rsa.
Your public key has been saved in /home/username/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:NedyH2JayWknqq87pQIvaLVs3omJK2ZijB8iR9Qnwf4 username@host
The key's randomart image is:+---[RSA 2048]----+
| ..
|
| ...
|
| ..o . o . || . .o . = o || . . S.%o || . o E .O = . ||= o+ + oo . ||=Boo=+o.o.
||=++++.o.+=. |+----[SHA256]-----+$

1. ssh-keygenを実行
2. Enter入力
3. パスフレーズ入力
4. パスフレーズ再入力

4

利用支援ポータルへのアクセス• ブラウザで、以下のサイトへアクセスしてください。
– https://reedbush-www.cc.u-tokyo.ac.jp• 利用支援ポータルにログインします。
1．ユーザ名を入力
2．パスワードを入力
3．Loginをクリック

5パスワード変更（初回の場合）••初回ログイン時は、パスワードの変更が必要です。
以下の条件で、パスワードを変更してください。
••••

8文字以上であること
英大文字、英小文字、特殊記号（$,#,&,+,-など）、数字をそれぞれ1文字以上含むこと
辞書単語ではないもの
現在のパスワードとは異なるもの

1．現在のパスワードを入力
2．新しいパスワードを入力
3．新しいパスワードを再入力

6パスワード変更成功画面••

パスワード変更に成功すると、以下の画面になります。
「ログイン画面に戻る」をクリックしてください。

1. 「ログイン画面に戻る」をクリック•

また、失敗した場合は、再度ログイン画面に戻って、やり直して下さい。
7

利用支援ポータルへの再ログイン• 変更した新しいパスワードでログインしてください。
1．ユーザ名を入力
2．パスワードを入力
3．Loginをクリック

8言語の変更• 「Change Language」で表示言語を変更します。
• プルダウンメニューから「Japanese(JA_JP.UTF8)」を選択し、「Change」をクリックします。
• ブラウザをリロードすると、メニューが日本語に変更されます。

1. 「Change Language」をクリック

2. プルダウンメニューから「Japanese(JA_JP.UTF-8)」を選択
3. 「Change」をクリック

9公開鍵の登録(1)• 「公開鍵アップロード」のメニューにアクセスします。

1．「公開鍵アップロード」をクリック• 初回時は公開鍵が登録されていないため、「No authorized keys
have been registered」と表示されます。
• 「公開鍵を追加」をクリックします。

2．「公開鍵を追加」をクリック

10公開鍵の登録(2)• 公開鍵作成の画面が表示されます。

• 端末のターミナルで、作成した公開鍵（ホームディレクトリの.ssh/id_rsa.pub）をコピーします。

11公開鍵の登録(3)• この鍵を「Key digits」に貼り付けます。
– 貼り付ける前に、改行コードが含まれていないかご確認ください。（メモ帳などに一旦ペーストする方法があります。）• 鍵の形式が「ssh-rsa 文字列 鍵の名前（通常はユーザ名＠ホスト名）」であることを確認してください。

1. 公開鍵を貼り付け
2. 「作成」をクリック

改行文字や全角文字が含まれていないこと、ヘッダ(ssh-rsa、ssh-dss）が付与されていることを確認してください。
RSA公開鍵は2048bit、DSA公開鍵は1024bit以上で作成してください。
12公開鍵の登録(4)• 「登録済み公開鍵」に登録されていることを確認します。
• 鍵の形式が間違っている場合は「No authorized keys
have been registered」というメッセージが表示されます。

13

ログイン
• 端末のターミナルから、sshコマンドを使用して、フロントエンドにログインします。
• ログイン先：reedbush.cc.u-tokyo.ac.jp% ssh -l username reedbush.cc.u-tokyo.ac.jp
Authenticating with public key "rsa-key-20160612"
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XXAre you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Passphrase for key ""rsa-key-20160612":[username@reedbush-u1 ~]#1. 初回のみ表示されます。
「yes」を答えます。

2. パスフレーズを入力

14利用可能ディレクトリ
• /home/グループ名/ユーザ名– ログイン時は最初にここに入ります– ログイン用環境設定ファイルなど– 最大2GB– 計算ノードではマウントしていないため、バッチでは利用できません。

• /lustre/グループ名/ユーザ名– 計算用領域– [申請ノード数]TB（グループコース）※4ノードのコースで申請した場合は4TB、8ノードのコースで申請した場合は8TBとなります。

– 1TB（パーソナルコース）– プログラムの作成、実行などはこちらのディレクトリを利用してください。
15

プログラムの作成• デフォルト開発環境– Intel C,C++,Fortran Compiler– Intel MPI– moduleコマンドで切り替えることができます。

• moduleコマンド– コンパイラ、MPIなどを切り替えることができます。
– バッチスクリプトにおいてロードするmoduleは、コンパイル時と同様のものをロードしてください。
現在のmodule環境を表示$ module list
Currently Loaded Modulefiles:
1) intel/16.0.3.210 2) intel-mpi/5.1.3.210
moduleのロード（バッチジョブでは、コンパイル時と同じものをロード）$ module load intel/16.0.3.210 intel-mpi/5.1.3.210
16コンパイルと実行• コンパイルと実行– シリアルジョブ(Intel Compiler)• icc、ifort– 並列計算（Intel MPI）
• mpiicc、mpiifort
実行例$ mpiicc -o a.out -O2 mpiprogram.c$ mpirun -np 2 ./a.out
Hello World from Process 0 of 2 running on reedbush-u1
Hello World from Process 1 of 2 running on reedbush-u1

17

バッチスクリプトの作成• Lustre領域に移動して、バッチスクリプトを作成します。
• 以下の記述が必要です。
– #!/bin/sh– #PBS -q [キュー名]– #PBS -l select=[ノード数]:mpiprocs=[ノードあたりのmpi数]:ompthreads=[MPIプロセスあたりのスレッド数]– #PBS -W group_list=[グループ名]– #PBS -l walltime=[wall time]– cd $PBS_O_WORKDIR （カレントディレクトリで実行）– [moduleの初期化]– [プログラミング環境のロード]– [プログラム実行]• オプション（こちらは必要に応じて使用してください。）– #PBS -N [ジョブ名]18

バッチスクリプト例(1)• 必ず、/lustreの領域で作成・実行してください。
• 赤字の部分はrun.shというバッチスクリプトです。
• 実行時間、並列数など必要なリソースのキューを選んでください。
シングルジョブ例

キュー名

並列数（ノード数）

実行時間$ cd /lustre/group/username$ cat ./run.sh#!/bin/sh#PBS -q u-short#PBS -l select=1:mpiprocs=1:ompthreads=1#PBS -W group_list=mygroup#PBS -l walltime=02:00:00
cd $PBS_O_WORKDIR. /etc/profile.d/modules.shmodule load intel/16.0.3.210./a.out > ./output.log 2>&1

u-debug

1-1630min(u-interactive)--

ノードあたり244GB以上のメモリを使用した場合、ジョブがアボートしますので、ご注意ください。

u-interactive_1 130min

u-interactive_4 2-410minu-short84H(u-regular)--u-small 4-16

48H

u-medium 17-32

48H

u-large 33-64

48H

u-x-large 65-128

24H
19

バッチスクリプト例(2)• 赤字の部分はrun.shというバッチスクリプトです。
• 実行時間、並列数など必要なリソースのキューを選んでください。
256MPI並列ジョブ例（8ノードx32プロセス）

ハイブリッド並列ジョブ例（8ノードx2プロセスx18スレッド）$ cd /lustre/group/username$ cat ./run.sh#!/bin/sh#PBS -q u-short#PBS -l select=8:mpiprocs=32:ompthreads=1#PBS -W group_list=mygroup#PBS -l walltime=02:00:00
cd $PBS_O_WORKDIR. /etc/profile.d/modules.shmodule load intel/16.0.3.210 intel-mpi/5.1.3.210
mpirun ./a.out > ./output.log 2>&1

$ cd /lustre/group/username$ cat ./run.sh#!/bin/sh#PBS -q u-short#PBS -l select=8:mpiprocs=2:ompthreads=18#PBS -W group_list=mygroup#PBS -l walltime=02:00:00
cd $PBS_O_WORKDIR. /etc/profile.d/modules.shmodule load intel/16.0.3.210 intel-mpi/5.1.3.210
mpirun ./a.out > ./output.log 2>&1

ノードあたり244GB以上のメモリを使用した場合、ジョブがアボートしますので、ご注意ください。
20

バッチジョブの実行• バッチスクリプトをqsubコマンドで投入します。
– 例

qsubコマンドでバッチスクリプトを指定$ qsub run.sh
14.reedbush-pbsadmin0
ジョブIDが表示されます。

• バッチジョブの状況はrbstatコマンドで確認できます。
– 例$ rbstat
JOB_ID JOB_NAME
123
STDIN
124
STDIN

STATUS PROJECT QUEUERUNNING xxxx
u-shortQUEUED xxxx
u-shortSTART_DATE
06/27 19:56:41
06/27 19:56:48

ELAPSE TOKEN
00:00:00 0.0
00:00:00 0.0

NODE
1
1

– S(Status）がRUNNINGの場合は実行中、QUEUEDの場合は待機状態です。
21

バッチジョブの削除• バッチジョブの削除は、qdelコマンドを使用します。
$ qdel ジョブID• 実行例$ rbstat
JOB_ID JOB_NAME
123
STDIN
124
STDIN

STATUS PROJECT QUEUERUNNING xxxx
u-shortQUEUED xxxx
u-shortSTART_DATE
06/27 19:56:41
06/27 19:56:48

ELAPSE TOKEN
00:00:00 0.0
00:00:00 0.0

NODE11STATUS PROJECT QUEUERUNNING xxxx
u-shortSTART_DATE
ELAPSE TOKEN
06/27 19:56:41 00:00:00 0.0

NODE1$ qdel 124$ rbstat
JOB_ID JOB_NAME
123
STDIN

22

アプリケーション• 使用可能なアプリケーションはmoduleコマンドで確認できます。
• 使用するアプリケーションをロードしてください。
$ module avail-------------------------------- /lustre/app/modulefiles/compiler --------------------------------------------------intel/16.0.3.210(default) pgi/16.5------------------------------------ /lustre/app/modulefiles/mpi ----------------------------------------------------hpcx/1.6.392/gnu
hpcx/3.3-1.0.0.0/intel_ucx mvapich2/2.2rc1/intel
openmpi/1.4.5/intel
hpcx/1.6.392/intel
intel-mpi/5.1.3.210(default) mvapich2/2.2rc1/pgi
openmpi/1.8.3/gnu
hpcx/3.3-1.0.0.0/gnu
mpt/2.14
openmpi/1.10.2/gnu
hpcx/3.3-1.0.0.0/gnu_ucx
mvapich2/2.1.ddn1.3/gnu
openmpi/1.10.2/intel
hpcx/3.3-1.0.0.0/intel
mvapich2/2.2rc1/gnu
openmpi/1.10.2/pgi------------------------------------ /lustre/app/modulefiles/lib ----------------------------------------------------boost/1.61
mt-metis/0.4.4
openjdk/1.8.0.91-0.b14 revocap_coupler/2.1 superlu_mt/3.1
gsl/2.1
netcdf-c/4.4.0
parallel-netcdf/1.7.0 revocap_refiner/1.1.01 xabclib/1.03
massivethreads/0.95 netcdf-cxx/4.3.0
parmetis/4.0.3
scotch/6.0.4
metis/4.0.3
netcdf-fortran/4.4.4 petsc/3.7.1
superlu/5.2.0
metis/5.1.0
opencv/3.1.0
ppohAT/1.0.0
superlu_dist/5.1.0-------------------------------- /lustre/app/modulefiles/application ------------------------------------------------abinit-mp/7.0
bwa/0.7.13
gatk/3.5
openfoam/3.0.1
samtools/1.3.1
akaikkr/cpa2002v009c feram/0.24.02
gromacs/5.1.2
openfoam/3.0.1-mpt
spark/1.6.1
alps/2.1.1-r6176
frontflow_blue/8.1
kmr/1.8.1
openmx/3.8
xtapp/150401
bioperl/1.6.924
frontflow_blue/8.1_gnu modylas/1.0.4
phase0/2015.01
bioruby/1.5.0
frontistr/4.4
ncbi-blast/2.3.0
r/3.2.5$ module load openfoam/3.0.1

23

修正履歴
2016年06月30日

初版

2016年07月01日

改版

P.10

P.13
P.17
P.17
P.18

公開鍵の貼り付けの際に改行コードに気を付ける旨追記
Safariではなく、FirefoxもしくはInternet Explorerでの使用を推奨
グループコースのディスク容量について修正
キュー設定の実行時間を試験運用期間設定に変更
試験運用期間の設定である旨追記#PBS -W group_list=mygroupを修正#PBS -W group_list=mygroupを修正

2016年07月04日

改版

P.10 Safariが利用できるようになったため、Safari非推奨を削除

2016年09月01日

改版

P.6~8 初回ログイン時のパスワード変更を挿入
P.19 キュー設定の実行時間を本運用期間設定に変更
P.23 モジュールコマンドの出力を更新

2016年09月26日

改版

P.18 #PBS -l select行修正

2017年04月28日

改版

P.12 公開鍵の注意事項追記
P.14 ログインホスト先の修正
P.15 グループコースのLustre容量修正

2018年09月21日

改版

P.19

u-debugの最大ノード数変更

24