TSUBAME2.5 利用講習会
平成26年度版 （Rev.20141203）
東京工業大学
学術国際情報センター
共同利用推進室Copyright (C) 2010-2014 GSIC All Rights Reserved.

CONTENTS□ 概要 （仕様）□ 情報源（FAQ、URL)□ 利用法（ログイン）◇ 仮パスワード変更と公開鍵の設定□ ファイルシステム（ディレクトリ）□ 利用可能アプリケーション□ プログラムのコンパイル（MPI環境）□ 利用可能計算資源（キューの紹介）◇ Ｈキューの予約方法□ ジョブ管理システム（ジョブの投入）※ ◇は、利用ポータル編を参照します。

TSUBAME2.5 概要
Compute Node

Rack (30 nodes)

System (58 racks)(2 CPUs, 3 GPUs)

Performance: 122.4 TFLOPS
Memory:2.28 TB

1442 nodes: 2952 CPUs 225 TFLOPS
4360 GPUs 5562 TFLOPS
Memory:116 TB
Disk 7.1 PB
Performance: 5.7 PFLOPS (単精度 17.1PF)

1 node = 4.08 TFLOPS
Memory: 58.0 GB(CPU)18.0 GB(GPU)CPU : Xeon 2.93GHz x 2
6 x 2 = 12 cores
GPU : K20X x 3
SSD : 120GB
Linux : SLES 11 SP3

TSUBAME利用の情報源
TSUBAME共同利用 ＞ よくある質問、FAQ(http://www.gsic.titech.ac.jp/kyodou/FAQ#faq-list)
Q. TSUBAME2.5 を利用するための、基本的な情報はどこを見ればよいですか。

「利用の手引き」「FAQ」は必ず目を通してください。

文部科学省先端研究基盤共用・プラットフォーム形成事業および、共同利用の有償利用の利用者は kyoyo@gsic.titech.ac.jp 宛に問合せ下さい。
soudan@cc.titech.ac.jpは学内向けの相談窓口です。利用なさらないでください。

1.0 利用法概略• SSH（公開鍵認証）でログインノードにアクセス
ssh TSUBAME-ID@login-t2.g.gsic.titech.ac.jp（学内からは、パスワード認証によるSSH接続も可能）• インタラクティブノードへ割り当てインタラクティブノードのいずれかに自動的に割り当てられます。

• 計算ノードにジョブを投入する
SSH 接続

ログインノード

インタラクティブノード
t2a006161

計算ノード
St2subS96

t2a006162

L128

login-t2.g.gsic.titech.ac.jp
ssh TSUBAME-ID@login-t2.g.gsic.titech.ac.jp(Linux 系、Cygwin、Tera Term、PuTTY など)

・・・
t2a006180

L256
HG※⇒ ssh ログインの詳細については「利用ポータル編」を参照します。

L512

TSUBAME2.5の利用概要
WebブラウザによるアクセスTSUBAME2.5利用ポータル

各種利用環境の設定と利用状況の確認

TSUBAME2.5 利用者

SSHによるログイン（公開鍵方式）TSUBAME2.5※「TSUBAME2.5利用ポータル編」を参照します。

1.1 ファイルシステムとディレクトリ
利用可能ファイルシステムの概要• 利用可能ストレージ容量 （インタラクティブ／バッチ共通）
ホームディレクトリ(無料) １利用者当たり 25GB
/home/usr?/ユーザ名 (環境設定、ソース等)
グループディスク（30Pt/1TB/1月） 課題当たり最大 30TB
/work0、/work1 Lustre FS (/work1 推奨)/data0
GPFS + テープシステム• スクラッチ領域 （ジョブ実行中のみ利用可能、終了時に削除）
ローカル SSD ( /scr )各ノード当たり 56～500GB
グローバルスクラッチ (/gscr0) 共有領域 最大 786TB
詳細： http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/usage.html#usage-scrach1.2 ファイルシステムとディレクトリ続き以下のファイルシステムが用意されています。
1. ホームディレクトリ (/home)• １ユーザーあたり 25GB まで無料で利用できます。
• 利用状況の確認は t2quota コマンドを使用します。

2. グループディスク （/work1, /data0)• 有償です。1TB・1月あたり 30 TSUBAME ポイントを消費します。
容量は 1TB単位で月毎に設定可能。設定は共同利用推進室で行います。
• 使用量や上限量は、 t2quota -g コマンドにて確認してください。
Disk Utilization (/work0):------------------------ Block Limits ------------------------------------|-------------------- File Limits ----------GROUP
KBquotalimit grace |files quota limit grace
t2g-gsictw 3838018136* 1063004405 1073741824-|12847800-• /work1/課題グループ名/、 /data0/課題グループ名/ の下に、ユーザ名ごとにサブディレクトリを作成することを推奨します。
• Lustreの設定については、利用の手引 「4.6.3 work」 を参照してストライプのチューニングを行ってください。 http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/usage.html#work1.3 ファイルの転送• 計算する前にデータの準備が必要な場合(Linux系) sftp, scp を利用してください。
sftp ユーザ名@login-t2.g.gsic.titech.ac.jp
scp コピー元 ユーザ名@login-t2.g.gsic.titech.ac.jp: コピー先パス（時間制限のない io-t2.g.gsic.titech.ac.jp による転送を推奨します）

例）$ sftp TSUBAME-ID@io-t2.g.gsic.titech.ac.jp
Connecting to io-t2.g.gsic.titech.ac.jp...
sftp>$ scp test.txt TSUBAME-ID@io-t2.g.gsic.titech.ac.jp:~/test
test.txt
100% 2 0.0KB/s 00:00• (Windows/Mac 用) GUIクライアントソフトウェアとしてはWinSCPやCyberduckが使えます。

1.4 巨大なファイルの転送• 巨大なファイルを転送したい場合（数テラバイト～）
学術国際情報センター１Ｆ 「共同利用端末室」を利用
・ 10Gb イーサネット（光ケーブル）にて接続
・ USB外部ディスクを接続しデータを転送（USB3.0)
・ 共同利用端末を利用し TSUBAME へログイン可能
学術国際情報センター２Ｆ 「ダウンロードサーバ」を利用
・ インフィニバンドにて TSUBAME と直接接続
・ USB外部ディスクを接続しデータを転送（USB3.0)
・ TSUBAME から直接ログインしファイル操作可能※ USB外部ディスクを送付する場合はあらかじめご連絡ください。

2.1 利用可能アプリケーション• 学外利用の方が無償で利用可能なソフトウェア– OS （SUSE Linux Enterprise Server 11 SP3 / x86_64）– ジョブスケジューラ （PBS Professional 12.2.1）– GNU、PGI、Intel Compiler、TotalView Debugger 等 開発環境

– Gaussian 09.D01、 GaussView 5、 Gaussian用Linda、Gaussian 03– TSUBAMEに導入済みの Free Soft (/usr/apps.sp3/nosupport.isv/CAPS)• 商用アプリバンドル型トライアルユースのソフトウェア– CST STUDIO SUITE、 STAR-CCM+、 NASTRAN/MARC (/usr/apps/iuser/)• 上記以外の一般的な商用ソフトウェア– 利用者がお持ちのライセンスを TSUBAME にインストールしてご利用いただけます。（必要に応じてベンダーから入手してください）2.2 アプリケーション（フリーソフト）• いわゆる無料ソフトウェアは自由に利用できます– http://tsubame.gsic.titech.ac.jp/ja/applications の Free applications 参照• サポート有りフリーソフト(/usr/apps.sp3/free)– GSICでのSEによる一部サポートがあるものです。

– Gamess_01May2013、Gromacs_4.6.5、Tinker_6.2.01
povray_3.7 fftw3.3.4 lzma、R_3.1.0、 gnuplot_4.6.5

NVIDIA_GPU_SDK (5.x, 6.x) → /usr/apps.sp3/cuda/*• サポート無しフリーソフト(/usr/apps.sp3/nosupport)– GSICでのSEによるサポートがありません。
変更についてFAQ ： http://tsubame.gsic.titech.ac.jp/node/1159

2.3 インタラクティブノードの利用範囲• インタラクティブノードでは、以下の制限の範囲内にて、通常のUNIXの操作、プログラムのコンパイル、ジョブの投入、小規模プログラムの実行が出来ます。
1.
2.
3.

ユーザーあたりの利用メモリ 6GB
ユーザーあたりのプロセス数 4
ユーザーあたりのディスク使用上限量/home=25GB, グループディスク = 0～30TB/group

4.
5.
6.

CPU連続利用時間は 30分に制限されます。
１時間利用がない場合は接続が切断されます。
GPU も利用可能です。( CUDA は nvcc にてコンパイル Ver 6.0.1 )• バッチキューでのデバッグには２ノード・10分までの無償デバックジョブや、有償のバッチキューをご利用ください。
S、S96、L128、L128F、L256、L512 キューにて利用可能です。
HとGを除く各キューで可能 （グループID を指定せずにジョブを投入します）

3. プログラムのコンパイル• TSUBAME2ではコンパイラは、Intel, PGI, GNUの3種類が利用可能。
利用の手引 「6. プログラミングと環境」 をご参照ください。
http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/programming.html• MPI並列 http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/programming.html#mpi
MPI環境は，コンパイラとMPIドライバの組み合わせから選択して利用することが可能です。OpenMPI と Intel コンパイラが標準です。
その他のMPI環境の利用方法は、利用の手引 「6.3. MPI並列」 をご参照ください。
実行の際はライブラリの環境変数の設定などご確認ください。
MPIドライバ
OpenMPI
Mvapich2
mpich2

×

コンパイラ
Intel
PGI
GNU=

MPI環境：
MPI標準環境(OpenMPI + Intel)
その他のMPI環境(注：IntelMPI + Intel は対象外)※ ＭＰＩエラーのＦＡＱ： http://tsubame.gsic.titech.ac.jp/node/148
OpenMPI : 1.6.5 Mvapich2 : 1.9 (PGI13.3) mpich2 : 3.1

4. 利用可能計算資源
キュー名 ノード数

CPUコア数

S333

S9641

12コア Intel
Xeon 2.93GHz(6 コア x 2)

G

466

Xeon 2.93GHz
4 コア相当U

648 コア相当

L128F

10L1286

L2568

L512232コア Intel
Xeon 2.0GHz(8 コア x 4)
(SLES11 SP1)

GPU

K20X
3GPU

メモリ

SSD

54GB

120GB

96GB

240GB

CUDA6

N/A

32GB

S2070
4GPU

128GB

22GB

S1070
4GPU
CUDA5.5

ネットワーク 課金係数
1.080Gbps
QDR IB x 2

120GB

512GB

0.5
0.7

480GB

40GbpsQDR IB x 1

128GB
256GB

1.2

2.0
2.0

480GB

40GbpsQDR IB x 1

4.0
8.0

H キュー (200～680) S キュー相当 予約のなかった計算ノードは X キューとなる 30/60P※ 2014年7月～9月は夏季縮退運転（ピークシフト）のためノード数を一部削減して運用
詳細： http://tsubame.gsic.titech.ac.jp/node/1132 (夏季縮退運転は9月末で終了)

4.1 課金について• インタラクティブノードは無償でご利用いただけます。
• Ｓ、Ｌ系キューで2ノード、10分までのデバックジョブを投入可能– Group ID を指定せずに投入する。 （課金されません）• グループディスクはディスク課金 （1TB 30ポイント)• 課金＝使用ノード数×経過時間 （従量制）– プロセス数には無関係 （１口＝３０００ポイント)– 3000ノード時間 （例： １日ｘ１０時間ｘ１ノードｘ３００日）– 標準エラー出力（ex. OTHERS.e*）に概算値を表示• 課金係数（Sキューを基準 1.0 とする。）
G
L128

0.5 ,
2.0 ,

S96
L256

1.2 ,4.0 ,H
L51260(30) ポイント
8.0• 時間延長オプション（S, S96, L128, L256, L512, G 共通）-et 0 (1hまで, 0.9), -et 1 (24h x1), -et 2 (48h x2), -et 3 (96h x4)
・ 実際のジョブの時間に近い walltime を設定（1時間内1割引）※ 1口 http://www.gsic.titech.ac.jp/kyodou/FAQ-A-general#kyodou-1unit

4.2 ノードの種類について• インタラクティブノード
– [i]：インタラクティブ専用ノード (t2a006161 ～ t2a006180)（夏季は節電のためノード数は半分に）• 計算ノード（バッチキュー）– [S] ノード占有系：12 CPUコア、3 GPU(K20X)のノード利用– [L] ノード占有系：32 CPUコア、4 GPU(S1070)のノード利用– [L128F]：32 CPUコア、4 GPU(S2070)のノード利用– [G] GPU系
： 4 CPUコア、3 GPU(K20X)のノード利用– [H]予約系： [S] をノード数、期間を予約して利用– [X]ノード占有系：Hキューに予約が無い場合、Sキューとして利用可能。

4.3 ノード占有系：Sキュー・Lキュー• Ｓキュー：12CPUコア, ３GPU, 54GBメモリを持つノード– 多数CPUまたはGPUによる並列性や、I/O(ディスク・通信)性能が必要なジョブ向け– ノード内のジョブ混在は起こらない。（たまにゾンビが)– 確保したノードへの直接ログインも可能。
– 夏のメンテ以後、OS のバージョンが SP3 に更新• 大容量メモリが必要： S96, L128, L256, L512キュー– 数字はメモリ容量(GB)– Ｓに比べ1.5倍、2倍…の課金– Ｌ系は Medium、Fatノード： CPUコアは多いがGPUが古い– OS のバージョンが SLES11 SP1、MPI、CUDA 5.5 など古い

4.4 GPU系：Gキュー• ノードあたり3GPU+4CPUコア 元々のノード構成 (Ｓ)– GPUジョブに適している– 以下のようなノードに見える• ４CPUコア• ３GPU• 22GBメモリ

 12 CPUコア/ 3 GPU 54 GBメモリ

残りの計算資源は？
 8 CPUコア (Uキュー)32GBメモリ (課金 0.7)
GPU, data0 利用不可

– 残りの計算資源を仮想マシンで、別キューに提供– Ｓに比べ 0.5倍の課金 (お得、半額)– GPU講習会、GPUコンピューティング研究会
http://gpu-computing.gsic.titech.ac.jp/
利用の手引き 6.5 GPU http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/programming.html#gpu

4.5 予約系：Hキュー• 予約した期間ノードを占有して利用– 1000CPUコアレベルの並列性が必要なジョブ向け– TSUBAMEポータルから日程・ノード数を予約
1スロット(1日) 1ノードあたり 60(30) TSUBAMEポイント
トライアル、早期予約（8日～14日前）の場合は 60ポイント– バッチキューを介さない利用も可能
・ 同じグループのユーザーは自由にログイン可能。

– 柔軟な予約が可能• 最低16ノードから、期間は一日単位で最大７日• 予約状況は予約ポータルか t2rstat で確認する※⇒ Ｈキュー予約の詳細については「利用ポータル編」を参照します。

5. ジョブ管理システムの利用法
5.1 「id」によるTSUBAMEグループの確認
5.2 「t2group」による利用可能ポイントの確認
5.3 「t2sub」によるジョブの投入
5.4 「t2sub」によるジョブの投入例
5.5 「t2stat」によるジョブの確認
5.6 「t2del」によるジョブの削除
5.7 ジョブID についての補足
5.8 ノードに直接ログインして実行__* TSUBAME2.5 ではジョブ管理システムとしてPBS Professional を使用しています。
(PBS = Portable Batch System, Version 12.2.1)

5.1 「id」よるTSUBAMEグループの確認• 「id」コマンドで、所属するグループを確認します。
> id
uid=10000XXXXX(watanabe-t-bd) gid=100(users)
groups=100(users) , 1000000XXX(t2g-TSUBAMEグループ)• TSUBAMEグループは課題毎に設定される t2g から始まる文字列– 課金グループ （ジョブ投入時に指定、計算機資源をTSUBAMEポイントとして管理）– Unix ファイルシステムのアクセス権管理– /work0、/work1 や /data0 などのグループディスク
グループ “users” のファイルを生成しないように
newgrp コマンドにてグループＩＤの設定を推奨します。

5.2 「t2group」による利用可能ポイントの確認• t2group コマンドで、利用可能なTSUBAMEポイントが確認できます。
> t2groupGroups users t2g-XXXXXX of User toko-d-ai-------------Group----------|--------FixedQueue----|-----MeasuredRateQueue---Name
Condition | Factor Condition units | Factor Conditionsect2g-XXXXXX
used|
4.0 stopped0|
1.0
used32400000※ １ TSUBAMEポイント ＝ 計算ノード１台を１時間利用する単位秒で表示された残り時間を、１時間＝ 60分 × 60秒で割ることで、残りの TSUBAME ポイントが計算できます。
この例では、 32400000 ÷ 3600 = 9000 (TSUBAMEポイント)
すなわち 3000 (TSUBAMEポイント) × 3 で残り３口となります。

• TSUBAME利用ポータルで、より詳細な情報を確認できます。
https://portal.g.gsic.titech.ac.jp/portal

5.3 「t2sub」によるジョブの投入の前に• t2sub コマンドによりジョブを投入します。
-helpで詳細な情報が得られます。
・ ジョブを投入する前に現在のノードの混み具合を確認します。
各キューの実行状況は下記URLで確認できます。
http://mon.g.gsic.titech.ac.jp/summary/

Ｓキューをクリック → ノードを表示5.4 「t2sub」によるジョブの投入例（1/2）• シングルジョブを投入する場合#!/bin/sh
cd $HOME/test./myprog input_data> t2sub -q S -l select=1:mem=48gb -W group_list=t2g-XXXXX-et 1 -l walltime=5:00:00 ./job.sh• OpenMP/Pthreadによる並列> t2sub -q S -l select=1:ncpus=12:mem=48gb -et 1-W group_list=t2g-XXXXX -l walltime=5:00:00 ./job.sh• MPIジョブ (OpenMPI + PGI の例)↑ job.sh の例↓#!/bin/shexport OMP_NUM_THREADS=12
export NCPUS=12#
cd $HOME/test./myprog input_data> t2sub -q S -l select=4:ncpus=12:mpiprocs=12:mem=48gb -l place=scatter-W group_list=t2g-XXXXX -et 1 -l walltime=5:00:00 ./mpitest.sh↓mpitest.sh の例(1ノード12プロセスで48GBメモリ) × 4 ＝ 4ノード48並列#!/bin/shexport PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/p14.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/p14.6/lib:$LD_LIBRARY_PATH#
cd $HOME/test
mpirun -n 48 -hostfile $PBS_NODEFILE ./myprog input_data

5.4 「t2sub」によるジョブの投入例（2/2）•

デフォルトではジョブは home ディレクトリで実行される。
cd $PBS_O_WORKDIR•によりジョブ投入ディレクトリにて実行する。

デバックジョブの例 （-W 課金グループを省略）#!/bin/sh
cd $PBS_O_WORKDIR./myprog input_data> t2sub -q S -l select=2:ncpus=12:gpus=3:mem=48gb -l place=scatter-et 1 -l walltime=0:10:00 ./mpitest.sh
2ノード を 10分間無償で使用可能 （Ｓ系キュー、Ｌ系キュー[SP1])•

よく使う t2sub のオプション-W group_list=t2g-XXXXX-l select=<n>-l walltime=07:00:00-et {0|1|2|3} (x0.9/1/2/4)-p {0|1|2}-q {S|U|G|L…}
mem={48gb|28gb|18gb}※ オプション一覧

課金グループの指定（有償ジョブの場合は必須）
select=<数字> により使用するノード数を設定する
計算する時間の指定（省略時は1時間） “適切”に時間延長オプションの指定（デフォルトは0 = 1時間）
ジョブ優先度の指定（デフォルトは0）-q の後にジョブを投入するキューを指定する
キューにあった適切なメモリサイズを設定する

http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/queues.html#id6

5.5 「t2stat」によるジョブの確認• t2stat により投入したジョブの状態を確認します。
> t2stat -all

すべてのジョブが表示されます。

Job idNameUserTime Use S Queue------------------------ ---------------- ---------------- ----------- - ----1026780.t2zpbs01 job1
13M34567 1068:15: R S
1027495.t2zpbs01 OTHERS
14ITA1234 425:17:1 R S96
1027570.t2zpbs01 ********* ********
220:40:0 R S
1027689.t2zpbs01 job2
toko-d-ai
295:24:2 R L128…

t2statt2stat -n1
t2stat -H
t2rstat -F

自分が投入したジョブＩＤを確認します。
ジョブが実行しているノード（数）を表示します。
終了したジョブの一覧を知ることができます。(1日前まで)
予約（Ｈ）キューの状態を知ることができます。

5.6 「t2del」によるジョブの削除• 投入したジョブを、終了を待たずに削除する場合は、t2del コマンドを使用します。
> t2del 147856.t2zpbs03• 実行中のジョブを削除する場合は、-W force オプションを使用します。キュー待ち状態のジョブも削除可能です。
> t2sub -q S -l select=1:ncpus=12 …
./job.sh123456.t2zpbs01> t2del -W force 123456.t2zpbs01• それでも削除できない場合はご連絡ください。
参考FAQ http://tsubame.gsic.titech.ac.jp/node/779

5.7 ジョブIDについての補足• ジョブを投入するキューと PBS サーバーの対応
S, S96, Ｌ系
G系
H, X 系

t2zpbs01
t2zpbs03 (U, V 系 t2zpbs-vm1)
t2zpbs05• ジョブの終了後の実行結果のファイル
ジョブが終了すると２つのファイルが出力されます。
OTHER.o1234567
OTHER.e1234567↑ 標準出力の内容 ↑ 標準エラー出力の内容
標準エラー出力ファイルの末尾に、ジョブの実行情報および課金情報が出力されます。
http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/usage.html#usage-output

5.8 ノードに直接ログインして実行• S系、L系、G系、H系キューにて可能
右枠内のスリープジョブ（dummy.sh）をバッチのSキューに投入します。
> t2sub -q S -l select=1:ncpus=1:mem=48gb -W group_list=t2g-XXXXXX-et 1 -l walltime=1:00:00 dummy.sh
ステータス S を確認して、実行 R になったら> t2statJob idNameUser
ジョブ番号から使用できるマシンを確認します。

1 時間スリープの例> cat dummy.sh#!/bin/shsleep 3600

Time Use S Queue---------------- ---------------- ---------------- ----------- -- --61092.t2zpbs01 OTHERS titech-d-ai
0 Q S

このt2a000174マシンにログインできます。
> ssh t2a000174

作業が終わりましたら、exitして> t2del 61092.t2zpbs01とすれは、数秒後にジョブが終了します。

実行状態へ> t2statJob idNameUser
Time Use S Queue---------------- ---------------- --------------- ------------ -- --61092.t2zpbs01 OTHERS titech-d-ai 00:00:00 R S> t2stat –n1
Req'd Req'd Elap
Job ID
Username Queue Jobname SessID NDS TSK Mem Time S Time nodename--------------------- ------------- ---------- ------ --- --- ------ ----- - ------------------------- ------- -------------------61092.t2zpbs01 titech-d-ai S
OTHERS 27221 1 2 40gb 00:00 R 00:00 t2a000174/0*2

不明なことがありましたら以下のアドレスへ• 文部科学省 先端研究基盤共用・プラットフォーム形成事業の利用者及び、• 共同利用制度の有償利用の利用者は課題ＩＤ、もしくはユーザーＩＤを添えて、kyoyo@gsic.titech.ac.jp までお気軽にお問い合わせください。

関連リンク
Login ノード
ファイル転送用ノード

login-t2.g.gsic.titech.ac.jp
io-t2.g.gsic.titech.ac.jp共同利用推進室
http://www.gsic.titech.ac.jp/tsubame
TSUBAME計算サービス
http://tsubame.gsic.titech.ac.jp
TSUBAME2.5利用ポータル
https://portal.g.gsic.titech.ac.jp/portal
TSUBAME利用状況一覧
http://mon.g.gsic.titech.ac.jp/summary/
TSUBAME利用 FAQ
http://tsubame.gsic.titech.ac.jp/faq
共同利用推進室 FAQ
http://www.gsic.titech.ac.jp/node/468
TSUBAME2.5利用の手引き
http://tsubame.gsic.titech.ac.jp/docs/guides/tsubame2/html/index.html
TSUBAME2.5 ポータル利用手引き
http://tsubame.gsic.titech.ac.jp/docs/guides/portal/html/index.html
講習会資料

http://www.gsic.titech.ac.jp/kyodou/beginners_course

UNIX 入門
チューニング資料

http://tsubame.gsic.titech.ac.jp/docs/guides/UNIX/UNIX.pdf
http://tsubame.gsic.titech.ac.jp/docs/guides/UNIX/tune.pdf

採択課題一覧

http://www.gsic.titech.ac.jp/kyoyo_adoption