FX10 スーパーコンピュータシステム長時間ジョブ実行用（Oakbridge-FX）運用開始のお知らせ
スーパーコンピューティングチーム
2014 年 4 月 1 日 (火) より、FX10 スーパーコンピュータシステム長時間ジョブ実行用（Oakbridge-FX）の運用を開始する予定です。
Oakbridge-FXは従来のサービスであるFX10スーパーコンピュータシステム一般ジョブ実行用（Oakleaf-FX）と同じノードあたりの演算性能で、最大 576 ノードのジョブを最長 168 時間（7 日間）実行できるシステムです。ここでは本システムの基本的な仕様並びに使用方法についてお知らせいたします。
1. システム構成
Oakbridge-FX および Oakleaf-FX のハードウェア構成は以下のとおりです (図 1、表 1)。
Oakleaf-FX (�����ス)���ー���イ�タ�クテ���ー��

���ー��
��������������ー������� ���PRIMEHPC FX10 ×50�ック
���ー� ： 4,800
イ�タ�クテ���ー�： 50
������� : 1.13PFLOPS������ : 150TByteイ�ター�ネクト : 6���ッシ�/トー�ス

外部接続ルータ�ー�ルファイルシステム ��: 1.1PByte
InfiniBand
ネットワークPRIMERGY RX300(MDS)ETERNUS DX80(MDT,OST)

��ファイルシステム

外部ファイルシステム

Ethernet
ネットワーク��: 2.1PByte

PRIMERGY RX300(MDS,OSS)ETERNUS DX80(MDT)ETERNUS DX410(OST)��イ��ー����イ
PRIMERGY RX300

UTnet
Oakbridge-FX (������ス)���ー���イ�タ�クテ���ー����イ��ー����イ
PRIMERGY RX300

PRIMEHPC FX10 ×6�ック
���ー� ： 576
イ�タ�クテ���ー�： 6ユーザー

������� : 136.2TFLOPS������ : 18TByte
イ�ター�ネクト : 6���ッシ�/トー�ス

�ー�ルファイルシステム
��: 147TByte

PRIMERGY RX300(MDS)ETERNUS DX80(MDT,OST)InfiniBand
ネットワークInfiniBand
EthernetFibreChannel

Ethernet
ネットワーク外部接続
ルータ

��ファイルシステム
��: 295TByte

PRIMERGY RX300(MDS,OSS)ETERNUS DX80(MDT)NetApp E5560(OST)���ー��
��������������ー����� �

図 1. システム構成図

スーパーコンピューティングニュース- 7 -Vol.16,No.2

2014表 1. 機器構成
仕様

項目

Oakleaf-FX

Oakbridge-FX

総理論演算性能

1.135 PFlops

136.2 TFlops

総主記憶容量150 TByte

18 TByte

システム全体

総ノード数

4,800

576(計算ノード)

インターコネクト

6 次元メッシュ / トーラス

ローカルファイルシステム

1.1 PByte

共有ファイルシステム

2.1 PByte

理論演算性能ノード

プロセッサ

147 TByte
295 TByte
236.5 GFlops

プロセッサ数 (コア数)

16

主記憶容量

32 GByte

プロセッサ名SPARC64™ IXfx
1.848 GHz

周波数
理論演算性能 (コア)14.78 GFlops

計算ノードの性能およびインストールされているソフトウェアは Oakleaf-FX と同じです。
2. ジョブクラス制限値
Oakbridge-FX のジョブクラス制限値は表 2 のとおりです。
申込コースによって実行可能な最大ノード数に制限があります。
表 2. Oakbridge-FX ジョブクラス制限値（2014 年 4 月 1 日）
コース１

コース２

グループコース

long24 ～576(9216)

168 時間

28

△

△

○

interactive_bn1※４
interactive_bn4

2 ～14(16)
(64)

2 時間
10 分

28
〃

○○○
○

○○

メモリーキュー名※１

ノード数※２

制限時間

容量（最大コア数）（経過時間）（ＧＢ）

パーソナル※３△ パーソナルコース１は 最大 24 ノード、 コース２は 96 ノードまで実行可※１ キューの指定は #PJM –L “rscgrp=long”（long は小文字）と指定する※２ トークンの消費係数は優先ノード数まで 1.00、優先ノード数超で 2.00
（優先ノード数は、パーソナルコース１が 12 ノード、コース２が 24 ノード、グループコースは申込ノード数）※３ １ノード当りの利用者が利用可能なメモリー容量※４ インタラクティブジョブの起動は、 pjsub --interact -L “node=ノード数” （トークン消費なし）

3. 使用方法
専用のログインノードに接続してジョブ投入を行います。接続ホストおよびファイルシステムについては以下のとおりです。
ジョブスクリプトやジョブ投入など、基本的な使用方法については従来の Oakleaf-FX と同じです。詳細は、Web ページ
http://www.cc.u-tokyo.ac.jp/system/fx10/ または利用支援ポータル https://oakleaf-www.cc.u-tokyo.ac.jp/ のドキュメント閲
覧から、「Oakleaf-FX/Oakbridge-FX 利用手引書」をご覧ください。

3.1 接続ホスト
Oakbridge-FX の接続ホスト名は表 3 のとおりです。接続には利用支援ポータルにて Oakbridge-FX の公開鍵登録を行う必要があります。

スーパーコンピューティングニュース- 8 -Vol.16,No.2

2014表 3. Oakbridge-FX 接続ホスト名
ホスト名

oakbridge-fx.cc.u-tokyo.ac.jp※以下のホストの何れかに接続します。
また、どのホストに接続しても同じ環境です。負荷分散にご協力ください。
oakbridge-fx-1.cc.u-tokyo.ac.jp
oakbridge-fx-2.cc.u-tokyo.ac.jp
SSH Protocol Version 2
鍵による認証 (センター発行のパスワードは SSH ログインには使用しません)
初回は Web による鍵登録が必要です (公開鍵登録は利用支援ポータル
https://oakleaf-www.cc.u-tokyo.ac.jp/ にて行ってください。)

接続方法
認証方式

3.2 ファイルシステム
ユーザ領域として以下のファイルシステムを使用できます。
表 4. ファイルシステム
ファイルシステム
共有ファイルシステム（FEFS ※1）
ローカルファイルシステム（FEFS ※1）

/home/ユーザ名/scratch/ユーザ名

説明
各ユーザ 10GB 固定。
増量はできません。
show_quota
コマンドで使用量を確認できます。
共有領域（/scratch 全体で約 280TB）。1 ヶ月以上更新が無いファイルは月末処理時に削除されます。
ステージングで利用（バッチジョブのみ使用可能）
。

/work

1 ノードあたり 240GB。ファイルはジョブ終了時に削除されます。
※１ Fujitsu Exabyte File System※２ 上記のほか Oakleaf-FX の /home を /oakleaf_home、/group を /oakleaf_group、外部ファイルシステムを/oakleaf_mppxa または /oakleaf_mppxb としてログインノードに NFS 接続。
NFS マウントされた Oakleaf-FX 上のファイルを直接バッチジョブで使用することはできません。必要に応じて /home あ
るいは /scratch にコピーを行いご使用ください。また、/scratch の容量は他の利用者も使用する共有領域としては小規模のため、ジョブ実行完了後の入出力データは適宜削除をお願いいたします。
4. 注意事項
・利用申込および利用負担金は従来の Oakleaf-FX から変更ありません。
・トークンは Oakleaf-FX と Oakbridge-FX で共通です。
・Oakleaf-FX から Oakbridge-FX へのジョブ投入（またはその逆）はできません。それぞれのログインノードからジョブを投入してください。
・公開鍵は Oakleaf-FX と Oakbridge-FX で異なります。異なる鍵を登録することも可能です。どちらの鍵も利用支援ポー
タル https://oakleaf-www.cc.u-tokyo.ac.jp/ から登録できます。
・Oakleaf-FX の 2014 年度継続利用者については Oakbridge-FX のアカウントが自動的に作成されます。ただし、最初にOakbridge-FX への公開鍵登録が必要です。
・利用の手引きは Oakleaf-FX と Oakbridge-FX で共通です。
「Oakleaf-FX/Oakbridge-FX 利用手引書」を利用支援ポータルでご覧ください。
5. その他
最新の情報は、本センター Web ページ (http://www.cc.u-tokyo.ac.jp/) にて随時ご案内いたします。メールによるお問い合
わせについては、事前に Web ページをご確認の上、受付 uketsuke@cc.u-tokyo.ac.jp までお願いいたします。

スーパーコンピューティングニュース- 9 -Vol.16,No.22014