Vol.15, No.1 2 16

新スーパーコンピュータサービス開始【巻頭言】「Vol.15，No.1号の発刊にあたって」深沢 圭一郎【新スーパーコンピュータサービス開始】「新スーパーコンピュータ利用ガイド」尾形幸亮，池田 健二，疋田 淳一●「新スーパーコンピュータCamphor 2のベンチマーク評価報告」平石 拓【研究会開催報告】「The 35th JSST
Annual Conference（JSST2016）開催報告」江原 康生

巻頭言

巻頭言
Vol. 15, No.1 号の発刊に当たって京都大学学術情報メディアセンター
深沢

圭一郎

本号では，
「新スーパーコンピュータサービス開始」というタイトルで、2016 年 10 月から導入が始まっている新スーパーコンピュータシステムについて特集いたします．サブシ
ステム A，B，C からなる新システムですが，まず Xeon Phi（KNL）を搭載するサブシス
テム A が 2016 年 10 月から導入されており，2016 年 12 月末からサブシステム B と C が稼働を開始しています．本号では各システムの利用方法を紹介していますが，新システムはジョブスケジューラが旧システムと変更になっている点がこれまでとの大きな違いの一つになります．3 つのシステムの中で，最も性能が高く，ノード数も多く中心的なシステムが，サブシステム A になります．このシステムは世界でも早期に新しい Xeon Phi（KNL）を搭載したシステムであり，2016 年 11 月のスパコン世界ランキング（Top500）では 33 位，国内ランキングでは 4 位の性能を持つシステムになります．また，新システム A は「Camphor
2」という名前がついておりますが，旧システム A「Camphor」とはかなり異なったシステ
ムです．詳細は特集記事にありますが，Xeon Phi（KNL）は低めの周波数（1.4GHz）で多数のコア（68 コア）からなる CPU であり，SIMD 演算を効率的に行うことで，性能を高めています．そのため，非並列かつ SIMD が効きにくいアプリケーションは旧システム A より性能が出ない（1 コア当たりで）ことも予想されます．そのため，Xeon Phi（KNL）の性
能を利用者の方に報告する意味でいくつかのベンチマーク評価を特集では紹介しています．
スーパーコンピュータの評価によく利用されるベンチマークではありますが，他のシステ
ムと比較することで，Xeon Phi （KNL）の特徴を少しでもご理解いただけると思います．
サブシステム B についてのベンチマーク情報は，Vol. 16 No. 1 で紹介する予定です．
「イベント報告」では，センターが共催し，10 月末に京都大学国際科学イノベーション
棟で開催された日本シミュレーション学会の年次大会である「The 35th JSST Annual
Conference（JSST2016）」について報告されています．この会議は理工学・産業の多くの専門分野におけるシステム技法からソフトウェア、ハードウェア及び諸分野への応用に向けたシミュレーションの学理と技術に関する研究討論と情報交換を行う場として毎年開催されており，2011 年より国際会議として開催されています．会議では京都大学での開催ということもあり，本センターの中島浩教授に HPC に関する基調講演を行っていただきました．日本シミュレーション学会の会議であるため，スーパーコンピュータ関連ではなく，様々なアプリケーションに関する研究発表が多くある興味深い会議でした．
新スーパーコンピュータシステム導入に伴い，利用者の方にはご不便をおかけしている部分もありますが，安定した，より高効率な計算を行える計算機環境を作れるようにセンタ

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 1

ーとしても対応をしっかりとしていきたいと思います．新システムの中でも新しい Xeon
Phi（KNL）は現在運用されている Xeon Phi（KNC）や通常の Xeon と比べて最適化手法が異なることが想定されています．センターでは，「プログラム高度化共同研究」などを通じて，皆様の研究，教育に新システムをご活用いただけるようにセンター教職員も尽力していきますので，今後ともご利用，ご支援のほど、よろしくお願いいたします．

2 − Academic Center for Computing and Media Studies, Kyoto University

新スーパーコンピュータサービス開始

新スーパーコンピュータ利用ガイド
尾形 幸亮

池田 健二

疋田 淳一

京都大学 企画・情報部

1 はじめにスタ型のシステムです。システム C は、16 台と少数ですが、3TB の大容量メモリと Intel 社の Xeon

学術情報メディアセンターでは、2016 年 10 月よHaswell-EX プロセッサを 4 基搭載するノードをり新しいスーパーコンピュータ（以下、
新スパコン）InfiniBand EDR 接続したシステムとなっています。

のサービスを開始しております。新スパコンは、

システム B および C については、2017 年 1 月よりCamphor 2（以下、システム A）、Laurel 2（以下、稼働開始するために準備を進めています。これら 3システム B）、Cinnamon 2（以下、システム C）の種の演算システムは高速通信網を経由して 24PB の3 種の演算システムおよび大規模ストレージで構成

大容量ストレージに接続しており、演算に必要な大しています。システム A は最新の Intel 社のメニー

規模データの入出力を高速に行える環境となっていコアプロセッサである Xeon Phi Knights Landing

ます。新システムの性能諸元値を記した構成図を図（KNL）を搭載したノードを 1800 台接続した大規1 に示しました。以下、本稿では新スパコンの利用

模並列コンピュータです。2016 年 10 月より稼働開方法について解説します。なお、2014 年から稼働し始しました。システム B は最新の Intel 社の Xeonている Camellia（システム E）も引き続きサービス

Broadwell-EP プロセッサを 2 基搭載したノードをしておりますが、本稿では省略します。

InfiniBand EDR により 850 台を接続した PC クラ

図 1 システム構成図

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 3

2 スパコンへのログイン
ログインノードのホスト名は、表 1 に示す通りです。システム A は 2 台、システム B および C はログインノードを共有しており、3 台で構成しています。複数台のログインノードは DNS ラウンドロビ
ンにより負荷分散しています。
表 1 ホスト名
システム
A

ホスト名（FQDN）
camphor.kudpc.kyoto‐u.ac.jp（システム A の利用者のみログイン可能）B

3 ファイルシステム
3.1 ホームディレクトリ（$HOME）
ホームディレクトリのパスは、図 2 に示すように、/home の後に利用者番号の先頭のアルファベット一
文字、次に利用者番号となっています。
利用可能な領域として、利用者あたり 100GB の容量を割り当てています。
記憶領域は、システム A，B，C で共有しています。ファイルシステムの実体は /home0 であり、/home にシンボリックリンクを張っています。

laurel.kudpc.kyoto‐u.ac.jp（全利用者がログイン可能）C

laurel.kudpc.kyoto‐u.ac.jp（ログイン後、コマンドでシステム C の環境に切り替え）

図 2 ホームディレクトリ

スパコンへのログイン手段は、公開鍵認証方式に限定しています。スパコンにログインするには、以下の流れで作業を行ってください。

3.2 大容量ディスク領域
3.2.1 容量と構成

1.

SSH クライアントのインストール

2.

鍵ペアの作成（公開鍵、秘密鍵）

3.

利用者ポータルから公開鍵の登録

4.

SSH クライアントで秘密鍵を使用してログインパーソナル、グループ、専用クラスタの各コースをご利用の方は、大容量ディスク領域を利用できます。割り当て容量は各コースの資源により、表 2 に示す値の通り決まっています(バックアップ領域を含む)。
表 2 コース毎の/LARGE 容量

詳細な手順は次の URL で案内しています。
http://web.kudpc.kyoto-u.ac.jp/manual-new/ja/login

2.1 X 環境でのログイン
PC X サ ー バ ソ フ ト ウ ェ ア と し て Exceed
onDemand バージョン 8 を提供しています。
Exceed onDemand は、データ圧縮技術により通信
トラフィックを抑えているため、遠隔地でも快適に
X 環境を利用することができます。インストールや利用方法は、次の URL で案内しています。
http://web.kudpc.kyoto-u.ac.jp/manual-new/ja/login/eod/LARGE 容量

コース
パーソナル

2TB

グループ タイプ A1、B1

1 ノードあたり 4TB

グループ タイプ A2、B2

1 ノードあたり 2.4TB

グループ タイプ A3、B3

1 ノードあたり 4TB

グループ タイプ C1

1 ノードあたり 16TB

グループ タイプ C2

1 ノードあたり 9.6TB

専用クラスタ1 ノードあたり 4TB

大容量ディスクは、システム A、B、C では/LARGE0 と/LARGE1 の 2 つの領域で構成されており、初期設定では/LARGE1 はバックアップ領域となっています。また、図 3、図 4 に示すように、/LARGE0,1 の直下にユーザ名、グループ名のディレクトリを配置しています。

4 − Academic Center for Computing and Media Studies, Kyoto University

バックアップを解除$ group_backup ‐g gr10000 ‐u 1
/LARGE0/gr10000: Safe=> UnSafe/LARGE1/gr10000: Backup => UnSafe

3.3 利用状況の確認（quota）
ディスクの利用状況は quota コマンドで確認することができます。確認できる項目を表 3 に示します。
また、-g オプションを使用することで、大容量ディスクの利用状況を確認することができます。


ホームディレクトリの利用状況$ quota

図 3 パーソナルの大容量ディスク

Disk quotas for user b59999 (uid 59999):
fsys blocks quota limit grace files quota limit grace/home 100 100000000 105000000 ‐ 50 600000 700000 ‐表 3 利用状況の確認項目一覧
項目

内容

blocks

使用中のファイル容量(KB)

quota

ファイル容量／数の制限値(ソフトリミット)

limit

ファイル容量／数の絶対的制限値(ハードリミット)

grace

制限値越え(ソフトリミット超過)の許容期間

files

使用中のファイル数

4 利用環境のカスタマイズ
図 4 グループ・専用クラスタの大容量ディスク
3.2.2 バックアップ設定

4.1 環境設定ファイル
標準のログインシェルは bash に設定しており、バックアップ領域は、group_backup コマンドにログイン時に環境変数の設定などを行いたい場合

よりバックアップを解除することで通常の領域としは、.bash_profile ファイルや.bashrc ファイルに必て利用できます。バックアップ設定の変更は、パー

要な設定を記述することで反映されます。tcsh を利ソナルコースの場合は利用者本人、グループ・専用

用する場合には、.tcshrc に設定を記述することで反クラスタコースの場合はグループ管理者（サービス

映されます。

の申請者）が行うことができます。

なお、システム A、B、C では、ホームディレク
トリが共有されているため、環境設定ファイルは同

じものが読み込まれます。複数のシステムを利用し現在の設定を確認ている場合、例えば次のように hostname コマンド$ group_backup ‐g gr10000 ‐l
Num Filesystem

Status Filesystem

Status1) /LARGE0/gr10000..Safe /LARGE1/gr10000 ... Backupの結果に応じた条件文を記述することで、各システ
ムに応じた処理を行うことができます。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 5

.bashrc の例とで、コマンド出力、コンパイラリンク、オンライ

case `hostname` inンマニュアル(man)などのメッセージを日本語表示

camphor*)#システム A の場合の処理;;
laurel*)#システム B/C の場合の処理
;;
Esac



.tcshrc の例に変更することができます。


環境変数 LANG を設定する(bash の場合)

$ export LANG=ja_JP.UTF‐8

環境変数 LANG を設定する(tcsh の場合)

$ setenv LANG ja_JP.UTF‐8

5 ソフトウェア環境設定ツール

switch(`hostname`)case camphor*:#システム A の場合の処理
breaksw
case laurel*:#システム B/C の場合の処理
breaksw
endsw

コンパイラ、ライブラリ、アプリケーションを利用する際に必要になる環境設定を行うツールとして、
module コマンドを提供しています。あらかじめ用意されているモジュールファイル(実行コマンドやライブラリのパスが定義されたファイル)と呼ばれる定義ファイルを module コマンドにより指定することで、異なるバージョンのソフトウェアを使用す

4.2 ログインシェルの変更
ログインシェルは chsh コマンドで変更することができます。対応しているシェルは sh、bash、csh、
tcsh、zsh、ksh の 6 種類です。


る際の、環境設定を簡単に切り替えて利用することができます。module コマンド一覧を表 4 に示します。詳細な使い方は module help と実行していただくことでヘルプが表示されます。
表 4 module コマンドログインシェルを tcsh に切り替える$ chsh tcsh

コマンド

説明

module list

ロード済みモジュールファイルの一覧表示

module avail

使用可能モジュールファイルの一覧表示

module show

モジュールファイルの設定内容表示

バッチ処理システムからのエラー通知など、シス

module load

モジュールファイルのロード

テムからの通知メールはシステムのローカルユーザ

module unload

モジュールファイルのアンロード

module switch

モジュールファイルの切り替え

4.3 システムからの通知メール転送

宛てに送信されます。このメールは mutt コマンドでも確認できますが、いち早く閲覧できるようホー
ムディレクトリに.forward ファイルを作成し、普段メインとなるコンパイラやライブラリはログイン

利用しているメールアドレスに転送することを推奨

時に自動で設定が行われます。システム A は Cray

しています。

コンパイラ環境、システム B、C では、Intel コンパ

転送するには、次のコマンドのメールアドレス部

イラ環境が設定されます。

分を自身のものに置き換えて実行してください。
user@example.com にメールを転送$ echo user@example.com > ~/.forward

4.4 メッセージの日本語化
SSH クライアントの文字コードを UTF-8 に設定した上で、次の通り環境変数 LANG を設定するこ6 − Academic Center for Computing and Media Studies, Kyoto University

ロードされている module ファイルの確認$ module list
Currently Loaded Modulefiles:
1) pbs/SystemA2) cce/8.5.2

コンパイラの切り替え$ module switch cce/8.4.63) cray‐mpich

ISV アプリケーションを利用する場合は、module
avail コマンドにより利用可能なアプリケーション



最大値まで拡張(tcsh)$ unlimitとバージョンを確認し、 module load コマンドにより環境設定を行った後で、起動コマンドを実行し

6.2 会話型ジョブの利用てください。


会話型ジョブは通常のコマンド実行のように、対話的にジョブを実行する形式です。プログラム自体

matlab の起動手順

は計算ノード上で実行されますが、ログインしてい$ module load matlab

るターミナル上にプログラムの出力内容がすぐに返$ xrun matlab

されるため、プログラムのデバッグや対話的に利用※ xrun コマンドについては次章をご覧ください

するアプリケーションを実行する際にご利用ください。

6 プログラムの実行方法

6.2.1 会話型ジョブ用の計算ノード

6.1 ログインノードの利用
ログインノードは、多数の利用者が同時にログイ
ンし作業を行うため、エディタを使ったプログラミ
ングやコンパイル、小規模な逐次処理のプログラム実行に限定して利用してください。過度な負荷がかかることを防止するために、表 5 に示すプロセスリ

会話型ジョブ用の計算ノードは全利用者で共用するため、一部のユーザが占有しないように利用可能
な資源に制限をかけています。制限値を表 6、表 7に示します。
表 6 会話型ジョブ用計算ノードの制限値（標準）ミットを設定しています。
表 5 ログインノードのプロセスリミット
項目

初期値

最大値

CPU 時間(CPU Time)

4 時間

24 時間

メモリサイズ(Virtual memory)

4GB

4GB

システム A

システム Bシステム C

コア数

1

1

1

メモリ

1355MB

3413MB

42666MBCPU 時間

制限なし

経過時間

1 時間

表 7 会話型ジョブ用計算ノードの制限値（最大）bash を利用している場合は、ulimit コマンドをシステム A

システム Bシステム C

コア数

68

36

72

メモリ

90GB

120GB

3000GB

使って設定確認・変更を行うことができます。


設定確認(bash)$ ulimit ‐a
cpu time(seconds, ‐t) 14400

CPU 時間制限なし

virtual memory(kbytes, ‐v) 4194304

経過時間

24 時間



最大値まで拡張(bash)

6.2.2 tssrun コマンド$ ulimit ‐t 86400$ ulimit ‐v 4194304

会話型ジョブを実行するには tssrun コマンドを

tcsh を利用している場合は、limit コマンド、
unlimit コマンドを使ってプロセスリミットの設定利用します。MPI プログラムを実行する場合は、シ
ステム A およびシステム B、C で利用方法が異なりますのでご注意ください。

確認・変更を行うことができます。



tssrun [‐q queue] [‐A p=x:t=x:c=x:m=x] ¥設定確認(tcsh)$ limittssrun コマンドの利用方法[‐C cpulimit] [‐W elapsetime] ./a.out

cputime4:00:00

vmemoryuse

4194304 kbytes※ オプションの詳細は表 9、表 10 を参照

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 7

表 8 キューの一覧【共通】逐次実行プログラム$ tssrun ./a.out

$ tssrun ‐A p=1:t=4:c=4 ./a.out【システム A】MPI プログラム（8 プロセス）$ tssrun ‐A p=8 ./a.outキュー名【共通】OpenMP プログラム（4 スレッド）【システム B、C】MPI プログラム（16 プロセス）$ tssrun ‐A p=16 mpiexec.hydra ./a.out※ mpiexec.hydra コマンドを介してプログラムを起動

6.2.3 xrun コマンド
Exceed onDemand によりログインした状態で、
xrun コマンドを利用することで、GUI のアプリ
ケーションを計算ノードで実行させることができ

利用条件

eb

すべての利用者が利用可能

p{a|b|c}パーソナルコース利用者

グループ名 + {a|b|c}

グループコース利用者

t{a|b|c}

会話型ジョブ用

6.3.2 ジョブスクリプト
ジョブスクリプトは、原則的には bash スクリプ
トとして記述してください。スクリプトはジョブ投
入オプションを記述したジョブスケジューラオプション領域と実行するプログラムを記述したユーザプ
ログラム領域から構成されます。以下にシステム A

ます。コマンドの利用方法は tssrun と同様です。

におけるサンプルを示します。

6.2.4 パーソナル、グループコース用のバッチキュ#!/bin/bash

ーの利用#============ Options ============#QSUB ‐q gr10001a#キュー指定#QSUB ‐ug gr10001#実効グループ指定#QSUB ‐W 10:00#経過時間上限指定

ションにより、グループコースやパーソナルコース#QSUB ‐A p=4:t=1:c=1:m=1355M#計算資源量の指定で利用可能なバッチキューを指定することで、前述#============ Shell Script ============の計算ノードの制限を受けずに、本格的なジョブ実

aprun ‐n $QSUB_PROCS ‐d $ QSUB_THREADS –N ¥行を対話的に行うことができます。

$QSUB_PPN ./a.out

tssrun および xrun コマンドは、会話型ジョブ用の計算ノードでプログラムを実行しますが、-q オプ

6.3 バッチジョブの利用

ジョブスクリプトのサンプルを次の Web ページ

バッチ処理を実現するための、ジョブスケジューで公開しています。サンプルをベースにジョブスケ

リングソフトウェアとして、システム A,B,C ではジューラオプションの修正や必要なスクリプトを追

PBS を導入しています。

記してください。

PBS にバッチジョブを投入するには、実行したいプログラムを記述したシェルスクリプト（ジョブス
クリプト）を作成し、専用のコマンドによってスクリプトの実行依頼を行います。
スパコンの計算資源は有限であるため、大規模な計算や本格的な実行は、バッチジョブで行っていた

システム A
http://web.kudpc.kyoto-u.ac.jp/manual-new/ja/run/systemaシステム B、C
http://web.kudpc.kyoto-u.ac.jp/manual-new/ja/r

だくことが基本となります。

un/systembc

6.3.1 バッチキュー名と投入権限

6.3.3 ジョブスケジューラオプション

利用可能なバッチキューは申し込んだサービスコ

ジョブスクリプトのオプション領域にて、ースにより決まります。キューの種類を表 8 に示し#QSUB 句の後にオプション指定することで、ジョます。

ブの属性を設定することができます。主要なオプシ

8 − Academic Center for Computing and Media Studies, Kyoto University

ョンを表 9 に示します。

表 9 ジョブスケジューラオプション
オプション

6.3.5 プログラムの実行方法
シェルスクリプト領域に実行したいプログラムを説明‐q QUEUENAME

キュー指定

記述しますが、システム A とシステム B、C でプロ‐ug GROUPNAME

実効グループ指定

グラム実行方法が異なりますのでご注意ください。

‐W HOUR:MINUTE

経過時間上限値指定

‐A p=X:t=X:c=X:m=X

計算資源量の指定‐M MAILADDR

下記‐m で送るメールのアドレス指定‐m be

ジョブ開始時と終了時にメール送信

要があります。aprun を利用しないと計算ノード上‐r n

障害発生時のジョブ再実行禁止

で正しくプログラムが起動しません。

システム A
逐次実行、OpenMP、MPI ともに、次のように

また、-A オプションで指定できる計算資源量を表

aprun コマンドを介してプログラムを起動する必

aprun ‐n $QSUB_PROCS ‐d $QSUB_CPUS ¥‐N $QSUB_PPN ./a.out

10 に示します。

表 12 aprun コマンドのオプション（-A の詳細）表 10 ジョブスケジューラオプション
オプション

オプション

説明

p=procs

プロセス数 e.g. p=8

t=threads

プロセスあたりのスレッド数 e.g. t=16

c=cores

プロセスあたりのコア数 (基本的に t と同じ値を指定) e.g. c=16

m=memory

プロセスあたりのメモリ容量(単位:M,G,T)
e.g. m=1355M

説明‐n procs

プロセス数‐d cores

コア数‐N ppn

ノードあたりのプロセス数



システム B、 C
MPI に よ る 並 列 実 行 の 場 合 、 次 の よ う に

mpiexec.hydra コマンドを介してプログラムを起

6.3.4 ジョブスクリプトで利用可能な環境変数
ジョブスクリプト上で利用可能な PBS の環境変数のうち、代表的なものを表 11 に示します．

動します（逐次、OpenMP の場合は不要）。MPI で起動するプロセス数や計算ノードの情報は、
mpiexec.hydra が PBS から直接データを取得する
ので、明示的な指定は不要です。

表 11 ジョブスクリプトで利用可能な環境変数
環境変数名

・MPI による並列実行の場合
mpiexec.hydra ./a.out
・逐次実行、OpenMP による並列実行の場合./a.out

説明

QSUB_JOBID

当該ジョブのジョブ ID

QSUB_QUEUE

ジョブを投入したキュー

QSUB_WORKDIR

ジョブを投入したカレントディレクトリ

QSUB_PROCS

ジョブ実行時のプロセス数（‐A オプション

ジョブを投入できるキューを確認するためには、の p の値）
QSUB_THREADSQSUB_CPUSQSUB_MEMORY

ジョブ実行時のスレッド数（‐A オプションシステム A,B,C では qstat -q コマンドを使用します。

の t の値）

以下にシステム A で qstat -q の実行例を示します

ジョブ実行時のコア数（‐A オプションの c（見易さのため一部省略しています）。

の値）$ qstat ‐q
QueueMemory CPUTime Walltime Node Run Que‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐ ‐‐‐‐ ‐‐‐‐‐ ‐‐‐‐‐
ta
‐‐
‐‐
‐‐
‐‐
0
0
pa
‐‐
‐‐
‐‐
‐‐
0
0
gr10001a ‐‐
‐‐
‐‐
‐‐
0
0

ジョブ実行時のメモリ容量（‐A オプションの m の値）

QSUB_PPN

6.3.6 ジョブ投入できるキューの確認 (qstat -q)

ジョブ実行時のノードあたりのプロセス
数（‐A の値から自動で算出、システム A
のみ）

左から 6，7 列目の RUN，QUE はそれぞれ実行中
ジョブ，実行待ちジョブを表します．

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 9

6.3.7 ジョブ実行(qsub)

表 13 qgroup コマンドで表示される項目一覧

キューにジョブを投入するためには、qsub コマン
ドを使用します。qsub コマンドにジョブスクリプト
ファイルを指定しジョブを依頼すると、システムからジョブ ID が発行されます。以下にシステム A の実行例を示します。
$ qsub sample.sh1146.sdb

6.3.8 ジョブの詳細情報を確認する(qs)項目

説明

RUN、PEND、OTHER

ジョブの件数

ALLOC

割当コア数

REQUEST

要求コア数

MIN

キューに対する最低保障コア数（すぐに利用可能なコア数）

STD

キューに対する標準コア数（1 ジョブの利用コア数の上限）

MAX

キューに対する最大コア数投入したジョブの詳細情報を確認するためには、（全ジョブの利用コア数の合計の上

qs コマンドを使用します。

限）

$ qs
QUEUE USER JOBID STATUS PROC THRD CORE MEM
ELAPSE(limit)

6.3.11 投入したジョブをキャンセルする(qdel)

gr10001a b59999 123 RUN 4 8 8 1355M 00:06(01:00)

6.3.9

投入したジョブをキャンセルするためには、シス
テム A,B,C では qdel コマンドを使用します。キャ

ジョブの途中経過を確認する(qcat)

実行中のジョブについて、ジョブの途中経過を確認するためには、qcat コマンドを使用します。ジョブの標準出力の表示は-o オプションを、標準エラー
出力の表示は-e オプションを使用し、確認したいジ
ョブの ID を指定します。
$ qcat ‐o 5610

ンセルしたいジョブのIDを引数に指定することで、実行中、実行待ちに関わらずキャンセルすることができます。
$ qdel 15344
qdel: Job <15344> has finished6.3.12 実行結果の確認

Tue May 1 00:00:01 JST 2016
Subroutine A step1 finished
Subroutine A step2 finished
Subroutine A step3 finished$ qcat ‐e 5610

実行が終了すると、実行結果ファイルが qsub コ
マンドを実行したディレクトリに作成されます。デ
フォルトで作成される出力ファイルは、表 14 に示す形式で作成されます。

Tue May 1 00:00:01 JST 2016

表 14 ジョブ実行結果ファイル

STDERR 1
システム

6.3.10 グループのジョブを確認する(qgroup)
グループコースのキュー利用状況は、
qgroup コマ
ンドで確認できます。表示される項目の内容を表13 に示します。
$ qgroup
QUEUE SYS|RUN PEND OTHER|ALLOC(MIN/STD/MAX)‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
gr10000a A | 1
0
0| 64( 136/ 272/ 544)
gr10001a A | 000|0( 136/ 272/ 544)
QUEUE
USER|RUN(ALLOC)PEND(REQUEST)OTHER(REQUEST)‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
gr10000a b59999|1( 64)
0( 0)
0( 0)

10 − Academic Center for Computing and Media Studies, Kyoto University

A

B

C

内容

ファイル名

標準出力・ジョブ情報

Ammddhh.oXXXXXX

標準エラー出力

Ammddhh.eXXXXXX

標準出力・ジョブ情報

Bmmddhh.oXXXXXX

標準エラー出力

Bmmddhh.eXXXXXX

標準出力・ジョブ情報

Cmmddhh.oXXXXXX

標準エラー出力

Cmmddhh.eXXXXXX

mmddhh：ジョブが開始された月・日・時
XXXXXX：ジョブ ID

7 プログラム開発環境



数値計算ライブラリのリンク例#LibSci を使用する場合

システム A、B、C では、Cray コンパイラ、Intel$ module load cray‐libsci

コンパイラ、PGI コンパイラ、GNU コンパイラが$ ftn sample.f90

利用いただけます。また、ログインした際にデフォ

LibSci ライブラリは、オプション指定なしに自動ルトで利用いただけるコンパイラは、システム A ででリンク処理を行うため、コンパイル時のライブラ

は Cray コンパイラ、システム B、C では Intel コン

リ指定は不要です。

パイラです。
7.1.3 C/C++

7.1 システム A の場合

C のコンパイル・リンクは、cc コマンド、C++の7.1.1 コンパイルコマンドとライブラリ

コンパイル・リンクは、CC コマンドを利用します。

Cray コンパイラでサポートしているプログラミ
ング言語とコンパイルコマンドを表 15 に、サポートしている数値計算ライブラリを表 16 に示します。
システム A で Intel コンパイラを利用する場合、module コマンドを実行し、コンパイラ環境を切り

C でのコンパイル・リンク$ cc sample.c

C++でのコンパイル・リンク$ CC sample.cpp



数値計算ライブラリのリンク例

替えた上で、コンパイルコマンドを実行してくださ#Libsci を使用する場合

い。module の設定状況に応じて動作が切り替わる$ module load cray‐libsci

ため、どのコンパイラも同じコンパイルコマンド$ cc sample.c(ftn、cc、CC)で実行することができます。
表 15 プログラミング言語とコンパイルコマンド
言語

規格・バージョン

Fortran

ISO/IEC 1539‐1:2004

コマンド(Fortran 2003)
ISO/IEC 9899:1999(C99)

cc

C++

ISO/IEC 14882:2003

CC

Cray コンパイラがサポートする主なオプション
を表 17 に、メッセージ出力とデバッグのオプションを表 18 に、Fortran 言語固有のオプションを表

ftn

C

7.1.4 コンパイルオプション

19 に示します。
表 17 主なオプション

表 16 MPI、数値計算ライブラリ

オプション

ライブラリ

サポート

MPI

Cray MPI

数値計算

LibSCi, MKL (BLAS,LAPACK,SCALAPACK)‐o FILENAME

オブジェクトファイルの名前を指定します‐O{0|1|2|3}

最適化のレベルを指定します(デフォルトは 2)‐h ompライブラリ

7.1.2 Fortran

OpenMP 指示子を無効にしてコンパイルしますFortran のコンパイル・リンクは ftn コマンドを‐h autothread

自動並列化を行います‐h byteswapio

ビッグエンディアン形式のファイルをサポ利用します。

ートしますFortran でのコンパイル・リンク‐h pic2GByte を超えるメモリをサポートします(ライブラリを動的リンクとする必要があ$ ftn sample.f90

るため、下記の‐dynamic を併用する必要

Cray コンパイラはデフォルトで高い最適化を行うため、最初はオプションなしでコンパイル・リン
クすることを推奨します。

OpenMP 指示子を有効にしてコンパイルします（デフォルトで有効）‐h noomp



説明があります)‐dynamic

ライブラリを動的リンクします京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 11

表 18 メッセージ出力とデバッグのオプション

MPI のコンパイル・リンク

$ ftn sample_mpi.f90
オプション

説明

‐ra

コンパイル時のレポートを作成します‐m2

すべての警告メッセージを表示します‐h msgs

実施した最適化についての情報を表示しま
す

るには、次のコマンドを実行してください。

‐h negmsgs

実施しなかった最適化についての情報を表$ module switch PrgEnv‐cray PrgEnv‐intel

7.1.8 Intel コンパイラへの切り替え
Cray コンパイラからIntel コンパイラに切り替え

示します
‐Rb

配列の領域外参照を検出します

表 19 Fortran 言語固有オプション
オプション‐f fixed

7.2 システム B、C の場合
7.2.1 コンパイルコマンドとライブラリ

説明
プログラムが固定形式で記述されていることを指示します‐f freeプログラムが自由形式で記述されているこ‐em

モジュールを有効にしますとを指示しますIntel コンパイラでサポートしているプログラミ
ング言語とコンパイルコマンドを表 20 に、サポートしているライブラリを表 21 に示します。
表 20 プログラミング言語とコンパイルコマンド
言語

7.1.5 自動並列化
ftn、cc、CC のコンパイルコマンド実行時に、-hautothread オプションを指定することで、コンパイ

7.1.6 OpenMP
OpenMP は、共有メモリ型並列計算機における並列プログラミングの標準インターフェイスです。
Fortran では!$OMP、C/C++では#pragma omp で始まる指示子をユーザがソースプログラム中に挿入
し、-h omp オプションを指定することで、プログラ
ムを並列化します。


OpenMP のコンパイル・リンク$ ftn –h omp sample.f90

7.1.7 MPI
MPI(Message Passing Interface)は、並列処理ア
プリケーション用メッセージパッシングライブラリ

コマンド
ifort

C

ISO/IEC 9899:1999(C99)

icc

C++

ISO/IEC 14882: 2003

icpc

表 21 MPI、数値計算ライブラリ

自動並列化のコンパイル・リンク$ ftn –h autothread sample.f90

ISO/IEC 1539‐1:2004(Fortran 2003)

ラが自動的にプログラムを並列化します。


規格・バージョン

Fortran

ライブラリ

サポート

MPI

Intel MPI

数値計算ライブラリ

MKL、IMSL、NAG

7.2.2 FortranFortran のコンパイル・リンクは ifort コマンドを利用します。


Fortran でのコンパイル・リンク$ ifort sample.f90



数値計算ライブラリのリンク例#MKL を使用する場合$ module load intel$ ifort sample.f90 ‐mkl
#IMSL を使用する場合$ module load imsl
$ ifort $F90FLAGS sample.f90 $LINK_FNL#NAG を使用する場合です。システム A では MPI プログラムも ftn、cc、$ module load nag

CC の各コマンドでコンパイルを行います。

$ ifort $NAGFLAGS sample.f90 $NAGLINK

12 − Academic Center for Computing and Media Studies, Kyoto University

表 23 メッセージ出力とデバッグのオプション

7.2.3 C/C++
C のコンパイル・リンクは icc コマンド、C++のコンパイル・リンクは icpc コマンドを利用します。
C でのコンパイル・リンク



C++でのコンパイル・リンク$ icpc sample.cpp

説明‐qopt‐report

実施した最適化についての情報を表示します$ icc sample.c



オプション

数値計算ライブラリのリンク例#MKL を使用する場合‐qopt‐report

実施した自動並列化についての情‐qopt‐report‐phase=par

報を表示します‐qopt‐report

実施したベクトル化についての情‐qopt‐report‐phase=vec

報を表示します表 24 Fortran 言語固有オプション$ module load intel$ icc sample.c ‐mkl

オプション
‐nofree#NAG を使用する場合

説明
プログラムが固定形式で記述されていることを指示します$ module load nag‐free$ icc $NAGFLAGS sample.c $NAGLINK

プログラムが自由形式で記述されていることを指示します7.2.4 コンパイルオプション
システム B、C のメインコンパイラである Intel‐warn all

すべての警告メッセージを表示します‐CB

配列の領域外参照を検出します

7.2.5 自動並列化機能

コンパイラがサポートする主なオプションを表 22

ifort、icc、icpc のコンパイルコマンド実行時に、に、メッセージ出力とデバッグのオプションを表-parallel オプションを指定することで、コンパイラ

23 に、Fortran 言語固有のオプションを表 24 に示します。

が自動的にプログラムを並列化します。
$ ifort ‐parallel sample.f90

表 22 主なオプション
オプション

7.2.6 OpenMP

説明‐o FILENAME

オブジェクトファイルの名前を指定します‐fastプログラムの速度が最大になるように最適化します‐O{0|1|2|3}

コンパイル時に-qopenmp オプションを指定することで、プログラムを並列化します。


最適化のレベルを指定します

OpenMP のコンパイル・リンク$ ifort ‐qopenmp sample.f90(デフォルトは 2)‐ipo

自動並列化のコンパイル・リンク

複数ファイル間で、手続き間の処理を最適化します

7.2.7 MPI

OpenMP 指示子を有効にしてコンパイルしシステム B、C では MPI プログラムのコンパイ

ます

ルに、mpiifort (Fortran)、mpiicc (C)、mpiicpc‐parallel

自動並列化を行います(C++) を使用します。

‐mcmodel=medium

2Gbyte を超えるメモリをサポートします‐qopenmp

MPI のコンパイル・リンク$ mpiifort sample_mpi.f90‐shared‐intel‐convert

ビッグエンディアン形式のファイルをサポ

big_endianートします京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 13

8 ISV アプリケーション
スパコンを用いた大規模な科学技術計算、および

表 29 構造解析・機構解析アプリケーション

計算化学、構造解析、統計解析、可視化などのために様々なアプリケーションソフトウェアのサービスを提供しています(表 25～表 30)。利用できるアプ
リケーションはシステム毎に異なります。利用者の所属により利用が制限される場合がありますので、詳細は次の URL でご確認ください。
http://web.kudpc.kyoto-u.ac.jp/manual-new/apps

システム

名称

A

B

C

MSC Nastran

―

○

○

Patran

―

○

○

Adams

―

○

○

Marc

―

○

○

Marc Mentat

―

○

○

LS‐DYNA

―

○

○

ANSYS

―

○

○

表 25 可視化・図形処理アプリケーション

名称

表 30 統計解析アプリケーション

システム
A

B

C

AVS/Express

―

○

○

ENVI/IDL―○○

Tecplot―○○

表 26 数式処理アプリケーション

名称
SAS

システム
A

B

C

―

○

―

9 おわりに
本稿では、システム A、B、C の各スパコンシス

名称

システム

テムの利用に必要となる情報を解説しました。より

A

B

C

詳細な情報、最新の情報は以下 Web ページをご確

Maple

―

○

○

認ください。

Mathematica

―

○

○



表 27 技術処理アプリケーション

http://web.kudpc.kyoto-u.ac.jp/manual-new/ja

システム

名称
MATLAB

A

B

C

―

○

○

表 28 計算化学アプリケーション

名称

スーパーコンピュータの使い方

システム
A

B

C

Gaussian09

○

○

○

GaussView

―

○

○

MOPAC

―

○

○

14 − Academic Center for Computing and Media Studies, Kyoto University

新スーパーコンピュータサービス開始

新スーパーコンピュータ Camphor 2 のベンチマーク評価報告
平石 拓 ∗∗

1

学術情報メディアセンター

はじめに演算性能の強化，アウトオブオーダ実行ができるよ京都大学学術情報メディアセンターは，2016 年 10月に新しいスーパーコンピュータ Camphor 2 のサービスを開始した．また，2016 年 12 月からはさらにLaurel 2 と Cinnamon 2 のサービスを開始する予定である．
本稿では，すでにサービスを開始している Cam-phor 2 および従来からサービスを行っているスーパーコンピュータにおける，いくつかのマイクロベ
ンチマークおよび実アプリケーションに基づくベン
チマークプログラムによる性能評価の結果を示し，両者の性能を比較する．

うになっているなどコアあたりの性能も KNC より大幅に強化されている．
また，Camphor 2 のノードは通常の DDR4 メモリ（96GB）に加えて MCDRAM と呼ばれる高速メモリ（16GB）を有している．この MCDRAM は，DDR4
メモリのキャッシュとして使えるモード（キャッシュモード）のほか，MCDRAM と DDR4 のアドレスを分離してどちらのメモリにどのデータを置くかを
ユーザレベルで使い分けることができるモード（フラットモード），この両者のモードを併用するモード（ハイブリッドモード）のいずれかで利用することができるようになっている．ただし，本稿執筆時
点ではユーザはキャッシュモードのみを利用できる2運用となっており，後日残りのモードの利用も解放

システム構成される予定である．

2016 年度，2014 年度，2012 年度に稼動を開始しさらに，これも本稿執筆時点ではユーザに解放さた（開始予定の）スーパーコンピュータの性能諸元

れていない機能だが，DataWarp というバーストバッ

をそれぞれ表 1，表 2，表 3 に示す．

ファを備えていることも Camphor 2 の大きな特徴でCamphor 2 は 2012 年度に導入された Camphorと同じく高い電力性能比を指向したシステムであり，ある．これは，計算中に発生する大量のファイル I/OCamellia（2014 年度稼動開始）に搭載されている

り，計算時の I/O による遅延を最小限に抑えるための

Knights Corner（KNC）の後継である最新の Xeon Phi

仕組みである．なお同様の機能は，Infinite Memory

メニーコアプロセッサ Knights Landing（KNL）を

Engine（IME）により Laurel 2 および Cinnamon 2

採用している．世界のスパコンの Linpack 性能を競でも利用できるようになる予定である．

を高速・低容量なストレージを経由して行うことによう Top500 では 33 位（日本では 4 位），電力比性能を競う Green500 では 9 位（同 3 位）にランキング
された（いずれも 2016 年 11 月時点）[7]．

Camellia の KNC は，通常の Xeon プロセッサノー
ドに追加するコプロセッサとして搭載されていたが，Camphor 2 の KNL はホスト CPU であり，Linux 等

3

測定条件

3.1

計算機環境

今回の性能評価では新旧世代の Xeon Phi およびの OS も KNL 上で直接動作する．そのため，Camel-

Xeon プロセッサの性能を比較するため，Camphor 2

lia のようにホスト－コプロセッサ間のデータ転送を意（新サブシステム A），Magnolia（サブシステム D）

識するプログラミングは不要となる．KNL は SIMD

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 15

表 1: スーパーコンピュータの性能諸元（2016 年度導入システム）
サブシステム名
愛称
機種名
稼動期間

名称

ノード数
理論演算性能Linpack 性能
Top500 初出
製品名，周波数
ソケット数/ node
コア数 / node(/ socket)
規格

CPU

メモリ

ネット
ワーク

サブシステム A
Camhpor 2
Cray XC40
2016 年 10 月～

サブシステム B
サブシステム C
Laurel 2
Cinnamon 2
CS400 2820XT
CS400 4840X
2016 年 12 月～（予定）1800
5.4 PFlops
3.07 PFlops
33rd (Nov. 2016)
Intel Xeon Phi Knights Landing
1.4 GHz850
1.03 PFlops——
Intel Xeon Broadwell
2.1 GHz1

1642.4 TFlops——
Intel Xeon Haswell
2.3 GHz2

4

68 (68)36 (18)72 (18)

DDR4-2400

DDR3-1600

154 GB/s

205 GB/s

容量MCDRAM + DDR4-2133
921 GB/s (MCDRAM)+ 102 GB/s (DDR4)
16GB (MCDRAM) + 96 GB (DDR4)

リンク

Cray Aries (15.75 GB/s)Intel Omni-Path (12 GB/s)

トポロジ

Dragonfly

Fat treeFat tree13.5 TB/s

half-bisection

full-bisection

総バンド幅

バイセクション
バンド幅
ストレージ
バーストバッファ

128 GB

3 TB
Intel Omni-Path × 2(12 GB/s × 2)

DDN ExaScaler (16 PB, 100 GB/s) （2018 年度に 8 PB, 50 GB/s を増強予定）
Cray DataWarp (230 TB, 206 GB/s)
DDN IME (230 TB, 250 GB/s)

表 2: スーパーコンピュータの性能諸元（2014 年度導入システム）
名称

サブシステム名
愛称
機種名
稼動期間

ノード数
理論演算性能Linpack 性能
初出
Top500
最終・最新
製品名，周波数

CPU

メモリ

ネット
ワーク

ソケット数
/ node
コア数 / node(/ socket)
規格
総バンド幅
容量
リンク
トポロジ

サブシステム D
Magnolia
Cray XC30
2014 年 7 月～2016 年 12 月（予定）サブシステム E
Camellia
Cray XC30
2014 年 4 月～

416
428.6 TFlops
307.2 TFlops
174th (Nov. 2014)
456th (Jun. 2016)

482
583.6 TFlops
380.5 TFlops
101st (Jun. 2014)
455th (Nov. 2016)

Intel Xeon Haswell 2.6 GHzIntel Xeon Ivy Bridge 2.6 GHz+ Intel Xeon Phi Knights Corner 1.053 GHz

2

1 (Xeon) + 1 (Xeon Phi)

28 (14)10 (Xeon) + 60 (Xeon Phi)

DDR4-2133
136 GB/s
64GB
Cray Aries (15.75 GB/s)

DDR3-1600 (Xeon) + GDDR5 (Xeon Phi)
51.1 GB/s (DDR4) + 352 GB/s (GDDR5)
32 GB (DDR4) + 8 GB (GDDR5)
Cray Aries (15.75 GB/s)

Dragonfly

Dragonfly

バイセクション
バンド幅
ストレージ

4.6 TB/s
DDN SFA12K (3 PB, 24 GB/s)

および Camellia（サブシステム E）の 3 種類のサブシステムでそれぞれ測定を行った．

3.2

ベンチマークプログラム

本稿で示す評価に用いたベンチマークプログラム

Camellia では KNC をネイティブ実行モード（ホストプロセッサを使わず，KNC 上でのみプログラム

は以下の通りである．

を実行するモード）でのみ用いた．そのため，メモ(a) HPLinpack: Innovative Computing Laboratory,

リが 8 GB しか使用できず，一部のベンチマークでUniversity of Tennessee (ICL-UT) が配布するは他のサブシステムに比べて小さい問題サイズで測HPCC ベンチマーク [1] に含まれる，密行列の定を行っている．

連立一次方程式を解くベンチマークプログラム

16 − Academic Center for Computing and Media Studies, Kyoto University表 3: スーパーコンピュータの性能諸元（2012 年度導入システム）
名称

サブシステム名
愛称
機種名
稼動期間

サブシステム A
Camhpor
Cray XE6
2012 年 4 月～2016 年 8 月

ノード数

940

理論演算性能300.8 TFlops

Linpack 性能
初出
Top500
最終
製品名，周波数CPU

AMD Opteron Abu Dhabi
2.6 GHz

リンク
ネット
ワーク

Intel Xeon Sandy Bridge
2.6 GHz2
32 (16)

GPU
メモリ

601
242.6 TFlops (含 GPU)
193.0 TFlops (除 GPU)
135.4 TFlops (除 GPU)
126th (Jun. 2012)
494th (Jun. 2014)251.7 TFlops
73rd (Jun. 2012)
405th (Nov. 2015)

ソケット数/ node
コア数 / node(/ socket)

規格
総バンド幅
容量

サブシステム B
サブシステム C
LaurelCinnamonAppro GreenBlade 8000
Appro 2548X
2012 年 4 月～2016 年 12 月（予定）—
DDR3-1600
102 GB/s
64GB
Cray Gemini (9.3 GB/s or
4.6 GB/s per link)

トポロジ
バイセクション
バンド幅
ストレージ

16
10.6T Flops———
Intel Xeon Sandy Bridge
2.6 GHz2

4

16 (8)

32 (8)NVIDIA Tesla M2090（64 ノードに搭載）
DDR3-1600
102 GB/s
64 GB
Infiniband FDR × 2(6.8 GB/s × 2)—
DDR3-1066
136 GB/s
1.5 TB
Infiniband FDR × 2(6.8 GB/s × 2)

3D-torus

Fat treeFat tree

1.7 TB/s

3.1 TB/s

217 GB/s

DDN SFA10000 (5 PB, 54 GB/s)

であり，Top500 の評価にも用いられる．本評価

基本性能を測定するベンチマークプログラムで

では，複数ノード（各サブシステムの一部）をある．今回測定に用いたバージョンは 4.1.10 で使用したときの演算性能を測定した．測定に用ある．8 ノード ×1 プロセス実行の評価を行った．

いた HPCC のバージョンは 1.4.2 である．

(f) メモリアクセス性能評価ベンチマーク（STREAM）：(b) 高速フーリエ変換プログラム（FFTE）：上記

John D. McCalpin 氏が作成・配布 [5] する，メ

HPCC ベンチマークに含まれる．複数ノードにモリ性能を実測により測定するベンチマークでよる性能測定を行った．

ある．
（性能が最大になるような）任意の数のス
レッドを生成し，それぞれのスレッドが大きな(c) FDTD 法による電磁場解析プログラム（FDTD）：

サイズの配列に対するロード・ストアを行うこ

電場と磁場の時間発展をステンシル計算（各格とでメモリの性能評価を行う．単一ノードによ

子点の次の時刻の状態を，近傍の格子点の値をる性能評価を行った．

使って求める）によって導く．参照局所性を高めるため，時空間タイリングという手法が用いられている [6]．MPI と OpenMP によるハイブ
リッド並列化が行われており，単一ノードおよ3.3

コンパイラ・ライブラリ

び複数ノードによる性能測定を行った．

ほとんどプログラムのコンパイルには，Intel Com-(d) 並列ポアソンソルバ（Poisson）：反復法によるポ

piler バージョン 16（一部のベンチマークについては，
Magnolia および Camellia ではバージョン 14）を用

アソン方程式のソルバであり，マルチグリッド法
による収束性向上やブロック化等による性能改善が施されている [3, 4]．本測定では，OpenMP版による単一ノードでの評価と，Flat MPI 版による複数ノードでの評価を行った．

いた．Camphor 2 の HPLinpack では Cray Compiler
バージョン 8.5.2 を用いた．

MPI ライブラリには，Cray MPI を用いた．バージョンは Camphor 2 では 7.4.2，Magnolia およびCamellia では 7.3.2 である．

(e) Intel MPI Benchmarks（IMB）：Intel 社が配HPLinpack では，数値ライブラリとして Camphor 2

布 [2] する，一対一通信，集団通信等の MPI のでは Cray Libsci 16.07.1 を，Magnolia および Camel-

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 17lia では Intel MKL バージョン 11.3.2 および 11.2.4
をそれぞれ用いた．
表 4: HPLinpack の性能測定結果

4

測定結果
各ベンチマークの性能評価結果を表 4–表 9 に示す．なお，これらの表中の「システム」は，「新 A」「D」が Magnolia，「E」が Camellia
が Camphor 2，を意味する．

(a) HPLinpack

測定結果を表 4 に示す．プロセス

分割数などのチューニングや問題サイズが十分ではなく，Top500 用の測定値ほどの対理論性能は得られていない．HPL ではノード数の比例に近い性能を得られることが期待できるため，ノード

システム

新A

D

E

使用ノード数
プロセス数 × スレッド数
N（問題サイズ）
測定値（HPL TFLOPS）

8
544×1
200000
6.94

32
896×1
400000
19.7

4
240×1
25000
0.465

表 5: FFTE の性能測定結果

システム

新A

D

E

使用ノード数
プロセス数
N（問題サイズ）
測定値（MPIFFT GFLOPS）

8
512
20000066.8

19512400000
153

3
128
25000
6.70

表 6: FDTD の性能測定結果

システム

新A

D

E

スレッド数
測定値（GFLOPS）

64
87.5

28
65.8

60
27.3

システム

新A

D

E

使用ノード数
プロセス数 × スレッド数
測定値（GFLOPS）

8
32 × 17418

8
16 × 14379

4
24 × 1042.0(a) 単一ノード性能あたりでは Camphor 2 は Magnolia や Camellia
より高い性能が得られると考えられる．

(b) FFTE 測定結果を表 5 に示す．Camphor 2 の
性能は Magnolia よりやや低くなっているが，Camel-

lia よりは大幅に改善されていることが確認できる．
測定結果を表 6 に示す．このプログラ(c) FDTD

ムはベクトル化率が比較的高いため，単一ノード，複数ノードともに Camphor 2 は Magnolia
より高い性能が得られている．

(d) Poisson

測定結果を表 7 に示す．このプログラ

ムもベクトル化率は高く，単一ノード実行でのCamphor 2 の性能は Magnolia を上回っているが，複数ノード実行の両者の性能は逆転している．この一因として，多数の MPI プロセスを起動したことで，通信コストの増大の悪影響が大きくったことが考えられる．なお，KNL と KNC
上での OpenMP 版の実行では，ハイパースレッ
ディングを利用して，1 物理コアに 2 スレッド割り当てることでコアあたり 1 スレッドの割り当てより 20%程度高い性能が得られた．

(b) 複数ノード性能

表 7: Poisson の性能測定結果
システム

新A

D

E

スレッド数
測定値（Mpoints/s）

128
479

28
304

120
81.7

システム

新A

D

E

使用ノード数
プロセス数
測定値（Gpoints/s）

8
512
2.33

8
224
3.91

8
480
0.228

(a) 単一ノード性能(b) 複数ノード性能

表 8: IMB の性能測定結果

システム

ノード数 × プロセス数
PingPong 4MB (MB/s)
PingPong 8B (MB/s)
Sendrecv 4MB (MB/s)
Sendrecv 8B (MB/s)
Allreduce 4MB (µs)
Reduce 4MB (µs)
Reduce-Scatter 4MB (µs)
Allgather 4MB (µs)
Alltoall 4MB (µs)
Bcast 4MB (µs)

測定結果を表 8 に示す．表 1，表 2 が示す通り，Camphor 2，Magnolia，Camellia のス
ペック上の通信性能に大きな差はないが，実測
性能は Magnolia > Camphor 2 > Camellia の順となっている．これは，通信性能が CPU コ
アの性能に律速されているためだと考えられる．

18 − Academic Center for Computing and Media Studies, Kyoto University

D

E

7392
2.33
10671
2.46
6279
12547
3836
6553
9480
1802

8×1
9165
3.94
11494
5.62
2504
4355
1310
5148
6636
1445

3604
0.5
3673
0.63
14050
47976
7138
17034
17587
3288

表 9: STREAM の性能測定結果
システム(e) IMB

新A

スレッド数
性能値（copy, GB/s）

新A

D

64
28
S = 0.3 GB
268
108
S = 3 GB267—
S = 14.9 GB
64.3—（S ：配列サイズ）

通信性能をフルに使い切るためには，1 ノード
内で複数プロセスが同時に通信するようにするなどの方策が必要となると考えられる．

(f) STREAM 測定結果を表 9 に示す．Camphor 2
では，メモリアクセスが MCDRAM のみで完結するようにした場合と，DDR4 メモリもアクセスされる場合との性能を比較するため，いくつかの配列サイズを試した．予想通り，小さな配列サイズでは MCDRAM による高いアクセス性能が得られるが，サイズを大きくすると性能が落ち込んでしまうことが確認できる．

5

おわりに
本稿では，メディアセンターの新しいスパコンと旧[3] Kawai, M., Iwashita, T. and Nakashima, H.:
SIMD Implementation of a Multiplicative Schwarz
Smoother for a Multigrid Poisson Solver on an Intel
Xeon Phi Coprocessor , Springer International Publishing, pp. 57–65 (2015).
[4] Kawai, M., Iwashita, T., Nakashima, H. andMarques, O.: Parallel Smoother Based on Block
Red-Black Ordering for Multigrid Poisson Solver ,Springer Berlin Heidelberg, pp. 292–299 (2013).
[5] McCalpin, J. D.: STREAM: Sustainable Memory
Bandwidth in High Performance Computers. http://www.cs.virginia.edu/stream/.
[6] Minami, T., Hibino, M., Hiraishi, T., Iwashita,
T. and Nakashima, H.: Automatic Parameter
Tuning of Three-Dimensional Tiled FDTD Kernel , Springer International Publishing, pp. 284–297(2015).
[7] TOP500.org: Top500 Supercomputer Sites. https://www.top500.org.

スパコンにおけるいくつかのベンチマークの測定結果を示し，システム間の実性能を比較した．Camphor 2（KNL）のコアあたりの性能は Magnoila（Haswell）
より低いが，ベクトル化率を高めたプログラムを多数のプロセス・スレッドを使って並列実行すれば，

Magnolia より高いノードあたり性能を得ることができる．ベクトル化率や並列度が十分でなかったり，

MPI プロセス数を増やしすぎた場合には性能が落ち込んでしまう．ただし，KNL におけるそのような性能の落ち込みは KNC ほど極端ではなく，より使いやすいメニーコアプロセッサになっていると評価できる．
また，ネットワークの通信性能を使い切れるようにすることや，MCDRAM の有効活用も Campphor 2の性能を生かし切るための重要なポイントである．
なお，Laurel 2 と Cinnamon 2 や，バーストバッ
ファの性能評価結果についても，次号以降の記事で報告する予定である．
本稿がシステムの利用検討およびアプリケーショ
ン開発の一助になれば幸いである．

参考文献[1] Innovative Computing Laboratory, University ofTennessee: HPC Challenge. http://icl.cs.utk.
edu/hpcc/.
[2] Intel Corporation: Getting Started with IntelMPI Benchmarks. https://software.intel.com/
en-us/articles/intel-mpi-benchmarks.

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 19

研究会開催報告

The 35th JSST Annual Conference（JSST2016） 開催報告
江原 康生
京都大学学術情報メディアセンター

1 JSST とは
本会議は、日本シミュレーション学会が主催する年次大会で、理工学・産業の多くの専門分野におけるシステム技法からソフトウェア、ハードウェア及び諸分野への応用に向けたシミュレーションの学
理と技術に関する研究討論と情報交換を行う場として毎年開催しており、本年で第35 回となります。
2011 年より、国際化の推進を目的として、国際会

図 1 基調講演の様子

議 JSST2011 という位置付けによる開催に移行し、で核融合研の中村浩章先生に、さらに前述の通り、

全セッション、企画の英語化が行われています。翌「Regularity: A new important player in the game of

年以降も国際会議として各地で持ち回りによる開high-performance simulations in manycore era」と催が行われており、今年（JSST2016）は、2016 年

いうタイトルで本学学術情報メディアセンターの10 月 27 日～29 日に京都大学国際科学イノベーシ

中島浩先生にご講演をしていただきました。

ョン棟での開催となりました。

他にも、下記の 7 つの幅広い研究テーマによるオーガナイズドセッションが企画され、併せて80 件

2 JSST2016 での講演の論文発表が行われました。会場では、7 つの協賛企業による機器展示をしていただきました。

今年度は初めての試みとして、毎年企画されてい3 日間の合計で約 140 名の参加があり、参加者間るオーガナイズドセッションに加えて、4 件のテーで活発な議論が交わされました。次回の JSST2017

マに関するシンポジウム（数値解析と非線形問題には東京電機大学で開催される予定です。

おける視覚分析、HPC（ハイパフォーマンス）技術とアプリケーション、気候変動適応技術の社会実装、◆ オーガナイズドセッションテーマ

京都学生研究シンポジウム）を併催し、各シンポジ

・ Multi dimensional communication network

ウムで基調講演、招待講演等が企画されました。

・ Computational Electromagnetism and Its

その中で HPC 技術とアプリケーションのシンポ

Applications

ジウムには、本センターの深沢先生にシンポジウム

・ Kansei and higher brain functions

チェアを務めていただき、中島先生には基調講演を

・ Numerical Computations

していただきました（図 1）。

・ Motion Dynamics in Human, Animal and

JSST2016 企画の基調講演では、「A big challenge

Robotfor safe automated driving - Potential problems of・ Complex Networks and Complex Systems

Human Factors」というタイトルで、産総研の北崎・ Simulation Technology in Origami

智之先生にご講演いただきました。加えて、各シン
ポジウム企画による基調講演として、「Molecularsimulation for soft and hard matters」というタイトル

20 − Academic Center for Computing and Media Studies, Kyoto University◆ JSST2016 Web ページ
http://jsst2016.jsst.jp/

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 21

サービスの記録・報告システム A 運転状況 ( 2015 年 10 月 ～ 2016 年 3 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2015/10/12

6:00

2015/10/14

9:30

51.50

2015/12/07

10:30

2015/12/07

13:45

3.25

2015/12/10

9:00

2015/12/11

9:30

24.50

2015/12/30

18:06

2016/01/04

11:23

113.28

2016/03/30

9:00

2016/04/01

0:00

39.00

2016/01/06

12:30

2016/01/06

14:30

2.00

2016/01/07

17:25

2016/01/07

19:10

1.75

２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

10 月

692.5033,71966,673

11,120,900

8,982,300

752.7

67

%

11 月

720.0018,37780,341

11,268,700

9,779,630

751.9

66

%

12 月

686.35

19,11880,567

13,126,800

11,245,200

852.1

67

%

1月

656.87

16,752

112,173

15,647,300

13,234,900

930.3

69

%

2月

696.0016,212

72,11813,146,300

10,683,800

939.8

65

%

3月

705.0017,99056,43815,165,400

13,254,000

939.9

67

%

計

4156.72

122,168

468,31079,475,400

67,179,830

861.1

67

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

10月

11月

12月

1月

2月

3月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

22 − Academic Center for Computing and Media Studies, Kyoto University

システム B 運転状況 ( 2015 年 10 月 ～ 2016 年 3 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]2015/10/12

6:00

2015/10/14

9:30

51.50

2015/12/10

9:00

2015/12/11

9:30

24.50

2016/03/30

9:00

2016/04/01

0:00

39.00

障害発生日時

サービス再開日時

ダウン時間[h]２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

10 月

692.50217,866

339,230

3,220,350

247,318

533.7

64

%

11 月

720.0072,508348,253

4,109,530

297,642

538.9

68

%

12 月

719.5088,644327,470

3,825,420

287,188

539.0

63

%

1月

744.0090,927

280,875

4,017,930

292,689

545.0

64

%

2月

696.0051,842351,829

3,732,590

277,192

545.0

64

%

3月

705.0065,486259,252

3,998,810

296,083

510.7

61

%

計

4277.00

587,273

1,906,909

22,904,630

1,698,112

535.4

64

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

10月

11月

12月

1月

2月

3月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 23

システム C 運転状況 ( 2015 年 10 月 ～ 2016 年 3 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]2015/10/12

6:00

2015/10/14

9:30

51.50

2015/12/10

9:00

2015/12/11

9:30

24.50

2016/03/30

9:00

2016/04/01

0:00

39.00

障害発生日時

サービス再開日時

ダウン時間[h]２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

10 月

692.50

7,216

4,388

47,84914,136

11.9

26

%

11 月

720.00

1,769

5,386

66,251

24,227

12.0

33

%

12 月

719.50

2,218

8,081

147,32155,307

14.8

52

%

1月

744.00938

3,359

91,66031,506

16.0

26

%

2月

696.00

1,053

10,792

98,06334,605

16.0

35

%

3月

705.00609

6,109

52,846

18,455

16.0

18

%

計

4277.00

13,803

38,116503,990

178,235

14.4

32

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

10月

11月

12月

1月

2月

3月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

24 − Academic Center for Computing and Media Studies, Kyoto University

システム D 運転状況 ( 2015 年 10 月 ～ 2016 年 3 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]2015/10/12

6:00

2015/10/14

9:30

51.50

2015/12/10

9:00

2015/12/11

9:30

24.50

2016/03/30

9:00

2016/04/01

0:00

39.00

障害発生日時

サービス再開日時

ダウン時間[h]２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

10 月

692.5022,951

51,527

4,368,630

201,544

416.0

57

%

11 月

720.008,776

54,9455,507,240

290,159

416.0

68

%

12 月

719.508,814

62,9696,055,770

264,069

416.0

69

%

1月

744.008,986

73,1085,746,340

186,356

416.0

66

%

2月

696.0010,12753,657

5,012,120

157,341

416.0

60

%

3月

705.008,328

63,455

5,063,170

122,198

416.0

55

%

計

4277.00

67,982359,661

31,753,270

1,221,667

416.0

63

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

10月

11月

12月

1月

2月

3月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 25

システム E 運転状況 ( 2015 年 10 月 ～ 2016 年 3 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]2015/10/12

6:00

2015/10/14

9:30

51.50

2015/12/10

9:00

2015/12/11

9:30

24.50

2016/03/30

9:00

2016/04/01

0:00

39.00

障害発生日時

サービス再開日時

ダウン時間[h]２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

10 月

692.50

3,513

5,018

1,917,920

208,216

360.0

82

%

11 月

720.00

4,039

6,905

2,175,290

634,217

360.0

83

%

12 月

719.503,780

20,2572,355,670

83,843

360.4

88

%

1月

744.0012,644

11,8752,407,910

1,119,580

360.0

91

%

2月

696.003,541

17,3372,061,510

123,795

360.0

83

%

3月

705.003,956

16,7752,070,430

1,154,250

363.5

75

%

計

4277.00

31,47378,166

12,988,730

3,323,901

360.6

84

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

10月

11月

12月

1月

2月

3月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

26 − Academic Center for Computing and Media Studies, Kyoto University

サービスの記録・報告

汎用コンピュータシステムのサービス状況
1.

ホスティング・ホームページサービス利用状況

VMホスティングサービス
600

ストリーミングサービス
580

574

571

568

565

562

WEBホスティングサービス

550
500
450
400
350
300

286

280

277

275

271

269

250
200
150
100
50
0

2

2

2

平成27年10⽉ 平成27年11⽉ 平成27年12⽉

3

2

2

平成28年1⽉

平成28年2⽉

平成28年3⽉(平成27年10⽉から平成28年3⽉)

大型計算機システム利用承認件数について

平成28年3月末現在、大型計算機システムの利用件数は、2,918件となっています。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 27

資料：大型計算機システム利用負担金 別表

別表１ スーパーコンピュータシステム
提供サービス
利用負担額
コース

タイプ

セット

エントリ

タイプA
タイプB
タイプC
タイプE

基本
基本
基本
基本

パーソナル

タイプA1
タイプA2
タイプA3
タイプB1
タイプB2
グループ

タイプB3
タイプC1
タイプC2
タイプE1
タイプE2
タイプE3
タイプA
タイプB

大規模ジョブタイプCタイプE
専用クラスタ

-

基本
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位

ストレージ容量追加
ライセンスサービス

システム バッチ

12,600 円/年
100,000 円/年
100,000 円/年
100,000 円/年
100,000 円/年
230,000 円/年
115,000 円/年
276,000 円/年
69,000 円/年
690,000 円/年
345,000 円/年
240,000 円/年
120,000 円/年
288,000 円/年
72,000 円/年
720,000 円/年
360,000 円/年
150,000 円/年
150,000 円/年
180,000 円/年
90,000 円/年
280,000 円/年
140,000 円/年
336,000 円/年
84,000 円/年
840,000 円/年
420,000 円/年
23,000 円/週(7日）
11,500 円/週(7日）
24,000 円/週(7日）
12,000 円/週(7日）
15,000 円/週(7日）
7,500 円/週(7日）
28,000 円/週(7日）
14,000 円/週(7日）
720,000 円/年
360,000 円/年
10,000 円/年
20,000 円/年

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

最大1ノード相当((36コア、128GBメモリ)×1)
1
最大4ノード相当((68コア、16+96GBメモリ)×4)
最大4ノード相当((36コア、128GBメモリ)×4)
168
最大1ノード相当((72コア、3072GBメモリ)×1)
最大2ノード相当((10コア、32GBメモリ+ 1MIC)×2)
E
4ノード((68コア、16+96GBメモリ)×4)
優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)A
準優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)
占有
4ノード((68コア、16+96GBメモリ)×4)
4ノード((36コア、128GBメモリ)×4)
優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
B
準優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
336
占有
4ノード((36コア、128GBメモリ)×4)
1ノード((72コア、3072GBメモリ)×1)
優先
1ノード((72コア、3072GBメモリ)×1)
C
2ノード((72コア、3072GBメモリ)×2)
準優先
1ノード((72コア、3072GBメモリ)×1)
4ノード((10コア、32GBメモリ+ 1MIC)×4)
優先
2ノード((10コア、32GBメモリ+ 1MIC)×2)
8ノード((10コア、32GBメモリ+ 1MIC)×8)E
準優先
2ノード((10コア、32GBメモリ+ 1MIC)×2)
8ノード((10コア、32GBメモリ+ 1MIC)×8)
占有
4ノード((10コア、32GBメモリ+ 1MIC)×4)
8ノード((68コア、16+96GBメモリ)×8)A
占有
4ノード((68コア、16+96GBメモリ)×4)
8ノード((36コア、128GBメモリ)×8)
B
占有
4ノード((36コア、128GBメモリ)×4)
168
2ノード((72コア、3072GBメモリ)×2)
C
占有
1ノード((72コア、3072GBメモリ)×1)
8ノード((10コア、32GBメモリ+ 1MIC)×8)
E
占有
4ノード((10コア、32GBメモリ+ 1MIC)×4)
8ノード((36コア、128GBメモリ)×8)
B
4ノード((36コア、128GBメモリ)×4)
ストレージ容量10TBの追加につき可視化ソフト（AVS,ENVI/IDL)およびプリポストウェアの1ライセンスにつき
B
A
B
C

共有
共有
共有
共有
共有

0.2
2.0
2.0
2.0
2.0
16.0
8.0
19.2
4.8
32.0
16.0
16.0
8.0
19.2
4.8
32.0
16.0
16.0
16.0
19.2
9.6
16.0
8.0
19.2
4.8
32.0
16.0

-

32.0
16.0

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． 大型計算機システムの全ての利用者は、上記表のサービスの他、次のサービスを受けることができる。
1） 大判プリンタサービス
2） その他、大型計算機システムが提供するサービス、機器の利用
3． 上記表の大規模ジョブコース、ストレージ容量追加、ライセンスサービスの申請には、スーパーコンピュータシステムの利用者であることが必要である。
4． 「共有」： 当該カテゴリのユーザ間で一定の計算資源を共有するベストエフォートのスケジューリングを行う。
「準優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/4の計算資源が確保されることを保証する。
「優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/2の計算資源が確保されることを保証する。
「占有」： 稼働状況によらず記載値の計算資源が確保されることを保証する。
5． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。
6． グループコース及び専用クラスタコースの利用者番号は利用者あたり年額5,000円を負担することで追加できる。
7． 機関・部局定額制度
他機関又は学内における部局（『国立大学法人京都大学の組織に関する規程』第3章第2節から第11節で定める組織をいう。）の組織が、その組織単位でグループコースサービスを利用申請する場合の利用負担額は、別表１に規定するの1.5倍の額とする。なお、利用負担額が年額150万円未満の場合は100人、年額150万円を超える場合は、150万円毎に100人までの利用者を認める。ストレージは、1.5倍の容量とする。
8． スパコン連携サービス
学術情報メディアセンターのスーパーコンピュータシステムと密な連携により、学内における部局の組織が計算サーバ等を設置する
場合、下記の負担額を支払うものとする。
冷却方式
水冷
空冷

利用負担額
11,300 円/月
13,200 円/月

利用負担額算定単位
水冷冷却方式の計算サーバ等の定格電力 1kWにつき
空冷冷却方式の計算サーバ等の定格電力 1kWにつき

28 − Academic Center for Computing and Media Studies, Kyoto University

-

8
4
16
4
16
8
8
4
16
4
16
8
8
8
16
8
8
4
16
4
16
8

-

16
8

別表２（汎用コンピュータシステム）
区分

利用負担額

単位

VM ホスティングサービス

72,000 円／年 1 仮想マシンにつき

ホームページサービス

6,000 円／年 1 ドメイン名につきストリーミングサービス

6,000 円／年 1 申請につき備考
1. 利用負担額は、総額表示である。
2. 上記表の汎用コンピュータシステムのサービスを利用するためには、大型計算機シ
ステムの利用者であることが必要である。
3. VM ホスティングサービスにおいて、下記の負担額を支払うことにより CPU、メモリ、ディスクを増量することができる。
区分

利用負担額

単位

CPU 増量18,000 円／年 2 コアにつき(最大 8 コアまで)

メモリ増量

18,000 円／年 8GB につき(最大 64GB まで)

ディスク増量18,000 円／年 200GB につき(最大 1,000GB まで)

4. VM ホスティングサービスにおいて VMware を用いる場合は、下記の負担額を支払うことにより VMware の利用及び CPU、メモリ、ディスクを増量することができる。ただし、システム資源が限られているためサービスの提供を限定することがある。
区分

利用負担額

単位

VMware 利用

72,000 円／年 1 仮想マシンにつき

CPU 増量36,000 円／年 2 コアにつき(最大 8 コアまで)

メモリ増量

36,000 円／年 8GB につき(最大 64GB まで)

ディスク増量18,000 円／年 200GB につき(最大 1,000GB まで)

5. ホームページサービス及びストリーミングサービスにおいて、下記の負担額を支払うことにより公開スペースの上限を拡大することができる。
区分

利用負担額

公開スペース 20GB プラン

3,000 円／年

公開スペース 50GB プラン

9,000 円／年

6. 利用負担額は、当該年度(4 月から翌年 3 月まで)の利用に対して年額として算定す
るが、年度途中から利用を開始する場合には月数に応じて減額する。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 29

※民間機関利用

別表３ スーパーコンピュータシステム
システム

A

B

C

E

経過時間
（時間）

ストレージ
（TB)

無料
利用者数

8ノード(68コア、16+96GBメモリ)×8)

336

19.2

16

1,104,000 円/年

12ノード(68コア、16+96GBメモリ)×12)

336

28.8

24

1,656,000 円/年

16ノード(68コア、16+96GBメモリ)×16)

336

38.4

32

2,208,000 円/年

8ノード(36コア、128GBメモリ)×8)

336

19.2

16

1,152,000 円/年

12ノード(36コア、128GBメモリ)×12)

336

28.8

24

1,728,000 円/年

16ノード(36コア、128GBメモリ)×16)

336

38.4

32

2,304,000 円/年

2ノード(72コア、3072GBメモリ)×2)

336

19.2

16

720,000 円/年

3ノード(72コア、3072GBメモリ)×3)

336

28.8

24

1,080,000 円/年

4ノード(72コア、3072GBメモリ)×4)

336

38.4

32

1,440,000 円/年

8ノード(10コア、32GBメモリ+ 1MIC)×8)

336

19.2

16

1,344,000 円/年

12ノード(10コア、32GBメモリ+ 1MIC)×12)

336

28.8

24

2,016,000 円/年

16ノード(10コア、32GBメモリ+ 1MIC)×16)

336

38.4

32

2,688,000 円/年

システム資源利用負担額

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。

30 − Academic Center for Computing and Media Studies, Kyoto University

資料：Vol.14（2015）
総目次

全国共同利用版広報・Vol.14(2015)総目次［巻頭言］
Vol.14，No.1 号の発刊にあたって ...............................................................................................................1-1
Vol.14，No.2 号の発刊にあたって ...............................................................................................................2-1［スパコン応用研究］
GPU を用いた非対称反平行磁気再結合の磁気流体計算 ............................................................................1-3
非線形電磁イオンサイクロトロン放射が地球内部磁気圏の高エネルギープラズマに与える影響 .1-5
クラウドを活用したビッグデータポスト処理環境実現のためのデータ伝送実験 ..................1-7:基礎実験編-HPC と高速伝送の融合を目指して-［研究会開催報告］
STE シミュレーション研究会―エクサスケールに向けてー開催報告 ....................................................1-11［スーパーコンピュータ共同研究制度（若手研究者奨励枠）研究報告］
三次元非定常マランゴニ対流の解明 .............................................................................................................2-2
高プラントル数流体を用いた HZ 液柱内温度差マランゴニ対流の数値解析 ............................................2-4準周期軌道に纏わる各種平均量の計算の高速化 ..........................................................................................2-6
Suddhasattwa Das, Yoshitaka Saiki, Evelyn Sander, James A Yorke
フラグメント分子軌道法と非経験的に最適化した長距離補正密度汎関数法による電荷移動パラメータの高精度計算 ...2-8
射影された時系列データに対する経験的確率微分方程式モデリングとアンサンブル軌道予測 ........ 2-10
相分離による自己組織化構造形成に与える乱流影響 .............................................................................. 2-12
液柱内の温度差と濃度差に起因するマランゴニ対流の不安定性の解明 ............................................... 2-14
多孔質壁面による乱流構造の変化と抵抗低減効果 ................................................................................... 2-16
有機太陽電池応用を目指した新規光機能性有機分子材料の構造と電子構造の解明 ............................. 2-18
急縮小・急拡大流路における高分子溶融体流れのマルチスケールシミュレーション.......................... 2-20
周囲気体を考慮した HZ 液柱内温度差マランゴニ対流における粒子集合現象の数値解析.................. 2-23

［プログラム高度化支援事業研究報告］
ディレクティブベースプログラミングによる FIT の高速化と性能検証................................................ 2-25
動的/静的水～土骨格連成有限変形解析コードの高度化～領域分割法の適用の試み～ ........................ 2-31
破壊力学に基づく損傷モデルを用いた鉄筋コンクリートの 3 次元破壊シミュレーション.................. 2-35
都市の人口規模・空間分布における秩序形成 ........................................................................................... 2-39

［スーパーコンピュータ共同研究制度（大規模計算支援枠）研究報告］
高次精度差分法による高レイノルズ数チャンネル乱流場の大規模直接数値シミュレーション .......... 2-42

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 31

［サービスの記録・報告］
スーパーコンピュータシステムの稼働状況とサービスの利用状況 ...............................................1-14, 2-46
センター利用による研究成果（平成 26 年度）......................................................................................... 2-52

［資料］
大型計算機システム利用負担金 別表..............................................................................................1-20, 2-56
全国共同利用版広報・Vol.13(2014)総目次 ................................................................................................ 1-23
サービス利用のための資料一覧 .........................................................................................................1-25, 2-59

［編集後記］
編集後記、奥付 ....................................................................................................................................1-26, 2-60

32 − Academic Center for Computing and Media Studies, Kyoto University

資料：サービス利用のための資料一覧―
1.

サービス利用のための資料一覧―

スーパーコンピュータシステム・ホスト一覧
システム A：camphor.kudpc.kyoto-u.ac.jp



システム B・C：laurel. kudpc.kyoto-u.ac.jpシステム B（SAS 利用時）：sas.kudpc.kyoto-u.ac.jp

システム E：camellia.kudpc.kyoto-u.ac.jp※ ホストへの接続は SSH(Secure SHell) 鍵認証のみ、パスワード認証は不可

2.

問い合わせ先 & リンク集


情報環境機構のホームページ
http://www.iimc.kyoto-u.ac.jp/



学術情報メディアセンターのホームページ
http://www.media.kyoto-u.ac.jp/



スーパーコンピュータシステムに関する問い合わせ先

利用申請などに関する問い合わせ先【情報環境支援センター】
E-mail : zenkoku-kyo@media.kyoto-u.ac.jp / Tel : 075-753-7424
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/

システムの利用など技術的な問い合わせ先【スーパーコンピューティング掛】
E-mail : consult@kudpc.kyoto-u.ac.jp / Tel : 075-753-7426
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/contact.html



ホームページ・ホスティングサービス関する問い合わせ先【クラウドコンピューティング掛】
E-mail : whs-qa@media.kyoto-u.ac.jp / Tel : 075-753-7494
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/whs/

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.15 No.1（ Feb. 2017）− 33

編集後記

編 集 後 記既報および本広報誌の紹介の通り，2016 年 10 月より新スーパーコンピュータシステム Camphor 2 のサービスを，また当初予定よりも遅れてしまいましたが 12 月末より Laurel 2 および Cinnamon 2 のサービスも開始いたしました．本広報誌もこの遅れの影響を受け，当初予定していた Laurel 2 についての性能評価報告は間に合いませんでしたが，次年度以降にバーストバッファを含めた評価報告の掲載を検討しておりますのでいましばらくお待ちいただければ幸いです．
(副部会長)

京都大学学術情報メディアセンター全国共同利用版広報 Vol．15，No．1
２
０１７年
2017
年 ２月
2 月６日xx発行
日発行
広報編集部会
編集者 京都大学学術情報メディアセンター

深沢 圭一郎（部会長）

全国共同利用版広報編集部会

平石 拓（副部会長）

発行者 〒606-8501 京都市左京区吉田本町

檀原 正憲

南雲 円

京都大学学術情報メディアセンター

尾形 幸亮

高見 好男

Academic Center for Computing and Media Studies

元木 環

Kyoto University
Tel. 075-753-7400
http://www.media.kyoto-u.ac.jp/
印刷所 〒616-8102 京都市右京区太秦森ヶ東町 21-10
株式会社エヌジーピー

34 − Academic Center for Computing and Media Studies, Kyoto University

表紙デザイン：谷 卓司（ティアンドティ･デザインラボ）

Vol.15, No.1 2016

[ 巻頭言 ]
・Vol.15, No.1 号の発刊に当たって........................................................................................................................................................................................... 1
深沢 圭一郎[ 新スーパーコンピュータサービス開始 ]・新スーパーコンピュータ利用ガイド .................................................................................................................................................................................. 3
尾形 幸亮，池田 健二，疋田 淳一
・新スーパーコンピュータ Camphor 2 のベンチマーク評価報告....................................................................................................................... 15
平石 拓[ 研究会開催報告 ]・The 35th JSST Annual Conference（JSST2016）開催報告....................................................................................................................................... 20
江原 康生[ サービスの記録・報告 ]・スーパーコンピュータシステムの稼働状況 ................................................................................................................................................................ 22
・汎用コンピュータシステムのサービス状況 ................................................................................................................................................................ 27[ 資料 ]
・大型計算機システム利用負担金 別表 .............................................................................................................................................................................. 28
・全国共同利用版広報・Vol.14(2015) 総目次 .................................................................................................................................................................. 31
・サービス利用のための資料一覧 ......................................................................................................................................................................................... 33[ 編集後記 ]・編集後記、奥付 ............................................................................................................................................................................................................................... 34(Feb,2 17)