Vol.16, No.2 2 17

バーストバッファによる高速ファイルI/O【巻頭言】「Vol.16，No.2号の発刊に当たって」深沢 圭一郎【バーストバッファによる高速ファイルI/O】「バーストバッファの利用について～IME編～」尾形 幸亮，池田 健二，疋田 淳一●「流体系シミュレーションでのプロセス分散書き出しにおけるIMEの効果」深沢 圭一郎【性能評価報
告】「新スーパーコンピュータのベンチマーク評価報告」平石 拓

巻頭言

巻頭言
Vol. 16, No.2 号の発刊に当たって京都大学学術情報メディアセンター
深沢 圭一郎
本号では，「バーストバッファによる高速ファイル I/O」というタイトルで，2017 年 10月からサービスを開始したバーストバッファについて特集いたします．バーストバッファとは通常の HDD から成るストレージシステムでは読み書きの速度が不足する状況において性能改善が期待される SSD で構築された高速な一時領域です．2016 年 10 月からの新スーパーコンピュータシステム更新に伴い，DDN 社の IME と Cray 社の DataWarp がバー
ストバッファとしてセンターに導入されました．準備状況の違いにより現在のところユー
ザのみなさまにはサブシステム B と C から DDN 社の IME がご利用いただけます．その構成や理論性能，使い方など詳しくは特集内の「バーストバッファの利用について」に説明してあります．バーストバッファはその構成により，小さいサイズのファイルを読み書きする場合などに性能を発揮します．一方で，よくスーパーコンピュータシステムで行われている数値シミュレーションなどの大規模で連続したデータの読み書きではそれほど効果が期待できません．そこで特集の「流体系シミュレーションでのプロセス分散書き出しにおけるIME の効果」では実際にスーパーコンピュータシステムで利用されているアプリケーショ
ンを使い，バーストバッファである IME の性能評価を行っています．この評価では，IMEを利用すると書き出し性能は向上することが報告されています．HDD と SSD の I/O の違いほど劇的な性能向上はありませんが，使ってみる価値はあると言えますので，ユーザのみなさまには一度試していただければと思います．また，サブシステム A で利用される Cray
社の DataWarp につきましては，利用可能となり次第性能評価を含めお知らせいたします．
Vo1.15 No.1 で特集した「新スーパーコンピュータサービス開始」では，新スーパーコン
ピュータシステム自体の紹介とサブシステム A のベンチマーク結果の報告でしたが，本号では「新スーパーコンピュータのベンチマーク評価報告」において，新サブシステム A，B，C の性能評価を行い，旧スーパーコンピュータシステムの性能とも比較しています．以前の報告では，サブシステム A において，MCDRAM をキャッシュモードでしか利用できませんでしたが，現在 Flat モードでの利用も可能となっており，その性能評価も報告されています．Xeon Phi（サブシステム A）と Xeon（サブシステム B）のどちらを利用した方が早く計算できるのかが，興味のあるところだと思いますが，各ベンチマーク結果を参考にご自分のアプリケーションではどちらが最適なのかご判断いただければと思います．
現在のスーパーコンピュータシステムには GPU が搭載されておらず，機械学習系の計算に利用されづらい環境となっていますが，センターとして Python や Tensorflow に代表される機械学習フレームワークの環境構築を行っており，できる限り高速に動作するような

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 1

最適化も行っているところです．センターとしては，すでにご利用されている計算機環境において，様々な計算やアプリケーションが動作することが大事だと考えておりますので，これからもユーザのみなさまにご利用いただけるような環境作りを行っていきたいと考えております．今後ともご利用，ご支援のほど，よろしくお願いいたします．

2 − Academic Center for Computing and Media Studies, Kyoto University

バーストバッファによる高速ファイルI/O

バーストバッファの利用について ～IME 編～
尾形 幸亮

池田 健二

疋田 淳一

京都大学 企画・情報部

1 はじめに入しています．IME は，容量 230TB，転送性能
240GB/sec であり，Exascaler の転送性能と比較し，学術情報メディアセンター（以下，本センターとい約 2.4 倍の性能です．システム B，C，ストレージシう）では，2017 年 10 月よりバーストバッファの提ステム，および IME の性能諸元値を記した構成図を供を開始しました．バーストバッファは，通常のスト

図 1 に示します．以下，本稿では IME の利用方法

レージシステムでは読み書きの速度が不足する状況について解説します．

における性能改善を目的とした高速な一時領域です．
現 在 の ス ト レ ー ジ シ ス テ ム は Data Direct
Networks 社の Exascaler を導入しており，16PB の2 利用申請容量と転送性能 100GB/sec を持っています．並列フIME をお使いいただくためには，利用申請が必要ァイルシステムであるため，大きなサイズのファイです．バーストバッファは新しい技術ですので，利用

ルを多数の HDD に並列転送することで高い性能をされる方と情報共有しながら性能をご確認いただく

発揮できますが，小さい単位での I/O はやや苦手とことを想定しております．

しています．一方，バーストバッファは多数の SSD

申請資格のある方は，パーソナルコースおよびグで構成していることで高い転送性能を持ち，ランダ

ループコースの申請者，またはグループキュー管理

ムアクセスや小さいサイズの I/O についても高い性者の方です．エントリコースおよび専用クラスタの能を発揮しやすい構成となっています．ただし，大容

方はご利用いただけません．利用申請される場合は，量を確保することが難しいため，計算ノードとスト

下記の URL に記載の方法で申請をお願いします．

レージの間にある一時領域として I/O 性能の改善に
http://web.kudpc.kyoto-u.ac.jp/manual-

利用します．
本センターのバーストバッファとして，システム

new/ja/filesystem/ime#application

B，C 向けに Data Direct Networks 社の IME を導図 1 システム構成図

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 3

3 IME の利用イメージ

参照するファイルが相対 PATH で指定されている場
合は，プログラムや入力ファイルを変更することな

IME の動作イメージを図 2 に示します．計算ノー

く利用することができます．ただし，計算ノードからドで実行するプログラムの入出力先として IME を

のみ IME の領域を参照することが可能です．ログイ

利用し，一連の処理が終わった後にストレージに書

ンノードからは IME 領域にアクセスすることはでき出すのが基本的な流れとなります．IME を利用すきません．

る場合，プログラムの実行時間は，実行中に IME を

通常のストレージアクセス:

利用する時間とストレージへ書き出す時間の合計と/LARGE0/group/file

なりますが，
IME への I/O が高速に動作することで，IME 経由のアクセス:/IME/LARGE0/group/file

実行時間を短縮できる可能性があります．しかし，全てのプログラムに効果があるわけではないので，ご自身のプログラムで性能比較を行い，有効性を確認して頂く必要があります．

4.2 ジョブスクリプトの記述
バーストバッファを使うには，ジョブスクリプトに -bb オプションを記述します．-bb オプションの記法は次の通りです．各パラメータの意味は表 1 の通りです．
#QSUB -bb capacity=XXXXまたは#QSUB -bb capacity=XXXX:pfs=YYYY
表 1 –bb オプションのパラメータ
オプション

意味

capacity

バーストバッファに確保する一時

図 2 IME の利用イメージ

ファイルの上限値．単位指定はG(ギガ)．

4 IME の基本的な使い方
4.1 概要例）-bb capacity=2000G
pfs

レクトリ．LARGE0 配下のディレク
トリを指定．省略した場合はカレ

IME は，パーソナルコースやグループコース向け

ントディレクトリ．

に提供しているストレージ領域の /LARGE0 のバ

例) -bb pfs=./dataーストバッファとして利用できます．現時点では/LARGE1,2,3 では利用できません．IME を利用するには，バッチジョブを実行する際に，-bb オプションを指定する必要があります．IME は POSIX インタ

バーストバッファを適用するディジョブスクリプトの例を以下に示します．この例
ではバーストバッファの領域として，100GB を要求
し，バーストバッファを利用するディレクトリを省ーフェイスに対応しているため，通常のファイルシ

略したことで，カレントディレクトリがバーストバ

ステムと同じようにアクセスすることができます．

ッファの対象になります．

cd や ls などの通常のコマンド操作も可能です．
Exascaler と IME はメタデータ（ファイルの情報）を共有しているため，
IME を使う場合でも/LARGE0のファイルに透過的にアクセス可能です． 次のように，ディレクトリの絶対 PATH は異なりますが，
IME の PATH の先頭に/IME が付与される以外は，同じファイルツリーを参照できます．プログラムが4 − Academic Center for Computing and Media Studies, Kyoto University#!/bin/bash#QSUB -q gr10001b#QSUB -ug gr10001#QSUB -A p=8:t=4:c=4:m=3413M#QSUB –bb capacity=100G
mpiexec.hydra ./a.out

5 IME に関わるシステムの動作

4.3 利用可能な容量の上限-bb オプションの capacity で設定できる容量は，サービスコースごとに異なり，表 2 の上限がありま

5.1 ジョブスクリプトを起動するディレクトリ

す．上限以上の値をジョブスクリプトに設定しても，通常のジョブの場合，qsub コマンドを実行したデジョブ投入時にエラーとなりますので，ご注意くだィレクトリに自動で移動したうえで，ジョブスクリ

さい．IME の利用申請をしていない場合もエラーにプトを起動します．-bb によりバーストバッファのなります．

利用を宣言した場合，pfs で指定したディレクトリのIME 領域（/IME で始まるディレクトリ）に移動し

表 2 設定できる capacity の上限

たうえでジョブスクリプトを起動します．pfs を省略
した場合は，qsub を実行したカレントディレクトリ

サービスコース

capacity の上限

パーソナル

800GB

グループ

200GB x グループコースの契に対応する IME 領域でジョブスクリプトを起動し約ノード数ます．これにより，相対 PATH でアクセスするファ
イルは全て IME を経由したアクセスになります．
なお，ジョブ投入時のディレクトリは，環境変数$QSUB_WORK_DIR に保存されています．-bb オ

4.4 IME を経由したファイル読み込み
IME は，事前にファイルを読み込まない限り，ス

プションの pfs で指定したディレクトリは，$QSUB_BB_DIR に保存されています．

トレージにあるファイルを直接読み込みます．予めIME に読み込んでおく場合は，専用のコマンドを実行する必要がありますが， 同じファイルを何度も読

5.2 メタデータアクセス

み込む必要が無い限り，事前に読み込む利点はあり

IME は/LARGE0 と同じメタデータサーバを参照

ません．後述するようにメタデータアクセスの低速するので，IME を経由しても同一のファイルの読みさの問題もありますので，プログラムからのファイ

書きが可能です．しかし，メタデータアクセスの性能

ルの読み込みは IME を経由せず，ストレージから直はリモートの/LARGE0 を参照することになるため，

接読むほうが高速なケースが多いと考えられます．

IME が劣ります．大量のデータを Open/Close する

IME の容量が小さいこともありますので，事前にようなアクセスパターンには向かない点をご理解のIME に読み込むためのプリフェッチコマンドは，提上使用してください．

供していません．利用したい場合はお問い合わせく

また，1 つのディレクトリに置くファイル数は多いとメタデータへのアクセスも増えるため，ディレク

ださい．

トリに置くファイル数を最小限にすることをお勧めします．これは Exascaler においても同じことが言

4.5 IME を経由したファイル書き込み
IME 上のファイルパスに対して書込み処理を行
うと，IME 上にのみファイルを生成し，ストレージに書き込む前のキャッシュされている状態となりまえますが，IME の方が強く影響があります．

5.3 ファイルの見え方

す．バッチジョブの終了時には，ジョブ投入時に指定

IME にファイルを書き込むと，/LARGE0 のメタ

した領域（-bb の pfs)については自動で書き出しを行

データサーバにもファイル情報が書かれるため，フいます．専用のコマンドを実行することで，自身で明ァイルの存在をすぐに確認できます．しかし，IME

示的に書き出しを行うことも可能です．また，ジョブにファイルをキャッシュしている状態ではスクリプトで指定していないディレクトリにファイルを書いてしまった場合は自分で書き出しが必要です．

/LARGE0 にはまだファイルが無い状態の為，
ls -l コ
マンドで確認しても容量が 0 の状態です．
ジョブの終了時に/IME から/LARGE0 にファイルの書き出し処理を行うまで，中身を参照することはできません．後述の ime-stat コマンドで，ファイル

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 5

の状況を確認することができます．

ているか監視しています．容量を超過しているジョブは自動的に kill されますのでご注意ください．な## IME のディレクトリにデータを作成

お，IME を利用するディレクトリ配下の容量を合計$ dd if=/dev/urandom ¥した監視を行うため，複数のジョブで同じディレク

of=/IME/LARGE0/gr10001/testfile ¥トリを使う場合，ジョブ単独では，宣言した容量以下

bs=1M count=512だとしても全体として超過している場合は kill されますのでご注意ください．

## /IME 領域に対して ls –l を実行

前述のメタデータ性能が高くない点も踏まえて，$ ls -lh /IME/LARGE0/gr10001/

ジョブごとにディレクトリを分けることをお勧めし-rw-r--r-- 1 b59999 gr10001 512M 10 Oct
13:53 /IME/LARGE0/gr10001/testfile## /LARGE0 領域に対して ls –l を実行$ ls -l /LARGE0/gr10001/-rw-r--r-- 1 b59999 gr10001 0 10 Oct
13:53 /LARGE0/gr10001/testfile

5.4 ファイルのシンクとリリース

ます．

5.7 –bb で指定した領域以外へのアクセス/IME で始まる領域は，普通にユーザおよびグループのパーミッションでアクセスできるため，-bb で指定していない領域もファイルの読み書きが可能です．しかし，ジョブ実行の最後に自動でシンクを行う
対象は -bb オプションの pfs で指定した領域，ある

ジョブの終了時に-bb オプションで指定したディ

いは省略したジョブ投入時のディレクトリのみが対レクトリに対して，自動的にファイルのシンク処理

象になるため，指定した領域外への書込みは避けて（/IME から/LARGE0 にファイルを書き出す処理）ください．読み込みは特に問題ありません．

とリリース処理（/IME からの削除処理）を行います.
IME 全体の容量が圧迫された場合にも，自動でシン
クおよびリリースが行われることがあります．

5.8 定期保守時の IME の残存ファイルの扱い
定期保守の際に，IME 領域に残っているファイル

ジョブスクリプトにコマンドを記述することでシは全て削除します．保守に入る前に実行中のジョブ

ンクやリリースを指示することも可能です．シンク

は，一旦 Hold 状態にするため，-bb オプションで指により /IME から/LARGE0 にファイルの書き出し処理が行われますが，/IME 上にはファイルが残った

定したディレクトリについては，自動的に書き出しが行われますが，それ以外で残存しているファイル

ままの状態です．/IME 上のファイルを解放し，容量は削除します．保守の前に忘れずにシンクを行ってを空けるためにはリリースコマンドを使用する必要ください．

があります．コマンドは 6 章のコマンド一覧を参照
ください．

6 IME コマンドの紹介

5.5 IME 使用中の/LARGE0 のファイルの扱い

6.1 ime-stat

IME 使用中も，/LARGE0 に既に存在するファイIME に関するファイルの情報を出力します．IM

ルを/LARGE0 の PATH で読み込みは可能です．しSIZE が IME 上のファイルサイズで，FS SIZE がス

かし，IME で書込みを行うファイルに対して，トレージ側のファイルサイズです．以下の使用例の/LARGE0 側でも書き込みを行うとファイルが壊れるため，避けてください．

5.6 IME 領域の容量監視について
IME は LARGE に比べて小さい容量しか持っていないため，-bb で宣言して頂いた容量以内に収まっ

6 − Academic Center for Computing and Media Studies, Kyoto University

場合，FS SIZE は 0 であり，IME 上にのみファイルがある状態です．
Usage: ime-stat [option] <絶対パス>
Option:-r, --enable-recursive

6.5 ime-cat

使用例：$ime-stat /IME/LARGE0/gr10000/512m.dat
File: /IME/LARGE0/gr10000/512m.dat

IM Size: 536870912

FS Size: 0

出力に出力します．cat コマンドと同様な機能です．
Usage: ime-cat <絶対パス>

Device : 2c54f966h/743766374d
Inode

IME にキャッシュされたファイルを連結し，標準

6.6 IME のラッパーコマンド: 144117086384371784

Access : (100644/-rw-r--r--)

ベンダー提供の ime-で始まるコマンド群は，絶対Uid: (41631/b00001)

Gid: (20408/gr10000)

Access: Wed Oct 26 13:48:03 2016

Modify: Wed Oct 26 13:48:42 2016

Create: Wed Oct 26 13:48:42 2016

PATH の指定が必要であるなど不便なため，本セン

6.2 ime-sync
IME にキャッシュされたデータをストレージにシンクします．-b オプションを指定すると，シンクが完了するまでコマンドが終了ないため，シンクの完了を明確に把握することができます．
Usage: ime-release [option] <絶対パス>

ターでは表 3 に示すラッパーコマンドを用意しています．以下に示す PATH の変換および表 3 に示すオプションの自動付与を行うことで，使いやすくしています．
コマンド共通の動作： 相対 PATH を絶対 PATH に変換したうえでオリジナルのコマンドを実行します．
 /IME を含む IME 上の PATH を/LARGE0の PATH に変換してオリジナルのコマンドを実行します．
 -c -l -L オプションは無視します．
表 3 ラッパーコマンドの一覧

Option:-b, --block-r, --enable-recursive-V, --verbose

6.3 ime-release
IME にキャッシュされたデータを削除するコマン

コマンド名

動作

imeutil-stat

ime-stat を実行します．

imeutil-sync

ime-sync を実行します．

imeutil-release,

imeutil-release はimeutil-force-

ime-release -k を実行

release

します．imeutil-

ドです．そのまま実行するとシンクが終わっていな

force-release は ime-

いファイルも削除しますが，-k オプションを付ける

release を実行します．

ことで，シンクが完了していない場合には削除しな

imeutil-cat

ime-cat を実行します．

いという処理も可能です．

imeutil-lsfiles

ime-lsfiles を実行しOption:imeutil-sync-and-ime-sync -V -b を実行-k, --keep-unsync

releaseし た あ と に ， ime-

ます．

Usage: ime-release [option] <絶対パス>-r, --enable-recursive

release -V -k を実行-V, --verbose

します．

7 おわりに

6.4 ime-lsfiles
IME にキャッシュされているファイルをリストします．まだシンクしていない状態のファイルを探す際に利用します．
Usage: ime-lsfile <ディレクトリの絶対パス>

本稿では，IME の利用に必要となる情報を解説しました．最新の情報は以下 Web ページをご確認ください．


スーパーコンピュータの使い方

http://web.kudpc.kyoto-u.ac.jp/manual-new/ja

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 7

流体系シミュレーションでのプロセス分散書き出しにおける IME の効果
深沢 圭一郎京都大学 学術情報メディアセンター

1 バーストバッファ，IME とはバーストバッファについては，1 つ前の「バーストバッファの利用について」という紹介記事に詳し書き出しを行います．そこで，実際に研究に使用されている流体系のアプリケーションから IME を利用し，このような書き出しにも効果があるのか調査しました．

い説明がありますので，ここでは簡単な説明をします．京都大学のスーパーコンピュータ（スパコン）システム A，B，C には，ファイルアクセスの高速

2 実アプリケーションによる性能評価化を目的とした機構が接続されており，その機構をIME の性能評価には深沢が開発している宇宙プ

バーストバッファと呼んでいます．バーストバッフ

ラ ズ マ の シ ミ ュ レ ー シ ョ ン を 行 う MHD

ァは，SSD（半導体素子から成るストレージデバイ（Magnetohydrodynamic）コード[1]を利用しましス）を利用して構築された，高速ですが小容量な一た．MHD コードはプラズマを扱うために電磁場を時保存用ストレージであり，計算ノードと通常のフ考慮した流体コードで，方程式が少し通常の流体よァイルシステムの間に接続されています．プログラ

り複雑になり，電磁場分だけ物理量が増えることでムが計算ノードからデータを書き込む時に，ファイ

書き出し量も増加します．詳細は参考文献[1]ご覧くルシステムではなくバーストバッファにデータをださい．実際の出力部分を抜き出すと下記のように書き込むことで，高速な書き込みを実現します．バ

なります．

ーストバッファ上のデータは自動で（任意のタイミ
ングも可）ファイルシステムに移動します．また，書き込みとは逆にファイルシステムからデータを

do k = 1, nz2

write(output) f(1:nx2,1:ny2,k)

読み込む場合にも，同様に高速な読み込みを実現す

end doるシステムです．

この MHD コードは Fortran で書かれており，

京都大学のスパコンシステムでは，システム A に

MPI でプロセス並列されています．そのため，上記

クレイ社の DataWarp を，システム B と C にはの書き出しが各プロセスで分散的に行われるといDDN 社の IME がバーストバッファとして導入さうことになります． 1 つのプロセスにデータを集めれています．現在システム A のバーストバッファはて（MPI_gather などで）
，その 1 プロセスのみで書準備中のため，本記事ではシステム B 上で IME を

き出しを行うテストも行いましたが，性能の傾向は対象とした性能評価を行いました．

後述の結果と変わりませんでしたので，ここでは省

前述のようにバーストバッファは，SSD により構きました．ただし，（当たり前ですが）書き出し速度成されたストレージシステムのため，一般的にラン

は 1 プロセスが圧倒的に遅くなります．また，計測

ダムアクセスや，多数のプロセスが共有ファイルには出力時間が計測の度に大きくばらつくため，10 回

アクセスするような場合に効果を発揮します．しか計測し，著しく遅い結果は除外し，平均を取りまし

しながら，スパコンを利用して計算を行っているア

た．

プリケーションの多くは，流体系の計算に代表されまず，計算サイズ（出力サイズ）を 12 GB に固定るように大規模なデータをシーケンシャルで分散

し，1 ノード内で利用できる範囲でプロセスを変化

8 − Academic Center for Computing and Media Studies, Kyoto University

図 1 計算サイズを 12GB に固定し，プロセス数を

図 2 36 プロセス（1 ノード）において，出力サ変化させた場合の出力時間変化

イズを変化させた場合の出力時間変化

させ（36 プロセスまで），IME を利用する場合としない場合のデータ出力時間を測定しました．測定結果が図 1 になります．横軸が利用プロセス数，縦軸が書き出しにかかった時間です．システム B では 1
ノードに 18 コアの Xeon が 2 つ搭載されています
ので，32 プロセスからは 2CPU を利用した結果になります．IME を利用した場合では，IME を利用しない場合よりも書き出しが全般的に早く行われており，IME の効果が見えます（6～50 %高速）．書
き出し性能は 16 プロセスまでは性能向上がよく見えますが，IME を利用しない場合は 2CPU を利用するところから性能向上が頭打ちになっています．

図 3 36 プロセス（1 ノード）において，出力サ
イズを変化させた場合の出力バンド幅変化

IME 利用時では，同じ 2CPU 利用時でも書き出し

図 2 から出力バンド幅を計算したものを図 3 に示速度が向上していることが分かります．これは，出します．これはノード当たりの出力バンド幅になり力サイズは変わらず，プロセス数が増加することで，ます．横軸は出力データサイズ，縦軸がバンド幅で多プロセスが小規模ファイルの書き出しを行うこととなることが，IME の効果が出やすい状況のためと考えられます．

す．IME を使う場合には 12 GB と 19 GB でバンド幅があまり変わらないことから，出力限界が約 10
GB/sec/node と想像されます．IME を使わない場合

次に，プロセス数を 36（=1 ノード）に固定し，には，19 GB 書き出し時の 7.9 GB/sec/node となり

計算サイズを変化させた場合の性能評価を行った

ます．IME を使うことで，2 割以上出力バンド幅の結果，図 2 のようになりました．横軸が出力データ向上が見られ，12 GB 以上の出力では，計算サイズ

サイズ，縦軸が出力時間になります．MHD コードに依らず高い出力バンド幅を達成できていると言の特性上，システム B ではノード当たり計算サイズ

えます．また，システム B 1 ノード当たりの理論転

19 GB が最大のため，このサイズまで測定していま送速度が 12 GB/sec ということを考えると，これらす．この評価でも IME を利用した場合に出力時間は妥当な値と考えられます．

が短くなっていることがわかります．計算サイズが増えると，出力時間も増えますが，IME を利用しない場合では 12 GB と 19 GB の出力であまり時間に変化が見られないことから，出力サイズが小さい場

最後に複数ノードを利用した性能測定を行いました．1 ノード当たりのプロセス数を 36 に，計算サイズを 19 GB と設定し，2，4，8，16 ノードを利用
し，IME 利用時と利用しない場合の出力時間を計測

合には，通常のファイルシステムへの書き出し性能しました．図 4 がその計測結果となります，横軸がを使い切れていないことが考えられます．

利用ノード数，縦軸が出力時間となります．ここの京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 9

間発展毎に書き出すなどチェックポイント的な出力が多くあり，
この部分にIME を利用することで，IME から通常のファイルシステムへのシンクの時間にも計算を進めることができるため，実利用でも総計算時間の短縮に繋がることが期待されます．
現在，IME は主にデータの書き出し利用に向けた運用となっていますが，読み込み時にも利すること
で，チェックポイントリスタート時に，ジョブ開始
前に IME にデータを読み込んでおくなどの利用法
図 4 ノード当たりのプロセス数，計算サイズを固が考えられます．IME の機能自体もバージョンアッ

定し，ノード数を変化させた場合の出力時間変化

プしていくと開発元の DDN 社から報告を受けていますので，今後も実際の計算に役に立つ使い方など評価ではノード当たりの出力サイズは変わらない
ため，出力時間が一定となるとスケーラビリティが良いと言えます．測定結果では性能が少しばらついていますが，IME を利用する場合，しない場合でもスケーラビリティは悪くない結果と言えます．性能
自体は 1 ノード利用時と同様で，IME を利用した場合の性能が良いことが分かりますが，スケーラビリ
ティは IME の有無による違いはないことが分かり
ます．

3 まとめ
本記事では，新しく京都大学のスパコンに導入された IME について，流体系のシミュレーションコードである MHD コードを用いて，性能評価を行いました．バーストバッファと呼ばれる高速 I/O 一時
記憶装置の 1 つである IME では，その構造から，細かなファイルの書き出しや，共有ファイルへの同時書き出しなどに効果があるとされています．一方で，スパコンを利用する多くのアプリケーションは，
シーケンシャルに大規模データを分散書き出すことが多いため，実際の利用を想定し，そのような書き出しにもIME の効果があるのかを調査しました．
今回計測した結果では，すべてにおいて IME を利用した方が書き出しは早くなるという結果が得られました．また，IME を利用した場合には，プロセス数の増加や書き出しサイズの増加といった変化に対しても，リニアに書き出し性能が変化している結果となり，多数のプロセスで，大きなデータを書き出すような計算では IME を利用する価値があると言えそうです．実際のプロダクトランでは，時10 − Academic Center for Computing and Media Studies, Kyoto University

を随時スパコンシステム利用ユーザのみなさまへお知らせできるようにいたしますので，ご協力よろしくお願いいたします．

参考文献[1] Fukazawa, K., T. Ogino, and R.J. Walker, The
Configuration and Dynamics of the Jovian
Magnetosphere, J. Geophys. Res., 111, A10207,
doi:10.1029/2006JA011874, 2006.

性能評価報告

新スーパーコンピュータのベンチマーク評価報告
平石 拓 ∗∗

1

学術情報メディアセンター

はじめにンキングされた（いずれも初出時である 2016 年 11京都大学学術情報メディアセンターは，2016 年

10 月に新しいスーパーコンピュータ Camphor 2 のサービスを開始した．また，同年 12 月からはさらにLaurel 2 と Cinnamon 2 のサービスを開始した．
本稿では，これらのうち Camphor 2 および Lau-rel 2 と，2014 年度にサービスを開始し既に運用を終了した旧スーパーコンピュータシステムにおける，いくつかのマイクロベンチマークおよび実アプリケー
ションに基づくベンチマークプログラムによる性能評価の結果を示し，両者の性能を比較する．
なお，本原稿は昨年度の本誌記事 [8] の補完版という位置付けである．具体的には，前記事執筆以後に利用可能になった以下の評価を追加している．

月のランキング）[7]．

Camellia の KNC は，通常の Xeon プロセッサノー
ドに追加するコプロセッサとして搭載されていたが，Camphor 2 の KNL はホスト CPU であり，Linux 等の OS も KNL 上で直接動作する．そのため，Camel-

lia のようにホスト－コプロセッサ間のデータ転送を意識するプログラミングは不要となる．KNL は SIMD
演算性能の強化，アウトオブオーダ実行ができるよ
うになっているなどコアあたりの性能も KNC より大幅に強化されている．
また，Camphor 2 のノードは通常の DDR4 メモリ（96GB）に加えて MCDRAM と呼ばれる高速メモリ（16GB）を有している．この MCDRAM は，DDR4
メモリのキャッシュとして使えるモード（Cache モード）のほか，MCDRAM と DDR4 のアドレスを分離• Laurel 2 の性能評価．

してどちらのメモリにどのデータを置くかをユーザレ• Camphor 2 の MCDRAM のメモリモードをベルで使い分けることができるモード（Flat モード），

Flat モードに設定した際の性能評価．

この両者のモードを併用するモード（Hybrid モード）のいずれかで利用することができるようになってい2

る．ただし，本稿執筆時点ではユーザは Cache モーシステム構成ドまたは Flat モードのみを利用できる運用となって2016 年度，2014 年度，2012 年度に稼動を開始したスーパーコンピュータの性能諸元をそれぞれ表 1，

いる．

Laurel 2 は旧システムの Laurel や Magnolia と同様，一般的な Xeon プロセッサを搭載したシステム

表 2，表 3 に示す．

Camphor 2 は 2012 年度に導入された Camphor

であるが，プロセッサのモデルは最新のものに更新と同じく高い電力性能比を指向したシステムであされ，ノードあたりのメモリ量も 128GB に増加し

り，Camellia（2014–2018 年度稼動）に搭載されてている．Cinnamon 2 は Cinnamon と同様にノード

いる Knights Corner（KNC）の後継である最新のあたりメモリを大容量にしたシステムである．こちXeon Phi メニーコアプロセッサ Knights Landing

らも新しいモデルのプロセッサに更新され，1.5TB（KNL）を採用している．世界のスパコンの Linpackであったノードあたりのメモリ量は 3TB に増加して性能を競う Top500 では 33 位（日本では 4 位），電いる．

力比性能を競う Green500 では 9 位（同 3 位）にラ

さらに，DataWarp（Camphor 2）および Infinite

Memory Engine（IME，Laurel 2 および Cinnamon 2）

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 11

と呼ばれるバーストバッファを備えていることも新システムの大きな特徴である．これは，計算中に発(a) HPLinpack: Innovative Computing Laboratory,
University of Tennessee (ICL-UT) が配布する

生する大量のファイル I/O を高速・低容量なストレー

HPCC ベンチマーク [1] に含まれる，密行列のジを経由して行うことにより，計算時の I/O による連立一次方程式を解くベンチマークプログラム遅延を最小限に抑えるための仕組みである．なお，であり，Top500 の評価にも用いられる．本評価

DataWarp の利用は 2018 年度にユーザに解放されでは，複数ノード（各サブシステムの一部）をる予定である．

使用したときの演算性能を測定した．測定に用いた HPCC のバージョンは 1.4.2 である．

3

測定条件

3.1

計算機環境

(b) 高速フーリエ変換プログラム（FFTE）：上記
HPCC ベンチマークに含まれる．複数ノードによる性能測定を行った．

今回の性能評価では新旧世代の Xeon Phi および(c) FDTD 法による電磁場解析プログラム（FDTD）：

Xeon プロセッサの性能を比較するため，Camphor 2

電場と磁場の時間発展をステンシル計算（各格（新サブシステム A），Laurel 2（新サブシステム B），

子点の次の時刻の状態を，近傍の格子点の値をMagnolia（サブシステム D）および Camellia（サブシステム E）の 4 種類のサブシステムでそれぞれ測使って求める）によって導く．参照局所性を高定を行った．

られている [6]．MPI と OpenMP によるハイブ

Camphor 2 の MCDRAM のメモリモードは，Cache
モードと Flat モードの二種類の設定で測定した．本システムにおいては，Flat モードはジョブスクリプ
トにめるため，時空間タイリングという手法が用いリッド並列化が行われており，単一ノードおよび複数ノードによる性能測定を行った．

(d) 並列ポアソンソルバ（Poisson）：反復法によるポ
アソン方程式のソルバであり，マルチグリッド法#QSUB -mm flatによる収束性向上やブロック化等による性能改のオプションを追加すると利用できる．また，

善が施されている [3, 4]．本測定では，OpenMP

aprun -n $QSUB_PROCS -d $QSUB_THREADS \-N $QSUB_PPN numactl --preferred=1\./a.outの よ う に--preferred=1 オ プ ション を 付 加 し た

numactl コマンドを用いることにより，MCDRAMのサイズの範囲内までは MCDRAM 内でメモリを確版による単一ノードでの評価と，Flat MPI 版による複数ノードでの評価を行った．

(e) Intel MPI Benchmarks（IMB）：Intel 社が配
布 [2] する，一対一通信，集団通信等の MPI の基本性能を測定するベンチマークプログラムである．今回測定に用いたバージョンは 4.1.10 で保し，それを超えるデータについては通常のメモリある．8 ノード ×1 プロセス実行の評価を行った．

（DDR4）を確保する設定でプログラムを実行した．

(f) メモリアクセス性能評価ベンチマーク（STREAM）：

Camellia では KNC をネイティブ実行モード（ホJohn D. McCalpin 氏が作成・配布 [5] する，メ

ストプロセッサを使わず，KNC 上でのみプログラム

モリ性能を実測により測定するベンチマークでを実行するモード）でのみ用いた．そのため，メモある．
（性能が最大になるような）任意の数のス

リが 8 GB しか使用できず，一部のベンチマークでレッドを生成し，それぞれのスレッドが大きなは他のサブシステムに比べて小さい問題サイズで測

サイズの配列に対するロード・ストアを行うこ定を行っている．

とでメモリの性能評価を行う．単一ノードによる性能評価を行った．

3.2

ベンチマークプログラム

本稿で示す評価に用いたベンチマークプログラム
は以下の通りである．

12 − Academic Center for Computing and Media Studies, Kyoto University表 1: スーパーコンピュータの性能諸元（2016 年度導入システム）
サブシステム名
愛称
機種名
稼動期間

名称

ノード数
理論演算性能Linpack 性能
Top500 初出
最新

ソケット数/ node
コア数 / node(/ socket)
規格

メモリ

ネット
ワーク

サブシステム B
Laurel 2
CS400 2820XT

1800
5.4 PFlops
3.07 PFlops
33rd (Nov. 2016)
41st (Nov. 2017)

850
1.03 PFlops
822 TFlops
193rd (Jun. 2017)
279th (Nov. 2017)

サブシステム C
Cinnamon 2
CS400 4840X

2016 年 12 月～

Intel Xeon Phi Knights Landing
1.4 GHz

製品名，周波数CPU

サブシステム A
Camhpor 2
Cray XC40
2016 年 10 月～

Intel Xeon Broadwell
2.1 GHz1

1642.4 TFlops——
Intel Xeon Haswell
2.3 GHz2

4

68 (68)36 (18)72 (18)

DDR4-2400

DDR3-1600

154 GB/s

205 GB/s

容量MCDRAM + DDR4-2133
921 GB/s (MCDRAM)+ 102 GB/s (DDR4)
16 GB (MCDRAM) + 96 GB (DDR4)

リンク

Cray Aries (15.75 GB/s)Intel Omni-Path (12 GB/s)

トポロジ

Dragonfly

Fat treeFat tree13.5 TB/s

half-bisection

full-bisection

総バンド幅

バイセクション
バンド幅
ストレージ
バーストバッファ

128 GB

3 TB
Intel Omni-Path × 2(12 GB/s × 2)

DDN ExaScaler (16 PB, 100 GB/s) （2018 年度に 8 PB, 50 GB/s を増強予定）
Cray DataWarp (230 TB, 206 GB/s)
DDN IME (230 TB, 250 GB/s)

表 2: スーパーコンピュータの性能諸元（2014 年度導入システム）
名称

サブシステム名
愛称
機種名
稼動期間

サブシステム D
Magnolia
Cray XC30
2014 年 7 月～2016 年 12 月

サブシステム E
Camellia
Cray XC30
2014 年 4 月～

416
428.6 TFlops
307.2 TFlops
174th (Nov. 2014)
456th (Jun. 2016)

482
583.6 TFlops
380.5 TFlops
101st (Jun. 2014)
455th (Nov. 2016)

ノード数
理論演算性能Linpack 性能
初出
Top500
最終
製品名，周波数

CPU

メモリ

ネット
ワーク

ソケット数
/ node
コア数 / node(/ socket)
規格
総バンド幅
容量
リンク

Intel Xeon Haswell 2.6 GHz
2

1 (Xeon) + 1 (Xeon Phi)

28 (14)10 (Xeon) + 60 (Xeon Phi)

DDR4-2133
136 GB/s
64 GB
Cray Aries (15.75 GB/s)

DDR3-1600 (Xeon) + GDDR5 (Xeon Phi)
51.1 GB/s (DDR4) + 352 GB/s (GDDR5)
32 GB (DDR4) + 8 GB (GDDR5)
Cray Aries (15.75 GB/s)

Dragonfly

Dragonfly

トポロジ
バイセクション
バンド幅
ストレージ

3.3

Intel Xeon Ivy Bridge 2.6 GHz+ Intel Xeon Phi Knights Corner 1.053 GHz

4.6 TB/s
DDN SFA12K (3 PB, 24 GB/s)

コンパイラ・ライブラリ

ほとんどプログラムのコンパイルには，Intel Com-

piler を用いた，バージョンは Camohor 2 および Laurel 2 では 17，Magnolia および Camellia では 16（一部のベンチマークでは 14）である．ただし，Cam-phor 2 の HPLinpack および IMB では Cray Compiler バージョン 8.5.2 を用いた．

MPI ライブラリには，Camphor 2，Magnolia，Camellia では Cray MPI を用いた．バージョンは Camphor 2 では 8.5.8，Magnolia および Camellia では
7.3.2 である．Laurel 2 では Intel MPI バージョン2017 を用いた．
HPLinpack では，数値ライブラリとして Camphor 2
では Cray Libsci 16.11.1，Laurel 2 では Intel MKL
バージョン 2017，Magnolia では Intel MKL バージ

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 13

表 3: スーパーコンピュータの性能諸元（2012 年度導入システム）
名称

サブシステム A
Camhpor
Cray XE6
2012 年 4 月～2016 年 8 月

サブシステム名
愛称
機種名
稼動期間
ノード数

940

理論演算性能300.8 TFlops

Linpack 性能
初出
Top500
最終
製品名，周波数CPU251.7 TFlops
73rd (Jun. 2012)
405th (Nov. 2015)
AMD Opteron Abu Dhabi
2.6 GHz

ソケット数/ node
コア数 / node(/ socket)

2
32 (16)

GPU
メモリ

規格
総バンド幅
容量
リンク

ネット
ワーク

—
DDR3-1600
102 GB/s
64 GB
Cray Gemini (9.3 GB/s or
4.6 GB/s per link)

トポロジ
バイセクション
バンド幅
ストレージ

サブシステム B
サブシステム C
LaurelCinnamonAppro GreenBlade 8000
Appro 2548X
2012 年 4 月～2016 年 12 月

601
242.6 TFlops (含 GPU)
193.0 TFlops (除 GPU)
135.4 TFlops (除 GPU)
126th (Jun. 2012)
494th (Jun. 2014)
Intel Xeon Sandy Bridge
2.6 GHz16
10.6T Flops———
Intel Xeon Sandy Bridge
2.6 GHz2

4

16 (8)

32 (8)NVIDIA Tesla M2090（64 ノードに搭載）
DDR3-1600
102 GB/s
64 GB
Infiniband FDR × 2(6.8 GB/s × 2)—
DDR3-1066
136 GB/s
1.5 TB
Infiniband FDR × 2(6.8 GB/s × 2)

3D-torus

Fat treeFat tree

1.7 TB/s

3.1 TB/s

217 GB/s

DDN SFA10000 (5 PB, 54 GB/s)

ョン 11.3.2，Camellia では Intel MKL バージョン

測定結果を表 5 に示す．Camphor 2 の性能は11.2.4 をそれぞれ用いた．

Magnolia よりやや低くなっているが，Camellia
よりは大幅に改善されていることが確認できる．

4

測定結果
各ベンチマークの性能評価結果を表 4–表 9 に示す．

「新
なお，これらの表中の「システム」は，「新 A(H)」

A(F)」がそれぞれ Camphor 2 の Hybrid モードおよ「新 B」が Laurel 2「，D」が Magnolia，び Flat モード，
「E」が Camellia を意味する．

(a) HPLinpack
測定結果を表 4 に示す．プロセス分割数などのチューニングや問題サイズが十分ではなく，Top500
用の測定値ほどの対理論性能は得られていない．
特に Laurel 2 ではもっと性能改善の余地があると考えられる．HPL ではノード数の比例に近い性能を得られることが期待できるため，ノードあたりでは Camphor 2 は Magnolia や Camellia
より高い性能が得られると考えられる．また，入力サイズは Camphor 2 の MCDRAM の容量よりも大きくしており，Cache モードが有効に機能していていることが読み取れる．

(b) FFTE

14 − Academic Center for Computing and Media Studies, Kyoto University

また，参照の局所性があまり高くないプログラムであるため，Flat モードと Cache モードの差
は HPLinpack より小さくなっている．

(c) FDTD
測定結果を表 6 に示す．このプログラムはベク
トル化率が比較的高いため，単一ノード，複数
ノードともに Camphor 2 は Magnolia より高い性能が得られている．また，参照の局所性を高めるプログラムの工夫を行っているため，Cache
モードと flat モードの差も大きくなっている．

Laurel 2 も Magnolia に対して良好な性能が得られている．

(d) Poisson
測定結果を表 7 に示す．このプログラムもベクト
ル化率は高く，Camphor 2 の性能は Magnolia を上回っている．Laurel 2 でも Magnolia に対してやや良好な性能が得られている．なお，KNL とKNC 上での OpenMP 版の実行では，ハイパー
スレッディングを利用して，1 物理コアに 2 ス
レッド割り当てることでコアあたり 1 スレッド

表 4: HPLinpack の性能測定結果
システム

新 A(H)

新 A(F)

新B

D

E

使用ノード数
プロセス数 × スレッド数
N（問題サイズ）
測定値（HPL TFLOPS）

8
544×1
200000
6.64

8
544×1
200000
3.74

8
288×1
200000
3.43

32
896×1
400000
19.7

4
240×1
25000
0.465

表 5: FFTE の性能測定結果
システム

新 A(H)

新 A(F)

新B

D

E

使用ノード数
プロセス数
N（問題サイズ）
測定値（MPIFFT GFLOPS）

8
512
20000056.6

851220000049.4

825620000083.8

19512400000
153

3
128
25000
6.70

表 6: FDTD の性能測定結果
システム

新 A(H)

スレッド数
測定値（GFLOPS）

新 A(F)

64
64
87.5
35.3
(a) 単一ノード性能
新 A(H)

システム
使用ノード数
プロセス数 × スレッド数
測定値（GFLOPS）

新B

D

E

36
70.3

28
65.8

60
27.3

新B

D

E

8
16 × 14379

4
24 × 1042.0

8
832 × 17
16 × 18410437(b) 複数ノード性能

表 7: Poisson の性能測定結果
システム

新 A(F)

新B

D

E

スレッド数
測定値（Mpoints/s）

新 A(H)

128
128
537
627
(a) 単一ノード性能

36
352

28
304

120
81.7

システム

新 A(H)

新B

D

E

使用ノード数
プロセス数
測定値（Gpoints/s）

8
512
2.87
(b) 複数ノード性能

8
288
2.07

16
448
3.91

8
480
0.228

の割り当てより 20%程度高い性能が得られた．

の方策が必要となると考えられる．Omni Pathを採用している Laurel 2 では一対一の通信性能(e) IMBは Magnolia より高いが，集団通信では Magno-

測定結果を表 8 に示す．表 1，表 2 が示す通り，

lia をやや下回る性能となっている．このベンチ

Camphor 2，Magnolia，Camellia のスペック上

マークは MCDRAM のメモリ容量内で動作する．

の通信性能に大きな差はないが，実測性能はCamphor 2 の Flat モード実行では，Alltoall を

Magnolia > Camphor 2 > Camellia の順と除いて Cache モード実行よりおおむね良好な性なっている．これは，通信性能が CPU コアの性能が得られている．

能に律速されているためだと考えられる．通信
性能をフルに使い切るためには，1 ノード内で複数プロセスが同時に通信するようにするなど(f) STREAM
測定結果を表 9 に示す．Camphor 2 では，メモ

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 15

表 8: IMB の性能測定結果
システム

新 A(H)

新 A(F)

新B

D

E

ノード数 × プロセス数
PingPong 4MB (MB/s)
PingPong 8B (MB/s)
Sendrecv 4MB (MB/s)
Sendrecv 8B (MB/s)
Allreduce 4MB (µs)
Reduce 4MB (µs)
Reduce-Scatter 4MB (µs)
Allgather 4MB (µs)
Alltoall 4MB (µs)
Bcast 4MB (µs)

5055
1.97
8519
1.57
11378
6340
4412
10175
25310
1687

5637
1.90
9595
1.90
11668
5641
8467
9933
9351
5650

8×1
11416
4.41
14628
7.87
2509
2593
1264
4134
5837
991

9165
3.94
11494
5.62
2504
4355
1310
5148
6636
1445

3604
0.5
3673
0.63
14050
47976
7138
17034
17587
3288

表 9: STREAM の性能測定結果
システム

新 A(H)

スレッド数
性能値（copy, GB/s）

S = 0.3 GB
S = 3 GBS = 14.9 GB
S = 22.4 GB

新 A(F)

64
275
202
62.5
59.0

新B

D

64
36
28
436
114
108
442
115
—
120
116
—
106
116
—
（S ：配列サイズ）

リアクセスが MCDRAM のみで完結するようにや Magnoila（Haswell）を下回るが，ベクトル化率

した場合と，DDR4 メモリもアクセスされる場を高めたプログラムを多数のプロセス・スレッドを合との性能を比較するため，いくつかの配列サ使って並列実行すれば，これらのシステムより高い

イズを試した．予想通り，小さな配列サイズでノードあたり性能を得ることができる．ベクトル化

は MCDRAM による高いアクセス性能が得られ率や並列度が十分でなかったり，MPI プロセス数をるが，サイズを大きくすると性能が落ち込んで増やしすぎた場合には性能が落ち込んでしまう．たしまうことが確認できる．特に Flat モード実行

だし，KNL におけるそのような性能の落ち込みはは，小さい配列に対しては MCDRAM のみのア

KNC ほど極端ではなく，より使いやすいメニーコア

クセスで完結するため，非常に高い性能が得らプロセッサになっていると評価できる．また，ネッれている．このベンチマークプログラムには参トワークの通信性能を使い切れるようにすることや，

照局所性がほとんどないため，Cache モードは

MCDRAM のメモリモードの適切選択を含めた有効ほとんど有効に機能せず，大きいサイズの配列

活用も Camphor 2 の性能を生かし切るための重要に対しても Flat モードを下回る性能となっていなポイントである．

る．Laurel 2 のメモリアクセス性能は配列サイ

Laurel 2 は，旧システムの Magnolia とほぼ同様

ズによらずほぼ一定であり，かつ Magnolia よりの性能の傾向を示しつつ，実アプリケーションではやや高い性能が得られることが確認できる．

おおむね Magnolia より高い性能を得られることが確認できた．

5

おわりに本稿がシステムの利用検討およびアプリケーショ
ン開発の一助になれば幸いである．

本稿では，メディアセンターの新しいスパコンと旧スパコンにおけるいくつかのベンチマークの測定結果を示し，システム間の実性能を比較した．Camphor 2（KNL）のコアあたりの性能は Laurel 2（Broadwell）

16 − Academic Center for Computing and Media Studies, Kyoto University

参考文献[1] Innovative Computing Laboratory, University ofTennessee: HPC Challenge. http://icl.cs.utk.

edu/hpcc/.
[2] Intel Corporation: Getting Started with IntelMPI Benchmarks. https://software.intel.com/
en-us/articles/intel-mpi-benchmarks.
[3] Kawai, M., Iwashita, T. and Nakashima, H.:
SIMD Implementation of a Multiplicative Schwarz
Smoother for a Multigrid Poisson Solver on an Intel
Xeon Phi Coprocessor , Springer International Publishing, pp. 57–65 (2015).
[4] Kawai, M., Iwashita, T., Nakashima, H. andMarques, O.: Parallel Smoother Based on Block
Red-Black Ordering for Multigrid Poisson Solver ,Springer Berlin Heidelberg, pp. 292–299 (2013).
[5] McCalpin, J. D.: STREAM: Sustainable Memory
Bandwidth in High Performance Computers. http://www.cs.virginia.edu/stream/.
[6] Minami, T., Hibino, M., Hiraishi, T., Iwashita,
T. and Nakashima, H.: Automatic Parameter
Tuning of Three-Dimensional Tiled FDTD Kernel , Springer International Publishing, pp. 284–297(2015).
[7] TOP500.org: Top500 Supercomputer Sites. https://www.top500.org.
[8] 平石拓: 新スーパーコンピュータ Camphor 2 のベンチ
マーク評価報告, 京都大学学術情報メディアセンター 全
国共同利用版広報, Vol. 15, No. 1, pp. 15–18 (2017).

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 17

サービスの記録・報告システム A 運転状況 ( 2017 年 4 月 ～ 2017 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2017/04/01

0:00

2017/04/05

9:10

105.172017/04/10

21:20

2017/04/11

10:00

12.67

2017/04/14

12:30

2017/04/14

17:30

5.00

2017/04/13

17:50

2017/04/14

0:20

6.50

2017/06/06

9:00

2017/06/07

14:00

29.00

2017/05/01

2:20

2017/05/01

6:15

3.92

2017/08/02

9:00

2017/08/09

9:30

168.502017/05/07

22:08

2017/05/08

16:44

18:60

2017/08/11

0:00

2017/08/11

7:00

7.00

2017/05/09

23:22

2017/05/09

23:38

0:27

2017/08/01

16:55

2017/08/01

18:01

1.10

２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

4月

590.67

13,52075,71827,264,100

18,764,300

1795.843%

5月

721.2238,025

123,574

40,041,600

30,422,000

1798.246%

6月

691.0014,63084,27937,801,700

30,499,500

1790.246%

7月

744.0013,989117,107

46,980,900

38,713,400

1798.452%

8月

567.4012,522

95,89941,236,900

40,592,300

1734.858%

9月

720.0024,905133,060

67,713,100

56,856,600

1799.678%

計4034.29

117,591

629,637

261,038,300

215,848,100

1,786.1

54

%

7月

8月

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

18 − Academic Center for Computing and Media Studies, Kyoto University

システム B 運転状況 ( 2017 年 4 月 ～ 2017 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2017/04/01

0:00

2017/04/05

9:10

105.172017/05/01

2:20

2017/05/01

6:15

3.92

2017/04/14

12:30

2017/04/14

17:30

5.00

2017/08/01

16:55

2017/08/01

18:01

1.10

2017/06/06

9:00

2017/06/07

14:00

29.00

2017/08/02

9:00

2017/08/03

9:30

24.50

2017/08/11

0:00

2017/08/11

7:00

7.00

２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

4月

609.8397,424493,282

6,093,890

5,102,350

796.0

39

%

5月

740.0866,707835,251

12,186,200

9,433,630

829.2

53

%

6月

691.0062,721

921,452

10,562,900

9,225,890

791.6

66

%

7月

744.00128,201

983,099

14,398,800

12,501,000

831.9

79

%

8月

711.4097,968872,477

11,021,700

9,353,030

823.6

69

%

9月

720.0070,862

1,057,060

12,787,600

11,024,500

831.9

72

%

計

4216.31523,883

5,162,621

67,051,090

56,640,400

817.4

63

%

7月

8月

ノード
利用率

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 19

システム C 運転状況 ( 2017 年 4 月 ～ 2017 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時システムダウン障害発生状況

サービス再開日時

保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2017/04/01

0:00

2017/04/05

9:10

105.172017/05/01

2.20

2017/05/01

6:15

3.92

2017/04/14

12:30

2017/04/14

17:30

5.00

2017/08/01

16:55

2017/08/01

18:01

1.10

2017/06/06

9:00

2017/06/07

14:00

29.00

2017/08/02

9:00

2017/08/03

9:30

24.50

2017/08/11

0:00

2017/08/11

7:00

7.00

２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

4月

609.83971

5,571

98,747

81,974

15.7

11

%

5月

740.08

1,213

13,282

126,511

109,568

15.7

15

%

6月

691.00

1,403

23,236147,288

134,074

15.6

37

%

7月

744.001,614

21,164

101,793

77,640

15.8

35

%

8月

711.40

1,622

8,709

159,266

92,895

15.9

38

%

9月

720.001,079

12,635200,865

72,977

16.0

44

%

計

4216.31

7,902

84,598834,470

569,128

15.8

30

%

ノード
利用率

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

20 − Academic Center for Computing and Media Studies, Kyoto University

システム E 運転状況 ( 2017 年 4 月 ～ 2017 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時システムダウン障害発生状況

サービス再開日時

保守時間[h]2017/04/01

0:00

2017/04/05

9:10

105.172017/06/06

9:00

2017/06/07

14:00

29.00

2017/08/02

9:00

2017/08/03

9:30

24.50

2017/08/11

0:00

2017/08/11

7:00

7.00

障害発生日時

サービス再開日時

ダウン時間[h]なし２）サービス状況
バッチ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

4月

614.83363

597

408,750

982

482.0

14

%

5月

744.0097

1,215

350,092

1,976

482.0

11

%

6月

691.00451

1,915

710,425

3,149

482.0

21

%

7月

744.00141

2,527

1,025,580

4,637

482.0

26

%

8月

712.50337

994

336,861

3,226

482.0

13

%

9月

720.0049

1,233

545,959

1,886

482.0

14

%

計

4226.33

1,438

8,480

3,377,667

15,856

482.0

16

%

ノード
利用率

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 21

センター利用による研究成果―平成 28 年度計算機利用結果報告書から―
Chemical Physics, Vol.145, pp.114103 -, 2016

【1002 ソフトウェア】
1.

Tatsuya Abe, Tomoharu Ugawa, Toshiyuki

6.

Hirotaka Kitoh-Nishioka, Daisuke Yokogawa,

Maeda, and Kousuke Matsumoto： Reducing

and Stephan Irle： Forster Resonance Energy

State Explosion for Software Model Checking

Transferwith Relaxed Memory Consistency Models：

Efficient Transition Charge-Based Study：

Proceedingsof

The Journal of Physical Chemistry C, Vol.121,

Symposium

on

the

2nd

International

Dependable

FluorescentProteins:

No.8, pp.4220-4238, 2017

SoftwareEngineering: Theories, Tools and Applications,

between7.

Hirotaka Kitoh-Nishioka, Kai Welke, Yoshio
Nishimoto, Dmitri G. Fedorov, and Stephan

Vol.LNCS9984, pp.118-135, 2016
【4304 数理物理・物性基礎】

Irle ： Multiscale Simulations on Charge

2.

Yosuke Harashima, Kiyoyuki Terakura, HioriTransport in Covalent Organic Frameworks

Kino, Shoji Ishibashi and Takashi Miyake：

Including Dynamics of Transfer Integrals

First-principles

andfrom the FMO-DFTB/LCMO Approach： The

magnetism of NdFe11M(N) for M=Ti, V, Cr,

Journal of Physical Chemistry C, Vol.121,

Mn, Fe, Co, Ni, Cu, Zn： Journal of Applied

No.33, pp.17712-17726, 2017

3.

study

on

stability

Physics, Vol.120, pp.203964-1 - 203964-6,【4501 プラズマ科学】

2016

8.

Miyake, Y., H. Usui ：Particle-in-cell

Yosuke Harashima, Kiyoyuki Terakura, Hiorimodeling of spacecraft-plasma interaction

Kino, Shoji Ishibashi, and Takashi Miyake：effects

Nitrogen as the best interstitial dopant

measurements ：among X = B, C, N, O, and F for strong

pp.1905 - 1922, 2016

permanent

magnetNdFe11TiX:First-principles study： Physical Review B,

ondouble-probe

electric

field

Radio Science, Vol.51,【4601 物理化学】
9.

Yoshio Nishimoto and Dmitri G. Fedorov：Three-Body Expansion of the Fragment

Vol.92, pp.184426-1 - 184426-13, 2015
【4306 生物物理・化学物理】

Molecular Orbital Method Combined with4.

Shun Sakuraba, Hidetoshi Kono： Spotting

Density-Functional Tight-Binding： Journal

theof Computational Chemistry, Vol.38, No.7,

differenceinmolecular

dynamics

simulations of biomolecules： The Journal of
the Chemical Physics, Vol.145, pp.074116 - ,Hirotaka

10. M. Hatanaka, Y. Hirai, Y. Kitagawa, T.
Nakanishi, Y. Hasegawa, K. Morokuma ：

2016
5.

pp.406 - 418, 2017

Kitoh-Nishioka,

Ando ：

Organic linkers control the thermosensitivity

FMO3-LCMO study of electron transferof the emission intensities from Tb(III) andcoupling matrix element and pathway:

Eu(III) in a chameleon polymer： Chemical

Application to hole transfer between two

Science, Vol.8, pp.423-429, 2016

tryptophansthrough

cis-

Koji

and

trans-

polyproline-linker systems： The Journal of

22 − Academic Center for Computing and Media Studies, Kyoto University

11. Yoshio

NishimotoHyperpolarizability：

Analyticandpolarizability

occupation

Molecule（ポスター発表）： 12th International

numbers for large extended systems： The

Conference on Nano-Molecular Electronics

Journal of Chemical Physics, Vol.146, No.8,(ICNME2016), 2016derivativewithfractional

pp.084101-, 2017

【4801 機能材料・デバイス】
18. Genta【4704 機能物質化学】

Kawaguchi,

Mitsuhiko

Maesato,
Imakubo,

12. D. V. Konarev, Y. Nakano, S. S. Khasanov, A.

Tokutaro

Komatsu,

TatsuroV. Kuzmin, M. Ishikawa, A. Otsuka, H.

Andhika

Kiswandhi,

D.

Yamochi, G. Saito, R. N. Lyubovskaya ：Kitagawa： Use of Halogen Bonding in a

Magnetic and optical properties of layered

Molecular Solid Solution to Simultaneously(Me4P+)[M(IV)O(Pc•3−)]•−

Control Spin and Charge ： Chemistry of(TPC)0.5·C6H4Cl2 salts (M = Ti and V)

Materials, Vol.28, No.20, pp.7276 - 7286, 2016

Graf,

Hiroshicomposed of π-stacking dimers of titanyl and

19. Mikihiro

Hayashi,KazuyaOtsubo,vanadyl phthalocyanine radical anions ：Mitsuhiko

Maesato,Tokutaro

Komatsu,

Cryst. Growth Des., Vol.17, No.2, pp.753-762,

Kunihisa

Sugimoto,

AkihiroFujiwara,

2016

Hiroshi

Kitagawa ：AnElectrically

Conductive

Single-Component

Nakano, M. Ishikawa, M. A. Faraonov, S. S.

Donor-Acceptor-Donor

Aggregate

Khasanov, A. L. Litvinov, A. Otsuka, H.

Hydrogen-Bonding

Yamochi, G. Saito, R. N. Lyubovskaya： The

Chemistry, Vol.55, No.24, pp.13027 - 13034,

Salts

2016

13. D. V. Konarev, S. I. Troyanov, A. V. Kuzmin, Y.

ofCopperOctafluoro-and

Lattice ：with

Inorganic

Hexadecafluorophthalocyanines Containing

20. Tokutaro Komatsu, Hirokazu Kobayashi,[CuII(F8Pc)4−]2− Dianions and [CuF16Pc]−

Kohei Kusada, Yoshiki Kubota, Masaki

Monoanions： Inorg. Chem., Vol.56, No.4,

Takata,pp.1804-1813, 2017

Matsumura, Katsutoshi Sato, Katsutoshi

14. D. V. Konarev, S. S. Khasanov, M. Ishikawa, Y.

Tomokazu

Nagaoka,

Yamamoto,

HiroshiSyo

Kitagawa：

Nakano, A. Otsuka, H. Yamochi, G. Saito, R.

First-Principles Calculation, Synthesis andN. Lyubovskaya ：Catalytic

Tetrabutylammonium

Properties

of

Rh-Cu

Alloy

salts of aluminum(III) and gallium(III)

Nanoparticles ： Chemistry - A European

phthalocyanine radical anions bonded with

Journal, Vol.23, No.1, pp.57 - 60, 2016

indium(III)

21. Natalia Palina, Osami Sakata, L. S. R.

bromide phthalocyanine radical anions ：Kumara, Chulho Song, Katsutoshi Sato,

Chem. Asian J., Vol.12, 2017

Katsutoshi Nagaoka, Tokutaro Komatsu,

fluoren-9-olato−anionsand15. 中野義明，大江佳毅，石川学，矢持秀起，売市

Hirokazu Kobayashi, Kohei Kusada &幹大： 3 回対称性ドナー分子を用いた電荷移動

Hiroshi Kitagawa ： Electronic Structure

錯体の合成と物性評価（ポスター発表）： 第 10Evolution with Composition Alteration of

回分子科学討論会 2016 神戸, 2016

RhxCuy Alloy Nanoparticles ：16. 中野義明，大江佳毅，石川学，矢持秀起，売市Scientific

Reports, Vol.7, pp.41264-, 2017

幹大： 3 回対称性分子と TCNQ からなる電荷【4904 応用物理学一般】

移動錯体の作製と物性評価（ポスター発表）：京

22. Tien-Hsiu Tsai and Ikuo Kanno ：A

都大学物性科学センター第 15 回講演会・研究

simulation study on the influence of scattered

交流会, 2017

X-rays

17. Y. Nakano, Y. Oe, M. Ishikawa, H. Yamochi,
M. Uruichi ：Development of Organic

Electronics Material Based on C3-Symmetricinenergy-resolved

computed

tomography： Journal of Nuclear Science andTechnology, Vol.54, No.2, pp.205-212, 2016
【4905 工学基礎】

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 23

23. Shugo YASUDA： Monte Carlo simulation for

metallicity in a ruthenium two-dimensional

kinetic chemotaxis model: an application tosystem： Chem. Mater., Vol.28, pp.5784 -the traveling population wave： Journal of

5790, 2016

Computational

Physics,

Vol.330,

31. Y. Kumagai, L. A. Burton, A. Walsh, and F.
Oba： Electronic structure and defect physics

pp.1022-1042, 2016
【5001 機械材料・材料力学】

of tin sulfides: SnS, Sn2S3, and SnS2： Phys.

24. 西川雅章，内藤悠太，金崎真人，北條正樹： 炭Rev. Applied, Vol.6, pp.014009-1 - 014009-14,

素繊維熱可塑性複合材料の加熱成形プロセスに関する熱伝導特性と粘弾性変形の連成解析：

2016
32. Y. Hinuma, T. Hatakeyama, Y. Kumagai, L. A.

JCOM 若手シンポジウム 講演論文集, 2016

Burton, H. Sato, Y. Muraba, S. Iimura, H.

25. Masaaki Nishikawa, Akira Fukuzo, Naoki

Hiramatsu, I. Tanaka, H. Hosono, and F.

Matsuda,：Oba： Discovery of earth-abundant nitride

Micromechanicalsemiconductors by computational screening

Masaki

Load-Transfer-Based

Hojo

Simulation for Evaluating Elastic-Plastic

and high-pressure synthesis ：Response of Discontinuous Carbon Fiber

Commun., Vol.7, pp.11962-1 - 11962-10, 2016

Reinforced Thermoplastics ： Proc. of 31st

33. Y. Hinuma, G. Pizzi, Y. Kumagai, F. Oba, andTechnical Conference of American Society for

I. Tanaka： Band structure diagram paths

Composites, 2016

based on crystallography： Comput. Mater.

26. 古賀貢史, 新玉重貴, 西川雅章, 北條正樹, 松田

NatureSci., Vol.128, No., pp.140 - 184, 2017

直樹： ボイドを含む CFRP の層間せん断試験

34. H. Hayashi, S. Katayama, T. Komura, Y.

の樹脂の降伏を考慮したモデル化： 第 41 回複

Hinuma, T. Yokoyama, K. Mibu, F. Oba, and I.

合材料シンポジウム 講演論文集, 2016

Tanaka： Discovery of a novel Sn(II)-based【5004 流体工学】

oxide

27. Abhishek L. Pillai, Masaya Muto, Ryoichi

photocatalysis： Adv. Sci., Vol.4, pp.1600246-1

Kurose： Numerical investigation of effect of

β -SnMoO4

fordaylight-driven- 1600246-8, 2017

Reynolds number on noise from turbulent

35. Y. Hinuma, Y. Kumagai, I. Tanaka, and F.

non-premixed hydrogen jet flames： In Proc.

Oba： Band alignment of semiconductors andof the Asian Congress on Gas Turbines

insulators using dielectric-dependent hybrid(ACGT2016), pp.USB (9 pages) -, 2016

functionals:

Toward【5202 構造工学・地震工学・維持管理工学】

evaluation ：Phys.

28. Kyohei Noguchi, Soichiro Hata, Hiromichi

pp.075302-1 - 075302-10, 2017

high-throughput
Rev.

B,

Vol.95,

Shirato, Tomomi Yagi： Effect of de-icing salts

36. Y. Kumagai, K. T. Butler, A. Walsh, and F.

scattered by vehicle running： Proceedings

Oba ： Theory of ionization potentials ofof the Twenty-ninth KKHTCNN Symposium

nonmetallic solids： Phys. Rev. B, Vol.95,

on Civil Engineering, pp.525-528, 2016

pp.125309-1 - 125309-10, 201729. 野口恭平，秦聡一朗，白土博通，八木知己： 車
両走行による凍結防止剤の飛散がもたらす周辺【5403 複合材料・物性】
37. Shinya Iwata ：Influence of Humidity

塩分環境の変化： 土木学会第 71 回年次学術講

Treatment on Electrical Tree Propagation in

演会講演概要集, pp.91-92, 2016

Epoxy Resin ：IEEE Transactions on【5401 金属物性】

Dielectrics and Electrical Insulation, Vol.23,

30. S. Toyoda, K. Fukuda, K. Horiba, M. Oshima,

No.5, pp.2556-2561, 2016

K. Kumagai, Y. Kumagai, F. Oba, Y.
Uchimoto,

andE.

Matsubara：

Ligancy-driven controlling of covalency and

24 − Academic Center for Computing and Media Studies, Kyoto University京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 25

資料

別表１ スーパーコンピュータシステム
提供サービス
利用負担額
コース

タイプ

セット

エントリ

タイプA
タイプB
タイプC
タイプE

基本
基本
基本
基本
基本
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位

パーソナル

タイプA1
タイプA2
タイプA3
タイプB1
タイプB2
グループ

タイプB3
タイプC1
タイプC2
タイプE1
タイプE2
タイプE3
タイプA
タイプB

大規模ジョブタイプCタイプE
専用クラスタ-ストレージ容量追加
ライセンスサービス

システム バッチ

12,600 円/年
100,000 円/年
100,000 円/年
100,000 円/年
100,000 円/年
230,000 円/年
115,000 円/年
276,000 円/年
69,000 円/年
690,000 円/年
345,000 円/年
240,000 円/年
120,000 円/年
288,000 円/年
72,000 円/年
720,000 円/年
360,000 円/年
150,000 円/年
150,000 円/年
180,000 円/年
90,000 円/年
280,000 円/年
140,000 円/年
336,000 円/年
84,000 円/年
840,000 円/年
420,000 円/年
23,000 円/週(7日）
11,500 円/週(7日）
24,000 円/週(7日）
12,000 円/週(7日）
15,000 円/週(7日）
7,500 円/週(7日）
28,000 円/週(7日）
14,000 円/週(7日）
720,000 円/年
360,000 円/年
10,000 円/年
20,000 円/年

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

最大1ノード相当((36コア、128GBメモリ)×1)
共有
1
最大4ノード相当((68コア、16+96GBメモリ)×4)
共有
最大4ノード相当((36コア、128GBメモリ)×4)
共有
168
最大1ノード相当((72コア、3072GBメモリ)×1)
共有
共有 最大2ノード相当((10コア、32GBメモリ+ 1MIC)×2)
4ノード((68コア、16+96GBメモリ)×4)
優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)A
準優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)
占有
4ノード((68コア、16+96GBメモリ)×4)
4ノード((36コア、128GBメモリ)×4)
優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
B
準優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
占有
336
4ノード((36コア、128GBメモリ)×4)
1ノード((72コア、3072GBメモリ)×1)
優先
1ノード((72コア、3072GBメモリ)×1)
C
2ノード((72コア、3072GBメモリ)×2)
準優先
1ノード((72コア、3072GBメモリ)×1)
4ノード((10コア、32GBメモリ+ 1MIC)×4)
優先
2ノード((10コア、32GBメモリ+ 1MIC)×2)
8ノード((10コア、32GBメモリ+ 1MIC)×8)E
準優先
2ノード((10コア、32GBメモリ+ 1MIC)×2)
8ノード((10コア、32GBメモリ+ 1MIC)×8)
占有
4ノード((10コア、32GBメモリ+ 1MIC)×4)
8ノード((68コア、16+96GBメモリ)×8)A
占有
4ノード((68コア、16+96GBメモリ)×4)
8ノード((36コア、128GBメモリ)×8)
B
占有
4ノード((36コア、128GBメモリ)×4)
168
2ノード((72コア、3072GBメモリ)×2)
C
占有
1ノード((72コア、3072GBメモリ)×1)
8ノード((10コア、32GBメモリ+ 1MIC)×8)
E
占有
4ノード((10コア、32GBメモリ+ 1MIC)×4)
8ノード((36コア、128GBメモリ)×8)
B
4ノード((36コア、128GBメモリ)×4)
ストレージ容量10TBの追加につき可視化ソフト（AVS,ENVI/IDL)およびプリポストウェアの1ライセンスにつき
B
A
B
C
E

0.2
2.0
2.0
2.0
2.0
16.0
8.0
19.2
4.8
32.0
16.0
16.0
8.0
19.2
4.8
32.0
16.0
16.0
16.0
19.2
9.6
16.0
8.0
19.2
4.8
32.0
16.0

-

-

-

32.0
16.0

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． 大型計算機システムの全ての利用者は、上記表のサービスの他、次のサービスを受けることができる。
1） 大判プリンタサービス
2） その他、大型計算機システムが提供するサービス、機器の利用
3． 上記表の大規模ジョブコース、ストレージ容量追加、ライセンスサービスの申請には、スーパーコンピュータシステムの利用者であることが必要である。
4． 「共有」： 当該カテゴリのユーザ間で一定の計算資源を共有するベストエフォートのスケジューリングを行う。
「準優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/4の計算資源が確保されることを保証する。
「優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/2の計算資源が確保されることを保証する。
「占有」： 稼働状況によらず記載値の計算資源が確保されることを保証する。
5． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。
6． グループコース及び専用クラスタコースの利用者番号は利用者あたり年額5,000円を負担することで追加できる。
7 ． 機関・部局定額制度
他機関又は学内における部局（『国立大学法人京都大学の組織に関する規程』第3章第2節から第11節で定める組織をいう。）の組織が、その組織単位でグループコースサービスを利用申請する場合の利用負担額は、別表１に規定する額の1.5倍の額とする。
なお、利用負担額が年額150万円未満の場合は100人、年額150万円を超える場合は、150万円毎に100人までの利用を認める。
ストレージは、1.5倍の容量とする。
8 ． スパコン連携サービス
学術情報メディアセンターのスーパーコンピュータシステムと密な連携により、学内における部局の組織が計算サーバ等を設置する
場合、下記の負担額を支払うものとする。
冷却方式
水冷
空冷

利用負担額
11,300 円/月
13,200 円/月

利用負担額算定単位
水冷冷却方式の計算サーバ等の定格電力 1kWにつき
空冷冷却方式の計算サーバ等の定格電力 1kWにつき

26 − Academic Center for Computing and Media Studies, Kyoto University

8
4
16
4
16
8
8
4
16
4
16
8
8
8
16
8
8
4
16
4
16
8

16
8

別表２ 汎用コンピュータシステム
区分

利用負担額

仮想サーバホスティングサービス

36,000円／年

単位
1仮想サーバにつき備考
1． 利用負担額は、総額表示である。
2． 上記表の仮想サーバホスティングサービスを利用するためには、スーパーコンピュータシステムの利用者であること。
3． 1仮想サーバに割当てるシステム資源は、CPU：2コア、メモリ：4GB、ディスク：100GBである。
4． 仮想サーバホスティングサービスにおいて、下記の負担額を支払うことによりCPU、メモリ、ディスクを増量することができる。
区分

利用負担額

単位

CPU増量

3,000円／年

2コアにつき(最大8コアまで)

メモリ増量

3,000円／年

4GBにつき(最大64GBまで)

ディスク増量6,000円／年100GBにつき(最大1,000GBまで)

5． 利用負担額は、当該年度（4月から翌年3月まで）の利用に対して年額として算定するが、年度途中から利用を開始する場合には月数に応じて減額する。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 27

※民間機関利用
別表３ スーパーコンピュータシステム
システム

A

B

C

E

経過時間
（時間）

ストレージ
（TB)

無料
利用者数

8ノード(68コア、16+96GBメモリ)×8)

336

19.2

16

1,104,000 円/年

12ノード(68コア、16+96GBメモリ)×12)

336

28.8

24

1,656,000 円/年

16ノード(68コア、16+96GBメモリ)×16)

336

38.4

32

2,208,000 円/年

8ノード(36コア、128GBメモリ)×8)

336

19.2

16

1,152,000 円/年

12ノード(36コア、128GBメモリ)×12)

336

28.8

24

1,728,000 円/年

16ノード(36コア、128GBメモリ)×16)

336

38.4

32

2,304,000 円/年

2ノード(72コア、3072GBメモリ)×2)

336

19.2

16

720,000 円/年

3ノード(72コア、3072GBメモリ)×3)

336

28.8

24

1,080,000 円/年

4ノード(72コア、3072GBメモリ)×4)

336

38.4

32

1,440,000 円/年

8ノード(10コア、32GBメモリ+ 1MIC)×8)

336

19.2

16

1,344,000 円/年

12ノード(10コア、32GBメモリ+ 1MIC)×12)

336

28.8

24

2,016,000 円/年

16ノード(10コア、32GBメモリ+ 1MIC)×16)

336

38.4

32

2,688,000 円/年

システム資源利用負担額

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。

28 − Academic Center for Computing and Media Studies, Kyoto University

―1.

サービス利用のための資料一覧―

スーパーコンピュータシステム・ホスト一覧
システム A：camphor.kudpc.kyoto-u.ac.jp



システム B・C：laurel. kudpc.kyoto-u.ac.jpシステム B（SAS 利用時）
：sas.kudpc.kyoto-u.ac.jp

システム E：camellia.kudpc.kyoto-u.ac.jp※ ホストへの接続は SSH(Secure SHell) 鍵認証のみ、パスワード認証は不可

2.

問い合わせ先 & リンク集


情報環境機構のホームページ
http://www.iimc.kyoto-u.ac.jp/



学術情報メディアセンターのホームページ
http://www.media.kyoto-u.ac.jp/



スーパーコンピュータシステムに関する問い合わせ先

利用申請などに関する問い合わせ先【情報環境支援センター】
E-mail : zenkoku-kyo@media.kyoto-u.ac.jp / Tel : 075-753-7424
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/

システムの利用など技術的な問い合わせ先【スーパーコンピューティング掛】
E-mail : consult@kudpc.kyoto-u.ac.jp / Tel : 075-753-7426
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/contact.html

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.16 No.2（ Mar. 2018）− 29

編集後記

編 集 後 記本号では，昨年度 No.1 の記事執筆以降にサービス開始となったスーパーコンピュータサブシステム
Laurel2，Cinnamon2 に加え，新たにユーザに機能が開放されたバーストバッファ IME と Camphor2 のメ
モリモード指定についての特集を行いました．2018 年度にはさらに Camphor2 のバーストバッファシス
テム DataWarp の機能開放も予定しており，本誌でも関連記事を公開予定です．これら最新の機能を使って性能を引き出すのは難しいところもありますが，本誌記事が少しでも参考になれば幸いです．
(副部会長)

京都大学学術情報メディアセンター全国共同利用版広報 Vol．16，No．2
2018
年 ３月
3 月３０日
xx発行
日発行
２
０１８年
広報編集部会
編集者 京都大学学術情報メディアセンター

深沢 圭一郎（部会長）

全国共同利用版広報編集部会

平石 拓（副部会長）

発行者 〒606-8501 京都市左京区吉田本町

水谷 幸弘

南雲 円

京都大学学術情報メディアセンター

熊谷 真由美尾形 幸亮

Academic Center for Computing and Media Studies

高見 好男

Kyoto University
Tel. 075-753-7400
http://www.media.kyoto-u.ac.jp/
印刷所 〒616-8102 京都市右京区太秦森ヶ東町 21-10
株式会社エヌジーピー

30 − Academic Center for Computing and Media Studies, Kyoto University

表紙デザイン：谷 卓司（ティアンドティ･デザインラボ）

Vol.16, No.2 2017

【巻頭言】
・Vol.16, No.2 号の発刊に当たって......................................................................................................................................................深沢圭一郎 ........... 1【バーストバッファによる高速ファイル I/O】
・バーストバッファの利用について～ IME 編～ ................................................................................ 尾形幸亮，
池田健二，
疋田淳一 ........... 3
・流体系シミュレーションでのプロセス分散書き出しにおける IME の効果..............................................................深沢圭一郎 ........... 8【性能評価報告】・新スーパーコンピュータのベンチマーク評価報告 .........................................................................................................................平石拓 ........ 11【サービスの記録・報告】
・スーパーコンピュータシステムの稼働状況 ....................................................................................................................................................... ........ 18・センター利用による研究成果（平成 28 年度）...................................................................................................................................................... ........ 22【資料】
・大型計算機システム利用負担金 別表 ..................................................................................................................................................................... ........ 26
・サービス利用のための資料一覧 ................................................................................................................................................................................ ........ 29【編集後記】
・編集後記、奥付 ...................................................................................................................................................................................................................... ........ 30(Mar,2 18)