Vol.17, No.2 2018

【巻頭言】
・Vol.17, No.2 号の発刊に当たって.................................................................................................................................................... 深沢 圭一郎 ........... 1【講習会参加報告】・Cray XC40 プログラミング講習会−Scaling DL Training Workloads with the Cray PE Plugin .............................. 平石 拓 ........... 2【バーストバッファによる高速ファイル I/O】
・バーストバッファの利用について〜 DataWarp 編〜 ...............................................................當山 達也，
尾形 幸亮，
疋田 淳一 ........... 6【サービスの記録・報告】
・スーパーコンピュータシステムの稼働状況 ....................................................................................................................................................... ........... 9・センター利用による研究成果（平成 29 年度）...................................................................................................................................................... ........ 12【資料】
・大型計算機システム利用負担金 別表 ..................................................................................................................................................................... ........ 16
・サービス利用のための資料一覧 ................................................................................................................................................................................ ........ 19【奥付】
・奥付 .......................................................................................................................................................................................................................................... ........ 20

Cray XC40 における深層学習フレームワークの利用
バーストバッファによる高速ファイル I/O 〜 DataWarp 編【巻頭言】「Vol.17，No.2 号の発刊に当たって」深沢 圭一郎【講習会参加報告】「Cray XC40 プログラミング講

習会−Scaling DL Training Workloads with the Cray PE Plugin」平石 拓【バーストバッファによる高速ファイル
I/O】「バーストバッファの利用について〜 DataWarp 編〜」當山 達也，尾形 幸亮，疋田 淳一

巻頭言

巻頭言
Vol. 17, No.2 号の発刊に当たって京都大学学術情報メディアセンター 深沢圭一郎

近年，機械学習を代表にされるデータ科学が広がりを見せる中，様々な研究分野でデータ科学を活用するためこれまで以上に計算機が利用されてきています．これに伴い，スーパーコンピュータを利用して機械学習や統計解析を行うユーザも増えてきました．このようなユーザに対応するために当センター
でもデータ科学分野で多く利用される Python や機械学習フレームワークなどをスーパーコンピュータ
システムへ導入するなど環境整備を進めてきています．当センターのシステムは，いわゆる x86 アーキ
テクチャであり，パソコンの CPU と同じアーキテクチャになります．そのため，オープンソースソフ
トウェアなどの導入が比較的容易であり，多くのアプリケーションをスーパーコンピュータシステムへ導入してきています．更新情報を逐次メール等でお知らせはしていませんが，利用方法の Web ページ（https://web.kudpc.kyoto-u.ac.jp/manual/）は随時更新していますので，ご確認ください．また，希望されるアプリケーションも可能な限り導入いたしますので，オンラインプログラム相談室までお知らせください．
このような環境の整備だけでなく，利用方法を学べる機会として講習会も開催しています．本号では「Cray XC40 における深層学習フレームワークの利用」という特集として，2018 年 7 月に開催しました
ノード間並列を可能とする Cray PE DL Scalability Plugin（DL Plugin）の利用講習会について紹介しています．この講習会では，ノード間並列実行が難しく，並列化効率が高くない機械学習フレームワーク
に対して，効率的な実装を可能とする DL Plugin について紹介し，またその利用方法を学んでもらいました．当センターは，多くの機械学習で利用される GPU が搭載された計算機が無く，機械学習における学習にあまり向いてはいません．しかし，複数ノードを利用し，並列に学習を行うことで，学習速度の向上が可能となり，元々の大容量メモリが利用できる面と合わせて，機械学習を行う計算機システムとして
1 つの選択肢になると考えられます．その講習の内容を簡単ですが特集としてまとめてありますので，ご参考にされてください．
特集では内容の紹介はしていませんが，センター教員が行う機械学習フレームワーク利用講習会も2018 年 8 月に開催されました．来年度もこれら 2 つの講習会は開催する予定です．その他に開催希望の講習会などがありましたら，センターまでお知らせください．
また，本号では「DataWarp」と呼ばれるバーストバッファについても特集しています．バーストバッ
ファについては Vol. 16 No.2 で紹介し，その中で DDN 社の IME と呼ばれるバーストバッファについて特集を組みました．同じバーストバッファである Cray 社の DataWarp もセンターで利用可能となり，その利用方法を紹介しています．IME と同様に恩恵を受ける I/O のタイプは限られますが，一度これらのバーストバッファを試していただき，効果のご確認を是非お願いいたします．
現在のスーパーコンピュータシステムが導入され約 2 年が経過しました．この短い間でも情報技術は
大きく様変わりし，計算機に求められる計算内容も大きく変わってきました．前述の通り当センターのシ
ステムは汎用的な CPU を搭載しているからこそ，できる限りこのような変化にも対応し，利用者のみなさまに役立つインフラであるよう努めてまいります．今後ともご利用，ご支援のほど，よろしくお願いいたします．

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 1

講習会参加報告

参加報告：Cray XC40 プログラミング講習会—Scaling DL

Training Workloads with the Cray PE Plugin
平石 拓 ∗∗

京都大学学術情報メディアセンター

1 はじめに近年，音声・画像処理のみならず医療や創薬，物理学，金融や教育にいたるまで，どの分野の話題をしきるようにすることで，スパコン上で機械学習を実行するための一つの足掛かりとなることを目指しています．

ていても耳にするほど深層学習（ディープラーニン
グ）は広く利用されるようになっています．本学のスーパーコンピュータも深層学習のために利用した
い／しているという話をよく耳にするようになりました．とはいえ，深層学習のためのフレームワーク
である Tensorflow [1] や Chainer [3] をスーパーコン
ピュータの性能を生かす形で正しく設定して動かすのは，特にこれまでスパコンに触れることがなかったユーザにとってはやや敷居が高い面もあります．
このような利用者ニーズが高まるなか，本学でも今年度，スパコンのユーザ向けに深層学習フレーム
ワークの利用に関する講習会を以下の通り実施しま
した．

• 2018 年 7 月 24 日：Cray XC40 プログラミン

2

Cray PE DL Scalability Plugin
本講習で利用した Cray PE DL Scalability Plugin（以下，DL Plugin）は，Cray のスパコン向けに提供されている深層学習向けのプラグインであり，サブシステム A にも導入されています．このプラグインを利用することで，Tensorflow による学習を多数の計算ノードを用いた並列実行で効率良く行うことができるようになります．利用にあたっては，モジュールのロードのほか，以下に述べていく通り学習用の（Python 等の）スクリプトにも少し変更を加える必要があります．

DL Plugin での分散並列処理（複数の計算ノード
による並列処理）は，ミニバッチを各プロセスに分グ講習会—Scaling DL Training Workloads with

配してそれぞれのプロセス内で勾配計算を行い，同

the Cray PE Plugin1

期をとった後それらの結果を集約して重みを更新す• 2018 年 8 月 27 日：機械学習フレームワーク利用講習会2る，という処理により実現されています．この分配や縮約に必要となる通信処理等が Cray のスパコン向
けにチューニングされているため，Horovod [2] など

本稿は，このうち前者の講習会について，参加報の一般的に知られている Tensorflow の分散並列処理

告という形でその内容を紹介します．この講習会でフレームワークと比較して良好な性能が得られるとは，実際に本学のスパコンのサブシステム A（Crayの主張がなされています．

XC40）上で機械学習のサンプルプログラムを実行す
る実習を行いました．読者がその実習内容を再現で
1 http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/event/detail/180628055104.html （7 月 23 日から二日間にわたって開催された Cray XC40（サブシステム A）のプログラミングセ
ミナーの一部）
2 http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/event/detail/180528055051.html

2 − Academic Center for Computing and Media Studies, Kyoto University

3

サンプルスクリプト
それでは，実習の流れに沿って DL Plugin を利用した学習処理を実行していきましょう．なお，以下の操作は全て本学スーパーコンピュータのサブシステ

ム A にログインしたシェル上で行います（DL Plugin
はサブシステム A にのみ導入されています）．まず，

1
2
3
4
5
6
7

1

#!/ bin/bash2

以下の手順で，実習で使用したサンプルプログラム

3とサンプルデータを取得します．

5

4#QSUB -q ca#QSUB -A p=1:c=62:t=62:m=10G#QSUB -N mnist6# 適当なディレクトリに移動% cd# サンプルが入った書庫ファイルをコピー＆展開% cp /opt/app/ course /2018/ xc40/ Kyoto_training .tar.gz./% tar xvfz Kyoto_training .tar.gz# 展開してできたディレクトリに移動% cp Kyoto_training

7

export PYTHONUSERBASE =/ opt/app/ course /2018/ xc40/
tensorflow

8
9
10
11

module use /opt/app/ course /2018/ xc40/pe/ modulefiles
module load cray - python /2.7.13.1
module load craype -ml -plugin -py2

12
13

aprun -n 1 -N 1 -cc none -b python ./ mnist.py -enable_ml_comm --data_dir =$PWD/ mnist_data / -model_dir =./ train --train_epochs =1

ここで ls コマンドを実行すると，以下のファイルが確認できます．
1
2
3
4
5
6

% ls
CrayModifications
READMEREADME .md__init__ .py
convert_to_records .py

図 1: go.sh
go.sh
mnist .py
mnist_data /mnist_plugin .py
mnist_test .py

4

オリジナルの学習スクリプトの実行

README に記載されている通り，このファイル一式は，GitHub で配布されている Tensorflow のサンてみます．基本的には図 1 のジョブスクリプトを qsub

プルスクリプト MNIST in Tensorflow 3 をベースに，すればよいのですが，ご自身の利用可能なキューに

まず，DL Plugin を使用しない mnist.py を実行し

DL Plugin を用いて分散並列処理を行えるよう改変を合わせて，3 行目の-q のパラメータを変更し，さら加えたものになっています．MNIST 4 は，画像認識のにグループ名を#QSUB -ug grnnnnn の形で指定すサンプルとしてよく用いられる手書き数字画像のデー

る行を追加する必要があります5 ので注意してくださ

タセットであり，MNIST in Tensorflow は，Tensorflow

い．この書き換えを行った後，を用いた学習に基づいてこれらの画像を分類するた

1

めのスクリプトのサンプルです．

によりジョブを投入すると mnist.py が実行されま

主なファイルの構成は以下の通りです．

す．ジョブが正常に完了すると，標準出力ファイル
mnist.ojjjjjj お よ び 標 準 エ ラ ー 出 力 ファイ ル• README.md: オリジナルの MNIST in Tensorflow の README．

mnist.ejjjjjj が生成されます（jjjjjj はジョブID）．このうち，標準出力ファイルの中身を確認し• README: この改変版サンプルの README．
• mnist_data/: MNIST のデータセット．
のサンプルスクリプト．

2
3
4• mnist_plugin.py: mnist.py に改変を加えて，
DL Plugin を利用するようにしたもの．

5
6
7

mnist_plugin.py のmnist.py からの差分を説明したドキュメント．

• go.sh: 上記の Python スクリプトをスパコン上で実行するためのジョブスクリプトの雛形（図 1）．

% cat mnist .o jjjjjj
Evaluation results :{’loss ’: 0.10947487 , ’global_step ’: 600, ’accuracy ’: 0.9679}
Application 4820024 resources : utime ˜10445s, stime
˜383s, Rss ˜451108 , inblocks ˜4446 , outblocks
˜156160...
resources_used . walltime = 00:03:47...

global_step が実施した学習のステップ数，loss が損失値（小さいほどよい），accuracy が分類の精度（大きいほどよい）を示しています．walltime が示
す通り，ジョブの実行時間は 4 分弱程度です．
なお，この状態からもう一度 qsub go.sh を実行

3 https://github.com/tensorflow/models/tree/master/

official/mnist
4 http://yann.lecun.com/exdb/mnist/

ましょう．
1

• mnist.py: オリジナルの MNIST in Tensorflow• CrayModifications:% qsub go.sh

し，結果を確認すると，
5 詳しくは，利用者マニュアル https://web.kudpc.kyoto-u.
ac.jp/manual/ja/run/systema をご確認ください

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 3

1（./mnist_plugin.py）です．それ以外に，必須の変#!/ bin/bash

更ではないですが，ジョブ名（5 行目）および学習結果

2
3
4
5

#QSUB -q ca#QSUB -A p=8:c=62:t=62:m=10G#QSUB -N mnist_parを保存するディレクトリ名（15 行目の--model_dirの値）も変更しています．

6
7

export PYTHONUSERBASE =/ opt/app/ course /2018/ xc40/
tensorflow

変更版のジョブスクリプトを go_par.sh として保存したとすると，ジョブは先ほどと同様以下のよう

8
9
10
11

module use /opt/app/ course /2018/ xc40/pe/ modulefiles
module load cray - python /2.7.13.1
module load craype -ml -plugin -py2

12
13

aprun -n $QSUB_PROCS -N $QSUB_PPN -cc none -b python./ mnist_plugin .py -- enable_ml_comm --data_dir =$PWD/
mnist_data / --model_dir =./ train -par --train_epochs =1に投入できます．
1% qsub go_par .sh

ジョブが正常に完了すると，標準出力ファイル

mnist par.ollllll および標準エラー出力ファイル
図 2: go par.sh（8 ノード実行）

mnist par.ellllll が生成されます（llllll はジョブ ID）．先ほどと同様，標準出力ファイルの中身を

1
2
3
4

5
6
7

% cat mnist.o kkkkkk
Evaluation results :{’loss ’: 0.07666545 , ’global_step ’: 1201 , ’accuracy ’: 0.977}
Application 4820066 resources : utime ˜10240s, stime
˜372s, Rss ˜440136 , inblocks ˜4422 , outblocks
˜156160...
resources_used . walltime = 00:03:43...

確認しましょう．
1
2
3
4% cat mnist_par .e llllll...
Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}

5
6
7

Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}

8のように，global_step が追加され，分類の精度も向上していることが確認できます．これは，前回の学
習結果の続きからさらに学習を行ったためです．学習
結果は図 1 の 13 行目の--model_dir で指定したディ

910Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}

11
12
13

レクトリ./train に蓄積されていきますので，最初14から学習をやり直す場合はこのディレクトリを削除

16

するか，このオプションで指定するディレクトリ名

17を変更してください．

19

15

18

Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}
Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}
Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}

20
21

5 DL Plugin を利用した学習スクリ
プトの実行
それでは，DL Plugin を利用して Tensorflow の分
散並列実行を行いましょう．

mnist_plugin.py を複数ノードを使って走らせるためには，ジョブスクリプトを図 2 のように書き換える必要があります．go.sh と同様-q と-ug はご自身の利用可能キューに合わせて設定してください．図 1 の go.sh からの重要な変更点は，4 行目のMPI プロセス数の指定（p=8），および 13 行目のaprun の-n および-N の設定値6 と実行スクリプト名
6 なお，-n と-N の設定は go.sh でも図 2 の記述で問題ありません（図 1 は配付版のサンプルスクリプトに合わせているのでこのような記述になっています）．

4 − Academic Center for Computing and Media Studies, Kyoto University

22

Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}

23
24
25
26

27
28
29

Evaluation results :{’loss ’: 0.061739106 , ’global_step ’: 600 , ’accuracy ’: 0.9809}
Application 4820196 resources : utime ˜103318s, stime˜3869s, Rss ˜536364 , inblocks ˜36290 , outblocks
˜1249600...
resources_used . walltime = 00:03:47...

ジョブの実行時間（walltime）が mnist.py の時とほとんど変化がないことに注意してください．これは，先ほどと同じステップ数を 8 ノードを用いて実行したわけではなく，先ほどの 8 倍のステップ数
を 8 ノードで並列実行したためです．実際，先ほどより小さい loss 値と大きい accuracy 値が得られていることが確認できます．また，8 倍の量の学習が先ほどとほぼ同じ計算時間で行えているので，ほぼ

理想的な性能向上が分散並列処理によって得られていることになります．
図 2 の MPI プロセス数は，利用するキューの利用資源量が許す限りもっと大きな値に変更してもかまいません．実際，p=8 を p=16 に変更すると，以下のように，同じ所要時間でより良い学習結果が得られます．
1
2# 最初から学習をやり直すため，先ほどの学習結果を別の場所に退避% mv train -par train -par -p8

345# 図 2 の p=8 を p=16 に書き換えたのち，以下を実行% qsub go_par .sh

6
7
8
9
10
11
12

13
14
15

# ジョブ終了後，出力結果を確認（mmmmmm はジョブ ID）% cat mnist_par .o mmmmmm. . . （以下の Evaluation results は 16 回出力）. . .
Evaluation results :{’loss ’: 0.055892173 , ’global_step ’: 600 , ’accuracy ’: 0.982}
Application 4820290 resources : utime ˜223132s, stime
˜8441s, Rss ˜521048 , inblocks ˜74584 , outblocks
˜2499328...
resources_used . walltime = 00:03:54
...

参考文献
[1] Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A.,
Dean, J., Devin, M., Ghemawat, S., Irving, G., Isard, M.,
Kudlur, M., Levenberg, J., Monga, R., Moore, S., Murray,
D. G., Steiner, B., Tucker, P., Vasudevan, V., Warden, P.,
Wicke, M., Yu, Y. and Zheng, X.: TensorFlow: A system
for large-scale machine learning, 12th USENIX Symposium on Operating Systems Design and Implementation(OSDI 16), pp. 265–283 (2016).
[2] Sergeev, A. and Del Balso, M.: Horovod: fast and easy
distributed deep learning in TensorFlow, arXiv preprint
arXiv:1802.05799 (2018).
[3] Tokui, S. and Oono, K.: Chainer: a Next-Generation
Open Source Framework for Deep Learning, Proceedingsof workshop on machine learning systems (LearningSys)
in the twenty-ninth annual conference on neural information processing systems (NIPS), Vol. 5 (2015).

なお，実際の講習会では，講習会スライド資料を参考にしながら mnist.py を mnist_plugin.py 相当に自分で書き換えるという実習を行ったのですが，本稿では完成後の mnist_plugin.py を直接使用するという流れで記載しました．スライド資料で説明された両者のスクリプトの差分については，CrayModificationsにもほぼ同等の説明があり，これを参考にしつつ同様の書き換えを行うことで，MNIST 以外の学習スクリプトでも DL Plugin が利用可能だということです．

6 おわりに本稿では，2018 年 7 月に実施されたプログラミング講習会の内容を紹介する形で，スーパーコンピュータのサブシステム A 上で Cray PE DL Scalability Pluginを利用した機械学習の分散並列処理を実行する方法を紹介しました．ごく基本的な部分のみの紹介となりましたが，本稿が機械学習のためにスパコンを利用しようとされている方，あるいはすでに利用されている方の一助になれば幸いです．

謝辞
講習会の内容，および講習会で用いたサンプルコー
ド等の本稿への掲載についてご快諾いただいたクレ
イ・ジャパン・インク社に感謝いたします．

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 5

バーストバッファによる高速ファイルI/O

バーストバッファの利用について ～DataWarp 編～
當山 達也

尾形 幸亮

疋田 淳一

京都大学 企画・情報部

1 はじめに2 DataWarp

京都大学 学術情報メディアセンター(以下，本センターという)が提供するスーパーコンピュータは，ス
トレージシステムとして DataDirect Networks 社のEXAScaler を採用しており，24PB の容量と転送性
能 150GB/sec を実現しています．EXAScaler は並列ファイルシステムであることから，大きなサイズのファイルを多数の HDD に並列転送することによって高い性能を発揮する一方，ランダムアクセスや小さい単位での I/O については，やや苦手としています．この課題を改善するために，バーストバッファと呼ばれるランダムアクセスや小さい I/O に強い
SSD を用いて構築されたストレージシステムを，図1 のように配置しています．
ストレージシステムへのファイルの読み込み及び書き込みの際に，バースト
バッファがキャッシュ領域として機能することで，高速なファイルアクセスを実現します．
本センターのバーストバッファシステムとしては，2018 年 6 月からシステム A 向けに Cray 社の Data
Warp を，システム B/C 向けには 2017 年 10 月から
DataDirect Networks 社の IME を，それぞれ提供開始しています．
本稿では，システム A 向けに導入した DataWarpの特徴や利用方法について解説します．IME につきましては，本センターの全国共同利用広報 Vol16,

2.1 概要
DataWarp は，容量 230TB，転送性能 200GB/sec
といった性能諸元であり，ストレージシステム(EXAScaler)と比較すると 1.3 倍の転送性能を実現しています．
バーストバッファ領域として使用可能な領域は，/LARGE{0,1,2,3} 及び /home です．DataWarp を有効にするには，ジョブスクリプトに -bb オプションを記載する必要があります．-bb オプションでは，引数としてバーストバッファに確保する一時ファイルの上限値(必須)ならびに，適用するディレクトリ
(任意)を指定する事ができます．なお，DataWarp を適用するディレクトリを記載しない場合は，カレン
トディレクトリが DataWarp を適用するディレクト
リとして自動的に設定され実行されます．プログラ
ムの実行終了後，DataWarp にキャッシュされた書
き込みデータは，ジョブ終了時に自動で -bb オプシ
ョンで指定されたディレクトリ(指定しない場合はカレントディレクトリ)へ書き戻されます．
また，DataWarp は，ストレージとメタデータを共有していることから，/LARGE{0,1,2,3} 及び/home のファイルに対して透過的にアクセスすることが可能となっています．

No2 にて紹介しておりますのでそちらをご覧下さい．

図 1 システム構成図

6 − Academic Center for Computing and Media Studies, Kyoto Universityこれにより，DataWarp を適用するディレクトリ配

表 1 –bb オプションのパラメータ

下のすべてのファイルに対して，パスの読み替えを

オプション

意味

することなく書き込み/読み込みを行うことが可能と

capacity(必須)

バーストバッファに確保する一時ファイルの上限値．単位指定はG(ギガ)．
例）-bb capacity=200G

pfs
(任意)

バーストバッファを適用するディレクトリ．書き込み権限のある既存のディレクトリのみ使用可能で，省略した場合はカレントディ
レクトリとなります．
例) -bb pfs=/LARGE0/gr19999/

なります．
DataWarp の利用には，第 3 章で解説する利用申請が必要となりますのでご注意下さい．

2.2 利用イメージ
DataWarp の動作イメージを図 2 に示します．計
算ノードで実行するプログラムの入出力先として
DataWarp を利用し，一連の処理が終わった後にストレージに書き出すのが基本的な流れとなります．
DataWarp を利用する場合，プログラムの実行時間

DataWarp によって確保された一時領域は /home

は，実行中に DataWarp を利用する時間とストレー

や /LARGE{0,1,2,3} とは異なった領域となるため，

ジへ書き出す時間の合計となりますが，DataWarp

DataWarp 上に確保されたディレクトリパスでファへの I/O が高速に動作することで，実行時間を短縮

イル操作をする必要があります．

できる可能性があります．しかし，全てのプログラム

また，DataWarp を使う設定としたジョブであっに効果があるわけではないので，ご自身のプログラても，ジョブの開始時点では通常のジョブと同様にムで性能比較を行い，有効性を確認して頂く必要が/home や /LARGE{0,1,2,3} 配下のパスでジョブスあります．

クリプトが実行されます．このため，DataWarp を用いて実行するジョブでは，aprun コマンドの後ろに --wdir オプションを記載する必要があります．
--wdir オプションの引数には DataWarp で一時的に確保されたディレクトリパスを指定する必要があり
ますが，可変であるため，表 2 に示す環境変数$QSUB_BB_DIR をご利用ください．
表 2 pfs オプション設定時に登録される環境変数

図 2 DataWarp の利用イメージ

環境変数名

変数に登録される内容$QSUB_BB_DIR

DataWarp 上に一時的に確保されたディレク
トリパス※$QSUB_BB_PFS_DIR-bb オプションの pfsで指定したディレクト
リパス

2.3 利用方法
ジョブスクリプトに -bb オプションが記載され※ /var/opt/cray/dws/mounts/batch/

たジョブが投入されると，一時領域として確保する${PBS_JOBID}_striped_cache/

DataWarp の領域(capacity オプションの設定値)が，利用可能な上限値未満であることを確認した上で当該ジョブ専用の一時領域を確保します．
-bb オプションの記法は下記のいずれかとなっており，各パラメータの意味は 表 1 の通りです．
#QSUB -bb capacity=XXXXまたは#QSUB -bb capacity=XXXX:pfs=YYYY

2.3.1 ジョブスクリプト
DataWarp を有効にするジョブスクリプトの記載
例を次に示します．この記載例ではバーストバッフ
ァの領域として，容量 100GB，対象ディレクトリに/LARGE0/gr19999/dir を指定しています．これにより，/LARGE0/gr19999/dir 配下のファイルを対象に

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 7

100GB 以内の範囲でキャッシュが行われます．

イルを書き込む際は，メタデータをストレージ側に#!/bin/bashも作成します．ただし，ジョブ終了まで作成されたフ#============ PBS Options ============

ァイルにデータは書き込まれないため，ジョブが終#QSUB -q gr19999a#QSUB -ug gr19999#QSUB -W 2:00

了し書き戻しが行われるまでの間の容量は ゼロ となります．
DataWarp 領域の容量が不足した場合，ジョブ実#QSUB -A p=8:t=4:c=4:m=1355M#QSUB -bb capacity=100G:pfs=/LARGE0/gr19999/dir#============= Shell Script ============
aprun -n $QSUB_PROCS -d $QSUB_THREADS ¥-N $QSUB_PPN --wdir $QSUB_BB_DIR ./a.out

2.3.2 利用上の注意事項
DataWarp が有効なジョブが実行されると，ファ

行中であっても自動的にファイルの書き戻しが行われます．確保した容量が小さすぎると，性能が出にくい場合がありますのでご注意ください．

2.3.3 利用可能な容量の上限-bb オプションの capacity で設定できる容量は，イルの読み書きの際にData Warpのディレクトリに

サービスコースごとに異なり，表 3 に記載した上限

ファイルがキャッシュされます．DataWarp 上にフ値が設定されています．
表 3 設定できる capacity の上限

ァイルが存在する状態でストレージシステム側のファイルの変更を実施すると，DataWarp からの書き

サービスコース

capacity の上限戻しの際に更新データが消失します．また，削除処理

パーソナル

800GB

はメタデータを共有している都合上，DataWarp でグループ

200GB x 申請ノード数

適切に処理できなくなりますので，DataWarp をご
表 3 に記載された上限以上の値をジョブスクリプ

利用中のディレクトリ配下に対して原則変更を行わないでください．
DataWarp を有効にしたジョブを複数同時に実行することは可能ですが，複数のジョブで同じディレ
クトリを DataWarp の対象とした場合，ファイルの整合性が保てない場合があります．原則，別々のディトに設定しても，ジョブ投入時にエラーとなりますので，ご注意ください．また，DataWarp の利用申請をしていない場合もエラーとなります．

3 利用申請レクトリに分けてご利用ください．
DataWarp の対象ディレクトリの親ディレクトリ

DataWarp をお使いいただくためには，利用申請

は，DataWarp による透過的なアクセスの範囲外とが必要です．申請資格のある方は，システム A のパなります．環境変数$QSUB_BB_PFS_DIR や絶対パーソナルコースおよびグループコースの申請者，まスを使用してアクセスしてください．

たはグループキューの管理者の方となっています．
利用申請される場合は，下記の URL に記載の方法

絶対パスにより /home や /LARGE{0,1,2,3}のフ
ァイルにアクセスする場合，DataWarp のキャッシで申請をお願いします．
https://web.kudpc.kyoto-u.ac.jp/manual/ja/

ュ機能は働きません．その場合は相対パスにより
DataWarp 経由でファイルアクセスするようにプロ

filesystem/datawarp#application

グラム等の改修をご検討ください．
ジョブが終了すると，自動的に DataWarp 上のキ

4 おわりにャッシュデータはすべて指定された領域に書き戻さ
れ，DataWarp のキャッシュデータは削除されます．

本稿では，DataWarp の利用に必要となる情報をストレージシステム側の容量制限等でエラーとなっ解説しました．最新の情報は以下 Web ページをご確た場合，データが破壊または消失する場合がありま認ください．

すので，残容量にご注意下さい．

l

DataWarp のメタデータは，/home や /LARGE{0,1,2,3} と共有されています．このため，新規ファ

8 − Academic Center for Computing and Media Studies, Kyoto University

スーパーコンピュータの使い方

http://web.kudpc.kyoto-u.ac.jp/manual/ja

サービスの記録・報告システム A 運転状況 ( 2018 年 4 月 ～ 2018 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
障害発生日時保守時間[h]2018/04/01

0:00

2018/04/05

13:00

109.002018/06/05

9:00

2018/06/06

9:30

24.50

2018/08/07

9:00

2018/08/07

17:00

8.00

2018/09/15

サービス再開日時

10:49

2018/09/15

ダウン時間[h]

16:08

5.32

２）サービス状況
ジョブ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

4月

611.0021,273105,080

14,082,616

5月

744.0021,398104,0936月

695.5032,8197月

744.00

8月

平均稼動
ノード数

ノード
利用率

52,027,239

1781.861%

15,476,626

55,651,343

1799.768%

110,266

14,867,306

60,965,186

1799.572%

29,797110,062

14,675,751

58,786,401

1755.573%736.0036,835

180,502

15,155,928

63,273,894

1699.475%

9月

720.0021,406

136,71466,926,400

46,066,324

1756.680%

計4250.50

163,528

746,717

141,184,627

336,770,387

1765.472%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 9システム B 運転状況 ( 2018 年 4 月 ～ 2018 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2018/04/01

0:00

2018/04/03

9:30

57.50

2018/06/08

22:14

2018/06/08

23:19

1.08

2018/06/05

9:00

2018/06/06

9:30

24.50

2018/07/20

19:06

2018/07/21

01:44

6.63

2018/08/07

9:00

2018/08/07

17:00

8.00

2018/07/30

7:00

2018/07/30

9:25

2.42

2018/09/20

7:00

2018/09/20

7:08

0.13

２）サービス状況
ジョブ

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

4月

662.5076,687545,830

12,396,959

9,097,320

833.5

63

%

5月

744.0092,325

601,336

15,083,286

11,726,252

840.0

71

%

6月

694.4267,449630,402

13,581,340

11,134,697

829.2

69

%

7月

734.9594,033663,871

15,058,021

11,896,726

837.7

72

%

8月

736.0072,252666,835

15,169,631

11,237,561

839.8

72

%

9月

720.00126,281620,865

14,735,169

12,042,714

839.0

72

%

計

4286.32

529,027

3,729,139

86,024,406

67,135,270

837.0

70

%

ノード
利用率

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

10 − Academic Center for Computing and Media Studies, Kyoto University

システム C 運転状況 ( 2018 年 4 月 ～ 2018 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
障害発生日時保守時間[h]2018/07/30

サービス再開日時

2018/04/01

0:00

2018/04/03

9:30

57.50

7:00

2018/07/30

2018/06/05

9:00

2018/06/06

9:30

24.50

2018/08/07

9:00

2018/08/07

17:00

8.00

サービ
ス時間
[h]

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

4月

662.508,25112,439

162,910120,276

15.5

29

%

5月

744.0028,83430,472

211,115

178,028

16.0

37

%

6月

695.5034,95435,752

213,615

202,932

15.8

39

%

7月

741.586,340

17,875

196,105

176,028

16.0

34

%

8月

736.002,744

18,780196,828

145,472

15.9

34

%

9月

720.004,117

19,516

189,405

177,190

15.9

33

%

計

4,299.58

85,240134,834

1,169,978999,926

15.9

34

%

ダウン時間[h]

9:25

2.42

２）サービス状況
バッチ
ノード
利用率

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 11

センター利用による研究成果―平成 29 年度計算機利用結果報告書から―【1501 生活科学一般】

laden with finite-size particles： Journal of1.

Turbulence, Vol.18, No.12, pp.1144 - 1179, 20172.

A. Sharma, W. M. C. Sameera, M. Jin,
Masayoshi, L. Adak, C. Chiemi, T. Iwamoto, M.

【4403 超高層物理学】

Kato, M. Nakamura, K. Morokuma： DFT and

7.

Kazem Ardaneh, Dongsheng Cai, and Ken-Ichi

AFIR Study on the Mechanism and the Origin

Nishikawa： COLLISIONLESS ELECTRON-

of Enantioselectivity in Iron-Catalyzed Cross-

ION

Coupling Reactions ： J. Am. Chem. Soc,

UNMAGNETIZEDJET-AMBIENT

Vol.139, No.45, pp.16117 - 16125, 2017

INTERACTIONS:NON-THERMAL

M. Isegawa, W. M. C. Sameera, A. K. Sharma,

ELECTRON

T. Kitanosono, M. Kato, S. Kobayashi, K.

LAYER： The Astrophysical Journal, Vol.827,

Morokuma：

Copper-catalyzed

SHOCKSIN

RELATIVISTICINJECTIONBY

DOUBLE

pp.124 - 15pp, 2016

Enantioselective Boron Conjugate Addition:【4801 機能材料・デバイス】

DFT and AFIR Study on Different Selectivities

8.

Tomohiro

Higashino,

Shimpei

Nimura,of Cu(I) and Cu(II) Catalysts： ACS Catal.,

Kenichi Sugiura, Yuma Kurumisawa, Yukihiro

Vol.7, No.8, pp.5370 - 5380, 2017

Tsuji, Hiroshi Imahori ：Photovoltaic【2202 自然災害科学】

Properties and Long-Term Durability of3.

Asano, K., T. Iwata, H. Sekiguchi, K. Somei., K.

Porphyrin- Sensitized Solar Cells with Silicon-

Miyakoshi, S. Aoi, and T. Kunugi： Surface

Based Anchoring Groups： ACS Omega, Vol.2,

wave group velocity in the Osaka sedimentary

pp.6958 - 6967, 2017basin, Japan, estimated using abmient noise【5001 機械材料・材料力学】

cross-correlation functions ： Earth, Planets

9.

and Space, Vol.69, No.108, pp.1 - 20, 2017

Masaaki Nishikawa, Keisuke Nagata, Yuta
Naito, Masaki Hojo, Naoki Matsuda ：【2301 基礎ゲノム科学】

Development

4.

Bowman J.L, Kohchi T., Yamato K.T, et al.：simulation of thin composite layer for shape

Insights into Land Plant Evolution Garneredmorphingfrom the Marchantia polymorpha Genome：

International

Cell, Vol.171, No.2, pp.287 - 304, 2017

Materials (ICCM-21), 2017【4104 基礎解析学】
5.

ofdynamic

structure ：Conference

deployment

Proc.
on

of

21st

Composite

10. 西川雅章，高橋奈緒子，西正人，王俊翔，平島禎，

岸本 展 ,斉木 吉隆, 中井 拳吾 ,米田 剛： 粘性北條正樹，松田直樹： 炭素繊維織物の賦形時の項を変形した流体方程式に対する大域解の有界変形に関する実験と有限要素モデリング： 2017

性と Energy Cascade の考察： 第 14 回数学総

年度 JCOM 若手シンポジウム 講演論文集,

合若手研 究集会 : 数学の交叉点 , Vol.173,

2017pp.403 - 406, 201811. 西川 雅章： 局所繊維配向を有する複合材料の【4304 数理物理・物性基礎】

損傷発生に関する Peridynamics 解析法の検討：

6.

Mitsuru Tanaka ： Effect of gravity on the

日本機械学会 第30回計算力学講演会 講演論

development of homogeneous shear turbulence

文集, 2017

12 − Academic Center for Computing and Media Studies, Kyoto University

12. M. Nishikawa, N. Matsuda, M. Hojo ：ModelingofMultiple-Type,Multiple-Site

手法： 土木学会第 20 回応用力学シンポジウム
講演概要集, Vol., No.C000053, pp., 2017

Damage in Composite Laminates Using

21. 榊原幸星, 鳥生大祐, 牛島省： 流体と温度依存

Peridynamics Theory： Proc. American Society

性のある超弾性体との連成計算： 日本流体力学

for Composites (ASC)?32nd Annual Technical会 年会 2017, 201722. S. Ushijima, D. Toriu, K. Aoki, H. Itada and D.

Conference, 201713. 西川雅章，高橋奈緒子，松田直樹，北條正樹： 炭Yagyu ：

Numerical prediction for many

素繊維織物の賦形プロセス後の繊維配向と欠陥

floating debris transported in city model due to

発生に関する検討： 第５５回飛行機シンポジウ

tsunami-induced flows ： VII International

ム 講演論文集, 2017

Conference on Computational Methods inMarine Engineering (MARINE2017), 2017

【5004 流体工学】
14. Yong Hu, Ryoichi Kurose： Nonpremixed and23. H. Yanagi, S. Ikeda, D. Toriu and S. Ushijima：premixed flamelets LES of partially premixed

Computations

spray flames

Numerical

using a two-phase transportofDensity

Modelswith

Currents
andby

without

equation of progress variable： Combustion

Boussinesq Approximations as Well as by

and Flame, Vol.188, pp.227 - 242, 2018

Compressible-Fluid Model： Compsafe2017,

15. Rudra N. Roy, Masaya Muto, Ryoichi Kurose：
Direct numerical simulation of ignition of

No.S16110, 201724. S. Ushijima and D. Toriu ：Parallelsyngas (H2/CO) mixtures with temperaturecomputation method for momentum and heatand composition stratifications relevant tointeractions between fluids and complicated-

HCCI conditions： International Journal ofshaped solids ：Hydrogen Energy, Vol.42, pp.26152 - 26161,

Symposium on Advances in Computational

2017

Heat Transfer (CHT-17), No.CHT-17-254, 2017

【5202 構造工学・地震工学・維持管理工学】

ICHMT International

25. 鳥生大祐, 牛島省： 混合体モデルに基づく圧縮

16. 山下将一，富山 潤，阿部和久，佐伯竜彦，紅露

性流体と移動する固体の熱連成計算手法： 土木

一寛： 数値シミュレーションと逆解析によるコ

学 会 論 文 集 A2 ( 応 用 力 学 ), Vol.73, No.2,

ンクリート橋の付着塩分量推定： 土木学会第 72
回年次学術講演会, No.V-434, pp.867 - 868, 201717. 山下将一，富山 潤，阿部和久，佐伯竜彦，紅露

pp.I_143 - I_152, 2017
【5401 金属物性】
26. L. A. Burton, Y. Kumagai, A. Walsh, and F.

一寛： 風向を考慮した３次元数値解析によるコ

Oba ：ンクリート橋の付着塩分量推定： コンクリート

underperformance of sulfide materials in

構造物の補修，補強，アップグレー ド論文報告

photovoltaic applications ：集, Vol.17, pp.609 - 614, 2017

Materials Chemistry A, Vol.5, No.19, pp.9132 -18. 野口恭平，金城佑紀，秦聡一朗，白土博通，八木DFTinvestigation

into

the

Journal of

9140, 2017

知己，中西克佳： 任意地点橋梁における部位別

27. Y. Hinuma, H. Hayashi, Y. Kumagai, I. Tanaka,の飛来塩分量予測： 土木学会論文集 A1 (構造・and F. Oba： Comparison of approximations in

地震工学), Vol.73, No.2, pp.364 - 375, 2017

density

19. Kyohei Noguchi, Hiromichi Shirato, Tomomi
Yagi ：

Numerical evaluation of sea salt

amounts deposited on bridge girders： Journalof Bridge Engineering, Vol.22, No.7, 2017

functional

theorycalculations:

Energetics and structure of binary oxides：
Physical Review B, Vol.96, No.9, pp.094102-1 094102-24, 201728. Y. Kumagai, K. Harada, H. Akamatsu, K.

【5204 水工水理学】

Matsuzaki, and F. Oba ： Carrier-induced

20. 鳥生大祐, 牛島省： 異なる物性値を有する圧縮

band-gap variation and point defects in Zn3N2性流体と固体の熱連成問題に対する多相場解析

from first principles： Physical Review Applied,

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 13

Vol.8, No.1, pp.014015-1 - 014015-12, 2017

野泰則： 誘導加熱 TSSG 法による SiC 結晶作

29. Y. Kumagai, N. Tsunoda, and F. Oba： Point

製時の各種成長条件の影響に関する数値解析：

defects and p-type doping in ScN from first

化学工学会金沢大会２０１７予稿集, No.D106,

principles： Physical Review Applied, Vol.9,

2017
38. 堀内鷹之・WANG Lei・関本敦・岡野泰則・宇治No.3, pp.034019-1 - 034019-10, 2018
【5403 複合材料・物性】

原徹： SiC 溶液成長におけるるつぼサイズ及び30. S. Iwata： Molecular dynamics simulation of

るつぼ回転の影響に関する数値解析： 化学工学

effect of glycerol monostearate on amorphous会第８３回年会要旨集, No.PD305, 2018

polyethylene in the presence of water ：【6801 化学系薬学】

Journal of Molecular Modeling, Vol.23, No.,

39. Taryn, M.; Murata, A.; Kobayashi, Y.;
Takemoto, Y.： Enantioselective Synthesis of

pp.115(1) - 115(7), 201731. S.

Iwata ：

phenylethanone,

Interaction

between2-phenyl-2-propanol,

1andanti- β -Hydroxy- α -amino Esters via an
Organocatalyzed

Decarboxylative

Aldol

isopropenylbenzene with water molecules: A

Reaction： Synlett, Vol.28, No.11, pp.1295 -computational study ： Computational and

1299, 2017

Theoretical Chemistry, Vol.1117, pp.188 - 195,

Y.： Electrophilic Activation of Iodonium Ylides

2017
32. S.

Iwata,

40. Saito, M.; Kobayashi, Y.; Tsuzuki, S.; Takemoto,H.

Uehara,T.

Takada ：by Halogen-Bond-Donor Catalysis for Cross-

Computational study on acetophenone in

Enolate Coupling： Angew. Chem. Int. Ed.,

amorphous polyethylene ：Vol.56, No., pp.7653 - 7657, 2017

Journal of

Molecular Modeling, Vol.23, pp.274(1) - 274(9),2017

41. Kobayashi, Y.; Masakado, S.; Takemoto, Y：
Photoactivated N-Acyliminoiodinanes Applied【5501 化工物性・移動操作・単位操作】

to Amination: an ortho-Methoxymethyl Group

33. （阪大院基工）矢野雅貴・山本卓也・岡野泰則・Stabilizes Reactive Precursors： Angew. Chem.

（藤森工業）都倉知浩・（産総研）金森敏幸・（阪大院工）紀ノ岡正博： 懸濁培養最適化のための数値流体解析・ 離散要素法連成シミュレーショ
ン： 化学工学会 第 82 年会, 201734. M. Yano, T. Yamamoto, Y. Okano, T. Kanamori,and M. Kino-oka： Numerical study of fluid
dynamics in suspension culture of iPS cell：
Asean Journal of Chemical Engineering,
Vol.17, No.1, pp.73 - 81, 201735. 堀内鷹之・山本卓也・岡野泰則・宇治原徹： 誘導加熱 TSSG 法による SiC 結晶成長時の面内成
長速度分布に及ぼす各種因子の影響に関する数
値解析： 化学工学会第４９回秋季大会要旨集,
No.DA118, 201736. 堀内鷹之・WANG Lei・山本卓也・宇治原徹・岡野泰則： 数値解析を用いた誘導加熱 TSSG 法による SiC 結晶成長製造装置の最適化条件の探索： JCCG-46 予稿集, No.28p-P32, P33 - P33,201737. 堀内鷹之・WANG Lei・山本卓也・宇治原徹・岡14 − Academic Center for Computing and Media Studies, Kyoto University

Int. Ed, Vol.57, pp.693 - 697, 2017

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 15

資料

別表１ スーパーコンピュータシステム
提供サービス
利用負担額
コース

タイプ

セット

エントリ

タイプA
タイプB
タイプC

基本
基本
基本
基本
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位

パーソナル

タイプA1
タイプA2
タイプA3
タイプB1
グループ
タイプB2
タイプB3
タイプC1
タイプC2
タイプA
大規模ジョブ タイプB
タイプC
専用クラスタ-ストレージ容量追加
ライセンスサービス

システム バッチ

12,600 円/年
100,000 円/年
100,000 円/年
100,000 円/年
200,000 円/年
100,000 円/年
240,000 円/年
60,000 円/年
600,000 円/年
300,000 円/年
210,000 円/年
105,000 円/年
252,000 円/年
63,000 円/年
630,000 円/年
315,000 円/年
130,000 円/年
130,000 円/年
156,000 円/年
78,000 円/年
20,000 円/週(7日）
10,000 円/週(7日）
21,000 円/週(7日）
10,500 円/週(7日）
13,000 円/週(7日）
6,500 円/週(7日）
630,000 円/年
315,000 円/年
10,000 円/年
20,000 円/年

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

最大1ノード相当((36コア、128GBメモリ)×1)
1
最大4ノード相当((68コア、16+96GBメモリ)×4)
168
最大4ノード相当((36コア、128GBメモリ)×4)
最大1ノード相当((72コア、3072GBメモリ)×1)
4ノード((68コア、16+96GBメモリ)×4)
優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)A
準優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)
占有
4ノード((68コア、16+96GBメモリ)×4)
4ノード((36コア、128GBメモリ)×4)
優先
2ノード((36コア、128GBメモリ)×2)
336
8ノード((36コア、128GBメモリ)×8)
B
準優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
占有
4ノード((36コア、128GBメモリ)×4)
1ノード((72コア、3072GBメモリ)×1)
優先
1ノード((72コア、3072GBメモリ)×1)
C
2ノード((72コア、3072GBメモリ)×2)
準優先
1ノード((72コア、3072GBメモリ)×1)
8ノード((68コア、16+96GBメモリ)×8)A
占有
4ノード((68コア、16+96GBメモリ)×4)
8ノード((36コア、128GBメモリ)×8)B
占有
168
4ノード((36コア、128GBメモリ)×4)
2ノード((72コア、3072GBメモリ)×2)
C
占有
1ノード((72コア、3072GBメモリ)×1)
8ノード((36コア、128GBメモリ)×8)
B
4ノード((36コア、128GBメモリ)×4)
ストレージ容量10TBの追加につき可視化ソフト（AVS,ENVI/IDL)およびプリポストウェアの1ライセンスにつき
B
A
B
C

共有
共有
共有
共有

0.2
3.0
3.0
3.0
24.0
12.0
28.8
7.2
48.0
24.0
24.0
12.0
28.8
7.2
48.0
24.0
24.0
24.0
28.8
14.4

-

48.0
24.0

8
4
16
4
16
8
8
4
16
4
16
8
8
8
16
8

-

16
8

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． 大型計算機システムの全ての利用者は、上記表のサービスの他、次のサービスを受けることができる。
1） 大判プリンタサービス
2） その他、大型計算機システムが提供するサービス、機器の利用
3． 上記表の大規模ジョブコース、ストレージ容量追加、ライセンスサービスの申請には、スーパーコンピュータシステムの利用者であることが必要である。
4． 「共有」： 当該カテゴリのユーザ間で一定の計算資源を共有するベストエフォートのスケジューリングを行う。
「準優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/4の計算資源が確保されることを保証する。
「優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/2の計算資源が確保されることを保証する。
「占有」： 稼働状況によらず記載値の計算資源が確保されることを保証する。
5． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。
6． グループコース及び専用クラスタコースの利用者番号は利用者あたり年額5,000円を負担することで追加できる。
7 ． 機関・部局定額制度
他機関又は学内における部局（『国立大学法人京都大学の組織に関する規程』第3章第2節から第11節で定める組織をいう。）の組織が、その組織単位でグループコースサービスを利用申請する場合の利用負担額は、別表１に規定する
1.5倍の額とする。なお、利用負担額が年額150万円未満の場合は100人、年額150万円を超える場合は、150万円毎に100人までの利用者を認める。ストレージは、1.5倍の容量とする。
8 ． スパコン連携サービス
学術情報メディアセンターのスーパーコンピュータシステムと密な連携により、学内における部局の組織が計算サーバ等を設置する
場合、下記の負担額を支払うものとする。
冷却方式
水冷
空冷

利用負担額
9,800 円/月
11,500 円/月

利用負担額算定単位
水冷冷却方式の計算サーバ等の定格電力 1kWにつき
空冷冷却方式の計算サーバ等の定格電力 1kWにつき

16 − Academic Center for Computing and Media Studies, Kyoto University

別表２ 汎用コンピュータシステム
区

分

利用負担額

仮想サーバホスティングサービス

単位

36,000円／年 1仮想サーバにつき

備考
1． 利用負担額は、総額表示である。
2． 上記表の仮想サーバホスティングサービスを利用するには、スーパーコンピュータシステムの利用者であること。
3． 1仮想サーバに割当てるシステム資源は、CPU：2コア、メモリ：4GB、ディスク：100GBである。
4． 仮想サーバホスティングサービスにおいて、下記の負担額を支払うことによりCPU、メモリ、ディスクを増量することができる。
区

分

利用負担額

単

CPU増量

3,000円／年 2コアにつき(最大8コアまで)

メモリ増量

3,000円／年 4GBにつき(最大64GBまで)

ディスク増量6,000円／年 100GBにつき(最大1,000GBまで)位

5． 利用負担額は、当該年度(4月から翌年3月まで)の利用に対して年額として算定するが、年度途中から利用を開始する場合には月数に応じて減額する。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 17

※民間機関利用

別表３ スーパーコンピュータシステム
システム

A

B

C

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

利用負担額

8ノード(68コア、16+96GBメモリ)×8)

336

28.8

16

960,000 円/年

12ノード(68コア、16+96GBメモリ)×12)

336

43.2

24

1,440,000 円/年

16ノード(68コア、16+96GBメモリ)×16)

336

57.6

32

1,920,000 円/年

8ノード(36コア、128GBメモリ)×8)

336

28.8

16

1,008,000 円/年

12ノード(36コア、128GBメモリ)×12)

336

43.2

24

1,512,000 円/年

16ノード(36コア、128GBメモリ)×16)

336

57.6

32

2,016,000 円/年

2ノード(72コア、3072GBメモリ)×2)

336

28.8

16

624,000 円/年

3ノード(72コア、3072GBメモリ)×3)

336

43.2

24

936,000 円/年

4ノード(72コア、3072GBメモリ)×4)

336

57.6

32

1,248,000 円/年

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコース
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除し利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。

18 − Academic Center for Computing and Media Studies, Kyoto University

―1.

サービス利用のための資料一覧―

スーパーコンピュータシステム・ホスト一覧
システム A：camphor.kudpc.kyoto-u.ac.jp



システム B・C：laurel. kudpc.kyoto-u.ac.jp


システム B（SAS 利用時）
：sas.kudpc.kyoto-u.ac.jp※ ホストへの接続は SSH(Secure SHell) 鍵認証のみ、パスワード認証は不可

2.

問い合わせ先 & リンク集


情報環境機構のホームページ
http://www.iimc.kyoto-u.ac.jp/



学術情報メディアセンターのホームページ
http://www.media.kyoto-u.ac.jp/



スーパーコンピュータシステムに関する問い合わせ先

利用申請などに関する問い合わせ先【情報環境支援センター】
E-mail : zenkoku-kyo@media.kyoto-u.ac.jp / Tel : 075-753-7424
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/

システムの利用など技術的な問い合わせ先【スーパーコンピューティング掛】
E-mail : consult@kudpc.kyoto-u.ac.jp / Tel : 075-753-7426
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/contact.html

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.17 No.2（ Mar. 2019）− 19奥付京都大学学術情報メディアセンター全国共同利用版広報 Vol．17，No．2
２
０１９年
１１日xx
発行
2019
年 ３月
2 月
日発行
広報編集部会
編集者 京都大学学術情報メディアセンター

深沢 圭一郎（部会長）

全国共同利用版広報編集部会

平石 拓（副部会長）

発行者 〒606-8501 京都市左京区吉田本町
京都大学学術情報メディアセンター

水谷 幸弘

小林 正信

熊谷 真由美尾形 幸亮

Academic Center for Computing and Media Studies
Kyoto University
Tel. 075-753-7407
http://www.media.kyoto-u.ac.jp/
印刷所 〒616-8102 京都市右京区太秦森ヶ東町 21-10
株式会社エヌジーピー

20 − Academic Center for Computing and Media Studies, Kyoto University

表紙デザイン：中山 豊（中山商店）

Vol.17, No.2 2018

【巻頭言】
・Vol.17, No.2 号の発刊に当たって.................................................................................................................................................... 深沢 圭一郎 ........... 1【講習会参加報告】・Cray XC40 プログラミング講習会−Scaling DL Training Workloads with the Cray PE Plugin .............................. 平石 拓 ........... 2【バーストバッファによる高速ファイル I/O】
・バーストバッファの利用について〜 DataWarp 編〜 ...............................................................當山 達也，
尾形 幸亮，
疋田 淳一 ........... 6【サービスの記録・報告】
・スーパーコンピュータシステムの稼働状況 ....................................................................................................................................................... ........... 9・センター利用による研究成果（平成 29 年度）...................................................................................................................................................... ........ 12【資料】
・大型計算機システム利用負担金 別表 ..................................................................................................................................................................... ........ 16
・サービス利用のための資料一覧 ................................................................................................................................................................................ ........ 19【奥付】
・奥付 .......................................................................................................................................................................................................................................... ........ 20

Cray XC40 における深層学習フレームワークの利用
バーストバッファによる高速ファイル I/O 〜 DataWarp 編【巻頭言】「Vol.17，No.2 号の発刊に当たって」深沢 圭一郎【講習会参加報告】「Cray XC40 プログラミング講

習会−Scaling DL Training Workloads with the Cray PE Plugin」平石 拓【バーストバッファによる高速ファイル
I/O】「バーストバッファの利用について〜 DataWarp 編〜」當山 達也，尾形 幸亮，疋田 淳一