巻頭言

巻頭言
Vol. 19, No.2 号の発刊に当たって京都大学学術情報メディアセンター
深沢 圭一郎
一年前にこの巻頭言を書いている頃には、想像もできませんでしたが、新型コロナウイル
スの蔓延が続いており、更に悪い感染状況になってきた感さえあります。この状況に対して、正式運用前の富岳を利用した様々な計算が行われ、その結果をみなさんも目にしたことがあるかと思います。HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）
では、富岳に代表される計算機資源提供機関を通じて、新型コロナウイルスに関連する研究に対し、特別に資源提供を行っており、本センターも資源を提供しています。大規模な計算機を持つ機関として、直接的ではないにしろ、新型コロナウイルス感染症対策に協力ができればと考えています。
このようなウイルスに関連する研究だけで無く、現在はあらゆる分野の研究開発において計算機が利用されています。スーパーコンピュータ（スパコン）といった強力な計算機は、その研究を飛躍的に発展させる基盤となっています。今回のような突発的な状況も考え、これまで以上にスパコンの整備・運用をしっかりと行っていく必要があると考えさせられました。
スパコンの整備という面では、Vol.18 No.2 では、次期スパコンに向けた評価として ARM
アーキテクチャである ThunderX2 という CPU を利用した計算機の評価をしました。本号
では、富岳に搭載されている ARM アーキテクチャを採用した A64FX という CPU の評価報告があります。富岳は一般にはまだ利用できませんが、FX700 や FX1000 といった商用機が富士通からリリースされており、今回は FX700 を利用しています。京都大学学術情報
メディアセンターでは，FX700 を次期スパコンシステムの更新に向けた評価機として 4 ノード導入しました．A64FX は、ThunderX2 と比べ、SIMD 演算の bit 数が 4 倍であり、また高いメモリバンド幅を有する HBM2 を搭載しているため、特徴が大きく異なります。この高いメモリバンド幅を持つメモリは、スパコンの主流ともなりつつあり、これにより実際のアプリケーション性能がどのようになるのかは、興味深いところです。評価では MHD コ
ードという流体コードの一種を利用しており，計算ではシンプルな直交格子と差分法を利用しています．そのため似たようなコードを利用されている方には性能の想像が付きやす
いと思います．また，ThunderX2 を含め、他の計算機との性能比較もありますので，相対的に性能を推定することにも役立つと思います．この FX700 は共同研究を通して、本セン
ターのユーザの方にご利用いただけるように現在準備をしています。
また、本号では、本センターを利用している JHPCN（学際大規模情報基盤共同利用・共同研究拠点）課題の研究成果を 1 つ紹介しています。この課題では、研究者らが開発した高京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 1

速伝送技術（HpFP）を用いて、様々な大学スパコンセンターや研究機関の間で、伝送実験を行っています。実験結果では、通常の TCP を介する伝送に比べて高い性能を実現できています。さらに、SINET 上で L2VPN を用いて各機関を繋ぐと、非常に高い転送性能が達成されました。これにより、データがどのスパコンセンターに置いてあっても、すぐにアクセスが可能なため、手元にデータを置いておく必要が無くなり、広域分散クラウドシステムの構築が期待されます。
これから、本センターではスパコンの本格的な更新準備に入っていきます。想定される計算機の評価だけで無く、機械学習系のアプリケーションや仮想化環境などの評価も行っていく予定です。これら評価の結果は、できる限り情報を公開していきますので、ご意見などありましたら、お知らせください。今後ともご利用、ご支援のほど、よろしくお願いいたします。

2 − Academic Center for Computing and Media Studies, Kyoto University

FX700計算サーバ性能評価

惑星磁気圏 MHD シミュレーションコードによる A64FX プロセッサ（FX700）の性能評価
深沢 圭一郎京都大学 学術情報メディアセンター

1 はじめに2 度の Top500 の 1 位を獲得し、Graph500 な
ど様々なランキングでも 1 位を獲得した京コンピ
ュータは、2019 年 8 月に 7 年間の運用を終えました。京コンピュータはその共用を HPCI（High
Performance Computing Infrastructure）が行ったことにより、これまでにスーパーコンピュータ（スパコン）を利用していなかった科学計算アプ
リケーションだけでなく、企業においても利用されるなどスパコンを利用するアプリケーションの

図 1 A64FX の構造[4]拡大に寄与してきました。また、京コンピュータ

上の性能を達成しています（京コンピュータのの供用開始前には、想像もされていなかった機械

CPU である SPARC 64 VIIIfx の 10 倍以上）
。ま学習の発展により、現在では機械学習がスパコン

た、京都大学学術情報メディアセンターのスパコ

利用の大きな 1 分野になるなど、スパコンを利用ンにも搭載されている Xeon Phi KNL では、するアプリケーションは、京コンピュータ完成前

1.5GHz 程度の周波数に 60 を超える CPU コアにと現在では大きく変わってきており、スパコンに加え、同時演算数が 32 であり、理論性能は求められる性能も多様化してきています。

3TFlops に達しています。

このような様々なアプリケーションの計算需要

一方、新しい HPC 向け CPU として ARM アー

を満たすために、スパコンの CPU も京コンピュ

キテクチャの利用が近年増えてきました。モバイータ完成前とは大きく変わってきています。2012

ル系で主に利用されている ARM プロセッサは、年頃には京コンピュータと同じく 8 コア CPU で

その主な用途のため、計算性能を制限することであった Xeon（SandyBridge 世代）はプロセス微

消費電力を下げており、HPC のような高性能計細化技術やリーク電流の問題もあり、周波数の向算には利用されていませんでした。このような中上が難しくなった結果、コア数の増加（メニーコ

Cavium（現 Marvell）が、計算性能を高めたサア化）や同時演算数の増加によって、CPU 性能

ーバ向け ARM プロセッサ ThunderX2 をリリーの向上を実現するようになりました。例えば、現スしました。ThunderX2 は 32 コアとコア数が多在の Xeon（Skylake 世代）であれば、2.5GHz 程

い一方で同時演算数が 8 のため、CPU の理論性

度の周波数に 20 コアを超えるコア数（ノード当能が約 1TFlops と Skylake 世代の Xeon と比べてたり 40 コア超）となり、AVX-512 による 512bit

も半分近く低くなっています。しかしながら、ベの SIMD 計算、FMA（積和演算）×2 により、ンチマークや実アプリケーションの性能測定結果

クロックあたりの同時演算数が 32 となっていまを見ると、ThunderX2 は、Skylake 世代の Xeon

す。この同時演算回数の増加により 1.5TFlops 以の 80%程度の性能と報告がなされており[1、2]、

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 3

HPC 分野でも十分に利用可能なCPU となっています。本センターにもこの ThunderX2 は次期システムの評価機として導入されており、その性能評価が本広報のVol.18 No.2で紹介されています。
このような中、京コンピュータの後継機である
富岳では CPU アーキテクチャとしてこれまでの

表1

A64FX 搭載計算機システムの諸元System Fujitsu PRIMEHPC FX700
Node

CPU A64FX × 1 /nodeNum. of core 48 cores /CPU
Frequency 1.8 GHz
Cache L1：64 KB/core

SPARC64V ではなく、ARM アーキテクチャを採L2：8 MB/CMG

用したA64FX が搭載されています。
A64FX では、SIMD SVE 512bit

HPC 向け拡張である SVE（Scalable Vector
Extension）により、同じ ARM プロセッサである ThunderX2 と比べて高い SIMD 演算が可能となっています（Skylake Xeon や Xeon Phi KNLと同じ SIMD 幅）。また高バンド幅メモリである
HBM2 を搭載するなど、高性能計算に最適化されたCPU となっています。
2020 年12 月現在では、
富岳の運用開始前のため、一般的にはまだ利用がRpeak 2,765 GFlops /node (DP)Memory HBM2 32 GB /node
Bandwidth 1,024 GB/s /node
B/F 0.37
Num. of node 4 nodes
Rpeak 11 TFlops
Node comm. InfiniBand EDR 100 Gbps

できません。しかし、富岳と同じ CPU を採用した商用計算機である FX1000 と FX700 が富士通

Tofu D（FX1000）から InfiniBand（FX700）へ

からリリースされており、A64FX の利用が可能

変更、水冷（FX1000）から空冷（FX700）へ変となっています。

更、A64FX の周波数 2.2GHz（FX1000）から 1.8

そこで、本稿ではこれまでに様々なスパコンでまたは 2.0GHz（FX700）へ変更、アシスタント

性能評価を行ってきた電磁流体力学（MHD）シ

コアの有無（FX700 は無し）
。本評価では、4 ノミュレーションコード[3]を用いて、FX700 に搭ードという少ないノード数の利用であり、並列性載されている A64FX の性能評価を行いました。

能より単ノード性能に注目しているため、これら

MHD シミュレーションは通常の流体シミュレー

FX1000 と FX700 との違いは周波数を除きほとションに電磁場の効果を考慮したシミュレーショ

んど影響がありません。

ンになっているため、本性能評価の結果は流体系

A64FX は図 1 に示されるような 4 つの Coreのアプリケーションに広く応用できます。また、Memory Group（CMG）から構成され、この CMG

これまでに評価してきた計算機システムの性能と毎に HBM2 やアシスタントコア（FX700 では利

比較することで、現実的な A64FX の計算性能を見積もることが可能になります。
また、この FX700 は令和 3 年度中に本センターの共同研究として、スパコン利用者にご利用いただけるように準備をしています。

2 A64FX 計算機システム FX700
本稿で利用する A64FX 搭載計算機システムは、
次世代のスパコンシステムの評価を目的として、2020 年 3 月に試験的に京都大学学術情報メディアセンターに導入されたシステムであり、4 ノードのFujitsu PRIMEHPC FX700により構成されています。
FX700は、富岳の商用機であるFX1000と異なり、次の違いがあります。ノード間通信が4 − Academic Center for Computing and Media Studies, Kyoto University

用不可）が付随します。FX700 では 1 ノードあた
り 1CPU、
48 コア（理論演算性能 2,765GFlops）、
32GB メモリ（バンド幅 1024GB/s）となります。
システムの詳細は表 1 に示してあります。
A64FX は、同時演算数が 32 であり、Skylake
Xeon（Gold 以上）や Xeon Phi KNL と同等の同時演算数となっています。メモリバンド幅は、高バンド幅メモリである HBM2 を採用しているた
め、Xeon などに比べて高く、理論演算性能とメ
モリバンド幅の比である B/F 値が 0.37 となっています。近年の Xeon 搭載計算機では B/F 値が約0.1、ThunderX2 では 0.30 となっています。メモリ参照が多いアプリケーションの場合、B/F 値が実効効率を制限するため、注意が必要です。

3 MHD シミュレーションコード

が必要となります。MHD シミュレーションにおいては、物理変数がプラズマ密度、速度 3 成分、本評価で利用したMHD シミュレーションコー

圧力、
磁場 3 成分の計 8 変数あります。
そのため、

ドは、
惑星磁気圏を解くために利用されています。

配列を f(x, y, z, m) と定義し、
m = 8 としています。

太陽系では、太陽から太陽風と呼ばれるプラズマ

数値計算時に同じ場所の物理変数を何度も使うこの風が常時吹き出しており、太陽系全体にそのプとになるため、一般に Fortran では、f(m, x, y, z)

ラズマが充満しています。この太陽風が惑星の固と定義した方がキャッシュヒット率は上がること

有磁場と相互作用することで、惑星磁場が変形し、がわかっています[7]。しかしながら、近年の Xeon

磁気圏と呼ばれる領域が形成されます。磁気圏で系 CPU のように SIMD 幅向上に伴いベクトル化

は、磁気嵐など様々な現象が起きており、その領が性能向上にとって重要な機構であるため、更に域だけでなく、地上にも様々な形で影響を及ぼし

配列を f(x, m, y, z)と f(x, y, m, z)と定義した場合の性ています。このような現象は宇宙天気と呼ばれ、能評価も行いました。

古くから研究が行われてきています。
このような宇宙プラズマ現象の中、グローバル

4 計算性能評価

なプラズマ構造である惑星磁気圏をシミュレーシ
ョンする場合には、MHD 方程式が使用されていFX700 では、Fortran コンパイラと MPI ライ

ます。MHD 方程式は以下のような形をしていま

ブ ラ リ と し て Fujitsu Software Compiler

す。

Package V1.0L10 を利用し、性能評価を行いまし∂ρ= −∇ ⋅ ( vρ )
∂t
∂v
1
1
= − ( v ⋅ ∇ ) v − ∇p + J × B
ρ
ρ
∂t
∂p
= −( v ⋅ ∇) p − γp∇ ⋅ v∂t∂B= ∇ × ( v × B)∂t

た。Fujitsu Fortran では、コンパイルオプションに -Kfast （ターゲットマシン上で高速に実行させることを指示する）を利用しています。計算サ
イズは基本的にはプロセス当たり、64MB（1003(1)

グリッド）となり、Weak scaling の評価を行いました。計測は 5 回行い、その平均値を評価に利用しています。
図 2 に FX700 を利用して、3 種類（1 次元、2上から、連続の式、運動方程式、圧力変化の式

次元、3 次元）の領域分割を行った MHD コード（エネルギーの式）、
最後が磁場の誘導方程式となの評価結果を示します。前述のように、プロセス

ります。簡単に言えば、電磁場を考慮した流体力

当たりの計算量がどの領域分割においても(x, y, z)

学方程式です。詳しい説明は参考文献を参照して= (100, 100, 100)となるように設定し、ここではください[5]。

主に領域分割による性能の違いを見ました。並列

この MHD 方程式を解く数値計算法としては、化としては、Flat MPI を利用しています。まず、Modified Leap Frog（MLF）法[3、6]という数値

1 次元領域分割が最も性能が高く、3 次元領域分計算法を利用し、Fortran により実装しています。

割の性能が最も低い結果となっています。

本評価での並列化には MPI のみを使用していま

ThunderX2 の性能評価では、1 次元領域分割と 2す。並列化手法としては 3 次元空間を分割する領次元領域分割の差はそれほどありませんでしたが域分割法を用いています。領域分割には、1 次元、（実効効率で 1%未満の差）、A64FX では差が大

2 次元、3 次元分割が考えられ、本評価ではこれきくなっており、利用コア数によっては、3 次元

らすべての評価を行いました。

領域分割と同程度の性能となっています。この評一般的に B/F 値の低いスカラ CPU で性能を出

価では、プロセス毎の通信するデータ量は全く同すためにはキャッシュの有効活用が重要です。キじであり、違いは Halo 通信に伴うパック・アン

ャッシュの量や、一度にキャッシュに格納するデパック処理とプロセスにおける通信相手の数となータ量は CPU アーキテクチャ毎に変わるため、り、
通信の負荷が見えてくる評価となっています。

最高のパフォーマンスを出すにはそれぞれの調整

現代のスパコンは富岳も含め大並列実行を行うた

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 5

図 2 3 種類の領域分割による MHD コードの性能

図 3 配列並びが異なる場合の MHD コードの性能

め、1 次元領域分割を選択することは現実的ではありませんが、今回のように通信による負荷が高次元の領域分割で大きい場合は、3 次元領域分割
よりも 2 次元領域分割を選ぶ方が高い実行性能を実現できる場合があります。
実際の性能としては、192 プロセスを利用した
場合、1 次元領域分割で 1,004GFlops（実行効率9.1%）、2 次元領域分割で 923GFlops（同 8.4%）、
3 次元領域分割で 846GFlops（同 7.7%）となっている。
次に、配列並びによる MHD コードの性能変化を評価しました。
図 3 は 3 次元領域分割において、
前述のように配列の並びが異なる 4 つの場合にMHD コードがどのような性能になったかを示しています。図中の 3D xyzm は、図 2 の 3 次元領

図 4 異なる配列サイズにおける MHD コードの性
能
最後に、計算に利用する配列のサイズによる
FX700 の性能を評価しました。これは非並列で域分割の結果と同じであり、xyzm は配列の並び

xyzm の配列並びを利用し、基本的な性能を見てを表しています（これは f(x, y, z, m)を意味する）。

います。図 4 では、1 プロセスでプロセス当たり

図から明らかに mxyz の性能が、他の配列並びと比べて低くなっています。この mxyz は京コンピの総配列利用サイズ（ワーク配列を含む）を 4.2～13,878MB と変化させた場合の MHD コードのュータでは最も性能が高い結果を示していました

性能を示しています。A64FX の L2 キャッシュサ

[7]。一番性能が高くなった配列並びは xymz であイズは 8MB/CMG であり、最小の配列サイズでり、873GFlops（実行効率 7.9%）となっています。
ほぼ同じ性能で 2 番目となったのは xmyz であり、865GFlops（同 7.8%）、3 番目が xyzm となりました。物理変数を示す m が最内にある、いわゆるは L2 のサイズを下回っています。最も性能が高
いサイズは 1,760MB（計算サイズは 200×200×200）であり、8.79GFlops（実効効率 15.3%）となり、オンキャッシュの 4.2 MB（計算サイズはAoS（Array of Structure）形式は、これまでの研25×25×25）の 8.36GFlops（同 14.5%）を上回

究結果によりキャッシュヒット率が高くなる配列

りました。他のサイズは、一番サイズが小さいオ構造であり[7]、京コンピュータには最適でしたが、ンキャッシュサイズより性能が低く、キャッシュ高 SIMD 計算が必要な A64FX では、ベクトル計の効果が見えています。A64FX は高 SIMD 幅計

算に効率的な SoA（Structure of Array）形式が算を効率的に利用することで性能が高くなるため、重要であり、二つを合わせた xymz や xmyz の性

ベクトル長がある程度長く、MHD 変数含めて配能が高くなっていると考えられます。

6 − Academic Center for Computing and Media Studies, Kyoto University

列の 1 次元目がすべてキャッシュに載るサイズがベクトル計算とキャッシュヒットのバランスが良く、性能が高くなったと推測されます。
図 4 では、明らかに性能が悪い計算サイズが 1 つありますが、これは計算サイズが128×128×128 の時であり、バンクコンフリクトが起きているため、性能が極端に劣化しています。
この計算サイズが異なる評価から、MHD コー
ドでは、計算配列の 1 次元がある程度大きくベク
トル計算が効率的に行え、1 次元目と MHD 変数がオンキャッシュの場合に性能が高くなることがわかります。これは図 3 の配列並びにより性能が変化する理由となっており、xymz や xmyz とい

図 5 異なる配列サイズにおける MHD コードのハイ
ブリッド MPI 並列性能

う並びがこの条件を満たしていると考えられます。
最後に OpenMP を利用したハイブリッド MPI

行っていますが、xyzm の場合には、m が z の外並列の性能を評価しました。1 ノード 48 コアを利側にあるため、12 スレッド並列時にキャッシュの用し、8 プロセス×6 スレッドと 4 プロセス×12

利用などに影響がある可能性が考えられます。

スレッド実行を、配列並びが異なる 4 つの場合に行いました。計算サイズはどの並列計算において

5 A64FX に対する最適化

も 300×400×400 となっています。図 5 に評価結果を示しています。図 4 の Flat MPI 実行時の

これまでの性能評価から、xymz 配列並びを利48 コア利用結果も比較のために加えています。

用し、1 ノードあたり 4 プロセス×12 スレッド並

A64FX は 1CMG に 12 コアの構成のため、1

列実行が最も性能が高い結果となりました

ノードあたり 4 プロセス×12 スレッド実行が推（276GFlops、実行効率 10%）
。ここからは、い奨されています。京コンピュータや FX10 などでくつかの最適化をこの結果に対して行い、各最適も同様の推奨であったが、実測では Flat MPI の性能が高くなることがこれまでの評価で分かっています[7]。それらの結果とは異なり A64FX では、化の性能向上への効果を調べてみます。FX700 では、性能プロファイラとして FX100 などでも利用可能な CPU 性能解析レポートが利用できます。

すべての配列並びにおいて、ハイブリッド MPI

詳細レポートを取得する場合は、17 回実行する必の性能が Flat MPI より高くなりました。図 2 の要がありますが、各回で取得されたプロファイラ

並列計算負荷結果から、プロセス数が 48 と大き情報が 1 つのレポートとして出力されるため、最い Flat MPI 時の性能が低くなる原因が理解でき適化を行う際に役に立ちます。

ます。一方で、12 スレッドと 6 スレッドのどちらの性能が高くなるかは、配列並びによって異なる結果となりました。xyzm と mxyz では、6 スレッド（プロセス数が多い場合）で性能が高くなりまず初めに、詳細レポートから得られる図 6 のような Busy rate を見ると、現在の MHD コード
では L2 とメモリが効率よく利用されていないことが分かります（Asis results のグラフ）。また、（273GFlops、 189GFlops）、xymz と xmyz で

前述の通り A64FX では、レジスタ数が FX100 なは、12 スレッド（プロセス数が少ない場合）の性

どだと比べ多くないために、ループを分割するこ能が高くなりました（276GFlops、258GFlops）。

とが性能に効いてくると考えられます。そこで、

xyzm の結果は明らかな違いがあり、プロセス数

キャッシュ・メモリ利用率向上に向けた最適化との影響よりスレッド数が多くなる影響が大きいとループ分割をMHD コードに対して行っています。

考えられます。スレッド並列は、z 次元に対して京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 7

図 6 最適化前と後における Busy rate
キャッシュの効果を見た図 4 では、配列サイズ
を各次元等しく設定していました（例えば 100×100×100）。ここでは配列サイズを一定にし、各表 2各次元の計算サイズを変更した MHD コ

ードの性能
Size (x, y, z)

Performance [GFlops]

能とキャッシュ利用効率の向上を見込み、性能評

200, 400, 300

239.2

価を行っています。表 2 にあるように 5 種類の配100, 400, 600

243.9

列サイズパターン（総配列サイズは一定）を利用

300, 200, 400

311. 1しました。評価結果は表 2 にあるように約 239

600, 200, 200

321.1

600, 400, 100

302.4

次元のサイズを変更することで、ベクトル計算性

GFlops～321GFlops と大きく変わりました。ベ
クトル計算のために、x 次元のサイズはある程度大きい必要があり、(200, 400, 300)と(100, 400,600)では性能が出ていないと考えられます。
また、
図 4 の結果と同じように x と y 次元までキャッシ
ュに載るようなサイズが、性能に効いてくるため、(600, 400, 100)は性能がそれほど高くなっていな
いと考えられます。うまくバランスが取れているのが、(300, 200, 400)と(600, 200, 200)と考えられ、性能が高くなっています。この結果、最大 16%の性能向上となりました。
Fujitsu コンパイラにはループ分割を行うコ
ンパイルオプションがいくつかあります。基本的には-Kloop_fission という自動ループ分割オプシ
ョンをコンパイル時に付けることによりにより、
コンパイラによるループ分割が行われます。この自動ループ分割により、性能が 295GFlops となり、約 7%の性能向上となっています。また、この自動ループ分割をどのように行うかを指定できる-Kloop_fission_threshold=n というオプションがあり、コードに指示文を挿入する必要はあります
が、ハンドコーディングより容易に様々なループ

8 − Academic Center for Computing and Media Studies, Kyoto University

分割を行うことができ、最適化が行えます。しかしながら、本性能評価で利用したコンパイラでは未対応だったのか（コンパイルエラーは出ないので、オプションは有効）、このオプションの効果が無く、評価はできていません。ループ分割をハン
ドコーディングで行うには手がかかり、コードのメンテナンスにも影響するため、今後も引き続き調査する予定です。
次に、ループ分割同様にレジスタ利用量を減らす効果を期待して、ループ内の計算に利用される
いくつかの変数をループ外で計算させ、その結果を配列に収納することで、ループ内の計算時に参照できるような最適化を行いました。図 7 にコードの例を示します。図中で赤字になっている箇所
が変更部分です。MHD コードでは、MHD 変数の時間発展を差分で計算する際に、式(1)にあるよ
うに発散（div）
・回転（rot）
・勾配（grad）を計算する必要があり、これらは差分式内で計算されていました。このため、ループ内の計算が多くな

り、A64FX ではレジスタ不足に陥る可能性が高Asis code

くなります。また、実際の速度ベクトルの時間発

f(i,j,2,k) = ff(i,j,2,k) + t * (展計算時には、重力を考慮した項が計算に含まれ、その項を計算する際に惑星からの距離が必要となります。この距離もループ内で計算していましたが、単純計算であり、レジスタ不足回避を狙い、ループ外で計算し、配列参照に変更しました。こ( p(i,j,10,k) * p(i,j,8,k)- p(i,j,11,k) * p(i,j,7,k)) / p(i,j,1,k)- gra * x / ra3)
- dx2 * p(i,j,2,k) * (u(i,j,2,k) + u(i,j-1,2,k)+ u(i,j,2,k-1) + u(i,j-1,2,k-1)- u(i-1,j,2,k) - u(i-1,j-1,2,k)

れらをコードに施した結果、336.7GFlops の性能- u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )を得ました。これは約 22%の性能向上となります。

- dy2 * p(i,j,3,k) * (u(i,j,2,k) - u(i,j-1,2,k)

最後に、キャッシュ利用効率を更に上げるため+ u(i,j,2,k-1) - u(i,j-1,2,k-1)に、プリフェッチを促進するコンパイルオプショ+ u(i-1,j,2,k) - u(i-1,j-1,2,k)ンを追加しました。プリフェッチ関するコンパイ+ u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )ルオプションは効果の違いから多くのオプション- dz2 * p(i,j,4,k) * (u(i,j,2,k) + u(i,j-1,2,k)が用意されています。その中で、prefetch_infer、- u(i,j,2,k-1) - u(i,j-1,2,k-1)

prefetch_line_L2=8、prefetch_stride の 3 つを+ u(i-1,j,2,k) + u(i-1,j-1,2,k)

利用し、効果を確認しました。prefetch_infer の- dx2*(u(i,j,5,k) + u(i,j-1,5,k)- u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )有無では性能に変化が現れず、追加の効果は得ら+ u(i,j,5,k-1) + u(i,j-1,5,k-1)

れませんでした。一方、prefetch_line_L2=8 と- u(i-1,j,5,k) - u(i-1,j-1,5,k)prefetch_stride は性能向上が得られました。特に/ p(i,j,1,k)prefetch_line_L2=8 は、8%程度の性能向上があり、prefetch_line_L2=8 と prefetch_stride の両方ともオプションとして付与すると、303.7
GFlops の性能（約 10%の性能向上）を得ることができました。
基本的に MHD シミュレーションコードは流体コードであり、格子系流体差分計算のため、ここで得られた最適化の知見は、同様の流体計算にも広く効果があると考えられます。

- u(i-1,j,5,k-1) - u(i-1,j-1,5,k-1) )+ vmu * (dx4 * (ff(i+1,j,2,k)-2.0*ff(i,j,2,k)+ff(i-1,j,2,k))+ dy4 * (ff(i,j+1,2,k)-2.0*ff(i,j,2,k)+ff(i,j-1,2,k))+ dz4 * (ff(i,j,2,k+1)-2.0*ff(i,j,2,k)+ff(i,j,2,k-1))) / ff(i,j,1,k)

Optimization codef(i,j,2,k) = div2(i,j,2,k) + t * (( p(i,j,10,k) * p(i,j,8,k)- p(i,j,11,k) * p(i,j,7,k)) / p(i,j,1,k)- gra * x(i) / ra3(i,j,k))- dx2 * p(i,j,2,k) * (これまでにそれぞれ効果があった最適化を、すべて行い 1CPU で実行すると、431.7 GFlops（実行効率 15.7%）と、元のコードと比べ 155 GFlops（実行効率で 5 %）の性能向上となりました。図
6 にあるように最適化後は、L2 の利用率が 6 割を超え、メモリバンド幅も 35%の利用率に向上しています。しかしながら、基本的に MHD シミュレ

u(i,j,2,k) + u(i,j-1,2,k)+ u(i,j,2,k-1) + u(i,j-1,2,k-1)- u(i-1,j,2,k) - u(i-1,j-1,2,k)- u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )- dy2 * p(i,j,3,k) * (u(i,j,2,k) - u(i,j-1,2,k)+ u(i,j,2,k-1) - u(i,j-1,2,k-1)+ u(i-1,j,2,k) - u(i-1,j-1,2,k)+ u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )ーションがメモリバンドの計算（高 B/F 計算）で

- dz2 * p(i,j,4,k) * (あることを考えると、メモリバンドの利用率が足- u(i,j,2,k-1) - u(i,j-1,2,k-1)

りていないように考えられます。FX700 の B/F+ u(i-1,j,2,k) + u(i-1,j-1,2,k)値が 0.37 であるため、まだ最適化の余地があるようです。CPU 性能解析レポートによると、
Floating-point L2 cache miss や Floating-point
operation wait、Floating-point mem wait の時間が多く見えています。これらを削減するために、更なる最適化が必要と思われます。

u(i,j,2,k) + u(i,j-1,2,k)- u(i-1,j,2,k-1) - u(i-1,j-1,2,k-1) )- dx2*(u(i,j,5,k) + u(i,j-1,5,k)+ u(i,j,5,k-1) + u(i,j-1,5,k-1)- u(i-1,j,5,k) - u(i-1,j-1,5,k)- u(i-1,j,5,k-1) - u(i-1,j-1,5,k-1) )/ p(i,j,1,k)

図 7 ループ内変数計算部における最適化前後

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 9

表 3 様々な計算機システムにおける性能の傾向[2，7，8，9]
Core/CPUSX-ACE

1024/256

Rmax Rpeak[TFlops] [TFlops]
29.20

Rmax Efficiency
Suitable
CPU
/CPU
[%]
domainarchitecture[GFlops]decomposition

65.50

114.0

45

3D xyzm

Vector

K 262144/32768 914.12 4194.30

27.9

22

3D mxyz

SPARC64 VIIIfx

FX100 16384/512

91.49

576.72178.7

17

3D xyzm

CX400 23616/2952

104.23510.1135.3

20

3D xyzm

HA8000 23160/1930

83.42

500.2643.2

172D xyzm

SPARC64 XIfx
Xeon
(SandyBridge)
Xeon (IvyBridge)

1.37

16.49

42.8

8

2D xyzm

Xeon (Haswell)470.10 6912.00

117.5

7

1D xyzm

Xeon (Skylake)

XC30

448/32

ITO-A 72000/4000
XC40

1088/16

4.32

48.86

273.3

9

3D xyzm

Xeon Phi KNL

Tesla K20X

896/1

0.15

1.31

153.3

12

3D xyzm

KeplerITO-B

3584/1

0.38

5.30

382.2

7

3D_xyzm

PascalThunderX2

256/8

0.70

4.50

86.9

16

3D mxyz

Arm v8

FX700

192/4

1.70

11,06

425.5

15

3D xymz

A64FX

6 他計算機システムとの比較よりも高い性能を示しており、Skylake Xeon の
3.6 倍、Xeon Phi KNL の 1.6 倍程度の性能となっています。Xeon は 2 ソケット/1 ノードを考え今回評価をしたA64FX 搭載計算機FX700 でのても、FX700 はノードあたり 1.8 倍の性能となっ

MHD コードの性能を他の計算機システムでのています。GPU では、Pascal Tesla と比べ、1.1

MHD コードの性能と比較することで、A64FX の倍、Kepler Tesla の 2.8 倍の性能となりました。

相対的な性能や各計算機の実性能を理解すること

また、京コンピュータの SPARC64 VIIIfx と比べに繋がります。表 3 にこれまで MHD コードの性て、15 倍の性能向上となっています。

能を計測したいくつかの計算機システムの結果と実行効率では、ベクトル機である SX-ACE が飛FX700 の測定結果を示しています[2、7、8、9]。

び抜けて高いですが、A64FX は ThunderX2 や今回の性能評価では 3 次元領域分割において、4

FX100、IvyBridge Xeon と同程度となっていま

種類の配列構造を利用しましたが、ITO-A とす。これらの計算機は SIMD 幅が A64FX より低

ThunderX2 の評価以外はいわゆる SoA（xyzm）

いことを考えると、A64FX は高い実行効率を示と AoS（mxyz）を利用した測定しか行っていましていると考えられます。前述のように、近年はせん。また、CPU（GPU、コプロセッサ）自体

同時演算回数の増加により理論性能を高くし、低の性能を比較しやすいように、CPU 当たりの性

い実行効率を示す CPU が多いですが、A64FX は能（Rmax/CPU）を表に加えています。

それらと比較して高い実行性能を持ち、実利用向

FX700 の結果は、最適化をすべて加え、4 ノー

けの CPU と考えられます。

ドで実行した結果を記載しています。そのため、
CPU 当たりの性能では、1 ノード（1CPU ）実

7 まとめ

行に比べ性能がわずかに下がっていますので、注意してください。

京都大学学術情報メディアセンターに試験的に

今回はシステム全体の性能では無く、CPU 単導入された A64FX 搭載計算機 FX700 に対して、体の性能比較に興味があるため、Rmax/CPU に

宇宙プラズマを解くMHD シミュレーションコー

注目します。A64FX は表中のどの CPU・GPU

ドの性能測定を行いました。3 種類の領域分割を

10 − Academic Center for Computing and Media Studies, Kyoto University

行った結果、高次元領域分割の方がパック/アンパ

参考文献

ックや通信に係わる時間により、性能が低くなる
傾向が見えました。異なる配列の並びによる
MHD コードの A64FX での性能を評価では、キャッシュヒット率の高い AoS 形式の配列形状の性能が他の配列形状に比べ明らかに性能が低くなることが分かりました。その他はそれほど大きな差はありませんが、ベクトル計算を効率的に行うために x が最内に、キャッシュヒットのために mが z よりも内側になる配列形状が好ましい結果となりました。次に、キャッシュの効果を調べるた
めに、配列サイズを小さくして、性能を評価した
ところ、配列形状と同じ理由で、大きすぎるサイズでは性能が劣化するが、すべてがオンキャッシ
ュで無くともある程度の性能が出ることが分かりました。また、ハイブリッド MPI 並列実行におけるスレッド数の変化による性能変化を調べたと
ころ、Flat MPI 実行よりもハイブリッド MPI 並
列実行の方が高い性能を示しました。スレッド数
による性能変化は配列形状に依存しますが、基本
的には 12 スレッド×4 プロセス/CPU の実行がA64FX には適していました。
更に高い性能を目指し、いくつかの A64FX に対する最適化を MHD コードに施しました。配列の各次元におけるサイズの変更、自動ループ分割、
ループ内変数のループ外での計算、プリフェッチ[1]辻 美和子、 Jean-christophe Weill、 Jean-philippe Nomine、 佐藤 三久、ThunderX2 Arm プロセッサにおける Fiber ミニア
プリスイートの性能評価、情報処理学会研究報告、
2019-HPC-171(4)、1-8、2019.
[2] 深沢圭一郎、
惑星磁気圏 MHD シミュレーションコードによる ThunderX2 ARM プロセッサの性能評価、情報処理学会
研究報告、 2019-HPC-172(1)、 1-6、 2019.
[3] Ogino. T, R. J. Walker, M. Ashour-Abdalla, "A global
magnetohydrodynamic simulation of the magnetopause when theinterplanetary magnetic field is northward", IEEE Trans. Plasma
Sci. vol. 20, 1992, 817-828.
[4] Yoshida, T., Fujitsu High Performance CPU for the Post-K
Computer, Hot Chips 30, 2018.
[5] F. F. Chen, 1974. Introduction to Plasma Physics. Plenum Press,NY.
[6] Fukazawa, K., T. Ogino, and R. J. Walker (2012), "A
Magnetohydrodynamic Simula-tion Study of Kronian
Field-Aligned Currents and Aurora", J. Geophys. Res., 117,
A02214, doi:10.1029/2011JA016945.
[7]Fukazawa, K., T. Nanri and T. Umeda, "Performance Measurementsof MHD Simulation for Planetary Magnetosphere on Peta-Scale
Computer FX10", Parallel Computing: Accelerating
Computational Science and Engineering (CSE), Advances in
Parallel Computing 25, pp.387-394, IOS Press, 2014.
[8]Fukazawa, K., T. Soga, T. Umeda, T. Nanri, Performance Evaluation
and Optimization of MagnetoHydroDynamic Simulation forPlanetary Magnetosphere with Xeon Phi KNL, Parallel
Computing is Everywhere: Accelerating Computational Scienceand Engineering (CSE), Advances in Parallel Computing、 178 –
187, DOI:10.3233/978-1-61499-843-3-178, 2018.
[9] 深沢圭一郎、南里豪志、本田宏明、スーパーコンピュータ
システムITO におけるMHD シミュレーションコードの計
算性能・消費電力評価、情報処理学会研究報告、
2018-HPC-166(4)、 1-6、 2018.

の促進を行うと、1CPU で 155GFlops の性能向上が得られました。これにより、キャッシュの利
用率やメモリバンド利用率の向上が見られました
が、MHD コードの B/F 値と FX700 の B/F 値を考えると、まだ最適化の余地があると思われます。
今回の評価結果を、これまでに性能評価した計算機システムと比較したところ、A64FX（1CPU）の性能は、
Skylake Xeon の3.6 倍、Xeon Phi KNLの 1.6 倍の性能となっていました。GPU と比べても、Pascal Tesla の 1.1 倍、Kepler Tesla の 2.8倍の性能となりました。1.1 倍ではありますが、
40 GFlops 以上の性能差となっています。実行効率で見ると、ThunderX2 や IvyBridge Xeon、
FX100 と同程度であり、高 SIMD 幅 CPU としては高い実行効率を示しました。
今回は、ループ分割に対する追加の最適化を行
えませんでしたが、重要な最適化であるため、今後の課題としています。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 11

JHPCN研究紹介

JHPCN が拓くビッグデータサイエンス：高速データ伝送技術
村田健史

深沢圭一郎

京都大学学術情報メディアセンター

本報告は、学際大規模情報基盤共同利用・共同研究拠点（JHPCN）2018～2020（課題名「HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験」）の成果に基づき、JGN および SINET を用いた広域分散クラウドシステムを紹介し、目指すべきビッグデータサイエンス環境の姿について議論する。特に、このような広域クラウドシステムで重要な役割を果たす高速データ伝送プロトコル（High-performance and Flexible
Protocol: HpFP）について紹介する。

1 はじめに機リソースを自由に組み合わせ、高速ネットワークを駆使した各ドメイン分野でのデータ駆動型研究

筆者らは、近年のビッグデータサイエンスを加速することを目標に、文部科学省学際大規模情報基盤

およびアウトリーチを実施することを最終目標としている。

共同利用・共同研究拠点（JHPCN）計画（課題名

本稿では、JGN および SINET を用いた広域分散「HPC と高速通信技術の融合による大規模データ

クラウドシステム（図 1）を紹介し、ビッグデータの拠点間転送技術開発と実データを用いたシステ

サイエンス環境について紹介する。とくに、広域分ム実証試験」）において、2018 年から 3 年にわたり

散クラウドで重要となる高速データ伝送技術につ

情報基盤センター５拠点（東北大、東京大、名古屋

いて議論する。

大、京都大、九州大）および 4 研究組織（信州大、筑波大、千葉大、情報通信研究機構）を結ぶ全国規
模の分散クラウドシステム（以下、JHPCN 広域分

2 高速データ伝送技術（HpFP プロトコル）

散クラウド）を構築してきた[1][2]。特に、2020 年
度はこれらの 9 拠点を L2VPN 網で接続することで、

2020 年には 300 億～500 億のモノがインターネ

高速で利便性の高い広域分散クラウド環境を実現

ットに接続する IoT 時代となり、莫大な数のセンサしている。各大学及び研究機関に広域分散する計算

ーやデバイスがネットワークに接続され、

図 1. L2VPN 網を用いた学術研究における JHPCN 広域クラウドシステム：リソースは毎年変更になるため 2020 年度実績および 2021 年度申請をベースに本図を作成

12 − Academic Center for Computing and Media Studies, Kyoto University

Society5.0 を支える様々な分野のビッグデータが常ケーションはワイヤーレートを達成できない。たと時、蓄積・分析される。そこでは自然環境監視セン

えばバンド幅 100Mbps のネットワークにおいて現サー（リモートセンシング）データ、遠隔ロボット

実のアプリケーションが 1Mbps 程度の通信速度しや移動体・飛翔体制御、少子高齢化社会を背景としか達成できない事例を、我々は頻繁に体験している。

た乳幼児見守り映像やヘルスケア情報伝送など、低その理由の一つは、HTTPS や MQTT のベースとな遅延で安定に大量データ送信を必要とする高速デる TCP プロトコルが遅延やパケットロスおよびジータ伝送・遠隔制御技術が重要となる。センサーデッタ（遅延やパケットロス率の変動によるデータパ

ータや画像データ等のビッグデータを処理するク

ケット到達時間の揺らぎ）を伴う現実的なネットワ

計算機やデータストレージなどが脳や心臓、肺などーク環境では高いスループットを達成できないかの臓器であるとすれば、通信網はそれらを密に接続

らである。例えば図 2-1 は LTE、WiMAX、4G、WiFi

し情報を交換するための血管である。血流に滞りが等の既存 IP モバイル網を想定した高遅延ネットワ

あれば各臓器は機能せず、高性能な生命体は実現しーク上での TCP の振る舞いである。TCP プロトコ

ない。したがって、そこでは IoT システムが高機能

ルはパケットロスがない環境であれば500 ミリ秒のを発揮するための通信プロトコルが必要となる。

遅延があっても 9Gbps 以上の高速通信を実現でき筆者らはNICT サイエンスクラウドプロジェクトる。しかし、わずかなパケットロスによりその通信[3]での経験を通じて、通信端末の高度化、ネットワ

速度は極端に低下する。図 2-1 では、0.01％のパケーク広帯域化や仮想化のインフラ環境整備だけでットロスが発生しただけで TCP の通信速度が 10 倍は真のビッグデータサイエンスが実現しないこと

以上落ち込んでいることが分かる。Google によるとを実体験してきた。アプリケーションが広帯域環境

インターネットで通信プロトコルを考える場合、一を十分に活用できる通信プロトコル（通信ライブラ

般には 1～2％程度のパケットロスを想定する必要リ）が存在しないからである。現在の IoT 通信ではがある。屋外での WiFi や LTE/4G や衛星通信など

HTTPS や MQTT（Message Queueing Telemetryの無線通信ではさらに大きなパケットロスが発生

Transport）などが想定されているが、これらのプロすることが多い。

トコルは IoT が求める多様で複雑なニーズに応える

そこで筆者らは、
2014 年から長距離高遅延環境でには限界がある。現在のビッグデータ通信においてパケットロスがあっても高い通信性能を有する独はアプリケーション層とネットワーク層の間で重自の通信プロトコル HpFP（High-performance and

要な役割を果たすプロトコル層のデータ通信技術

Flexible Protocol）と HpFP を用いた高速データ伝が抜け落ちており、この層が通信ボトルネックとな

送アプリケーション開発を進めている[4][5]。HpFPる可能性が高い。

は UDP をベースとして開発した高信頼通信プロト

ほとんどのビッグデータサイエンティストが体コルであり、性能劣化が激しい長距離高遅延通信験しているように、多くの通信環境においてアプリ（最大 4 秒程度）
、パケットロス（最大 15％程度）、

図 2-1. 室内実験による TCP と HpFP の通信性能評価

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 13

図 2-2. WINDS 衛星通信環境における高速データ伝送性能評価：ビットエラー（IP パケットロス）が発生
しやすい降雨時に特に効果がある
帯域変動、ジッタなどの現実的な（すなわちテスト

スとしたファイル転送アプリケーション（HCP）を

ベッドのように「きれい」ではない WiFi やインタ開発した。このアプリケーションは rsync に似たイーネット等の）ネットワークにおいて、TCP と比較

ンターフェースを有しており、Linux ベースのサーして低遅延通信が実現できることを室内実験で検バ、および Linux, Windows および Raspberry Pi ベ

証した（図 2-1）
。この成果をもとに多くの実ネット

ースのクライアントから構成される。HCP ではワークで HpFP の性能検証を行った。例えば降雨時

10Gbp の高速通信環境においても既存の TCP プロのビットエラー（IP 通信からみるとパケットロス）

トコルとの間の公平性・親和性が達成されている。

が不可避である衛星通信[6]では特に有効な性能を

図 2-3 は室内実験、図 2-4 は JHPCN 通信網実験で検証済みである（図 2-2）。

の HCP アプリケーションによる公平性の検証結果

HpFP の利点の一つはソケットライブラリがである。ネットワーク輻輳時には公平性（限られたTCP 互換であり過去の TCP プログラムを HpFP で帯域を既存の TCP と均等に分け合う）を担保しつ置き換えることができることである。Linux、つ、親和性（既存の TCP 通信が使わない帯域が十分

Windows などの汎用 OS だけではなく、Raspberryに空いているときには既存通信に影響を与えずにPi など IoT に適したシングルボードコンピュータ

残り帯域を使い切る）を実現できていることが分か（ARM プロセッサ）でも動作する。筆者らはクレる。

アリンクテクノロジー社との協力で HpFP をベー

図 2-3. 室内実験による HpFP の Fairnet（公平性）検証

14 − Academic Center for Computing and Media Studies, Kyoto University

Total

HpFP

TCP

図 2-4. JHPCN 実環境（L3）による HpFP の Fairness（公平性）検証

3 高速データ伝送技術を活用した広域分
散クラウド

L3 環境よりも高速な通信を実現（多くの場合はバン
ド幅近くの通信速度を達成）できており、JGN とSINET を組み合わせた L2VPN 網の有効性が確認

各拠点大学・参加大学を接続する JHPCN 広域分された（図 3-1）
。また、各 Web サーバ（図 1）から

散クラウドの L2VPN 網は 2020 年度中に完了予定のローカルおよびリモートディスクアクセス速度であるが、準備が整った拠点から順に TCP（iperf3

を dd コマンドで評価したが、どの場合にも十分なにより計測）と HpFP（hperf により計測）による実用性を確認した（表 3-1）
。NICT、千葉大学およ

基礎通信性能評価を進めている。L2VPN 環境ではび京都大学間で HCP によるファイルコピーを行っ

図 3-1. HpFP（hperf）および TCP（iperf3）による基礎通信計測結果：上限 1Gbps で計測

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 15

図 3-2. JHPCN 広域分散クラウド活用事例：映像 IoT と TDW による画像データ処理と分散同期可視化た結果（表 3-2）から HCP ツールは JHPCN 広域（DMC20）において図 3-3 の国際高速ネットワー

分散クラウド内において十分に実用的であること

ク（100G 回線）で実測 40Gbps 以上をファイル転が分かっている。

送で達成しており[9]、図 3-4 に示すように HCP

表 3-1. ローカル・リモートストレージ I/O 速度（L2VPN 網）：上限１Gbps で dd コマンド計測
ストレージ

@NICT

@千葉大

@京都大

NICT サーバ

1331MB/s

87MB/s62MB/s

千葉大サーバ

96MB/s

764MB/s

27MB/s京都大サーバ79MB/s

79MB/s

96MB/s

表 3-2.

（HpFP）は Experimental Excellence Award を受賞した。これにより、JHPCN 広域分散クラウドの拠点間で十分な高速性能を発揮できることを検証済みである。

HCP ツールによるファイル読み出し
速度（L2VPN 網）

ストレージ

@NICT

@千葉大

NICT サーバ

86MB/s108MB/s@京都大45MB/s

千葉大サーバ62MB/s112MB/s

107MB/s

京都大サーバ87MB/s

98MB/s88MB/s

図 3-3. DMC20 実験網：世界全域を 100G 網でこれらの結果から、学術研究分野において図 1 のL2 接続：HCP ツールによりノード（DTN）間

広域分散クラウドは実用段階に入ったと判断してでの実データファイル伝送速度を競う

いる。今後はビッグデータサイエンスの実証として大規模データ・大容量ネットワーク利活用事例を積み重ねていく。たとえば図 3-2 は JHPCN 広域分散
クラウド活用事例の一つであり、各拠点のリソースを組みあわせて映像 IoT[7]と TDW による画像デー
タ処理・可視化を実現する。TDW 表示画像の遠隔同期には理化学研究所が中心となり開発を進めている ChOWDER を用いる[8]。
なお、HpFP プロトコルによるファイル転送ツー
ル HCP は SC Asia2020 の Data Mover Contest

16 − Academic Center for Computing and Media Studies, Kyoto University

図 3-4. HCP(HpFP)は「Experimental
Excellence Award」を受賞

図 4 JHPCN 広域分散クラウド活用イメージ：ビッグデータ気象・防災情報可視化システム

4 おわりにJPMJSC18E3、JST CREST JPMJCR15K4、JST
COI JPMJCE1307、JSPS 科研費 JP19HP8020、

総合科学技術会議第 5 期基本計画の 4 本柱は、持JSPS 科 研 費

JP17K00158 、 JSPS 科 研 費

続的な成長と地域社会の自律的発展、国及び国民の15K06129、ROIS-DS-JOINT (008RP2020)、京都

安全・安心の確保と豊かで質の高い生活の実現、地大学生存圏研究所の生存圏ミッション研究の成果

球規模課題への対応と世界の発展への貢献、知の資の一部を紹介しています。本研究にご協力いただい

産の持続的創出である。ビッグデータサイエンスはたクレアリンクテクノロジー社、千葉大学・樋口篤これら 4 本すべてに寄与できるポテンシャルを有し

志先生および理化学研究所・川鍋友宏さんに感謝している。そのためには、実用レベルの広域分散クラます。

ウド環境は重要であり、我々はそれが有効であることを具体的な事例を通じて示していくことをモチベーションとしている。たとえば図 4 は JHPCN 広

6 参考文献

域分散クラウド活用事例の一つとして、筆者らが提[1] P. Pavarangkoon, K. T. Murata, K. Yamamoto,

案するビッグデータ気象・防災可視化システムのイ

K. Muranaga, T. Mizuhara, K. Fukazawa, R.

メージである。安価な映像 IoT センサーを広域に多Egawa, T. Katagiri, M. Ogino and T. Nanri,

数設置し、地域全体を地点高密度に“見守る”ネッ"Performance Improvement of High-Speed File

トワークシステムを構築することで、高速データ伝Transfer over JHPCN," 2019 IEEE Intl Conf on

送技術により映像をクラウド内にリアルタイム伝

DASC, Intl Conf on PiCom, Intl Conf on

送する。図 3-2 のシステム上でリアルタイムに大量

CBDCom, Intl Conf on CyberSciTech, Fukuoka,

データが流れ込むことで、映像を超高解像度で可視Japan, 2019, pp. 1086-1089. doi:

化することでリルタイムに災害状況を協調的に解[2] K. T. Murata, P. Pavarangkoon, K. Yamamoto,K. Muranaga, T. Mizuhara, K. Fukazawa, R.

析することができる。

Egawa, T. Katagiri, M. Ogino and T. Nanri,

5 謝辞"High-Speed File Transfer of Real Datasets over
JHPCN," IEICE Technical Report, Vol. 118, No.

本研究成果は、学際大規模情報基盤共同利用・共同研究拠点、および革新的ハイパフォーマンス・コ

466, pp. 175-179, Okinawa, Japan, 4-5 Mar.
2019.

ンピューティング・インフラの支援による（課題番[3] 矢木大介, 村田健史, 笠原禎也, "科学衛星で観号: jh200038-MDH）成果です。また、JST SICORP

測された波形データ処理を用いた NICT サイ

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 17

エンスクラウド上での並列分散処理の評価,"

Muranaga, T. Mizuhara, A. Takaki and Y.

情報知識学会誌, vol. 25, no. 1, pp. 3-22, 2015,

Kakizawa, "Performance Evaluation of High-doi: 10.2964/jsik_2015_002.

Performance and Flexible Protocol on Data

[4] K. T. Murata, P. Pavarangkoon, K. Yamamoto,Mover Challenge," in The 5th International

Y. Nagaya, T. Mizuhara, A. Takaki, K.

Conference

Muranaga, E. Kimura, T. Ikeda, K. Ikeda and J.

(InCIT2020), ChonBuri, Thailand, Oct. 21-22,

Tanaka, "A quality measurement tool for high-2020.

speed data transfer in long fat networks," 2016
24th International Conference on Software,
Telecommunications and Computer Networks(SoftCOM),

Split,

2016,

pp.

1-5.

doi:

10.1109/SOFTCOM.2016.7772111[5] K. T. Murata, P. Pavarangkoon, K. Inoue, T.
Mizuhara, Y. Kagebayashi, K. Yamamoto et al.,"DevelopmentofHigh-PerformanceandFlexible Protocol Handler for International Web
Accesses," 2019 IEEE 21st Intl Conf on HPCC,
IEEE 17th Intl Conf on Smart City; IEEE 5th
Intl Conf on DSS, Zhangjiajie, China, 2019, pp.
1958-1963.

doi:

10.1109/HPCC/SmartCity/DSS.2019.00270[6] 村田健史, 山本和憲, パワランクン プラパン,
鈴木健治, 浅井敏男, 菅智茂, 村永和哉, 水原
隆道, 影林佑哉, 柿澤康範, 矢羽田將友,"HpFP プロトコルによる WINDS 衛星の回線品質検査," 情報通信研究機構研究報告, vol.
63,

no.

2,

pp.

153-162,

2017,

doi:

10.24812/nictkenkyuhoukoku.63.2_153.
[7] K. T. Murata, P. Pavarangkoon, S. PhonAmnuaisuk, T. Mizuhara, K. Yamamoto, K.
Muranaga and T. Aoki, "A Programming
Environment for Visual IoT on Raspberry Pi,"
The 5th IEEE International Conference on
Cloud and Big Data Computing (CBDCom2019), Fukuoka, Japan, 5-8 Aug. 2019.
[8] T. Kawanabe, K. Hatta, and K. Ono,
“ChOWDER: A New Approach for Viewing 3D
Web GIS on Ultra-High-Resolution Scalable
Display.” In Proceedings of The 2020 IEEE
International Conference on Cluster Computing
pp.

412-413.

Sep.

2020.

doi:10.1109/CLUSTER49012.2020.00055[9] P. Pavarangkoon, K. T. Murata, K. Yamamoto,
N. Fujita, H. Ohkawa, H. Mikai, Y. Ikehata, K.

18 − Academic Center for Computing and Media Studies, Kyoto University

on

Information

Technology

サービスの記録・報告システム A 運転状況 ( 2020 年 4 月 ～ 2020 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時

サービス再開日時

システムダウン障害発生状況
保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2020/04/01

0:00

2020/04/03

10:00

58.00

2020/04/04

17:27

2020/04/04

18:38

1.18

2020/06/02

9:00

2020/06/02

15:00

6.00

2020/09/17

11:20

2020/09/17

18:00

6.67

2020/09/13

6:00

2020/09/16

15:30

81.50

２）サービス状況
サービス
時間[h]

ジョブ
処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

4月

660.8

49,566

302,741

54,327,988

34,947,518

1,799.2

75.4

%

5月

744.0

96,493374,687

79,549,040

64,149,238

1,797.2

82.8

%

6月

714.0

85,520187,691

65,879,199

50,333,743

1,796.3

77.1

%

7月

744.0

71,872

254,673

76,771,000

61,554,716

1,798.1

83.2

%

8月

744.0

54,938

192,01373,057,419

58,128,519

1,796.0

79.8

%

9月

631.8

33,685

169,473

62,563,465

52,413,331

1,708.1

76.1

%

計/平均

4238.6

392,074

1,481,278

412,148,111

321,527,065

1,782.5

79.1%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 19

システム B 運転状況 ( 2020 年 4 月 ～ 2020 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時システムダウン障害発生状況

サービス再開日時

保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2020/04/01

0:00

2020/04/03

10:00

58.00

2020/07/29

15:37

2020/07/29

17:31

1.90

2020/06/02

9:00

2020/06/02

15:00

6.00

2020/08/07

12:00

2020/08/07

12:31

0.52

2020/09/13

6:00

2020/09/16

15:30

81.50

2020/08/09

7:13

2020/08/09

20:30

13.28

2020/09/16

15:30

2020/09/16

18:20

2.83

2020/09/17

11:20

2020/09/17

18:00

6.67

２）サービス状況
サービス
時間[h]

ジョブ
処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

ノード
利用率

4月

662.0

105,732

450,424

15,662,759

11,778,260

793.4

67.6

%

5月

744.0

87,853

541,594

14,646,880

11,789,871

814.0

71.1

%

6月

714.0

84,656

485,529

13,819,598

11,906,428

812.7

67.5

%

7月

742.1

155,607555,470

14,449,554

11,790,054

812.5

71.3

%

8月

730.2

251,418

655,084

14,630,368

11,705,773

813.8

72.8

%

9月

629.0

106,598

482,976

12,122,259

10,367,146

762.8

67.5

%

計/平均

4,221.3

791,864

3,171,077

85,331,418

69,337,532

801.5

69.6

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

20 − Academic Center for Computing and Media Studies, Kyoto University

システム C 運転状況 ( 2020 年 4 月 ～ 2020 年 9 月 )１）保守作業に伴うサービス休止およびシステムダウン障害発生状況
保守作業に伴うサービス休止
保守開始日時システムダウン障害発生状況

サービス再開日時

保守時間[h]障害発生日時

サービス再開日時

ダウン時間[h]2020/04/01

0:00

2020/04/03

10:00

58.00

2020/07/29

15:37

2020/07/29

17:31

1.90

2020/06/02

9:00

2020/06/02

15:00

6.00

2020/09/17

11:20

2020/09/17

18:00

6.67

2020/09/13

6:00

2020/09/16

15:30

81.50

処理
件数

経過
時間[h]

占有
時間[h]

CPU
時間[h]

平均稼動
ノード数

２）サービス状況
サービス
時間[h]

ジョブ
ノード
利用率

4月

662.0

2,604

22,760395,952

227,918

15.5

46.8

%

5月

744.0

1,503

16,584

325,912

146,543

16.0

59.2

%

6月

714.0

1,927

21,438308,190

155,377

16.0

51.1

%

7月

742.1

2,799

55,039377,151

170,261

16.0

63.9

%

8月

744.0

1,872

15,858290,607

151,078

16.0

56.9

%

9月

631.8

1,509

15,297

260,492

102,795

15.4

61.8

%

計/平均

4,237.9

12,214

146,976

1,958,304

953,972

15.8

56.6

%

ノード利用率
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

4月

5月

6月

7月

8月

9月



占有時間 = 合計(経過時間×占有コア数)

平均稼動ノード数 = 電源 ON 状態のノード数の月平均 (10 分間隔のサンプリングデータより算出)



ノード利用率 = 稼動ノードに対するジョブが実行されているノードの割合

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 21

センター利用による研究成果―2019 年度計算機利用結果報告書から―【1001 情報学基礎】【2202 自然災害科学】

1.

7.

Junya Nakamura, Yonghwan Kim, Yoshiaki

Asano, K. and T. Iwata ： Source rupture

Katayama, and Toshimitsu Masuzawa ： A

process of the 2018 Hokkaido Eastern Iburi

cooperative partial snapshot algorithm forearthquake deduced from strong-motion data

checkpoint‐rollback recovery of large‐scaleconsidering seismic wave propagation in three-anddimensional velocity structure ：dynamic

distributed

systems

andEarth,

experimental evaluations： Concurrency andPlanets and Space, Vol.71, No.101, pp.1-17,

Computation

2019

PracticeandExperience,8.

Vol.e5647, 2020

関口春子・浅野公之・岩田知孝： 奈良盆地の３【1501 生活科学一般】

次元速度構造モデルの構築と検証： 地質学雑誌,

2.

Vol.125, No.10, pp.715 - 730, 2019

Y. Takeda, T. Matsuno, A. K. Sharma, W. M. C.
Sameera, S. Minakata ：Asymmetricsynthesis of b-aryl amino acids through Pd-【4304 数理物理・物性基礎】
9.

Mitsuru Tanaka： Motion of spherical bubbles

catalyzed enantiospecific and regioselective

in homogeneous shear turbulence ： Fluidring-opening Suzuki-Miyaura arylation of

Dynamics Research, Vol.51, No.3, pp.035505-1

aziridine-2-carboxylates ：- 035505-25, 2019

Chem. Eur. J.,

Vol.25, pp.102261 - 102231, 2019

10. Mitsuru Tanaka , Kyohei Tajiri , Hidetoshi【2201 社会システム工学・安全システム】

Nishida , Masashi Yamakawa ： Effect of3.

佐藤建, 小林健一, 藤本泰文： 伊豆沼の冬季環

Eccentric Mass Distribution on the Motion of境モニタリングのためのタイムラプス画像解Spherical Particles in Shear Flows： Journal

析： 伊豆沼・内沼研究集会発表要旨集, Vol.14,

of

pp.5 - 6, 2020

pp.031105-1 - 031105-12, 2020

4.

5.

6.

FluidsEngineering,

Vol.142,No.3,

大関克弥, 佐藤建, 金沢靖, 小林健一： UAV と

11. Taro Fukazawa, Hisazumi Akai, Yosuke

簡易マルチスペクトルカメラによる伊豆沼の水

Harashima, Takashi Miyake： First-principles

生植物分布の可視化に関する研究： 伊豆沼・内

study of intersite magnetic couplings in

沼研究集会発表要旨集, Vol.14, pp.3 - 4, 2020

NdFe12 and NdFe12X (X=B, C, N, O, F)：

Tatsuru Sato, Ken-ichi Kobayashi, Katsuya

Journal

Oseki ： IoT measurements of the winterpp.053901-1 - 053901-9, 2017ofApplied

Physics,

Vol.122,

environment around Lake Izunuma, Miyagi：

12. Yosuke Harashima, Taro Fukazawa, Hiori

The Tenth Symposium on Polar Science,

Kino, and Takashi Miyake： Effect of R-site

pp.OMp27 -, 2019

substitution and the pressure on stability of

大関克弥, 佐藤建, 金澤靖, 小林健一： UAV とRFe12: A first-principles study： Journal of

農業用マルチスペクトルカメラによる伊豆沼のApplied

植生分類に関する研究： Optics & Photonics

163902-6, 2018

Japan 2019, pp.3pE14 -, 2019

Physics, Vol.124, pp.163902-1 -13. Taro Fukazawa, Hisazumi Akai, Yosuke
Harashima, and Takashi Miyake ： First-

22 − Academic Center for Computing and Media Studies, Kyoto Universityprinciples

Study

of

Intersite

Couplings

and

Curie

Magnetic

Coupling on a Heliobacterial SymmetricalinType-I Reaction Center: Comparison with

RFe_{12?x}Cr_{x} (R = Y, Nd, Sm)： J. Phys.

Photosystem I ： The Journal of PhysicalSoc. Jpn., Vol.87, pp.044706-1 - 044706-5, 2018

Chemistry B, Vol.124, No.2, pp.389 - 403, 2020

14. Yuta Toga, Masamichi Nishino, Seiji Miyashita,

21. Shimpei Nishida, Shun Sakuraba, Kiyoshi

Takashi Miyake, and Akimasa Sakuma ：Asai, Michiaki Hamada： Estimating energy

Anisotropy of exchange stiffness based onparameters for RNA secondary structure

atomic-scale magnetic properties in the rare-

predictions using both experimental andearth

Nd2Fe14B ：computational data： IEEE/ACM transactions

Physical Review B, Vol.98, pp.054418-1 -on computational biology and bioinformatics,

054418-10, 2018

Vol.16, No.5, pp.1645 - 1655, 2018

permanent

TemperaturemagnetHarashima,

22. A Hirano, T Kameda, S Sakuraba, M Wada, T

Takashi Miyake, and Yoshihiro Gohda： Role

Tanaka, H Kataura： Disulfide bond formationof typical elements in Nd2Fe14X (X = B, C, N,

of thiols by using carbon nanotubes ：O, F) ： Physical Review Materials, Vol.2,

Nanoscale, Vol.9, No.17, pp.5389 - 5393, 201715. Yasutomi

Tatetsu,

Yosuke23. Hong Wang, Mohanad H Nada, Yoshimasa

pp.074410-1 - 074410-9, 2018
16. Taro Fukazawa, Hisazumi Akai, Yosuke

Tanaka, Shun Sakuraba, Craig T Morita ：Harashima, and Takashi Miyake ： Curie

Critical Roles for Coiled-Coil Dimers ofTemperature of Sm2Fe17 and Nd2Fe14B: A

Butyrophilin 3A1 in the Sensing of Prenyl

First-Principles

IEEE

Pyrophosphates by Human Vγ2Vδ2 T Cells：

TRANSACTIONS ON MAGNETICS, Vol.55,

The Journal of Immunology, Vol.203, No.3,

No.7, pp.2101305-1 - 2101305-5, 2019

pp.607 - 626, 2019

Study

：

17. Taro Fukazawa, Hisazumi Akai, Yosuke

24. Hideaki Takahashi, Daiki Suzuoka, ShunHarashima, Takashi Miyake： First-principles

Sakuraba, Akihiro Morita ：study

Role of thedispersion

inPhotosystem II as an Environment in the

Journalof

Oxidation Free Energy of the Mn Cluster from

Magnetism and Magnetic Materials, Vol.469,

S1 to S2： The Journal of Physical Chemistrypp.296 - 301, 2018

B, Vol.123, No.33, pp.7081 - 7091, 2019of

spin-wave

Sm(Fe_{1?x}Co_{x})_{12} ：18. Taro Fukazawa, Yosuke Harashima, Zhufeng
Hou, and Takashi Miyake ：25. Hideaki Takahashi, Shun Sakuraba, Akihiro

Bayesian

Morita： Large-Scale Parallel Implementation

optimization of chemical composition: Aof Hartree-Fock Exchange Energy on Real-

comprehensive framework and its application

Space Grids Using 3D-Parallel Fast Fourier

toTransform： Journal of chemical information

RFe12-typemagnetcompounds ：PHYSICAL REVIEW MATERIALS, Vol.3,
pp.053807-1 - 053807-15, 2019

【4601 物理化学】
26. Tatsuya Joutsuka, Satoshi Yamauchi： Low-

【4306 生物物理・化学物理】
19. Hirotaka

Kitoh-Nishioka,

and modeling, Vol.60, No.3, pp.1376 -, 2020

Koji

Ando ：

pressure chemical vapor deposition of Cu on

Calculation of Charge-Transfer ElectronicRu substrate using CuI:: Ab initio calculations：

Coupling with Nonempirically Tuned Range-

Chemical Physics Letters, Vol.741, pp.137108,

Separated Density Functional： The Journal

2020

of Physical Chemistry C, Vol.123, No.18,
pp.11351 - 11361, 201927. Tatsuya Joutsuka and Satoshi Yamauchi ：Low-pressure chemical vapor deposition of Cu

20. Hirotaka Kitoh-Nishioka, Yasuteru Shigeta,

on Ru substrate using CuI: Ab initio

Shigeru Itoh, Akihiro Kimura ： Excitonic

calculations ： Chem. Phys. Lett., Vol.741,

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 23

pp.137108 -, 2020

【5001 機械材料・材料力学】
34. 金崎真人，北口尚紀，西川雅章，北條正樹： 融【4602 有機化学】
Junko

点近傍における CF/PA6 一方向板の粘度と流動Motokawa, Simon Clevers, Gerard Coquerel,

特性の関係： 日本複合材料学会誌, Vol.44, No.5,

Hirohito Tsue, and Rui Tamura： A Novel

pp.173 - 182, 201828. Hiroki

Takahashi,

Yuki

Numao,

Enrichment

35. 若山航瑶，松田直樹，加藤久弥，北條正樹，西川Phenomenon Observed for the Cocrystal of

雅章： 擬似等方積層 CFRP の圧縮破壊における(RS)-2-{4-[(4-面外方向せん断応力の影響： 第 10 回日本複合Chlorophenoxy)methyl]phenoxy}propionic

材料会議（JCCM-10）講演論文集, 2019

MechanismofPreferential

Chemistry A

36. 三村俊太, 阿部拓真，日下貴之，森直樹，高木清European journal, Vol.25, pp.16405 - 16413,

嘉，北條正樹，西川雅章，松田直樹： CFRP 接

2019

着接合継手の非線形変形を考慮した強度解析モ

Acid and Isonicotinamide ：【4702 合成化学】

デリング： 第 10 回日本複合材料会議（JCCM-

29. Iwamoto, H.; Hayashi, Y.; Ozawa, Y.; Ito, H.：

10）講演論文集, 2019

Silyl-group-directed Linear-selective Allylation

37. M. Nishikawa, Y. Naito, N. Matsuda, M. Hojo：

of Carbonyl Compounds with Trisubstituted

Finite element modeling of layup process with

Allylboronates Using a Copper(I) Catalyst：

heat transfer and deformation process of

ACS Catalysis, Vol.10, pp.2471 - 2476, 2020

CFRTP： Proc. 22nd International Conference
on Composite Materials 2019（ICCM22）, 2019

【4801 機能材料・デバイス】
30. Yoshiyuki Miyamoto, Tokutaro Komatsu ：38. Y. Abo, Y. Tanaka, M. Nishikawa, M. Iwashita,

Molecular-scale modeling of light emission by

K. Yamada, K. Kawabe, M. Nishi, N. Matsuda,

combustion: An ab initio study ： Scientific

M. Hojo ： Simulation and experiments ofReports, Vol.9, pp.12707 -, 2019mechanical properties dominating the press

31. Ken-ichi Otake, Kazuya Otsubo, Tokutaro

molding using CFRTP preforms： Proc. 22nd

Komatsu, Shun Dekura, Jared M. Taylor,International

Ryuichi Ikeda, Kunihisa Sugimoto, AkihikoMaterials 2019（ICCM22）, 2019

ConferenceonComposite

Fujiwara, Chien-Pin Chou, Aditya Wibawa

39. S. Mimura, T. Abe, T. Kusaka, N. Mori, K.

Sakti, Yoshifumi Nishimura, Hiromi Nakai &Takagi, M. Hojo, M. Nishikawa, N. Matsuda：

Hiroshi Kitagawa： Confined water-mediatedNumerical Modeling of Adhesively Bonded

high proton conduction in hydrophobic channel

CFRP Joints Considering the Non-Linearof

Deformation of the Adhesive Layers： Proc.

asynthetic

nanotube ：NatureCommunications, Vol.11, pp.843-, 2020

22nd International Conference on Composite

32. Tomohiro Higashino, Hitomi Iiyama, Yuma
Kurumisawa,

HiroshiImahoriMaterials 2019（ICCM22）, 2019：40. Masaaki Nishikawa, Kohei Yamada, Satoru

Thiazolocatechol: Electron ‐ Withdrawing

Yamamoto, Manato Kanesaki, Naoki Matsuda,

CatecholDye ‐Kazumasa Kawabe, Masaki Hojo： Elastic-

Sensitized Solar Cells ： ChemPhysChem,

plastic finite element analysis on three-point

Vol.20, pp.2689 - 2695, 2019bending tests for thin-ply CFRP laminates：

Anchoring

Group

for

【4905 工学基礎】

Proc. 16th Japan International SAMPE

33. 三澤 亮太、西村 直志： Burton-Miller の定式

Symposium and Exhibition (JISSE-16), 2019

化と同一の複素固有値を持つNyström 法に適し

41. 三村俊太, 稲員翔平, 日下貴之, 高木清嘉, 北條

た 2 次元 Helmholtz 方程式の境界積分方程式に正樹, 西川雅章, 松田直樹： CFRP 接着接合継ついて： 計算数理工学論文集, Vol.19, pp.61 - 66,

手における接着剤及び被着体の破壊予測モデル

2019

に関する研究： 第 44 回複合材料シンポジウム

24 − Academic Center for Computing and Media Studies, Kyoto University

premixed combustion ：講演論文集, 201942. 田中陽祐, 阿保勇治，西川雅章，岩下美和，山田Physical Review

Fluids, Vol.4, No.10, pp.103201 -, 2019

耕平，川邊和正，松田直樹，北條正樹： 熱可塑【5202 構造工学・地震工学・維持管理工学】

性 CFRP 中間基材の賦形プロセスにおけるせん

50. 相馬 悠人： 界面の摩擦接触を考慮した損傷モ

断変形特性の実験的および解析的検討： 第57回

デルによる鉄筋コンクリートの破壊シミュレー

飛行機シンポジウム 講演論文集, 2019

ション： 土木学会論文集 A2(応用力学), Vol.75,

43. Y. Abo, Y. Tanaka, M. Nishikawa, M. Iwashita,
K. Yamada, K. Kawabe, M. Nishi, N. Matsuda,
M. Hojo ：No.2, pp.I_165～I_173, 2020
51. 浅井光輝，原倖平，磯部大吾郎，田中聖三： ASI-

Experimental evaluation ofGauss 法による骨組み崩壊解析に基づく阿蘇大formability in preforming process using

橋崩壊メカニズムの推定： 構造工学論文集,

CFRTP preforms ： 1st Russia-Japan Joint

Vol.66A, pp.59～69, 2020

Workshop on Composite Materials (RJCM-1),

52. Kohei Hara, Mitsuteru Asai, Daigoro Isobe,
Seizo Tanaka： Application of ASI-Gauss code2019
44. Masaaki Nishikawa, Naoki Matsuda, Masaki

for wooden houses collapse analysis of entire

Hojo： Approaches to damage modeling forcity by earthquake and tsunami： Proceedings

advanced composite materials and structuresofbased on peridynamics ： 1st Russia-Japan

Computational Mechanics, 2019

7th

Asian

Pacific

Congresson

Joint Workshop on Composite Materials【5401 金属物性】(RJCM-1), 201953. T. Gake, Y. Kumagai, and F. Oba ： First-

45. 阿保勇治，田中陽介，西川雅章，岩下美和，山田principles study of self-trapped holes and耕平，川邊和正，西 正人，松田直樹，北條正樹：

acceptor impurities in Ga2O3 ： Phys. Rev.

LS-DYNA による熱可塑性 CFRP 中間基材の賦Mater., Vol.3, No.4, pp.044603-1 - 044603-11,形解析： JSOL CAE フォーラム ポスター発表,

2019
54. Y. Hinuma, T. Gake, and F. Oba ： Band2019【5004 流体工学】

alignment at surfaces and heterointerfaces of

46. 菅野 雅也, 横嶋 哲： 壁乱流における壁の空隙

Al2O3, Ga2O3, In2O3, and related group-III

特性と流れ特性の関係： 第 65 回理論応用力学

oxide polymorphs: A first-principles study ：講演会・第 22 回応用力学シンポジウム ,Phys. Rev. Mater., Vol.3, No.8, pp.084605-1 -pp.C000178, 2019084605-11, 201947. 菅野 雅也, 横嶋 哲： メッシュ状透過性境界を

55. Y. Kuroiwa, Y. Matsushita, K. Harada, and F.

有するチャネル乱流 DNS における計算領域サ

Oba： Theoretical prediction of strain-induced

イズと空間解像度依存性： 日本機械学会 東海

carrier effective mass modulation in 4H-SiC

支部 第 69 期総会・講演会 講演論文集,

and GaN： Appl. Phys. Lett., Vol.115, No.11,

No.203-1, pp., 2020

pp.112102-1 - 112102-5, 201948. Haruhiko Shirai ・ Hiromichi Mitamura ・

56. N. Tsunoda, Y. Kumagai, and F. Oba ：Nobuaki Arai ・ Kazuyuki Moriya： Study ofStabilization of small polarons in BaTiO3 byenergylocal distortions ： Phys. Rev. Mater., Vol.3,

harvesting

from

low

frequency

vibration with ferromagnetic powder and nonmagnetic fluid： Plasmocs (Springer), Vol.14,

57. T. Nagai, Y. Mochizuki, H. Shirakuni, A.
Nakano, F. Oba, I. Terasaki, and H. Taniguchi：

No.6, pp.1557-1963(Online), 201949. Umair Ahmed, Abhishek L. Pillai, Nilanjan
Chakraborty, Ryoichi Kurose ：No.11, pp.114602-1 - 114602-6, 2019

Statistical

Phase transition from weak ferroelectricity toincipientferroelectricity

in

Li2Sr(Nb1-

behavior of turbulent kinetic energy transportxTax)2O7： Chem. Mater., Vol.32, No.2, pp.744

in boundary layer flashback of hydrogen-rich- 750, 2020

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 25

58. T. Gake, Y. Kumagai, C. Freysoldt, and F. Oba：

66. Takashi Horiuchi, Lei Wang, Atsushi Sekimoto,

Finite-size corrections for defect-involving

Yasunori Okano, Toru Ujihara, and Sadik

vertical transitions in supercell calculations：

Dost： Adjoint-based sensitivity analysis forPhys. Rev. B, Vol.101, No.2, pp.020102(R)-1 -the optimal crucible temperature profile in the020102(R)-5, 2020

RF-Heating TSSG-SiC crystal growth process：【5402 無機材料・物性】

Journal of Crystal Growth, Vol.517, pp.59 - 63,

59. Hinuma, Y.; Gake, T.; Oba, F. ：

Band

2019

alignment at surfaces and heterointerfaces of

67. J.G. Zhang, T. Yoshimura, A. Sekimoto, T. Ban,

Al2O3, Ga2O3, In2O3, and related group-III

Y. Okano, H. Khodamoradi, T. Ujihara, S.

oxide polymorphs: A first-principles study.：

Dost： Numerical simulation of the transport

Phys. Rev. Mater., Vol.3, No.84605, 2019

phenomena occurring in the Bottom Seeded【5406 金属生産工学】

Solution Growth (BSSG) process of SiC： 18th

60. Takuya Yamamoto, Wataru Kato, Sergey

Asian Pacific Confederation of Chemical

Komarov, Yasuo Ishiwata： Investigation onthesurfacevortexformation

duringmechanical stirring with an axial-flow impeller

Engineering Congress (APCChE2019), 2019
【5601 航空宇宙工学】
68. Kengo

Nakamura,

Hiroyuki

Koizumi,used in an aluminum process： Metallurgical

Masakatsu Nakano, and Yoshinori Takao ：and Materials Transactions B, Vol.50B, pp.

Effects

2547- 2556, 2019

characteristics of water plasma source for aofnegativeionsondischarge

61. Kenya Kato, Takuya Yamamoto, Sergey V.

miniature microwave discharge ion thruster：

Komarov, Ryosuke Taniguchi, Yasuo Ishiwata：

Physics of Plasmas, Vol.26, No.4, pp.043508-1 -Evaluation of Mass Transfer in an Aluminum

043508-10, 2019

Melting Furnace Stirred Mechanically during

69. Yosuke Sato, Hiroyuki Koizumi, Masakatsu

Flux Treatment ： Materials Transactions,Nakano, and Yoshinori Takao ：Vol.60, No.9, pp.2008 - 2015, 2019

extraction enhancement via the magnetic field

62. 山本卓也、コマロフセルゲイ： アルミニウム脱inaminiature

microwave

Electrondischarge

ガス装置内気泡分裂挙動の解明： 第 112 回軽金neutralizer ： Journal of Applied Physics,

属シンポジウム 「アルミニウム溶湯処理・溶湯

Vol.126, No.24, pp.243302-1 - 243302-12, 2019

品質評価方法」 概要集, 2019

【6801 化学系薬学】

63. 山本卓也、コマロフセルゲイ、石渡保生： 異な70. Nanjo, T.; Zhang, X.; Tokuhiro, Y.; Takemoto,る翼端渦条件におけるアルミニウ ム機械撹拌

Y.： Divergent and Scalable Synthesis of α-

中気泡分裂挙動の解明： 軽金属学会第 137 回秋

Hydroxy/Keto-β-amino Acid Analogues by the期大会 概要集, 2019

Catalytic

64. 山本卓也： 数値シミュレーションによるアルミ
ニウム溶湯処理の視覚化と定量化： 軽金属学会
第 137 回秋期大会 概要集, 2019
【5501 化工物性・移動操作・単位操作】
65. Takashi Horiuchi, Lei Wang, Atsushi Sekimoto,

Enantioselective

AdditionofGlyoxylate Cyanohydrin to Imines ： ACS
catal., Vol.9, pp.10087 - 10092, 2019
【9999 その他】
71. Hidetoshi Kono, Shun Sakuraba and Hisashi
Ishida： Free energy profile for unwrapping

Yasunori Okano, Takuya Yamamoto, Toru

outer

Ujihara, and Sadik Dost. ： The effect of

nucleosome： Biophysics and Physicobiology,

crucible rotation and crucible size in top-seeded

Vol.16, pp.337 - 343, 2019solution growth of single crystal siliconcarbide： Crystal Research and Technology,
Vol.54, No.5, pp.1900014 (6p), 201926 − Academic Center for Computing and Media Studies, Kyoto University

superhelical

turn

of

CENP-A京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 27

資料

別表１ スーパーコンピュータシステム
提供サービス
利用負担額
コース

タイプ

セット

エントリ

タイプA
タイプB
タイプC

基本

パーソナル

タイプA1
タイプA2
タイプA3
タイプB1
グループ
タイプB2
タイプB3
タイプC1
タイプC2
タイプA
大規模ジョブ タイプB
タイプC
専用クラスタ

-

基本
基本
基本
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位
最小
追加単位

ストレージ容量追加
ライセンスサービス

システム バッチ

12,600 円/年
100,000 円/年
100,000 円/年
100,000 円/年
200,000 円/年
100,000 円/年
240,000 円/年
60,000 円/年
600,000 円/年
300,000 円/年
210,000 円/年
105,000 円/年
252,000 円/年
63,000 円/年
630,000 円/年
315,000 円/年
130,000 円/年
130,000 円/年
156,000 円/年
78,000 円/年
20,000 円/週(7日）
10,000 円/週(7日）
21,000 円/週(7日）
10,500 円/週(7日）
13,000 円/週(7日）
6,500 円/週(7日）
630,000 円/年
315,000 円/年
10,000 円/年
20,000 円/年

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

最大1ノード相当((36コア、128GBメモリ)×1)
1
最大4ノード相当((68コア、16+96GBメモリ)×4)
最大4ノード相当((36コア、128GBメモリ)×4)
168
B
最大1ノード相当((72コア、3072GBメモリ)×1)
C
4ノード((68コア、16+96GBメモリ)×4)
優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)A
準優先
2ノード((68コア、16+96GBメモリ)×2)
8ノード((68コア、16+96GBメモリ)×8)
占有
4ノード((68コア、16+96GBメモリ)×4)
4ノード((36コア、128GBメモリ)×4)
優先
2ノード((36コア、128GBメモリ)×2)
336
8ノード((36コア、128GBメモリ)×8)
B
準優先
2ノード((36コア、128GBメモリ)×2)
8ノード((36コア、128GBメモリ)×8)
占有
4ノード((36コア、128GBメモリ)×4)
1ノード((72コア、3072GBメモリ)×1)
優先
1ノード((72コア、3072GBメモリ)×1)
C
2ノード((72コア、3072GBメモリ)×2)
準優先
1ノード((72コア、3072GBメモリ)×1)
8ノード((68コア、16+96GBメモリ)×8)A
占有
4ノード((68コア、16+96GBメモリ)×4)
8ノード((36コア、128GBメモリ)×8)B
占有
168
4ノード((36コア、128GBメモリ)×4)
2ノード((72コア、3072GBメモリ)×2)
C
占有
1ノード((72コア、3072GBメモリ)×1)
8ノード((36コア、128GBメモリ)×8)
B
4ノード((36コア、128GBメモリ)×4)
ストレージ容量10TBの追加につき可視化ソフト（AVS,ENVI/IDL)およびプリポストウェアの1ライセンスにつき
B
A

共有
共有
共有
共有

0.2
3.0
3.0
3.0
24.0
12.0
28.8
7.2
48.0
24.0
24.0
12.0
28.8
7.2
48.0
24.0
24.0
24.0
28.8
14.4

-

-

-

8
4
16
4
16
8
8
4
16
4
16
8
8
8
16
8

48.0
24.0

16
8

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． 大型計算機システムの全ての利用者は、上記表のサービスの他、次のサービスを受けることができる。
1） 大判プリンタサービス
2） その他、大型計算機システムが提供するサービス、機器の利用
3． 上記表の大規模ジョブコース、ストレージ容量追加、ライセンスサービスの申請には、スーパーコンピュータシステムの利用者であることが必要である。
4． 「共有」： 当該カテゴリのユーザ間で一定の計算資源を共有するベストエフォートのスケジューリングを行う。
「準優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/4の計算資源が確保されることを保証する。
「優先」： 定常稼働状況において記載値（以上）の計算資源が確保されるように優先スケジューリングを行う。
また、稼働状況によらず記載値の1/2の計算資源が確保されることを保証する。
「占有」： 稼働状況によらず記載値の計算資源が確保されることを保証する。
5． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。
6． グループコース及び専用クラスタコースの利用者番号は利用者あたり年額5,000円を負担することで追加できる。
7 ． 機関・部局定額制度
他機関又は学内における部局（『国立大学法人京都大学の組織に関する規程』第3章第2節から第11節で定める組織をいう。）の組織が、その組織単位でグループコースサービスを利用申請する場合の利用負担額は、別表１に規定する
1.5倍の額とする。なお、利用負担額が年額150万円未満の場合は100人、年額150万円を超える場合は、150万円毎に100人までの利用者を認める。ストレージは、1.5倍の容量とする。
8 ． スパコン連携サービス
学術情報メディアセンターのスーパーコンピュータシステムと密な連携により、学内における部局の組織が計算サーバ等を設置する
場合、下記の負担額を支払うものとする。
冷却方式
水冷
空冷

利用負担額
9,800 円/月
11,500 円/月

利用負担額算定単位
水冷冷却方式の計算サーバ等の定格電力 1kWにつき
空冷冷却方式の計算サーバ等の定格電力 1kWにつき

28 − Academic Center for Computing and Media Studies, Kyoto University

別表２ 汎用コンピュータシステム
区

分

仮想サーバ
ホスティングサービス

利用負担額

単

位

36,000円／年 1仮想サーバにつき

備考
1． 利用負担額は、総額表示である。
2． 上記表の仮想サーバホスティングサービスを利用するには、
スーパーコンピュータシステムの利用者であること。
3． 1仮想サーバに割当てるシステム資源は、CPU：2コア、メモリ：4GB、ディスク：100GBである。
4． 仮想サーバホスティングサービスにおいて、下記の負担額を支払うことによりCPU、メモリ、ディスクを増量することができる。
区

分

利用負担額

単

位

CPU増量

3,000円／年 2コアにつき(最大8コアまで)

メモリ増量

3,000円／年 4GBにつき(最大64GBまで)

ディスク増量6,000円／年 100GBにつき(最大1,000GBまで)

5． 利用負担額は、当該年度(4月から翌年3月まで)の利用に対して年額として算定するが、年度途中から利用を開始する場合には月数に応じて減額する。

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 29

別表３ スーパーコンピュータシステム
システム

A

B

C

システム資源

経過時間 ストレージ
無料
（時間）
（TB)
利用者数

利用負担額

8ノード(68コア、16+96GBメモリ)×8)

336

28.8

16

960,000 円/年

12ノード(68コア、16+96GBメモリ)×12)

336

43.2

24

1,440,000 円/年

16ノード(68コア、16+96GBメモリ)×16)

336

57.6

32

1,920,000 円/年

8ノード(36コア、128GBメモリ)×8)

336

28.8

16

1,008,000 円/年

12ノード(36コア、128GBメモリ)×12)

336

43.2

24

1,512,000 円/年

16ノード(36コア、128GBメモリ)×16)

336

57.6

32

2,016,000 円/年

2ノード(72コア、3072GBメモリ)×2)

336

28.8

16

624,000 円/年

3ノード(72コア、3072GBメモリ)×3)

336

43.2

24

936,000 円/年

4ノード(72コア、3072GBメモリ)×4)

336

57.6

32

1,248,000 円/年

備考
1． 利用負担額は、年度単位で算定している。また、総額表示である。パーソナルコース、グループコース又は専用クラスタコースを、
年度途中から利用を開始する場合及び年度途中で利用を終了する場合の利用負担額は、上記表中の利用負担額を12で除した後、利用月数を乗じて算出するものとし、100円未満に端数が出た場合は、10円単位を四捨五入するものとする。
なお、月途中から利用を開始する場合及び月途中で利用を終了する場合は、それぞれ1月の利用とする。
2． ストレージ容量はバックアップ領域（最大で総容量の1/2）を含む。

30 − Academic Center for Computing and Media Studies, Kyoto University

―1.

サービス利用のための資料一覧―

スーパーコンピュータシステム・ホスト一覧
システム A：camphor.kudpc.kyoto-u.ac.jp



システム B・C：laurel. kudpc.kyoto-u.ac.jp


システム B（SAS 利用時）
：sas.kudpc.kyoto-u.ac.jp※ ホストへの接続は SSH(Secure SHell) 鍵認証のみ、パスワード認証は不可

2.

問い合わせ先 & リンク集


情報環境機構のホームページ
http://www.iimc.kyoto-u.ac.jp/



学術情報メディアセンターのホームページ
http://www.media.kyoto-u.ac.jp/



スーパーコンピュータシステムに関する問い合わせ先

利用申請などに関する問い合わせ先【情報環境支援センター】
E-mail : zenkoku-kyo@media.kyoto-u.ac.jp / Tel : 075-753-7424
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/

システムの利用など技術的な問い合わせ先【スーパーコンピューティング掛】
E-mail : consult@kudpc.kyoto-u.ac.jp / Tel : 075-753-7426
URL: http://www.iimc.kyoto-u.ac.jp/ja/services/comp/contact.html

京都大学 学術情報メディアセンター 全国共同利用版［広報］Vol.19 No.2（ Jan. 2021）− 31奥付

京都大学学術情報メディアセンター全国共同利用版広報 Vol．19，No．2
2021
年 １月
1 月
日発行
２
０２１年
２９日xx
発行
広報編集部会
編集者 京都大学学術情報メディアセンター

深沢 圭一郎（部会長）

全国共同利用版広報編集部会

平石 拓（副部会長）

発行者 〒606-8501 京都市左京区吉田本町
京都大学学術情報メディアセンター

熊谷 真由美尾形 幸亮

Academic Center for Computing and Media Studies
Kyoto University
Tel. 075-753-7407
http://www.media.kyoto-u.ac.jp/
印刷所 〒616-8102 京都市右京区太秦森ヶ東町 21-10
株式会社エヌジーピー

32 − Academic Center for Computing and Media Studies, Kyoto University

表紙デザイン：中山 豊（中山商店）