資料１
文部科学省研究振興局・（一社）HPCI コンソーシアム・（一財）高度情報科学技術研究機構 主催「京」の運用停止とポスト「京」への移行に向けた説明会 プログラム～HPCI の今後の課題募集について～
日時：2018 年１月 24 日（水）14：00 ～ 16：00
会場：ＴＫＰ東京駅日本橋カンファレンスセンター・ホール 4Ａ
プログラム
１．

趣旨説明
一般社団法人 HPCI コンソーシアム 理事長 中島浩

２．

ポスト「京」の開発計画等について
文部科学省研究振興局参事官（情報担当）

３．

原克彦

HPCI の今後の課題募集と利用支援について
一般財団法人高度情報科学技術研究機構 神戸センター センター長

４．

平山俊雄

情報基盤センター等が運用するスパコンの整備状況と整備計画について
東京大学 情報基盤センター センター長 中村宏

５．

氏

ポスト「京」の開発状況について
理化学研究所 計算科学研究機構 フラッグシップ 2020 プロジェクト
プロジェクトリーダー

石川 裕

氏、

副プロジェクトリーダー

佐藤三久

氏

富士通株式会社 次世代テクニカルコンピューティング開発本部 本部長 新庄直樹
６．

氏

HPCI コンソーシアムとしての検討状況
一般社団法人 HPCI コンソーシアム 副理事長

７．

加藤千幸

意見交換

配布資料
資料１：

「京」の運用停止とポスト「京」への移行に向けた説明会

プログラム

資料２：

ポスト「京」の開発計画等について

資料３：

HPCI の今後の課題募集と利用支援について

資料４：

情報基盤センター等が運用するスパコンの整備状況と整備計画について

資料５－１：

ポスト「京」仕様公開について

資料５－２：

ポスト｢京｣開発の取り組み

資料６－１：HPCI コンソーシアムとしての検討状況

資料６－２：

フラッグシップ計算機停止期間における HPCI の資源提供の在り方と- Arm HPC エコシステムの形成-

ポスト「京」への移行に関する調査・検討報告書（案）
資料７：「京」の運用停止とポスト「京」への移行に向けた説明会に関するアンケート

参考資料：

「京」
、HPCI 及びポスト「京」に関する今後のスケジュール

資料２

ポスト「京」の開発計画等について
平成３０年１月２４日
文部科学省 研究振興局
参事官(情報担当)付 計算科学技術推進室

ｽｰﾊﾟｰｺﾝﾋﾟｭｰﾀ｢京｣及び
革新的ﾊｲﾊﾟﾌｫｰﾏﾝｽ･ｺﾝﾋﾟｭｰﾃｨﾝｸﾞ･ｲﾝﾌﾗ(HPCI)の運営

平成３０年度予算額（案）（平成２９年度予算額：12,649百万円：12,610百万円）【平成２９年度補正予算案：

480百万円】

背景・課題〇 「京」を中核とし、多様な利用者のニーズに応える革新的な計算環境（ＨＰＣＩ：革新的ハイパフォーマンス・コンピューティング・インフラ）を構築し、その利用を推進することで、我が国の科学技術の発展、産業競争力の強化、安全・安心な社会の構築に貢献する。
【成長戦略等における記載】（科学技術イノベーション総合戦略2017）〇 国は、研究開発活動を支える共通基盤技術や先端的な研究機器、基盤となる施設の強化を図るとともに、研究施設・設備等の全体像を俯瞰した上で、その規模や特性等に応じた戦略的な共用の促進や、研究開発と共用の好循環の確立を図る必要がある。
事業概要

フラッグシップシステム

１．「京」の運営 11,176百万円（11,182百万円）〇 平成24年９月末に共用を開始した「京」の運用を着実に進めるとともに、その利用を推進。
①「京」の運営 10,336百万円（10,342百万円）②「京」の利用促進 840百万円 （840百万円）
２．HPCIの運営

北大「京」の利用実績（平成29年9月末時点）（兵庫県神戸市）
・利用者 2,200人以上
・全体の3割が産業界（170社以上） 第２階層スパコン「京」の運転実績（平成28年度実績）
統数研
・運転時間 8,321時間
京大
・稼働率
98.7％
東大

1,473百万円（1,428百万円）

九大〇 「京」を中核として国内の大学等のスパコンを高速ネットワークでつなぎ、利用者が一つのアカウントにより様々なスパコンやストレージを利用できるようにするなど、多様なユーザーニーズに応える環境を構築し、全国のユーザーの利用に供する。
【これまでの成果例】
医療・創薬
心臓の拍動を世界で初めて分子レベルから精密に再現。
特定の遺伝子異常と病気との相関性が知られていた肥大型心筋症のメカニズム解明に貢献。

心臓全体

タンパク質

タンパク質の結合の度合いを分子レベルでシミュレーション。
新薬候補化合物を選定し、前臨床試験を実施中。製薬メー
標的タンパク質（緑）と薬候補
カ－等からなるコンソーシアムによる共同研究を実施（32企
化合物（赤）
業・機関等が参画）。
地震・防災・研究
長周期地震動による地表や超高層建築物の詳細な揺れを初めて明らかに。内閣府によ
•地表の揺
れの推計
る「南海トラフ巨大地震及び首都直下地震
結果
地表の揺れの推計結果への対策」に貢献。

阪大

名大

東北大
筑波大
東工大

ＪＡＭＳＴＥＣ

ものづくり

実際の材料に近い10万原子規模の第一原理計算により、世界初のナノレベル高精度シミュレーションを実現。微細化限界を突破したデバイス設計に道筋（2015年ゴードンベル賞受賞）。
断面の電流密度分布

世界で初めて、空気の流れを忠実に実現し、シミュレーションによる風洞実験の代替を実証。自動車メーカー等からなるコンソーシアムによる共同研究を実施（22企業・機関等が参画）。
宇宙
宇宙の構造形成過程の解明のため、世界最大規模の数兆個のダークマター粒子のシミュレーション（2012年ゴードンベル賞受賞）。

自動車の
周りの
空気の流れ

宇宙誕生から
１ 億 年 後 のダークマター
空間分布2

平成３０年度予算額（案）（平成２９年度予算額

ポスト｢京｣の開発：5,630百万円：6,700百万円）

背景・課題

〇

スーパーコンピュータは、理論、実験と並ぶ科学技術第３の手法であるシミュレーションの強力なツールであり、国民生活の安全・安心や国際競争力の確保のための先端的な研究に不可欠な研究情報基盤である。

【成長戦略等における記載】（未来投資戦略2017）〇 高精度・高速シミュレーションを実現する最先端スーパーコンピュータの利用に係る研究開発とその産業利用の促進
事業概要【事業の目的】FY2014 FY2015 FY2016 FY2017 FY2018 FY2019 FY2020 FY2021（H26） （H27） （H28） （H29） （H30） （H31） （H32） （H33）

〇

基本設計

我が国が直面する課題に対応するため、2021年～22年の運用開始を目標 システムに、世界最高水準の汎用性のあるスーパーコンピュータの実現を目指す。

アプリケーション【事業の概要】試作・詳細設計

製造・調整

アプリケーション開発・研究開発

運用
実証★ 平成30年度秋頃（予定）の【システムの特色】
システムとアプリケーションを協調的に開発することにより、中間評価を踏まえ、製造段階
世界最高水準の汎用性、最大で「京」の100倍のアプリケーション
世界最高水準のへの移行を最終的に判断。
実効性能を目指す。
★消費電力性能〇 アプリケーションの対象として、健康長寿、防災・減災、エネル★計算能力
ギー、ものづくり分野等の社会的・科学的課題を選定。
理化学研究所★ユーザーの利便・使い勝手の良さ
計算科学研究機構〇 消費電力：30～40MW（「京」は12.7MW） ○国費総額：約1,100億円〇★画期的な成果の創出【期待される成果例】

電気自動車のモーターや発電機のための永久磁石を省レアメタル化
で実現

宇宙

高性能材料

地震の揺れ・津波の進入・市民の避難経路をメートル単位でシミュ
レーション

燃料電池の電流・電圧性能を予測・
高性能化

ものづくり

気象ビッグデータ解析により、
局地的豪雨を的確に予測

燃料電池

地震・
防災

個別化医療

医療ビッグデータ解析で、個人のがん・心疾患予防と治療支援を実現

気象・
気候

創薬基盤

高速・高精度な創薬シミュレー
ションの実現（兵庫県神戸市）
飛行機の実機試験を一部代替し、開発期間・コストを大幅に削減

宇宙でいつどのように物質が創られたのかなど、科学の根源的な問
いへの挑戦

3

資料３

HPCIの今後の課題募集と利用支援
について「京」の運用停止とポスト「京」への移行に向けた説明会
平成30年1月24日
登録施設利用促進機関／文部科学省委託事業「HPCIの運営」代表機関
一般財団法人高度情報科学技術研究機構

「京」の更新期間における「京」／HPCI課題募集
ポスト「京」の開発が12か月延伸する場合
H31（2019）年度中に「京」の運用は停止するため、停止時期に対応してH30Bの課題募集を実施「京」の代替資源は、第二階層等から提供予定
H30B期課題（H30/10～）

H30（2018）年度
4月

7月

10月

1月

4月

7月

②

10月

1年課題

H32（2020）年度
1月

4月

7月

10月

H33（2021）年度
1月

4月

7月

・利用報告書の受付
・成果の公表・普及
・代替資源への移行支援

H30B期課題

H31HPCI課題： 想定される「京」の停止時期が②H31.6末の場合、追加される課題実施期間
+

9ヶ月課題

③

「京」

H30HPCI課題

半年課題

（未定）

H30A期課題

HPCI③H31.9末

H31（2019）年度①

H29B期課題①H31.3末想定される「京」の停止時期②H31.6末： 想定される「京」の停止時期が③H31.9末の場合、追加される課題実施期間

H32HPCI課題

H33HPCI課題
2

HPCI利用研究課題募集枠の比較「京」とHPCIの利用課題には違いがある
HPCIコンソーシアムの意見を聴いてHPCIシステム構成機関と協議し、「京」の代替資源としての募集枠を設定

定期募集

無償

無償
随時募集
有償

利用研究課題「京」

HPCI

一般（アカデミア）利用

・年2回募集・資源枠を設けず上位から選定

・年1回募集・jobクラス（S/L）毎に上位から選定

若手人材育成・同上・課題の設定なし

産業利用（実証利用）

・同上

・年1回募集・jobクラス（S/L）毎に上位から選定
・産業利用課題への割り当て資源量少一般（アカデミア）利用
トライアル

・随時受付、4半期毎に選定
・6か月間の利用

・課題の設定なし

産業利用トライアル・随時受付、選定
・6か月間の利用・随時受付、選定、当該年度内利用・構成機関11機関中、9機関が受入

産業利用（個別利用）

・随時受付、選定
・1年間の利用・随時受付、選定、当該年度内利用・構成機関11機関中、3機関が受入

競争的資金・随時受付、選定
・1年間の利用・課題の設定なし

ASP

・随時受付、選定

・課題の設定なし
Copyright 2017 RIST

3

「京」停止期間における利用者支援「京」を除くHPCIシステム(以下 HPCIシステム)利用者に対する支援「京」を含むHPCIシステムの利用者

これまでと同様に、HPCIシステムの利用者に対しヘルプデスクを一次窓口として、HPCIシステム構成機関と連携して支援を実施
ヘルプデスク

多様なHPCIシステムアーキテクチャに対応する支援体制を整備～ワンストップサービス窓口～

支援用プラットフォームの整備(ｘ86クラスタ、Intel Phi、GPGPU）
これらのプラットフォーム向けのチュートリアルの準備、実施等。

「利用者が多いまたは見込まれるアプリソフト」等の利用環境を
HPCIシステム構成機関と連携し整備*することにより、ユーザの利便性向上、成果の早期の創出、システムの効率的な利用、ユーザのすそ野拡大等、を図る。
* : アプリの最新版の導入、必要なライブラリ、実行シェル等の準備、チュートリアル・ドキュメントの整備、セミナー・ワークショップの開催など。

利用者向け情報提供
課題募集や講習会等の案内、提供資源
詳細や利用成果等の最新情報の提供

連携
研究相談

講習会・セミナー

産業界とアカデミアとのマッチング

オンサイトも可能な各種講
習会・セミナーの実施

高度化支援
利用するプログラムの並列化、高速化支援

利用環境整備HPCI構成機関

HPCIシステムにおけるアプリソフト利用環境整備

利用相談・利用支援
申請前相談・申請書作成
支援から課題採択後利用
支援まで

利用ニーズが高いアプリの移植、アプリ利用や実行方法等の情報提供

プリポスト支援
計算結果の可視化についての相談・支援

利用が多いOSS(オープンソーフソフト） : HPCIシステム構成機関における導入状況について詳細情報の発信、利用支援ノウハウの共有。
主要な国プロアプリ ： 研究コミュニティ・HPCIシステム構成機関と連携して環境整備を推進。
Copyright 2017 RIST

4

資料４

情報基盤センター等が運用するスパコンの整備状況と整備計画について東京大学 情報基盤センター 中村宏

注：本資料に掲載されている内容は予告なく変更される場合があります謝辞
本資料は、「全国共同利用情報基盤センター長会議」の下に設置された「今後の HPCI 第２階層システム検討委員会」で取りまとめた「今後10年間のHPCI第2階層システムの開発・整備・運用計画」を基に作成した。
所属

職名

氏名

委員長

東京大学

情報基盤センター

センター長

中村

委員

北海道大学

情報基盤センター

教授

岩下 武史

委員

東北大学

サイバーサイエンスセンター

セ ン タ ー 長
小林 広明
特別補佐

委員

筑波大学

計算科学研究センター

副センター長

朴

委員

東京大学

情報基盤センター

教授

中島 研吾

委員

東京工業大学

学術国際情報センター

副センター長

青木 尊之

委員

名古屋大学

情報基盤センター

センター長

森

健策

委員

京都大学

学術情報メディアセンター

教授

中島

浩

委員

大阪大学

サイバーメディアセンター

センター長

下條 真司

委員

九州大学

情報基盤研究開発センター

副センター長小野 謙二

委員

国立情報学研究所

副所長

安達

委員

国 立 研 究 開 発 法 人 理 化 学 研 究 所 研究部門
計算科学研究機構
プログラミング環境研究チーム

チームリーダー佐藤 三久

委員

国立研究開発法人海洋研究開発機構

地球情報基盤センター

センター長

高橋

桂子

委員

統計数理研究所

統計科学技術センター

副センター長

足立

淳

オブザーバ

文部科学省

澤田

和宏

オブザーバ

文部科学省

塚本

暢

オブザーバ

文部科学省

山木

大輔

振興局参事官（情報担当）付
参事官補佐
計算科学技術推進室
振興局参事官（情報担当）付
専門職
計算科学技術推進室
振興局参事官（情報担当）付
調査員
計算科学技術推進室

宏

泰祐

淳

HPCI第2階層システム 運用＆整備計画 (2017年10月時点）
HPCIコンソーシアムのお知らせページに掲載分を一部改変
Fiscal Year

2016

2017

2018

Hokkaido

HITACHI
SR16000/M1（172TF,
22TB）
HITACHI SR16000/M1（172TF,
22TB）
Cloud System BS2000 （44TF, 14TB）
Cloud System BS2000 （44TF, 14TB
Data Science Cloud / Storage HA8000 / WOS7000（10TF, 1.96PB）

Tsukuba

SX-ACE(707TF,160TB, 655TB/s)
LX406e(31TF), Storage(4PB), 3D Vis, 2MW
PPX1(62TF)

HAPACS(1166TF)

Tokyo Tech.

Kyoto
Osaka
KyushuJAMSTEC
ISM

2022(3.5アップグレード可能なら2019に40PF)TSUBAME 2.6として 延長運用の可能性 最大5 PF

2MW in total

Cray XC30 (584TF)

NEC SX-ACE NEC Express5800(423TF) (22.4TF)
HA8000 (712TF, 242 TB)
SR16000 (8.2TF, 6TB)

2.0MW

FX10 (272.4TF, 36 TB)
CX400 (966.2 TF, 183TB)

200+ PF (FAC)
6.5MW

両システムで

1.4MW

TSUBAME 4.0 (100+ PF, >10PB/s, ~2.0MW)

up to 4MW

100+ PF (FAC/UCC+CFL-M) up to 4MW

50-100+ PF(FAC/TPF + UCC) 1.8-2.4 MW
3.2PB/s,15~25Pflop/s, 1.0-1.5MW (CFL-M)

OCTOPUS 1.463PF (UCC)

200-300+ PF(FAC/TPF + UCC) 2 MW
25.6 PB/s, 50-100Pflop/s (TPF)
1.5-2.0MW

100+ PF(FAC/TPF + UCC/TPF)

Fujitsu PRIMERGY CX subsystem A + B, 10.4 PF (UCC/TPF) 2.7MW
FX10 (90.8TFLOPS)～3MW

100PF, 3MW

SX-ACE(1.3PF, 320TiB) 3MW
UV2000 (98TF,
128TiB) 0.3MW

2027

100~200 PF,
100-200 PB/s
(CFL-D/CFL-D) ~4 MW

BDEC 50+ PF (FAC) 3.5MW

50+ PF (FAC/UCC + CFL-M)

Cray XC40(5.5PF) + CS400(1.0PF)
1.33 MW(983TF)

2026

100+ PF 4.5MW(UCC + TPF)

Oakbridge-II 5-10 PF 1.0MW

Fujitsu FX100 (2.9PF, 81 TiB)
Fujitsu CX400 (774TF, 71TiB)

2025

PACS-XI
100PF (TPF)

Oakforest-PACS (OFP) 25 PF(UCC + TPF) 3.2 MW

TSUBAME 3.0 (12.15 PF, 1.66 PB/s)

Cray:XE6 +GB8K XC30

2024

35 PF （UCC +CFL-M） 2MW

Reedbush-U/H: 1.92 PF (FAC) 0.7MW
Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)
Reedbush-L1.4 PF (FAC) 0.2 MW

TSUBAME 2.5

2023

PACS-X 10PF (TPF) 2MW

Fujitsu FX10 (Oakleaf/Oakbridge) (1.27PFlops, 168TiB, 460 TB/s),(5.7 PF, 110+ TB, 1160 TB/s), 1.4MW

Nagoya2021~30PF, ~30PB/s Mem BW (CFL-D/CFL-M) ~3MW

PPX2 (62TF)

COMA (PACS-IX) (1001 TF)

Tokyo

2020

3.7 PF (UCC + CFL/M) 1.0MW
0.15 PF (Cloud) 0.1MW）

Tohoku2019

http://www.hpci-c.jp/news/HPCI-infra-20171025-summary.pdf

2PF, 0.3MW
電力は最大供給量（空調システム含む）

HPCI第2階層システム分類• Flagship-Aligned Commercial Machine (FAC)：フラグシップシステムと同様のマシン– フラグシップシステムユーザの多くを抱えるセンターやフラグシップシステムと同様のシステムを整備することによりユーザニーズに合致するだけでなくよりフラグシップシステムへの橋渡しができると判断するセンターが、フラグシッ
プシステム同様のシステムを整備していく。しかし、スパコン調達では、要求性能および要求機能を仕様とし製品固有機能をMUSTとすることはないために、フラグシップシステムと同系列のシステムが入るとは限らない。

• Complimentary Function Leading Machine (CFL-M, CFL-D):フラグシップシステムがカバーできない応用領域を支援するマシン– センターが抱えるユーザの応用領域をフラグシップシステムで実行しても必ずしも効率よく実行できるとは限らない。
そのようなセンターはユーザニーズに沿ったマシンを設置していく。スパコンメーカの開発動向から従来のスパコン調達で設置する場合（CFL-M)と、ユーザニーズに沿った何らかの開発を含めた調達が考えられる（CFL-D)は、
CFL-Dに関しては、その必要性を考慮の上、競争的資金による開発が行われることが望まれる。なお、フラグシップ
システムがカバーしない応用領域については、フラグシップシステム開発元が情報開示しないと議論できない。

• Upscale Commodity Cluster Machine (UCC): コモディティクラスタからの大規模並列処理を支援するマシン– フラグシップシステムを含むスパコンが研究室レベルにまで下方展開できない限り、研究室レベルではコモディティク
ラスタが利用され続ける。センターは、そのようなユーザがより大規模並列処理へと向かうような大規模コモディティ
クラスタを整備していく。

• Technology Path-Forward Machine (TPF): 将来のHPC基盤に向けた先端マシン– 既存アプリケーションを動かしたいというレベルのユーザニーズではなく、ユーザ応用分野が要求する計算手法や計算資源量を勘案しながら、市場には投入されていない先端マシンを設計試作し、調達手続きを経てマシンを整備していく。ユーザと共にそのような先端マシン上のアプリケーションを開発していくことになる。さらにこのようなシステ
ムを通じて次の世代のフラグシップシステムへとつながっていくだろう。

資料５－１

ポスト「京」仕様公開について

理化学研究所 計算科学研究機構
平成30年1月2４日

ポスト「京」情報公開＆性能推定および最適化環境＆Early Access ProgramNOW

CY2017

CY2018
試作・詳細設計

CY2019CY2020
製造

設置・調整

CY2021運用

コスト・性能評価▲中間評価(文科省)◆◆(CSTI)仕様

Armv8-A + SVE

概要

ノード・全体性能
随時更新

最適化手引き
性能推定＆
最適化環境(申請ベース)
Early Access
Program

理研AICS FX100利用
理研AICS 性能シミュレータ利用

今後文科省で詳細を調整• 現在、理研AICS性能シミュレータ利用可能。ただし今まで詳細設計を通してターゲットアプリケーションの性能推定と共に
富士通製コンパイラの課題を洗い出し改善してきている。アプリケーション開発者向けにコンパイラが提供されるのは2018年春を予定しているがその成熟度は途上であり、その後もコンパイラの改善が行われていく• 2018年Q2、最適化手引き執筆開始＆順次公開予定• 2020年Q2、Early Access Program開始予定• 2021年Q1/Q2、一般利用開始予定

2

ポスト「京」ハードウェア概要
CPUアーキテクチャ

Armv8-A + SVE
セクタキャッシュ

富士通拡張

ハードウェアバリア
プリフェッチ

SIMD幅
計算コア数

512 bit48

ネットワークトポロジ

6次元mesh/torus

階層ストレージ

第1階層:SSD
第2階層:HDD
第3階層:検討中

注:• CMG (Core Memory Group),
NUMA Nodeのこと• NOC (Network on Chip)

注:ノードは計算ノードと計算兼I/Oノードから構成され、計算兼I/OノードにSSDが装備される。
計算ノードにはOS処理用に計算のコアに加えて2つのコア（アシスタントコアと呼ぶ）が搭載される。
計算兼I/OノードにはOSおよびI/O処理用に計算のコアに加えて4つのコア（アシスタントコアと呼ぶ）が搭載される。

「京」で稼働しているアプリケーションのポスト「京」への移植では、
1CMG当たり1MPIプロセスを想定するのが適当3

ポスト「京」プログラミング環境概要
プログラミング言語・コンパイラ (富士通提供）
Fortran2008&Fortran2018サブセット



C11&GNU拡張仕様・Clang拡張仕様

C++14&C++17サブセット&GNU拡張仕様・
Clang拡張仕様











XcalableMP

XcalableMPは筑波大・東大が運用する
Oakforest-PACS上でも稼働している。

FDPS (Framework for Developing Particle
Simulator)PiP (Process in Process)pnetCDF, DTF, FTAR

科学技術計算用ライブラリ

uTofu(富士通提供）、LLC(理研提供）

ファイルI/Oライブラリ (理研提供）
Open MPIベース(富士通提供）、MPICH (理研提供）

低レベル通信ライブラリ

プロセス・スレッドライブラリ (理研提供)


MPI 3.1&MPI4.0サブセット
Java

例:Python+NumPy, SciPy

通信ライブラリ

OpenMP 4.5 &OpenMP 5.0サブセット

並列拡張言語＆Domain Specific Library(理研提供）


採用予定のLinuxディストリビューションで配布される各種スクリプト言語利用可能予定さらにコンパイラとしてGCC, LLVMも利用可能予定
スクリプト言語

BLAS, LAPACK, ScaLAPACK, SSL II （富士通提供）
EigenEXA, Batched BLAS （理研提供）

プログラム開発支援ソフトウェア（富士通提供）
プロファイラ、デバッガ、GUI環境
4

ポスト「京」その他ソフトウェア概要
 バッチジョブシステム (富士通提供)
Technical Computing Suite「京」コンピュータ上のバッチジョブシステムの後継

 オープンソースライブラリ、ツール、アプリケーション等•••

Red Hat系 (CentOSもしくはRHEL for Arm, 提供バージョンは現行 Armバージョン以降)ディストリビューションソフトウェアが利用可能
その他のオープンソースや商用アプリケーションの対応を検討するために「京」ユーザにアンケート実施中 (2017年12月28日～2018年2月2日）

計算ノード上OSカーネル•

Linux (RHEL系ディストリビューション採用予定）•

McKernel軽量カーネル (理研提供）•

OSノイズをなくす、Linuxとは異なるメモリ管理機構によりLinuxよりも豊富なページサイズが選択可能ユーザはLinux Only実行環境、Linux + McKernel実行環境を指定できる。
McKernelは筑波大・東大が運用するOakforest-PACS上でも稼働している。

5

ターゲットアプリケーションの概要 2016年度報告書から抜粋
名称

計算手法

コデザイン観点

問題設定

GENESIS

分子動力学法局所および集団通信レ
イテンシ、演算性能(多重ケース処理型計算) より効果的で安全な創薬候補物質のスクリーニ
ングのため、全原子分子動力学シミュレーションにおいて、10 万原子の計算を10万ケース行う。

1
2

Genomon

大容量データ解析

入出力、整数演算(多重ケース処理型計算) 全ゲノムを対象にした解析を、一日あたり600 検体行うことを目標にする。

GAMERA

非構造・構造格子
ステンシル複合の有限要素法

通信・メモリバンド幅(大規模単一処理型計算) 都市域の地盤歪の計算に該当する、1 兆自由度の非構造格子有限要素モデルの非線形地盤地震動解析(120 秒、12 万時間ステップ) をターゲット問題とする。

NICAM+LETKF

構造格子ステンシル有限体積法＋局
所アンサンブル変換カルマンフィルター法(多重ケース処理型計算+大規模単一処理型計算) 多重ケース処理型計算では、全球3.5km 水平メッシュ鉛直94 層、1024 メンバーのアンサンブル
通信・メモリバンド幅、 気象計算結果と、衛星データを含む100 万点規模の観測データとの同化を３時間毎に行ない、2ヶ月間分の同化シミュレーションを行う。大規模単一入出力、SIMD 幅
問題型計算では、全球220m 水平メッシュ鉛直94 層の大気シミュレー
ションを72 時間分実行する。

NTChem高精度分子起動法（疎＋密行列算）

演算性能/SIMD幅/集団通信レイテンシ

6

ADVENTURE

非構造格子・有限要素法

通信・メモリバンド幅、ため、有限要素法に基づく構造解析をモデル総自由度数15 億規模、時間ス
SIMD幅
テップ数1 万の計算を、100 ケース行う。

7

RSDFT

密度汎関数法（密行列計算）演算性能/集団通信レ
イテンシ(多重ケース処理型計算) 原子数１１万・バンド数２２万・ＳＣＦ２００
回・ケース数２４を想定して、SCF 計算による構造最適化の計算を行う。

FFB

非構造格子・有限要素法

通信・メモリバンド幅
SIMD幅(大規模単一処理型計算) 複雑な形状の構造物まわりの熱発生率、冷却・排気損失、ノッキング、サイクル変動等の予測の正確な評価を行うため、有限要素法に基づく約7000 億要素・10 万タイムステップの問題を想定する。

LQCD

構造格子経路積分
モンテカルロ法

通信・メモリバンド幅、 (大規模単一処理型計算) 素粒子から宇宙全体にわたる物質創成史を解明する
局所および集団通信レ ため、クォークを1924 個の格子上の場として計算する。
イテンシ

3

4

5

8
9

(多重ケース処理型計算) 重点課題における高精度第一原理電子状態計算の典型的ケースを想定し、720原子、19680 電子軌道の分子複合体20 ケー
スをターゲット問題規模として設定。
(多重ケース処理型計算) 複雑な形状の構造物の最適な全体設計を実現する

6

アプリケーション開発者向け協力について

理化学研究所 計算科学研究機構

アプリケーション開発者向け協力内容
 ポスト「京」で、自分のアプリの大まかな性能（小規模並列性能）を知りたい

FX100でのプロファイル情報からポスト「京」の並列スレッド性能を推定するツールである、ポスト「京」性能推定ツールを用いた性能推定の方法について説明します。並列スレッド性能とアプリの通信性能モデルを用いて大まかな全体性能を推定します。

 逐次の小規模なプログラムでもいいので、ポスト「京」での詳細な性能について知りたい。

理研シミュレータによる性能評価の方法について、説明します。 また、最適化の手法等については、情報を提供します。

 性能よりも、OSの機能やオープンソースソフトウエア(JavaやPerl, python等を含む）の準備状況について知りたい。



現時点の状況についての情報を提供するとともに、Armv8-Aのサーバーでの実行環境を提供します。これにより、テスト等が可能です。また、現在すでにポーティングされているオープンソースソフトウエア等の情報についても提供します。

8

ポスト「京」性能評価環境について


理化学研究所では、ポスト「京」向けのアプリケーションの開発に際し、性能改善度の評価や最適化の検討を行いたい方に、ポスト「京」の評価環境を提供します。



本評価環境は、理研で設置したサーバにログインして利用するもので、以下のツールが利用可能です。


小規模FX100システムとFX100のプロファイルを用いたポスト「京」性能推定ツール:FX100のプロ
ファイルを用いて、ポスト「京」での大まかなスレッド並列性能推定が可能。
理研が開発したポスト「京」プロセッサ・シミュレータ:小規模なプログラムの１ノードでの性能について、おおよその実行時間、コンパイルオプションによる実行時間の比較、
キャッシュミス率や同時命令実行数などの情報が取得でき、最適化のための情報を得ることができます。（ただし、得られる実行時間は実機性能ではなく、同評価環境での相対的な違いを評価することになります）



ポスト「京」向けのコンパイラ

富士通コンパイラ:Fortran, C, C++。ポスト「京」向けの最適化が可能
Armコンパイラ:LLVMベースのコンパイラ環境で、Armv8-A + SVE向けのコード生成が可能。C,C++ byClang, Fortran by Flang

Armが開発したSVEエミュレータ:Armサーバー上でSVEの命令をエミュレーションできます。



Armサーバー:2018年夏ごろ利用予定です。

9

ポスト「京」性能推定ツール:実行例
 FX100のプロファイル情報から、ポスト「京」における性能を推定


各ビジー時間が隠蔽された場合の最大性能を推定

理化学研究所計算科学研究機構

10ポスト「京」シミュレータ:命令レベルの実行情報$ less m5out/stats.txt （抜粋）---------- Begin Simulation Statistics ---------sim_seconds
XXXXXXXX
host_inst_rate
717324
host_mem_usage8939424
host_seconds
1.72
sim_insts
1233947
system.mem_ctrls.bytes_read::cpu.inst
49408
system.mem_ctrls.bytes_read::cpu.data
72704
system.mem_ctrls.bytes_read::total
122112system.cpu.vector_ext_num_insts
1026056
system.cpu.vector_ext_num_mem_insts
768768system.cpu.vector_ext_num_loads
512000system.cpu.vector_ext_num_stores
256768system.cpu.Branches
23647
system.cpu.op_class::No_OpClass1
system.cpu.op_class::IntAlu
204676system.cpu.op_class::MemRead
1978
system.cpu.op_class::MemWrite
2000
system.cpu.op_class::VectorExtVFp
256768system.cpu.op_class::VectorExtMread
512000system.cpu.op_class::VectorExtMwrite
256768system.cpu.op_class::total
1235830---------- End Simulation Statistics----------

実行命令数や、実行時間など# Number of seconds simulated# Simulator instruction rate (inst/s)# Number of bytes of host memory used
# Real time elapsed on the host
# Number of instructions simulated# Number of bytes read from this memory# Number of bytes read from this memory# Number of bytes read from this memory# Number of vector instructions executed# Number of vector memory instructions executed# Number of vector loads executed# Number of vector stores executed# Number of branches fetched
0.00% # Class of executed instruction
16.56% # Class of executed instruction
16.76% # Class of executed instruction
16.92% # Class of executed instruction
37.79% # Class of executed instruction
79.22% # Class of executed instruction
100.00% # Class of executed instruction# Class of executed instruction

SIMD命令のより詳細な命令数も得られるが、ここでは省略

0.00%
16.56%
0.16%
0.16%
20.78%
41.43%
20.78%

命令ミックス

理化学研究所計算科学研究機構

11ポスト「京」シミュレータ:サイクルレベルの実行例・実行情報$ time /opt/gem5/bin/gem5-o3 ?c fadd.axf ?o 1000…
bench1: rep:1000 n:2048
elaps: 0.000295 sec
res: 0.300000, ..., 614.400000
Exiting @ tick 352315516 because target called exit()
real
0m6.530s
user
0m6.314ssys
0m0.147s$ less m5out/stats.txt （抜粋）---------- Begin Simulation Statistics ---------sim_seconds
0.000331
sim_ticks
330850000
host_inst_rate
213274
host_seconds
5.79
sim_insts
1233907
system.mem_ctrls.bw_total::total
XXXXXXXXX
system.cpu.branchPred.BTBHitPct
XXXXXXXXX
system.cpu.numCycles
XXXXXXXXX
system.cpu.rename.ROBFullEvents
XXXXXXXXX
system.cpu.rename.IQFullEvents
XXXXXXXXX
system.cpu.rename.LQFullEvents
XXXXXXXXX
system.cpu.rename.SQFullEvents
XXXXXXXXX
system.cpu.rename.FullRegisterEvents
XXXXXXXXX
system.cpu.iq.issued_per_cycle::0
XXXXXXXXX
system.cpu.iq.issued_per_cycle::1
XXXXXXXXX
system.cpu.iq.issued_per_cycle::2
XXXXXXXXX
system.cpu.iq.issued_per_cycle::3
XXXXXXXXX
system.cpu.iq.issued_per_cycle::4
XXXXXXXXX
system.cpu.ipc
XXXXXXXXX
system.cpu.dcache.ReadReq_miss_rate::total XXXXXXXXX
system.cpu.dcache.WriteReq_miss_rate::total XXXXXXXXX
system.cpu.dcache.overall_miss_rate::total XXXXXXXXX---------- End Simulation Statistics----------

同じバイナリを、サイクルレベルシミュレータで実行。引数の与え方は同じ。
352usの実行に6.3sかかっており、約2万倍の時間がかかっている。
このケースでは富士通側のシミュレータと比べてサイクル数は約＋２％。ただし、コンパイラオプ# Number of seconds simulated# Number of ticks simulated
ションを変更したときに違いが大きくなる場合も# Simulator instruction rate (inst/s)
あるので引き続き検証していく。
# Real time elapsed on the host

26.99%
9.75%
17.54%
27.74%
17.99%# Number of instructions simulated# Total bandwidth to/from this memory (bytes/s)# BTB Hit Percentage# number of cpu cycles simulated# Number of times rename has blocked due to ROB full
# Number of times rename has blocked due to IQ full
# Number of times rename has blocked due to LQ full
# Number of times rename has blocked due to SQ full
# Number of times there has been no free registers
26.99% # Number of insts issued each cycle
36.74% # Number of insts issued each cycle
54.27% # Number of insts issued each cycle
82.01% # Number of insts issued each cycle
100.00% # Number of insts issued each cycle# IPC: Instructions Per Cycle# miss rate for ReadReq accesses# miss rate for WriteReq accesses# miss rate for overall accesses

理化学研究所計算科学研究機構

12ポスト「京」性能評価環境の提供について
ポスト京性能評価環境とは•理化学研究所では、ポスト「京」向けのアプリケーションの開発に際し、性能改善度の評価や最適化の検討を行いたい方に、ポスト「京」の評価環境を提供します。本評価環境は、理研で設置したサーバにログインして利用するもので、FX100のプロファイルを用いたポスト「京」性能推定ツール、ポスト「京」向けのコンパイラと理研が開発したポスト「京」プロセッサ・シミュレータで構成されます。並列ス
レッド性能とアプリの通信性能モデルを用いて大まかな全体性能が推定できます。さらに、ポスト「京」プロセッサ・シミュレータの利用により小規模なプログラムの１ノードでの性能について、おおよその実行時間、コンパイルオプションによる実行時間の比較、キャッシュ
ミス率や同時命令実行数などの情報が取得でき、最適化のための情報を得ることができます。（ただし、ご提供する評価環境は、実行時間は実機性能ではなく、同評価環境での相対的な違いを評価するためのものであるため、他プラットフォームとの性能比較には不十分なものであることにご留意願います。）

利用対象者• ＨＰＣＩユーザで、すでにプログラムの開発を進めている方等で、ポスト「京」に向けたプログラムの開発あるいは最適化の計画を持っているグループ• ※利用にあたっての手続きは、実施課題グループ単位を対象に行います。
• ※システム開発に関係する企業の方には利用いただけません。

重点課題実施機関ならびに萌芽的課題実施機関の方々は、
すでにアナウンスされている手続きでご利用ください

必要な手続き•ポスト「京」性能評価環境の利用にあたっては、対象プログラムの開発計画書を提出していただき、理研および富士通株式会社との秘密保持契約を締結のうえ、アカウントの申請が必要です。
•今後のポスト「京」プロジェクトへのフィードバックのため、利用後は実施報告書の提出をお願い致します。
•利用を希望される方、より詳細な情報を知りたい方は、以下の問い合わせ先までご連絡ください。

本件に関する問い合わせ先•postk-dev-support@ml.riken.jp（理化学研究所 計算科学研究機構 フラッグシップ2020プロジェクト 性能評価環境担当）

13資料５－２

ポスト｢京｣開発の取り組み- Arm HPCエコシステムの形成 富士通株式会社
次世代テクニカルコンピューティング開発本部
新庄 直樹
2018.1.24

0

Copyright 2018 FUJITSU LIMITEDArm HPCエコシステムの重要性と形成への手順
 Arm HPCエコシステムの重要性
 ポスト京運用開始後すぐ成果創出できるよう、環境準備が重要 現状まだThunderX2(SVE無し)の環境作りが始まった段階 Arm HPCエコシステム形成にむけた手順
 Arm HPCシステム環境整備←コミュニティとの連携が重要
 市場形成 市場拡大、コモディティプラットホームとしての地位確立
マルチベンダーによる水平協業(ゴール)シングルベンダーによる垂直統合(京)

Application Application Application Application

Application

Application
Compiler/Tools

Compiler/Tools
Middleware

Middleware

OS/Driver

Compiler/Tools

Middleware

Middleware

OS/Driver

HW/NetHW/Net1

Compiler/Tools
Middleware

OS/Driver
HW/NetHW/NetCopyright 2018 FUJITSU LIMITEDArm HPCエコシステム形成に向けた連携
 Arm
 Linux, GCCのSVE対応他、OpenHPCのArm対応など
積極的にArm HPCエコシステム形成に貢献
https://developer.arm.com/hpc

 Linaro
 Arm基本ソフト(Linux Kernel, glibc, GCC他)の標準化とUpstream
 Arm HPCにおけるバイナリレベルでのポータビリティ確保
 SVE対応ソフトのOSSへのUpstream、普及推進
https://www.linaro.org/sig/hpc/

 OpenHPC
 PCクラスタソフトの標準化（IAとArm間のソフトウェアポータビリティ確保による相互補完）
 配布の現状• 2016/11: v1.2 for Arm Tech. Preview版が配布• 2017/11: v1.3.3 for Arm 通常版配布
http://www.openhpc.community/

 富士通
 HPCの経験・技術をコミュニティに展開→Arm HPCエコシステムの環境整備
 最新で強力なコンパイラの早期整備・展開と利用環境の整備
2

http://www.openhpc.community/
about-us/participants/
Copyright 2018 FUJITSU LIMITED富士通のArm HPCシステムの環境整備の取組み コミュニティとの連携と環境整備推進のイメージ
現在

開発・試験
環境
アプリ
ケーション
整備

～

2020

【NEON】～

開発者クラウド提供

Linaro Developer Cloudベース【SVE】

シミュレータ・コンパイラ環境の提供

シミュレータ環境整備【OSS】
Armv8-Aでの移植準備

実機環境提供SVE対応版 移植・
性能評価

NEON対応版 移植・
性能評価

Arm HPCコミュニティとの協業を通じ整備【商用アプリ】

Arm HPCコミュニティ・ISVとの協業を通じ整備

多くのソフトが利用可能

 ポイント PCクラスタで動作するものは再コンパイルで動作可能とする
 Arm向けソフトの拡大とバイナリ互換性の維持• OS含め再コンパイル不要(バイナリ互換)を維持• SVE対応を含めたソフトウェア動作検証環境の整備推進(強力なコンパイラサポート）

3

Copyright 2018 FUJITSU LIMITED富士通の協業活動
 Linaro
 QEMU（アーキシミュレータ）のSVE対応
 LLVM（コンパイラ基盤）への富士通の最適化技術の導入
https://www.linaro.org/

 OpenHPC OSSパッケージのArm対応•PLASMA (並列線形計算)/SCOTCH (PT-SCOTCH, Graph処理)/SLEPc (固有値問題計算)

 Orchestration機能の大規模化・RAS機能の強化•Orchestration機能：システムのインストール、設定、管理機能

 TSC(Technical Steering Committee)に参画予定

 Open MPI
 Arm対応修正、障害修正など、コミュニティ活動を継続•MPI 3.x、4.x…

https://www.open-mpi.org/

 Linuxディストリビュータ(RedHat/SUSE/Canonicalなど)
 SVE対応等HPC向け機能のサポート推進(カーネル、コンパイラ、ライブラリ等)
4

Copyright 2018 FUJITSU LIMITED

バイナリ互換性確保(Arm, Linaro) OSレベルでのバイナリ互換性
 ArmとLinaro他が協力しArmベースのサーバ実現のための仕様を策定•SBSA(Server Base System Architecture)•SBBR(Server Base Boot Requirements)

 RedHat, SUSE等Armv8-A向けディストリビューションが改変なく利用可能 システムソフトウェアレベルでのバイナリ互換性
 LinaroでArm向けHPCシステムソフトスタックを整備

 SIMD幅が異なるシステムでのバイナリ互換性
 Armが、Scalable Vector Extension(SVE)仕様を策定
実行バイナリ互換性
実行バイナリはハードのVL長とは独立、実行時にVL長を設定
実行ステップが2倍に増加

アプリケーション実行SVE

実行ステップが半分に減少

512bit SIMD

SVE
256bit SIMD

5

Copyright 2018 FUJITSU LIMITEDコミュニティにおけるソフトウェア動作検証と移植推進 ソフトウェア動作検証と移植推進のための施策
 Arm HPC User Group：アプリ移植に関する情報集約(次頁) Linaro Developer Cloud：簡易に使える実行環境提供(次次頁)

 SVE対応を含めたシステムソフト環境の整備
 Linaro: Arm版Linux Kernel, glibc, GCCを含めた基本ソフトは各OSSコミュニティにUpstream
 SVE対応ソフトウェア移植推進と普及推進•LinaroによるQEMUのSVE対応(富士通からのリクエストによる)•Linaro Developer Cloudリソースを使ったSVE対応QEMUによる実行環境提供
現在

開発・試験
環境
アプリ
ケーション
整備

～

2020

【NEON】～

開発者クラウド提供

Linaro Developer Cloudベース【SVE】

シミュレータ・コンパイラ環境の提供

シミュレータ環境整備【OSS】
Armv8-Aでの移植準備

実機環境提供SVE対応版 移植・
性能評価

NEON対応版 移植・
性能評価

Arm HPCコミュニティとの協業を通じ整備【商用アプリ】

Arm HPCコミュニティ・ISVとの協業を通じ整備
6

Copyright 2018 FUJITSU LIMITEDArm HPC User Groupによる動作検証・移植推進 アプリのArm HPC対応を有志で作業中
Hosted by Arm https://gitlab.com/arm-hpc/

 実現のためのステップ
 パッケージ移植を通して共通問題を抽出
 共通問題を解決すべきパッケージを抽出・
修正、コミュニティにフィードバック パッケージ個別修正とコミュニティにフィードバック

 例：OpenFOAM

https://gitlab.com/arm-hpc/packages/wikis/categories/allPackages

 現状• パッケージ毎にAArch64向けにパッチが必要(-m64オプションがArm版gcc/gfortranでエラーになるので-m64オプションを外すことで
暫定回避)

 今後
• パッケージ構築ツールで対応可能なものは対応すべき(Arm版gcc/gfortranで–m64オプ
ション対応する）
https://gitlab.com/arm-hpc/packages/wikis/packages/openfoam
7

Copyright 2018 FUJITSU LIMITEDLinaro Developer Cloudによる動作検証・移植推進https://www.linaro.cloud/ オースチン(USA)、ケンブリッジ(UK) 、上海(中国)の３拠点
 Linaroメンバー企業により構築

 今後、日本を含め６拠点に拡大予定
 日本は、富士通などが協力

 現在、LinaroのOSS開発(OpenStack, DPDK*等)、OpenHPC検証向けにLinaro HPC SIGメンバー(※)が利用中
 今後、メンバー外の利用も計画中※ Linaro HPC SIG: HPC特化型のグループでLinaroメンバー外からも参加(https://www.linaro.org/sig/hpc/)* Data Plane Development Kit (DPDK): a set of data plane libraries and NIC drivers that provide a programming
framework for fast, high speed network packet processing on general purpose processors.
8

Copyright 2018 FUJITSU LIMITEDまとめ Armエコシステム構築への取り組み コミュニティと連携・協力して積極的に推進 Arm HPC普及に向けた情報発信の推進
2017年実績•2017/7: Linaro汐留ワークショップ：ARM IoT クラウド& セキュリティ• 富士通のArm HPCエコシステムに向けた取り組みの紹介•2017/9: GoingArm workshopにおける富士通のArm HPCプロモーション•2017/11: SC17におけるArm HPCプロモーション• Armの展示ブースにおける富士通のSVE対応Arm コンパイラのデモンストレーション• Arm HPC User Group Session at 2017における富士通のArm HPCプロモーション• SC17 Technical Program: Arm Ecosystem Panel においてパネリストとして参画•2017/12: Arm HPC Workshop in Japan (RIKEN AICS and Linaro)• ５件の講演とスポンサ協力

今後も積極的に推進していきます！
9

Copyright 2018 FUJITSU LIMITEDCopyright 2017 FUJITSU LIMITED資料６－１

HPCIコンソーシアムとしての検討状況

平成30年1月24日「京」の運用停止とポスト「京」への移行に関する説明会
一般社団法人HPCIコンソーシアム副理事長 加藤千幸

1

調査検討の目的➢ HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）は、頂点に立つフ
ラッグシップ計算機と各大学の情報基盤センター等が運用するスパコンから拠出された計算資源である、第二階層計算資源を高速ネットワークで接続した我が国独自の計算資源提供システムであり、2012年9月の運用開始から5年余りが経過した。
➢ フラッグシップ計算機「京」はHPCIの中核として我が国の計算科学を強力に牽引してきたが、2019年度には運用を終了する。
➢ 次期フラッグシップ計算機ポスト「京」は2014年4月に開発に着手され、2021年から2022年に共用が開始される予定である。一方、各大学の情報基盤センター等が運用するスパコンの中には、「京」の性能を上回る性能を有するスパコンも現れている。
➢ 我が国の計算科学・計算機科学が引き続き発展し、世界をリードし続けていくために、フラッグシップ計算機の端境期における資源提供の在り方、および「京」からポ
スト「京」へのスムーズな移行方法に関して調査検討する。

2頁

調査検討内容【報告書目次】１．フラッグシップ計算機とその移行について
２．我が国の計算科学の発展に必要な計算資源
３．フラッグシップ計算機停止中に提供可能な第二階層計算資源
４．フラッグシップ計算機停止中の資源提供に関して留意すべき点
５．次期フラッグシップ計算機へのスムーズな移行に向けて
６．結言【報告書提出】
文部科学省研究振興局計算科学技術推進室
2018年3月末
3頁

調査検討方法（WGの設置と開催）【WGの設置】
文部科学省委託事業「HPCIの運営」代表機関一般財団法人高度情報科学技術研究機構内に「フラッグシップ計算機停止期間中におけるHPCIの資源提供の在り方に関する調査・検討
サブワーキンググループ」を設置し、HPCIコンソーシアムと連携して調査検討を実施【WG委員】（◎：主査、〇：主査代理）

委員名

所属機関

伊藤

宏幸

スーパーコンピューティング技術産業応用協議会

奥田基

高度情報科学技術研究機構

加藤

千幸◎

東京大学生産技術研究所・HPCIコンソーシアム副理事長

小林広明

東北大学サイバーサイエンスセンター

佐藤三久

理化学研究所計算科学研究機構

白井宏樹

アステラス製薬髙木

周東京大学大学院工学系研究科

高橋桂子

海洋研究開発機構地球情報基盤センター

店橋護

東京工業大学工学院

常行

真司

東京大学大学院理学系研究科

中村 宏〇

東京大学情報基盤センター

平山

高度情報科学技術研究機構

俊雄【WG開催日】
第１回平成29年9月28日・第２回平成29年10月26日・第３回平成29年12月1日・第４回平成29年12月27日・（HPCI 説明会 平成30年1月24日）・第５回平成30年2月16日（予定）・第６回平成30年3月（調整中）4頁

１．フラッグシップ計算機とその移行
について

5頁

フラッグシップ計算機「京」の資源量と資源利用状況【「京」の資源量】
計算ノード数：88,128台、理論性能：11.3ペタ・フロップス
LINPACK性能：10.51 ペタフロップス（世界10位）、HPCG性能：603テラ・フロップス（世界1位）【「京」の資源の利用状況】

提供可能な資源の85%がHPCIの利用課題に供されている

6頁

「京」の運用終了とフラッグシップ計算機停止期間中の資源提供等について【「京」と「京」以外のHPCIの今後の課題募集の予定】
H30（2018）年度
4月

7月

10月

H31（2019）年度
1月

4月

①

「京」

HPCI

H30HPCI課題②

10月

H32（2020）年度
1月

4月

7月

10月

H33（2021）年度
1月

4月

7月

③

（未定）

H30A期課題

H29B期課題

7月

資料3)から再掲

H30B期課題

・利用報告書の受付
・成果の公表・普及
・代替資源への移行支援

H31HPCI課題

H32HPCI課題

H33HPCI課題➢ 「京」はできる限り長期にわたり運用を継続すべきである。
・他のスパコンの10倍以上の計算ノードを有し、超大規模計算が可能な唯一の計算資源
・国プロ等開発アプリ、オープン・ソース・ソフトウェア、市販のアプリが稼働
・有償の産業利用が拡大➢ フラッグシップ計算機の端境期に向けて、第二階層計算資源を増強すべきである。
➢ ポスト「京」は全系による共用開始前に部分運用を開始すべきである。

7頁

スーパーコンピューティング技術産業応用協議会からの意見【「京」→ポスト「京」の移行期間における計算資源利用について】➢ 計算資源の不足を最小化するため、移行期間の可能な限りの短縮➢ 「京」停止期間における、HPCIとしての代替計算資源の確保、およびその産業利用への提供
・基本的には、「京」同様のアーキテクチャ（＝アプリがそのまま利用可能）のシステムにより、
これまでの「京」利用における計算量・規模を確保
・上記システムによる十分な確保ができず、他の既存のHPCI資源を利用する場合における「京」で利用可能なアプリ（OSS等）のサポート【ポスト「京」の早期利用について】➢ 本格利用に向けた事前準備のための早期情報提供（システム構成/仕様、言語、ライ
ブラリ、etc.）➢ 「京」からポスト「京」へスムーズに移行するための利用者支援機能の提供➢ ポスト「京」導入中の部分運用段階から産業利用を可能とする仕組みの提供【他のHPCI計算資源とポスト「京」の連携強化】➢ 他のHPCI計算資源利用実績のあるユーザのポスト「京」への移行、あるいは逆に、ポス
ト「京」の成果を他のHPCI計算資源に移行しても活用できる環境（移行用の資源、ソフト、
支援環境）の提供
8頁

２．我が国の計算科学の発展に必要な計算資源

9頁

HPCIユーザが希望するフラッグシップ停止期間中の計算資源【全HPCIユーザに対するアンケート結果】
回収率35.5% （「京」利用資源の割合53%）
１年間あたりの
ノード時間積の総計

希望マシン

CPU・GPU理論性
能

件数

最大ノード数

平均ノード数富士通FX100（名大、他）

1.1264 TFlops (32コア)名大2880
ノード

41

20,0002,178

109,632,025

Intel Xeon マイクロアーキテクチャ（九大、東大、等）

コア数最大36(18x2ソケット)

19

36,5004,499

72,143,501

Intel Xeon Phi KNL (Oakforest-PACS他)

3+TFLOPS (68コア換算)OFP 8208
ノード

22

40,0005,757

36,416,420

NVIDIA Tesla P100 (TSUBAME3.0他）

5.3 TFLOPS

12

5,000

667

7,134,000

NEC SX-ACE（東北大、地球シミュ
レータ）

256 GFLOPS

10

2,048

479

5,800,000

8

4,000

613

8,819,920

その他（2018年出荷予定であるNEC
Auroraや IBM Power9など）➢ FX100の利用希望が最多➢ 上位3計算機だけで105ペタフロップス（「京」の資源量の約10倍）の利用希望

10頁

３．フラッグシップ計算機停止中に提供可能な第二階層計算資源

11頁

HPCI第2階層システム 運用＆整備計画 (2017年10月時点）

資料4)から再掲

12頁

４．フラッグシップ計算機停止中の資源提供に関して留意すべき点

13頁

実効的な計算資源量に関する考慮【ベンチマーク性能で見たＨＰＣＩの資源提供状況（2017年度）】

14頁

アーキテクチャの違いに関する配慮や大規模ジョブの実行環境の提供【アプリケーションの開発・利用環境の継続性の担保】➢ 「京」と類似したアーキテクチャのスパコンによる資源提供
・「京」から第二階層計算資源への移行を容易にするため、「京」と類似のアーキテ
クチャのスパコン（富士通FX100等）により代替資源の相当量を確保➢ ポスト「京」への移行準備をするための資源提供
・ポスト「京」への移行を進めるため、ポスト「京」と類似のアーキテクチャのスパコンによる資源提供も必要【大規模ジョブの実行環境の提供】➢ 代替資源の提供に当たっては総量だけでなく、１ジョブ当たりの計算規模の確保にも配慮する必要がある。「京」での１ジョブ当たりの計算規模に比べ、現行の第二階層
計算資源において実行可能な1ジョブ当たりの計算規模はかなり小さい。HPCI専用
計算機の設置・運用も検討すべきである。

15頁

「京」だけで実施している独自の利用制度についての検討【HPCI利用研究課題募集枠の比較】
利用研究課題

定期募集

無
償

無
償

随時募集
有
償

「京」

HPCI

一般（アカデミア）利用• 年2回募集• 資源枠を設けず上位から選定• 年1回募集• jobクラス（S/L）毎に上位から選定

若手人材育成• 同上• 課題の設定なし

産業利用（実証利用）• 同上• 年1回募集• jobクラス（S/L）毎に上位から選定• 産業利用課題への割り当て資源量少一般（アカデミア）
利用トライアル• 随時受付、4半期毎に選定• 6か月間の利用• 課題の設定なし

産業利用トライアル• 随時受付、選定• 6か月間の利用• 随時受付、選定、当該年度内利用• 構成機関11機関中、9機関が受入

産業利用（個別利用）• 随時受付、選定• 1年間の利用• 随時受付、選定、当該年度内利用• 構成機関11機関中、3機関が受入

競争的資金• 随時受付、選定• 1年間の利用• 課題の設定なし

ASP• 随時受付、選定• 課題の設定なし
16頁

産業利用の促進に対する配慮【産業利用課題件数等の推移 】
利用研究課題採択数の推移

有償利用課題の収入・利用規模の推移

80

180

70

160
10

京＋HPCI

60

140

利
8 用
ノ
ー
6 ド
時
間
4 百
万

利 120
用
収 100
入
百 80
万 60
円
） 40

(

各
年 50
度
の 40
課
題 30
数
20

(
)

2

10
0

12

20
0
京HPCI

京HPCI

京HPCI

京HPCI

京HPCI

京HPCI

H24

H25

H26

H27

H28

H29
（*1）

H25

H26

H27

H28

H29

0

（*1）

実証利用
トライアル・ユース

個別利用
総件数

予定収入金額

収入金額

割当ノード時間
利用ノード時間注）年度を跨る課題の利用収入は年度単位で集計
17頁（*1）平成29年12月末現在

５．次期フラッグシップ計算機へのスムーズな移行に向けて18頁

ポスト「京」に関する早期情報開示とアプリケーション
開発環境の提供等【ユーザに対する早期の情報開示】➢ ポスト「京」の運用開始予定時期、計算ノードのアーキテクチャとノード性能、
ネットワークの構成と性能、言語や数値計算ライブラリ等のアプリケーション開発環境等【アプリケーション開発環境の提供】➢ ARM SVE64 ISAサーバーの提供によるアプリケーションの動作確認➢ ポスト「京」の性能評価ツールやシミュレータの提供➢ 一部の計算ノードを利用した試験運用の早期開始【アプリケーションの移植支援体制の構築とアプリケーションの整備】➢ 「京」、あるいは第二階層計算資源上で稼働しているアプリケーションのポスト「京」への移植と性能最適化支援➢ ポスト「京」における新規アプリケーションの開発支援➢ 「京」上に移植されたオープン・ソース・ソフトウェアや市販アプリケーションのポスト「京」上
への整備
19頁

アプリケーション開発・実証プロジェクトの継続実施【「京」・ポスト「京」の運用・開発とアプリケーションの研究開発計画】
2016
年度

2017
年度

2018
年度

2019
年度

2020
年度

2021
年度

2022
年度-

｢京｣の運用運用
ポスト｢京｣
システム開発ポスト｢京｣
重点課題
アプリ開発

製造
（量産）
コスト・性能評価(文科)■ 中間評価(文科) ◆ ◆中間評価(CSTI)
詳細設計

本格実施フェーズ

設置
・調整

運用

成果創出フェーズ

参考資料)から再掲【ポスト「京」重点課題の当初の実施計画】➢ 「調査研究・準備研究フェーズ」（2014～2015年度）：計画策定・体制構築➢ 「本格実施フェーズ」（2016～2019年度）：アプリケーションの研究開発➢ 「成果創出フェーズ」（2020年度以降）：ポスト「京」を用いた実証研究（成果創出）【ポスト「京」重点課題の今後の実施方法（案）】➢ ポスト「京」の一部ノードを用いた、アプリケーションの性能評価と「成果創出フェーズ」の準備を開始し、研究者の雇用の継続性を担保

20頁

６．結論

21頁

今後の資源提供の在り方とポスト「京」への移行に向けて【「京」の運用終了とポスト「京」の運用開始】➢ 端境期の最短化とポスト「京」の部分運用の早期開始【端境期における資源提供】➢ 第二階層計算資源を増強し、数10ペタ・フロップスの資源提供➢ 「京」と類似のアーキテクチャのスパコン・先進的なアーキテクチャのスパコンの両方を提供➢ 第二階層計算資源へのアプリケーションの移植・利用支援体制の整備➢ 大規模ジョブの実行環境の提供（HPCI専用の第二階層計算資源の検討）➢ トライアルユース制度、成果非公開有償利用制度など、「京」でのみ実施されている利用制度の検討【ポスト「京」による早期の成果創出】➢ ポスト「京」の仕様やアプリケーション開発環境等に関する情報の早期開示➢ ARM SVE64サーバーの整備と提供➢ ポスト「京」の性能評価ツールやシミュレータ利用環境の整備と提供➢ アプリケーション開発・利用支援制度の整備と提供➢ オープン・ソース・ソフトウェアや市販アプリケーションの整備➢ ポスト「京」のアプリケーション開発・実証プロジェクトの継続実施
22頁

フラッグシップ計算機停止期間におけるHPCI の資源提供の在り方とポスト「京」への移行に関する調査・検討報告書（案）

2018 年 3 月 31 日
一般財団法人高度情報科学技術研究機構（RIST）
一般社団法人 HPCI コンソーシアム

目次
まえがき

…1

１． フラッグシップ計算機とその移行について
１－１．フラッグシップ計算機と第二階層計算資源
１－２．フラッグシップ計算機の運用停止

…2
…2
…3

２． 我が国の計算科学の発展に必要な計算資源
２－１．HPCI の利用者が希望する第二階層計算資源…4…4２－２．ポスト「京」重点課題を実施するために必要となる計算資源…7

３． フラッグシップ計算機停止中に提供可能な第二階層計算資源
３－１．大学情報基盤センター等のスパコンの整備状況と整備計画
３－２．HPCI に拠出可能な計算資源

…9
…9
…10

４． フラッグシップ計算機停止中の資源提供に関して留意すべき点
４－１．実効的な計算資源量に関する考慮
４－２．計算機アーキテクチャの違いに関する考慮
４－３．アプリケーションの整備と利用支援

…11
…11
…12
…13

４－４．大規模ジョブの実行環境の提供
４－５．HPCI 利用課題の運用方法の違い
５． 次期フラッグシップ計算機へのスムーズな移行に向けて
５－１．ユーザに対する早期の情報開示
５－２．アプリケーションの開発環境の提供
５－３．アプリケーションの移植支援体制の構築とアプリケーションの整備

…13
…14
…15
…15
…16
…16

６． 結言
…16
６－１．「京」の運用停止とフラッグシップ計算機停止中の資源提供の在り方 …17
６－２．次期フラッグシップ計算機への移行

…18

あとがき

…19

附録

…20

まえがき
我が国は世界トップクラスのスーパーコンピュータであるフラッグシップ計算機を頂点とし、大学情報基盤センター等が運用するスーパーコンピュータを高速ネットワークで接続
して、ひとつのユーザ ID で全ての計算資源にアクセスできる体制、HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）を構築し、フラッグシップ計算機「京」の共用開始とともに、2012 年 9 月から HPCI の運用を開始している。HPCI の運用が開始されてから 5 年あまりが経過したが、フラッグシップ計算機である「京」は HPCI の中核として、卓越した成果の創出を通じて、我が国の計算科学を強力に牽引してきた。
次期フラッグシップ計算機ポスト「京」は 2014 年に開発が着手されたが、半導体技術の進展速度が鈍化したこともあり、当初予定よりも 1 年から 2 年遅れ、2021 年から2022 年に共用が開始される予定である。フラッグシップ計算機の更新時には、電源設
備や熱源設備などの更新も必要であることから、同一サイトにフラッグシップ計算機を設置する場合、停止期間を置かずにフラッグシップ計算機を更新することはできず、最短でも 1 年間から 2 年間程度、フラッグシップ計算機が無い状態、すなわち、フラッグシッ
プ計算機の端境期が存在することになる。「京」は 2019 年には運用が停止される見込みであることから、端境期は 1 年間乃至 2 年間程度になるものと考えられる。
フラッグシップ計算機停止期間中は、各大学の情報基盤センター等が運用するスーパーコンピュータから HPCI に拠出されている計算資源、すなわち、第二階層計算資源
が HPCI の唯一の計算資源となる。前述のように「京」の共用が開始されたのは 2012 年
9 月であるから、フラッグシップ計算機の更新間隔は 9 年から 10 年ということになるが、この間、情報基盤センター等が運用するスーパーコンピュータの性能も年々向上し、2016 年 4 月には「京」の約 2.5 倍のピーク性能を有する、Oakforest-PACS が本格運用を開始した。第二階層計算資源はコンピュータ・アーキテクチャ的には多様な計算機の集合体であって、フラッグシップ計算機上で稼働していたアプリケーションがそのまま
第 2 階層計算機上で稼働するとは限らない。このため、フラッグシップ計算機停止期間
中の HPCI の資源提供にあたっては、アプリケーションの移植の難易度も考慮する必要がある。また、「京」、端境期において HPCI に提供される計算資源、および、ポスト「京」におけるソフトウェア開発や利用の継続性を担保することも重要である。1 回のジョブに供することができる計算資源量にも配慮する必要がある。さらに、フラッグシップ計算機の更新時は我が国全体の計算資源量が数 10 倍に飛躍的に増大する時期でもあることも考慮した上で、HPCI として提供すべき計算資源量を決定すべきである。
フラッグシップ計算機の端境期においても、我が国の計算科学・計算機科学が発展し続け、世界をリードし続けていくことは必須のことである。本報告書は、フラッグシップ計算
機の端境期における HPCI としての資源提供の在り方、および、フラッグシップ計算機の移行、すなわち、「京」からポスト「京」へのスムーズな移行方法について、幅広いユーザからの意見も踏まえて、調査検討した結果を報告するものである。
p. 1

１． フラッグシップ計算機とその移行について
１－１．フラッグシップ計算機と第二階層計算資源
フラッグシップ計算機「京」は、当時世界トップレベルの性能を誇っていた CPU である
SPARC64 VIIIfx 88,128 台を Tofu（トーフ）とよばれる 6 次元メッシュ／トーラスの高速
インターコネクトで接続したスーパーコンピュータ（以下、スパコン）であり、LINPACK とよばれる、主に密行列計算の処理速度を競うベンチマークによる性能ランキング TOP500 において、2011 年 6 月に世界最高性能となる 8.162 ペタ・フロップスを達成し、その半年後の 2011 年 11 月には、同ベンチマークにおいて 10.510 ペタ・フロップスという、世界で初めて 10 ペタ・フロップスを超える性能を達成した。10 ペタ・フロップスというのは 1 秒
間に 10 の 16 乗回、すなわち、１京回（イチケイカイ）の浮動小数点演算を実行する性能を表し、これが「京」の名前の由来となった。
「京」は 2012 年 9 月に供用が開始されたが、図 1 に示すように、全計算資源の 8 割以上が HPCI に供されている。HPCI に提供された資源の約半分の計算資源は、「HPCI戦略プログラム」（2009 年度～2015 年度）や「ポスト『京』で重点的に取り組むべき社会的・科学的課題に関するアプリケーション開発・研究開発」（ポスト「京」重点課題、2014年度から 2019 年度）などの大型国家プロジェクトに供され、大規模実証研究やポスト「京」に向けたアプリケーションの研究開発が実施されている。残りの計算資源は、公募により採択された６０～７０の課題に利用されている。「京」は産業利用にも供され、共用開始当初は 5%であった産業利用枠が 2017 年度には 15%に拡大されている。

図１ フラッグシップ計算機「京」の計算資源利用状況
p. 2

「京」は 2018 年 3 月現在、前述の LINPACK ベンチマークによる性能ランキングにおいては世界 10 位となっているが、大規模なデータ間の関連性を解析処理するベンチマークである Graph500 では 2014 年 6 月から現在に至るまで世界一位の性能を記録している。また、産業利用など実際のアプリケーションで多用される共役勾配法の処理速度を競う国際的なランキング「HPCG（High Performance Conjugate Gradient）」において、2016 年 11 月から 2 期連続で世界第 1 位になるなど、実効性能においては今でも世界トップクラスのスパコンと言える。
一方、フラッグシップ計算機と並んで HPCI の一翼を担う第二階層計算資源は各大学の情報基盤センター等から自発的に HPCI に拠出された資源である。2017 年度には、
HPCI が提供している全計算資源である 14 ペタ・フロップスの 4 割に相当する 5.6 ペタ・
フロップスの計算資源が第二階層計算資源として HPCI から提供され、公募により採択された約 70 の課題に利用されている。第二階層計算資源は、フラッグシップ計算機「京」へのステップアップ、HPCI ユーザの裾野の拡大、および、多様な計算機アーキテクチャ
におけるアプリケーション開発などを通じて、我が国の計算科学や計算機科学の発展に大きな貢献を果たしている。しかし、各大学の情報基盤センター等が運用するスパコンの中で最多のノード数を誇る、東京大学と筑波大学が共同で設備整備した OakforestPACS でもノード数は 8,208 であり、フラッグシップ計算機「京」の約 8 万ノードの 1/10程度であり、フラッグシップ計算機「京」が提供している大規模ジョブの実行環境をそのまま代替できるものではない。
１－２．フラッグシップ計算機の運用停止
前述のように、次期フラッグシップ計算機ポスト「京」は 2021 年から 2022 年に共用が開始される予定である。「京」やポスト「京」のように数万ノード以上の大規模なスパコンの搬入・据付・調整には最短でも半年から 1 年間程度の時間を要し、今回のように、同一サイトにフラッグシップ計算機を設備整備する場合、現行のフラッグシップ計算機の撤去、および次期フラッグシップ計算機のために必要となる電源工事、熱源工事等に要する期間も考慮すると、次期フラッグシップ計算機の共用開始時期の 1 年から 2 年前には現行のフラッグシップ計算機の運用を停止する必要がある。仮に、ポスト「京」の共用開始が 2021 年初頭になると仮定すると、遅くとも 2019 年中には「京」の運用を停止す
る必要がある。
前述のように、「京」は第二階層計算資源と比べて 10 倍以上のノードを有し、かつ、
そのほとんどの計算資源が HPCI に提供されており、実質的に超大規模計算が実行可
能な我が国唯一の計算資源である。また、第二階層計算資源は多様なアーキテクチャを有する、各大学の情報基盤センター等のスパコンから拠出されている計算資源であり、「京」の上で稼働しているアプリケーションがそのまま稼働するとは限らず、アプリケーショ
ンを第二階層計算資源に移植するには相当な時間を要するものと考えられる。さらに、
p. 3

アカデミアのためのトライアルユースや成果非公開の産業利用など、「京」で実施されているユニークな運用制度が第二階層計算資源では実施できない可能性もある。このよ
うなことを考慮すると、フラッグシップ計算機の停止期間は最小限に留める必要がある。
産業界におけるスパコンの利用を推進している団体である、スーパーコンピューティング
技術産業応用協議会からも、フラッグシップ計算機の停止期間を最小限にすることに対して強い要望が寄せられている。その上で、フラッグシップ計算機停止期間における、第二階層計算資源による適切な代替資源の提供と、次期フラッグシップ計算機へのスムーズな移行施策が必須となる。
上述のように、我が国の HPCI はフラッグシップ計算機と第二階層計算資源という、性質と目的を異にする二つの計算機システムにより構成されている。今後は、フラッグシッ
プ計算機が運用していない時期があり得ることを予め考慮した上で、HPCI 全体の整備・運用計画を策定していくべきであることを付記する。
以下、第 2 節において、HPCI の全利用課題の代表者に対して実施したアンケート調
査の結果に基づき、フラッグシップ計算機の運用が停止している間に必要となる計算資
源量を推算した結果について述べる。また、この節では、後述するポスト「京」重点課題の「成果創出フェーズ」の実施方法と実施のために必要となる計算資源に関しても言及する。次いで、第 3 節では、フラッグシップ計算機の運用を停止している間は HPCI の唯一の計算資源となる第二階層計算資源に関して、第二階層計算資源の拠出元となる各大学の情報基盤センター等のスパコンの設備整備状況、および、今後の設備整備計
画に関する調査結果を報告する。また、フラッグシップ計算機の運用が停止されると予想される 2019 年度から 2021 年度に掛けて、これらのスパコンから HPCI に拠出することが可能と思われる計算資源量、すなわち、HPCI がユーザに提供することが可能な第二階層計算資源に関しても言及する。続く第 4 節では、フラッグシップ停止期間中に代替え資源により HPCI が計算資源を提供する際に留意すべき点に関して言及する。さらに、第 5 節では、フラッグシップ計算機の移行をスムーズに実施し、次期フラッグシップ
計算機ポスト「京」による成果の創出を早期に実現するために必要となる施策に関して言及する。最後に、第 6 節において本報告書の結論を纏める。
２． 我が国の計算科学の発展に必要な計算資源
２－１．HPCI の利用者が希望する第二階層計算資源
フラッグシップ計算機の運用停止期間中の計算資源に対する需要を推定するために、
ポスト「京」重点課題・同萌芽的課題による HPCI の利用者を含めて、HPCI の全利用課
題の代表者に対して、①現在利用している HPCI の資源と資源量、②フラッグシップ計算機「京」の停止前の特別な運用（大規模ジョブの優先実行等）の要否、③フラッグシップ
計算機運用停止期間における HPCI の利用希望の有無、および、④利用希望がある場
p. 4

合に利用したい計算機および計算資源量について照会するアンケートを実施した。アンケートは 2015 年度および 2016 年度の全ての HPCI 利用課題の代表者に対してメールにて配布した。ただし、ポスト「京」重点課題および同萌芽的課題による HPCI の利用者に関しては、それぞれの課題責任者に対してアンケートを配布し、当該課題内の取り纏めを依頼した。２年間で重複している課題代表者 170 名を除いた実施的なサンプル数
は 287 課題である。アンケートに対して、ポスト「京」重点課題および同萌芽的課題に関しては全ての課題責任者 59 名から回答があり、それらを除いた一般利用課題（若手、産業利用を含む）228 件に関しては 43 名の代表者から回答があった。一般利用課題の回収率は 18.9%であり、ポスト「京」重点課題・同萌芽的課題を含めた全回収率は35.5%であった。なお、このアンケートは HCPI の利用促進機関である、一般財団法人高度情報科学技術研究機構（RIST）と共同で実施した。
アンケートの回収率は決して高くはないが、全回答者が 1 年間に利用している「京」の計算資源量の総和（2 年間の平均値）は約 2.9 億ノード時間積であった。HPCI が 1 年間に提供している「京」の計算資源量は約 5.4 億ノード時間積であるので、「京」の利用者が希望する計算資源量のおおよそ半分（53%）の資源量が今回実施したアンケート結果の資源量に反映されているものと考え、以下、アンケート結果の資源量を単純に 2 倍することにより、HPCI の全課題利用者が希望する計算資源量を推定した。
まず、停止年度における「京」の運用方法については、８割の回答者が現状と変わらない運用を希望した。「大規模ジョブの実行を優先して欲しい」、「比較的小規模なジョブの実行を優先して欲しい」という回答もそれぞれ 1 割程度あったが、これらの回答は意
見分布の裾野が現れているものと解釈すべきであり、アンケート結果からは、運用停止
年度も「京」は現状どおりの運用を実施すべきであると言える。ただし、一部の回答者から意見があったように、「京」の停止前のデータ回収や第二階層計算資源へのデータの移動に関しては十分な配慮が必要であり、ユーザに過度な負荷が掛からないようにすべきである。
次に、９割を超える回答者はフラッグシップ計算機停止中も HPCI の利用を希望して
おり、HPCI の利用が浸透していることがわかる。これらの回答者が利用を希望した計算機とその資源量を表１に纏める。1 年間のノード時間積でみた利用希望資源量が最も多かったのは、名古屋大学情報基盤センターが HPCI に拠出している、富士通の FX100 であり、1 年間に約 1 億ノード時間積の計算資源の利用希望があった。この数値を前述のとおり 2 倍し、「京」と FX100 のノードの性能比（１：８）を用いて、「京」の資源量に換算す
ると、約 16 億ノード時間積に相当し、HPCI が 1 年間に提供している「京」の資源量（約5.4 億ノード時間積）の 3 倍以上の計算資源になる。また、FX100 のノード数としては、
約 25,000 ノードを 1 年間占有する計算資源量となるが、名古屋大学情報基盤センターが運用している FX100 の全ノード数 2,880 台の 8 倍以上に相当し、かつ、同センター
が HPCI に拠出している資源量の 50 倍程度に上る量である。
p. 5

表１ フラッグシップ計算機運用停止期間中に利用を希望する第二階層計算資源

件数

最大ノー
ド数

平均ノ
ード数

１年間あた りの
ノード時間積の総計

41

20,0002,178

109,632,025

19

36,5004,499

72,143,501

3+TFLOPS(68 コア換算)OFP 8208
ノード

22

40,0005,757

36,416,420

5.3 TFLOPS

12

5,000

667

7,134,000

256GFLOPS

10

2,048

479

5,800,000

8

4,000

613

8,819,920

希望マシン

CPU・GPU 理論
性能

富士通 FX100（名大、他）

1.1264TFlops(32 コア)名大2880 ノード

Intel Xeon マイクロアーキテクチャ（九コア数最大36(18x2 ソケ

大、東大、等）ット)

Intel Xeon Phi KNL(Oakforest-PACS、他)
NVIDIA Tesla P100
（TSUBAME3.0、
他）
NEC SX-ACE （東北大、地球シミュレータ、等）
その他（2018 年出荷予定である NEC
Aurora や IBM
Power9 など）

FX100 に次いで利用希望が多かったスパコンは、九州大学情報基盤研究開発センターが運用する、Intel の最新の汎用 CPU Skylake を計算ノードとして構成されるスパコ
ン ITO システムであり、約 7,200 万ノード時間積の計算資源の利用希望があった。前述のとおり、この数値を 2 倍し、また、「京」と ITO のノードの性能比（１：２７）を用いて「京」のノード時間積に換算すると、約 39 億ノード時間積となり、HPCI が 1 年間に提供している「京」の資源量の約 7.2 倍の計算資源になる。また、ITO システムのノード数としては、約
16,000 ノードを 1 年間占有する計算資源量となるが、上記の情報基盤研究開発センターが運用している全ノード数 2,000 台の 8 倍のノード数に相当する。
さらに、東京大学情報基盤センターと筑波大学計算科学研究センターとが共同で運用する、Intel の最新のメニーコア CPU である Knights Landing を計算ノードとして構成さ
p. 6

れるスパコン Oakforest-PACS の利用希望が約 3,600 万ノード時間積であった。これも「京」と Oakforest-PACS のノードの性能比（１：２３）を用いて「京」のノード時間積に換算
すると、約 16.6 億ノード時間積になり、HPCI が 1 年間に提供している「京」の計算資源量の約 3.1 倍に相当する。また、この資源量は Oakforest-PACS の約 7,200 ノードを 1
年間占有する資源量に相当し、上記の情報基盤センター等が運用する全ノード数
8,208 台の約 9 割に相当する資源量である。
その他、東京工業大学学術国際情報センターが運用する、計算ノードにアクセラレー
タとして NVIDIA 社製の GPU Tesla P100 を搭載した TSUBAME3.0（2.86 ペタ・フロップ
ス）、東北大学サイバーサイエンスセンターが運用する NEC 社製スパコン SX-ACE（0.7
ペタ・フロップス）などに対する利用希望の回答があった。
上記の上位 3 つのスパコンだけでも、HPCI のユーザが 1 年間に利用を希望する計算
資源量は「京」のノード時間積に換算する 71.6 億ノード時間積（82 万ノード×1 年間）に上り、スパコンの性能に直すと約 105 ペタ・フロップスに相当する。これはあくまでユーザが利用を希望する計算資源の推定値に過ぎず、必ずしも、我が国の計算科学が発展し続けるために HPCI として提供すべき資源量であるとは限らない。しかし、「京」を中核として HPCI の利用が進み、より大規模・多ケースの計算に対する計算資源の需要が拡大していること、さらに、「京」からポスト「京」に移行する際に、フラッグシップ計算機自体の計
算資源量が数十倍に急増することを考えれば、HPCI ユーザからこのように多くの計算資
源の利用希望が上げられたことは自然なことであり、国としてもこのような利用希望に対して最大限対処していく必要がある。
２－２．ポスト「京」重点課題を実施するために必要となる計算資源
ポスト「京」で重点的に取り組むべき社会的・科学的課題、いわゆる、ポスト「京」重点
課題は、ポスト「京」を利活用することにより、社会的・科学的に重要な国家的課題を解決することを目的としたアプリケーションの研究開発と実証研究に関する事業である。ポスト「京」重点課題は、当初予定では「調査研究・準備研究フェーズ」（2014～2015 年度）、「本格実施フェーズ」（2016～2019 年度）、「成果創出フェーズ」（2020 年度以降）の３つのフェーズから構成されており、現在は二番目のフェーズに当たる「本格実施フェーズ」の途中にあり、「京」の計算資源の 40%を利用して、ポスト「京」向けのアプリケーションの研究開発が実施されている。当初は、2020 年度にはポスト「京」の共用が開始される予定であったので、最後のフェーズに当たる「成果創出フェーズ」では、実際にポスト「京」を利活用して、成果の創出、すなわち、社会的・科学的に重要な国家的課
題の解決を図ることが想定されていた。しかし、ポスト「京」の共用開始が当初予定よりも1 年乃至 2 年遅れ、2021 年以降になる見込みとなったため、最後のフェーズに当たる「成果創出フェーズ」の実施期間、実施方法と、ポスト「京」の共用開始以前から実施することになった場合に必要となる代替計算資源に関しても検討しておく必要がある。以下、
p. 7

議論を簡潔にするため、ポスト「京」の共用開始が 2021 年度であると仮定する。
ポスト「京」重点課題の「成果創出フェーズ」の実施期間や実施方法等に関しては、
文部科学省内で別途、その具体策を検討すべきであるが、可能性としては以下の３つが考えられる。すなわち、①「本格実施フェーズ」が 2019 年度で終了した後は、ポスト「京」が部分的にも稼働しない間は「成果創出フェーズ」は実施しない、②2020 年度以降も、第二階層計算資源を活用して「本格実施フェーズ」、すなわち、ポスト「京」向けのアプリケーション開発を継続し、ポスト「京」の稼働開始とともに「成果創出フェーズ」に移行する、③当初の予定どおり 2020 年度から「成果創出フェーズ」を開始するが、ポスト「京」の共用開始前は第二階層計算資源や（ポスト「京」が部分的に稼働した場合は）ポ
スト「京」の計算ノードを活用して「成果創出フェーズ」の実施準備をする、である。なお、「本格実施フェーズ」が終了する際には、ポスト「京」の実機を用いた実証が行われる必要があるため、本格実施フェーズの期間を延長したり、ポスト「京」の一部の計算ノードを用いてアプリケーションの性能評価や効果の確認をしたりすることも考えられる。
ポスト「京」重点課題の実施の基礎となった、2014 年 8 月に纏められた「ポスト『京』で重点的に取り組むべき社会的・科学的課題についての検討委員会報告書」（主査：小宮山 宏 株式会社三菱総合研究所理事長）によれば、「…ポスト『京』が運用開始前に部分的に運用されている期間においても、その期間での先行的な利活用による成果の早期創出を図ることを検討する必要がある。」としている。つまり、「本格実施フェーズ」
で研究開発されたアプリケーションによる成果の創出を進め、可能な限り早期に成果を社会に還元する必要性を述べている。この観点から、上記の①から③の各実施方法に関して改めて検討すると、まず、①については結果的にポスト「京」による成果の創出を遅延させる可能性が高く、特に、「本格実施フェーズ」においてポスト「京」向けのアプリケーションの研究開発に携わった研究者の雇用の継続性が担保されないことから研究開発の進捗が著しく減速してしまう可能性が高く、この選択肢は選択すべきではない。アプ
リケーション開発・研究開発も含めたフラッグシップ２０２０プロジェクト全体の中間評価が総合科学技術・イノベーション会議（CSTI）により 2018 年秋に実施される予定である。この際、アプリケーション開発の進捗度、つまり、ポスト「京」重点課題の「本格実施フェーズ」の進捗度についても慎重に評価し、進捗状況が良好な重点課題に関しては、③の実施方法、すなわち、2020 年度から直ちに「成果創出フェーズ」を開始することが妥当であると考えられる。仮に、2020 年度中に部分的にでもポスト「京」が利用可能となる場
合は、実際にポスト「京」の計算ノードを利用し、「本格実施フェーズ」において開発したア
プリケーションの性能評価、および、さらなる最適化を進めるべきである。このことにより、
ポスト「京」の共用開始と同時に成果の創出、すなわち、社会的・科学的に重要な国家的課題の解決を図るための実証研究が開始できるようになり、前記の「ポスト『京』で重点的に取り組むべき社会的・科学的課題についての検討委員会報告書」に記載された趣旨に沿うことになる。ただし、「本格実施フェーズ」において開発されている全てのアプ
p. 8

リケーションに関して 2020 年度から直ちに「成果創出フェーズ」に移行する必然性はな
く、あくまでも、前記の中間評価により精査した、各アプリケーションの開発の進捗度に応じて、2020 年度以降もアプリケーション開発、すなわち、「本格実施フェーズ」を継続す
るか、あるいは、2020 年度から「成果創出フェーズ」に移行すべきかを判断すべきである。②の方法を実施するためには現行と同じ計算資源量である、「京」の 40%に相当す
る計算資源量を充当することが妥当である。一方、③の方法に関しても、ポスト「京」の共用開始前は、ポスト「京」に対するアプリケーションの性能評価と最適化が主体となる
ため、やはり現行と同じ、「京」の 40%に相当する資源量があれば実施できるものと考えられる。
３． フラッグシップ計算機停止中に提供可能な第二階層計算資源
前節では、フラッグシップ計算機の運用停止期間は HPCI の計算資源が数 10 倍以
上に飛躍的に増大することに対する準備期間でもあることから、少なくとも現行のフラッ
グシップ計算機「京」の数倍以上に相当する計算資源を提供すべきであることを報告した。本節ではこの期間において、HPCI として提供可能な唯一の計算資源となる、各大学の情報基盤センター等のスパコンの整備状況・整備計画に関する調査結果を報告する。
また、「全国共同利用情報基盤センター長会議」の下に設置された「今後の HPCI 第２
階層システム検討委員会」における議論等から、HPCI に対して拠出可能と推算される計算資源量に関しても言及する。
３－１．大学情報基盤センター等のスパコンの整備状況と整備計画
第二階層計算資源の拠出元となる、各大学の情報基盤センター等のスパコンの整備運用計画（2017 年 10 月時点）を図 2 に示す。図中薄い肌色で記載されているスパコ
ンは 2017 年 10 月時点において既に設備整備が完了し、運用を開始しているものである。一方、緑色で記載されているスパコンは今後、設備整備が計画されているものである。また、PF（ペタ・フロップス）は理論性能を示し、MW（メガ・ワット）は空調設備も含めた
最大必要電力を表す。2017 年 11 月に発表された、LINPACK 性能によるスパコンのラ
ンキングリスト（TOP500）によれば、筑波大学と東京大学が共同して運営するセンターである最先端共同 HPC 基盤施設（JCAHPC）により設備整備されたスパコンである、
Oakforest-PACS が 13.5 ペタ・フロップス（理論性能は 24.9 ペタ・フロップス）を記録し、フラッグシップ計算機「京」の 10.5 ペタ・フロップス（同 11.3 ペタ・フロップス）を上回り、LINPACK 性能に関しては国内最高性能のスパコンとなっている。今後も、各大学の情報基盤センター等において「京」を上回る理論性能を有するスパコンの整備が計画されている。一般社団法人 HPCI コンソーシアムから文部科学省研究振興局長に手交された「今後の HPCI 第二階層計算資源の整備とその活用に関する提言」（2017 年 6 月）の中でも言及されているように、現在の HPCI の構造は、フラッグシップ計算機「京」を頂点とし、その裾野に第二階層計算資源が位置するピラミッド型構造から、高い性能を有す
p. 9

る計算機が並立する、いわゆる八ヶ岳型の構造に移行しつつあり、この状況は次期フラッグシップ計算機、ポスト「京」の共用が開始されるまで続く見通しである。

図 2 情報基盤センター等のスパコンの整備状況と整備計画（2017 年 10 月時点）
３－２．HPCI に拠出可能な計算資源
前小節で述べた通り、「京」の理論性能を上回る理論性能を有するスパコンが各大学
情報基盤センター等により次々に整備されていく中で、各大学情報基盤センター等は第二階層計算資源として、これらのスパコンの計算資源の一部を HPCI に対して自発的か
つ積極的に拠出し、我が国の計算科学の発展に貢献している。各大学の情報基盤セン
ター等のスパコンの整備状況やそれぞれのセンターが抱えるユーザの利用状況などにより変わる可能性はあるが、前記の「今後の HPCI 第２階層システム検討委員会」 において、情報基盤センター等が HPCI に拠出することができる計算資源量を調査したところ、各大学の情報基盤センター等のスパコンの設備整備が予定どおりに実施されれば、相応の予算措置は必要になるものの、最大で「京」の理論性能である 11.3 ペタ・フロップスの 4 倍近くの理論性能に相当する第二階層計算資源がフラッグシップ計算機の停止期
間中に HPCI として提供可能であるという見積もりが得られている。この資源量は第 2 節において言及した、現在の HPCI の利用者から利用希望が出された資源量である約 105
ペタ・フロップス（推算値）には及ばないものの、相当量の計算資源が各大学の情報基盤センター等のスパコンから第二階層計算資源として提供可能であると言える。
４． フラッグシップ計算機停止中の資源提供に関して留意すべき点
p. 10

前節までは、フラッグシップ計算機の運用が停止されている間に必要となる計算資源量、および、その間に第二階層計算資源として提供可能と推定される資源量について調査・検討した結果を報告した。この結果によれば、必ずしも十分とは言えないまでも、第二階層計算資源として相応の計算資源がフラッグシップ計算機の運用停止期間において提供可能である見通しを得た。本節では、第 1 節において言及したとおり、フラッグ
シップ計算機と第二階層計算資源の目的や性格の違いから、資源提供にあたって特に留意すべき点に関して言及する。
４－１．実効的な計算資源量に関する考慮
HPCI が 2017 年度に提供した資源量を二つのベンチマークプログラムで評価した性能により、スパコンごとに示した結果を図３に示す。同図左は密行列を係数行列に持つ
連立一次方程式の求解問題を中心としたベンチマークプログラム LINPACK（Linear
Algebra Package）により評価した性能であり、一方、同図右は共役勾配法（Conjugate
Gradient Method）に基づく、疎行列を係数行列に持つ連立一次方程式の求解を中心としたベンチマークプログラム HPCG（High Performance Conjugate Gradient）により評価した性能である。前者のベンチマークプログラムが主として演算コアやキャッシュの性能を評価することになるのに対して、後者のベンチマークプログラムでは流体解析や構造解析で重要となる、メモリーの転送能力も重要なポイントになる。特に、産業界で使われている多くの市販のアプリケーションの性能は HPCG により評価された性能に近いか、それ以下になることも考えられる。両図において、緑色の棒グラフの長さは当該計算機の全資源量を表し、灰色あるいは赤色の棒グラフの長さはそれぞれ、各計算機から HPCI に拠出されている、あるいは、拠出可能な1資源量を表している。また、各棒グラフ内、あるいは棒グラフの上の数字は TOP500 における当該年度のランキング順位を表している。
さらに、両図のピンク色の棒グラフの長さは第二階層計算資源として提供可能な HPCI の総計算資源量を表している。
LINPACK 性能（同図左）に関しては、「京」から HPCI に拠出されている資源量が約 7.5
ペタ・フロップスである。これに対して第二階層計算資源として提供可能な総資源量は
約 6.8 ペタ・フロップスであり、「京」の提供資源量の約９割である。しかし、HPCG の性能（同図右）では、その実効性能は大きく低下し、「京」が提供している資源量が約 0.43 ペタ・フロップスであるのに対して第二階層計算資源として提供可能な総資源量は約 0.26
ペタ・フロップスとなり、「京」が提供している資源量の約６割である。産業界で使われている多くの市販のアプリケーションを含め、実際のアプリケーションの性能はこれらのベン
チマークプログラムにより評価された性能よりもさらに低くなることも十分考えられる。したがって、ピーク性能だけではなく、実際のアプリケーションに対する各スパコンの実効性能

1

第二階層計算資源を使う利用課題の選定方式では拠出可能な全ての資源が HPCI から提供される結果にはならない。

p. 11

も十分に考慮した上でフラッグシップ計算機の運用停止期間中に提供すべき計算資源量を決定すべきである。

図３ 各スパコンから HPCI に提供されている計算資源量（2017 年 9 月時点）
４－２．計算機アーキテクチャの違いに関する考慮
前述のように、第二階層計算資源は各大学の情報基盤センター等から HPCI に拠出されている計算資源であるため、多様なアーキテクチャのスパコン上の計算資源である。
このため、フラッグシップ計算機「京」上で動いていたアプリケーションがそのまま動くとは限らず、仮に動いたとしても、前小節で言及したように、アプリケーションの高い実効性能が得られるとは限らない。このため、「京」に近いアーキテクチャを有するスパコンにより第二階層計算資源を提供したり、アプリケーションの移植や最適化を支援する体制を強化したりする必要がある。２－１節において、名古屋大学情報基盤センターが HPCI に拠出している、富士通の FX100 に対する利用希望が最も多かったことを報告したが、このようなユーザの希望を表しているものと考えられる。さらに、前記のスーパーコンピューティ
ング技術産業応用協議会からも、「京」と同一のアーキテクチャを有する代替え計算機
による資源提供に対する強い要望が寄せられている。実際、FX100 の計算ノード（CPU）のアーキテクチャは、ノード内がコア・メモリー・グループ（CMG）とよばれる演算コア群に分割されている点と SIMD（Single Instruction Multiple Data Stream）の要素数が「京」の2 倍に増加していることを除けば「京」の計算ノードとほぼ同一のアーキテクチャを採用しているため、「京」で動いていたアプリケーションは手を加えることなく FX100 上で動き、また、比較的高い実効性能が得られることが期待される。一方、ソフトウェア資産の継承に
p. 12

関しては、前述の「今後の HPCI 第二階層計算資源の整備とその活用に関する提言」（2017 年 6 月）においても、第二階層計算資源におけるアプリケーションの移植・最適化を支援する体制の整備に関しては言及されており、早期に実行に移すべきである。
４－３．アプリケーションの整備と利用支援
フラッグシップ計算機「京」上には、流体解析アプリケーション OpenFOAM や衝突・構造解析アプリケーション LS-DYNA など、いくつかのオープン・ソース・ソフトウェア（OSS）
や市販のアプリケーションが整備されており、これらのアプリケーションを利用した大規模な実証計算が産業界を中心として「京」上で実施されている。これらのアプリケーションを今後、第二階層計算資源や次期フラッグシップ計算機ポスト「京」上にどのように整備していくか、ということも重要な課題である。1－2 節において言及したように、HPCI 全体の整備・運用計画を策定する中で、アプリケーションの整備計画も早期に策定すべきである。また、「京」上でインハウス・ソフトウェアを利用している企業にとっては、フラッグシップ
計算機が運用を停止している期間においても HPCI の利用を継続する場合、「京」から一
旦第二階層計算資源上のスパコンにアプリケーションを移植し、さらに、ポスト「京」の稼働に合わせて当該アプリケーションをポスト「京」に再移植する必要性が生じ、このために相当な人件費コストが発生することが予想される。このことが産業界のおけるスパコン利用を大きく阻害する要因になってしまう可能性もある。そのため、フラッグシップ計算機が運用を停止している期間に HPCI が提供するスパコンの計算機アーキテクチャに関する考慮とアプリケーションの移植支援に対しても産業界から強い要望が寄せられている。
４－４．大規模ジョブの実行環境の提供
前述のように、フラッグシップ計算機「京」においては最大約 8 万ノードが利用でき、一月に 1 回実施されている大規模ジョブの実施期間でなくとも、数万ノード利用した大規模ジョブを実施する環境が常に提供されている。これに対して、第二階層計算資源に資源を拠出しているスパコン中で最大のスパコンである、Oakforest-PACS でも最大利用できるノード数は約 8,000 ノードであり、一桁少ない。したがって、フラッグシップ計算機「京」の運用停止後、次期フラッグシップ計算機ポスト「京」の共用が開始される間、どのようにして大規模なジョブの実行環境を提供するか、ということも重要な検討課題となる。大
学情報基盤センター等で運用期間を終了したスパコンを HPCI の専用計算機として資源提供したり、2018 年度の補正予算等により HPCI 専用の第二階層計算機を設備整備したりすることも検討する必要がある。
４－５．HPCI 利用課題の運用方法の違い
我が国の計算科学の発展のためには、2－2 節において言及した、ポスト「京」重点課
題・同萌芽的課題のような国策的なアプリケーション開発・利用の推進に加え、新規分
p. 13

野を含めて広範囲な分野の研究者・技術者がスパコンの利活用を進めるとともに、国民に対する成果の直接的な還元という観点では、産業界による積極的な利活用も必要である。フラッグシップ計算機「京」においては、このような目的を達成するために、いくつかの独自の利用制度が実施されているが、第二階層計算資源における HPCI の利用課題において、これらの制度は必ずしも実施されていない。
「京」と「京」以外の HPCI の利用制度の違いを表 2 に示す。「京」には若手奨励制度
やトライアルユース制度、産業界の成果非公開有償利用制度があるが、「京」以外のHPCI には必ずしもそれらの制度はない。一方、各大学の情報基盤センター等では上記のような趣旨で独自の利用制度を実施しているところもある。したがって、「京」で実施されているこれらの制度に関しては、各大学の情報基盤センター等で現在実施されている制度を精査した上で、フラッグシップ計算機の停止期間中においても第二階層計算資源上で継続して実施すべき制度を選定し、その実施方法を検討する必要がある。
表 2 HPCI 利用研究課題募集枠の比較

各産業利用課題の課題件数、ならびに、有償利用件数および利用料収入等の推移を図４に示す。図４の右図に示すように、ここ数年間で成果非公開の有償利用は急激に伸展しており、フラッグシップ計算機停止期間中におけるこの制度の継続を具体的に検討するとともに、早期にポスト「京」に向けた制度設計を実施すべきである。なお、スケジュール的には、2019 年中に「京」の運用が停止されると仮定すると、2018 年 8 月に開p. 14

催される HPCI の課題選定委員会において、諸制度が決定される必要があることを付記する。

図４ 産業利用課題件数等の推移
５． 次期フラッグシップ計算機へのスムーズな移行に向けて最後に本節ではフラッグシップ計算機のスムーズな移行を実現し、ポスト「京」による成果創出を早期に達成するための具体的な施策に関して検討した結果を報告する。
５－１．ユーザに対する早期の情報開示
前述のように、次期フラッグシップ計算機ポスト「京」は早ければ 3 年後の 2021 年の第一四半期には全系による共用が開始される見込みである。一方、「京」からポスト「京」への移行に関しては、アプリケーションの移植・最適化等がスムーズに行われるように最大限の配慮はされているものの、ポスト「京」は 9 年から 10 年の期間を経て更新される
フラッグシップ計算機であるため、必然的にアーキテクチャ的にはある程度の変化があり、
ポスト「京」に対するアプリケーションの移植や最適化にあたっては相当な時間、コスト、および労力が必要になることが予想される。したがって、出来る限り早期に、ポスト「京」による成果を創出するためには、HPCI 利用課題の代表者、各大学の情報基盤センター
等のスパコンユーザ、ならびに、市販アプリケーションの開発・販売事業者等に対して、
p. 15

ポスト「京」の運用開始予定時期、計算ノードのアーキテクチャとノード性能、ネットワークの構成と性能、言語や数値計算ライブラリ等のアプリケーション開発環境等に関する情報開示をできるだけ早期に、かつ、適切な方法により実施すべきである。
５－２．アプリケーションの開発環境の提供
５－１節において言及した、ポスト「京」に関する早期の情報開示とならんで、ポスト「京」と同じ、あるいは類似した命令セット（Instruction Set Architecture）の CPU から構成される計算サーバやポスト「京」のシミュレータ利用環境を整備し、アプリケーションの動作確認、ポスト「京」におけるアプリケーションの性能推定や最適化が実施可能な環境を早期に提供すべきである。 さらに、ポスト「京」の全系による共用開始前に、一部の計算ノードを利用した試験運用を実施することを検討すべきである。これらのことにより、現行のフラッグシップ計算機「京」あるいは第二階層計算資源からポスト「京」へのアプリケーションの移植や性能最適化が早期に実施でき、ポスト「京」による成果の創出を早められることが期待される。このことに関しては、前記のスーパーコンピューティング技術産業
応用協議会を介して産業界からも強い要望が寄せられている。
５－３．アプリケーションの移植支援体制の構築とアプリケーションの整備
５－１節において言及したように、ポスト「京」に対するアプリケーションの移植や最適化にあたっては相当な時間、コスト、および労力が必要になることが予想される。幅広いユーザ層による、ポスト「京」の利活用を推進し、その成果を最大化するために、「京」、
あるいは第二階層計算資源上で稼働しているアプリケーションをポスト「京」へ移植し、性能最適化を図ったり、ポスト「京」において新規のアプリケーションを開発したりするための支援制度を整備すべきである。また、「京」上に移植された市販のアプリケーションや「京」上に整備されたオープン・ソース・ソフトウェアは特に産業界でも利用が拡大しており、産業界におけるスパコンの利用拡大の大きな牽引力となっている。次期フラッグシップ計
算機ポスト「京」において、産業界のおけるスパコンの利用をさらに拡大するためにも、これらのアプリケーションの、ポスト「京」における整備も早期に進めるべきである。また、このようなアプリケーションの整備にあたっては、フラッグシップ計算機と第二階層計算資
源との連携がさらに強力に進むような方策を検討し、実施すべきである。
６． 結言
本報告書ではフラッグシップ計算機が「京」からポスト「京」に更新されることに伴い発生する、フラッグシップ計算機の運用停止期間においても我が国の計算科学が発展し続け、引き続き世界をリードしていくための、今後の計算資源提供の在り方、および、次期フラッグシップ計算機ポスト「京」による成果を早期に創出するために実施すべき施策に関して調査検討した結果を報告した。本報告書の主要な結論を以下に纏める。
p. 16

６－１．「京」の運用停止とフラッグシップ計算機停止期間中の資源提供の在り方（１） 「京」は第二階層計算資源と比べて 10 倍以上の数の計算ノードを有し、実質的に超大規模計算が実行可能な我が国唯一の計算資源である。また、第二階層
計算資源は多様なアーキテクチャを有するスパコンから拠出されているものであり、「京」の上で稼働しているアプリケーションがそのまま稼働するとは限らない。したがって、「京」の運用停止時期はできる限り遅延させるべきである。また、ポスト「京」は全系による共用開始以前に部分的運用を早期に開始し、ポスト「京」による成果の創出を早めるべきである。
（２） フラッグシップ計算機の更新時は第二階層計算資源が HPCI の唯一の計算資源となり、かつ、この時期は HPCI の全計算資源量が数 10 倍以上に拡大することに対する準備期間でもある。第二階層計算資源等を増強することにより、少なくとも実効性能において「京」の数倍以上の計算資源を HPCI として提供すべきである。
（３） フラッグシップ計算機の運用停止期間における、第二階層計算機による資源提供に関しては、アプリケーションの開発・利用環境の継続性を担保すべきであり、
特に、「京」から代替え計算資源、代替え計算資源からポスト「京」への移行に必要となる費用、時間、労力が最小限に抑えられるようにすべきである。このためには、富士通株式会社製 FX100 など、「京」と類似のアーキテクチャの計算機により一定量の計算資源を提供するとともに、インテル社製の最新の CPU など、ポスト「京」の計算ノードのアーキテクチャに近い計算機による資源提供も実施すべきである。また、提供する計算資源の総量だけでなく、１ジョブで利用できる計算資源の大きさにも配慮し、「京」で実施していたのと同様な超大規模計算が実施できる環境を提供すべきである。このためには、運用期間が終了した、大学情報基盤センター等のスパコンや補正予算等により、HPCI 専用の第二階層計算機を提供することも検討すべきである。
（４） 「京」には若手奨励制度やトライアルユース制度、成果非公開有償利用制度など、第二階層計算資源上では必ずしも実施されていない制度がある。「京」で実施されているこれらの制度に関しては、各大学の情報基盤センター等で独自に実施されている制度を精査した上で、フラッグシップ計算機の停止期間中においても、第二階層計算資源上で継続して実施すべき制度を選定し、その実施方法を検討すべきである。
６－２．次期フラッグシップ計算機への移行
p. 17

（５） HPCI 利用課題の代表者、各大学の情報基盤センター等のスパコンユーザ、ならびに、市販アプリケーションの開発・販売事業者等に対して、ポスト「京」の運用開始予定時期、計算ノードのアーキテクチャとノード性能、ネットワークの構成と性能、言語等のアプリケーション開発環境等に関する情報を早期に開示すべきである。
また、ポスト「京」と同じ命令セットの CPU から構成される計算サーバやポスト「京」のシミュレータ利用環境を整備し、アプリケーションの動作確認やポスト「京」における性能推定や性能最適化が実施可能な環境を早期に提供すべきである。さらに、
ポスト「京」の共用開始前に、一部の計算ノードを利用した試験運用を開始することを検討すべきである。これらのことにより、現行のフラッグシップ計算機「京」あるい
は第二階層計算資源からポスト「京」へのアプリケーションの移植やポスト「京」に対する性能最適化が早期に実施でき、ポスト「京」による成果の創出を早められることが期待される。
（６） 幅広いユーザ層によるポスト「京」の利用を促進し、成果を最大化するために、「京」あるいは第二階層計算資源上で稼働しているアプリケーションのポスト「京」へ移行やポスト「京」における新規アプリケーション開発を支援する制度を整備すべきである。また、「京」上に整備されたオープン・ソース・ソフトウェアや「京」上に移植された市販アプリケーションは産業界でも利用が拡大しているため、早期にポスト「京」における整備も進めるべきである。

p. 18

あとがき
本報告書はフラッグシップ計算機「京」の運用停止が迫りつつある中で、フラッグシッ
プ計算機の運用が停止している期間において、HPCI としてどのように計算資源を提供し、また、次期フラッグシップ計算機であるポスト「京」への移行をスムーズに進め、ポスト「京」による成果の創出を早期に実現するために、どのような施策が必要になるかということに関して調査・検討した結果を報告したものである。
HPCI の全利用課題の代表者に対して実施したアンケート結果によれば、現行のフラッ
グシップ計算機「京」の資源量の 10 倍にも上る計算資源量の利用希望が寄せられた。
このことは、HPCI が我が国の計算科学を強力に牽引してきた成果として、産業界も含めてスパコンの利用が進展したことを反映した結果であると言える。また、次期フラッグシッ
プ計算機への移行に伴い HPCI 全体の計算資源が数 10 倍以上に飛躍的に増強されるため、HPCI に対する期待がさらに大きくなっていることを表しており、国としてこのような期待に最大限応えるべく、第二階層計算資源等の増強を図るべきである。
一方、前記のアンケート結果によれば、フラッグシップ計算機「京」の性能を上回る大学情報基盤センター等のスパコンがいくつか登場しつつある中においても、「京」と類似したアーキテクチャの計算機に対する利用希望が圧倒的な多数を占めた。「京」で育まれてきたアプリケーション資産の継承に対して高い関心が示されたものと考えられ、このことは、フラッグシップ計算機の運用停止期間における計算資源の提供、さらに、ポスト「京」への移行に際して、最大限配慮すべきである。しかしながら、HPCI あるいは各大学情報基盤センター等のスパコンのユーザに対して、ポスト「京」に関する情報が十分には提供されておらず、「京」からポスト「京」への発展的移行よりも、「京」で開発したアプリケーシ
ョン資産の活用が優先された結果とも解釈できる。幅広いユーザによる、ポスト「京」の成果創出を早期に実現するためには、ポスト「京」に関する情報やポスト「京」の性能予
測シミュレータの利用環境を早期に適切な方法でユーザに提供すべきであると言える。
本報告書では検討しなかったが、フラッグシップ計算機の「京」からポスト「京」への移行に伴って、これまでとは桁違いに大量のデータが出力されることが予想され、さらに、
データサイエンスの進展にも伴い、HPCI で取り扱うデータ量は今後益々増大していくことが予想される。HPCI のさらなる発展のためには、スパコン本体の整備だけではなく、ストレージやネットワーク環境の整備も重要な課題であり、別途検討を進めるべきである。
フラッグシップ計算機と第二階層計算資源の拠出元である、各大学の情報基盤セン
ター等のスパコンは我が国の計算科学を発展されるために必須の車の両輪であり、その両輪が最大限機能を発揮するためには、ストレージやネットワーク環境、さらにアプリケー
ションの整備も欠かせない。現状、フラッグシップ計算機の更新インターバルが 9 年から10 年であることを考慮し、ソフトウェア資産の継承、フラッグシップ計算機の更新時における資源提供の在り方、さらに、フラッグシップ計算機の移行方法に関して、今後はより長期的な視野に立って HPCI の全体計画を策定していくことが必要である。
p. 19

附録
HPCI システムの今後の在り方に関する調査検討ワーキンググループ
フラッグシップ計算機停止期間中における HPCI の資源提供のあり方に関する調査検討
ワーキンググループ【委員リスト】
委員伊藤 宏幸

スーパーコンピューティング技術産業応用協議会

委員

奥田 基

高度情報科学技術研究機構

主査

加藤 千幸

委員

小林 広明

東北大学サイバーサイエンスセンター

委員

佐藤 三久

理化学研究所計算科学研究機構

委員

白井 宏樹

アステラス製薬委員

髙木 周

東京大学大学院工学系研究科

委員

高橋 桂子

海洋研究開発機構地球情報基盤センター

委員

店橋 護

東京工業大学工学院

委員

常行 真司

東京大学大学院理学系研究科

東京大学生産技術研究所
HPCI コンソーシアム副理事長

主査代理 中村 宏

東京大学情報基盤センター

委員

高度情報科学技術研究機構

平山 俊雄※50 音順※オブザーバ：文部科学省計算科学技術推進室、中島浩（HPCI コンソーシアム理事長）、荒木政則（RIST 共用促進部長）、平澤健一（HPCI コンソーシアム・事務スー
パーバイザー）【検討の記録】第１回 平成 29 年 9 月 28 日（木）10:00～12:00 於：RIST 東京事務所
第２回 平成 29 年 10 月 26 日（木）10:00～12:00 於：RIST 東京事務所
第３回 平成 29 年 12 月 1 日（金）10:00～12:00 於：RIST 東京事務所
第４回 平成 29 年 12 月 27 日（水）10:00～12:00 於：RIST 東京事務所
説明会（意見交換会） 平成 30 年 1 月 24 日（水）14:00～16:00 於：TKP 東京駅日本橋カンファレンスセンター
第５回 平成 30 年 2 月１６日（水）10:00～12:00 於：RIST 東京事務所
第６回 平成 30 年 3 月 日（ ）～於：RIST 東京事務所

p. 20

【第１回ワーキンググループ資料より】「フラッグシップ計算機停止期間中における HPCI の資源提供の在り方に関する調査・検討サブワーキンググループ（仮称）」の設置について
平成 29 年 9 月 28 日
HPCI システムの今後の運営の在り方に関する調査検討ワーキンググループ 主査
HCPI コンソーシアム 副理事長
東京大学 教授 加藤千幸
１． 設置の趣旨
2019 年度にはフラッグシップ計算機「京」の全系が運用を停止する予定であり、一方、「京」の後継機となるフラッグシップ計算機ポスト「京」の運用開始は 2021 年度
中になるものと見込まれている。したがって、2019 年度以降しばらくの間、HPCI はフラッグシップ計算機が無い状態で資源提供をすることになる。この期間においては、
大学等情報基盤センター群等から提供される第二階層計算資源や補正予算等により新たに調達する計算資源等が HPCI の主要な計算資源となる。我が国の計算科学がこの期間も含めて持続的な発展を続けるために、この期間における HPCI の資源提供の在り方に関して、国の HPCI に関連した施策に反映させるべく、早急に調査・検討し、報告書として纏め国へ報告する。
２． 設置期間2017 年 9 月から 2018 年 3 月末
３． 開催頻度
月 1 回 2 時間程度、期間中に合計 7 回程度開催する。
４． 設置形態
本サブ WG は、一般財団法人高度情報科学技術研究機構の下に設置されている、「HPCI システムの今後の運営の在り方に関する調査・検討 WG」の下に設置する。
なお、本サブ WG および議事録は非公開とする。また、本サブ WG は一般社団法人
HPCI コンソーシアムと協力して調査・検討活動を実施するものとする。
５． サブ WG 委員
別紙委員リストのとおりとする。［省略］
以上
p. 21

資料７
「京」の運用停止とポスト「京」への移行に向けた説明会に関するアンケート
平成３０年 １月２４日
プログラム３「HPCI の今後の課題募集と利用支援について」関連
質問１：「京」の H３０Ｂ期の課題公募について、応募時点で終了時期が確定できない可能性があります。利用者の立場からどのような課題公募方法が最適とお考えか、お聞かせ下さい。

質問２：「京」停止時に実施する、HPCI 利用研究課題募集枠について、募集枠の種類、募集回
数、計算資源量、利用機関について、特に重視する項目があれば、ご意見をお聞かせ下さい。

質問３：ユーザ支援方策について（１）「京」停止時の HPCI システムにおけるユーザ支援方策について、さらに必要なものがあれば、具体的にお聞かせ下さい。

（２）将来のポスト「京」の利用に向けてのユーザ支援として、希望するものがあれば、具体的にお聞かせ下さい。

プログラム５「ポスト「京」の開発状況について」関連
質問４： コデザイン成果やシステム諸元に関する情報公開、開示のタイミングについて、本日説明したスケジュールよりも早い公開／開示や、さらなる内容の追加を希望しますか（理由も）。

1質問５：理研シミュレータ等によるアプリ評価環境の提供について、（１）理研シミュレータ等をポスト「京」の共用開始の何ヶ月前から使いたいですか（理由も）。
※ポスト「京」の共用開始時期がまだ確定されないため、○年○月という記載は避けて下さい。
ポスト「京」共用開始の

ヶ月前

理由：

（２）さらに提供を望むツールはありますか。

質問６：アーリーアクセスについて（１）アーリーアクセスの課題選定はどのような方法が適切か、お考えをお聞かせ下さい。

（２）アーリーアクセスの課題選定が行われる場合はこれへの応募を希望しますか。

（３）（２）を希望される場合、応募にあたって、どのような支援を希望されますか。

自由記述欄：

御名前：
御所属：
御連絡先（メールアドレス）：
ご協力どうもありがとうございました。
2

「京」、HPCI及びポスト「京」に関する今後のスケジュール（ポスト｢京｣12か月延伸ケース）
2016
年度

2017
年度

2018
年度

2019
年度

2020
年度

2021
年度

2022
年度-

参考資料
関係する
資料

｢京｣の運用
運用

｢京｣課題

H28A

H29A

H28B
ポスト｢京｣
システム開発

－

H29B

H30A
H30B

未定

製造
（量産）
コスト・性能評価(文科)■ 中間評価(文科) ◆ ◆中間評価(CSTI)
詳細設計

ポスト｢京｣
システム情報開示

設置
・調整

運用

重点課題実施機関向けコデザイン情報

HPCIユーザ向け性能評価環境の提供

ポスト｢京｣
システム情報公開

Early Access
Program

最適化手引き執筆開始＆順次公開

Armv8A+SVE
ポスト｢京｣
重点課題
アプリ開発

資料
５－１

ノード仕様・全体性能

本格実施フェーズ

HPCI
第２階層の整備状況と計画

成果創出フェーズ

各大学及び研究機関における計画に基づき適切に整備（マシン数が多いためここでは省略）

H28HPCI

H29HPCI

H30HPCI

H31HPCI

資料２

資料
５－１

重点課題実施機関向けシミュレータ環境の提供
萌芽的課題実施機関向けシミュレータ環境の提供

HPCI
第２階層の
課題

資料３

H32HPCIー

資料４

H33HPCI

資料３