科学技術計算分科会 2022年度会合「富岳」NEXTへの挑戦 〜現在から未来へ〜「次世代計算基盤に係る調査研究」
理化学研究所チーム システムソフトGの取組
January 20, 2023

理化学研究所 ⾼性能ビッグデータ研究チーム
佐藤 賢⽃

フラグシップマシン（富岳・ポスト富岳）開発のこれまで
llllllllllll

富岳(ポスト京)が検討され始めたのは2010年l
2010年から2013年にかけて「戦略的⾼性能計算システム開発に関するワークショップ（SDHPC）」が開催され、本コミュニティーの多くのボランティアの⽅々のご協⼒で「今後のHPCI技術開発に関する報告書」がまとめられました。
2014年に "FLAGSHIP2020 "プロジェクトがスタート
2019年3⽉から富⼠通ITプロダクツ（⽯川県かほく市）にて製造を開始。2019年12⽉3⽇から理化学研究所 計算科学研究センター（神⼾市）への搬⼊、設置・調整を始め、新型コロナウイルスの渦中、2020年5⽉13⽇に筐体の搬⼊を終了（⼤型10トン トラック 72台分）
2019年半ごろ、SDHPCの後継のNGACI (Next-Generation Advanced Computing Infrastructure) 発⾜ISC20, SC20、「富岳」が2期連続で4部⾨のベンチマークで世界⼀位、SC20ではゴ－ドン・ベル賞ファイナリストに2件選出。
2021年3⽉9⽇、幅広い学術・産業分野に計算機資源を提供するため、富岳が共⽤を開始した
l
共有開始前の調整中に、COVID-19対策のためにいくつかの計算機資源が提供されていた2021年4⽉ 「次世代先端的計算基盤に関する⽩書（White Paper on Next-Generation Advanced Computing Infrastructure）」を公開
ISC21において、「富岳」が3期連続で4部⾨のベンチマークで世界⼀位
SC21において、「富岳」が4期連続で4部⾨のベンチマークで世界⼀位、SC21ではゴードン・ベル賞 COVID-19 研究特別賞受賞（COVID-19 の⾶沫・エアロゾ
ル拡散モデル）
2022年8⽉に “次世代計算基盤に係る調査研究事業” がスタート
2022年11⽉、5期連続で2部⾨（HPCG, Graph500）のベンチマークで世界⼀位。Top500およびHPL-AIでは世界⼆位。SC22ではゴードン・ベル賞受賞（プラズマシミュレーション WarpX）
2028-30年ごろにポスト富岳の共⽤開始が期待。

スライド提供：⿊⽥明義（理研）

2

NGACI (Next-Generation Advanced Computing Infrustructure)
目的
今後の高性能計算機の持続的な発展を考えるにあたり、AIやビッグデータ技術とのさらなる融合、Society5.0といった新しい応用分野への展開など、さらなる発展も期待される一方で、ムーアの法則の終焉など多くの技術的課題が待ち受けていることも事実である。本活動(NGACI)は、将来の高性能計算環境として、また共用計算機資源としてどのような技術的課題があり、どのような研究開発が必要なのか、コミュニティーとしてどのような活動をしていくべきなのかなどに関して、オープンに意見交換をしつつそれをWhite Paperとしてまとめることで本分野の発展に寄与することを目的としています。

NGACI WP (v1.0) 執筆者
全体取りまとめ：近藤正明（慶應大学/理化学研究所）
アーキテクチャWG

安島雄⼀郎(富⼠通), 井⼝寧(北陸先端⼤学) , 井上弘⼠(九州⼤学), 江川隆輔(東京電機⼤学), 岡本有司(Spin Memory), ⼩野貴継(九州⼤学), 鯉渕道紘(国⽴情報学研究所), 児⽟ 祐悦(理化学研究所), ⼩林諒平(筑波⼤学), ⼩松⼀彦(東北⼤学), 佐藤雅之(東北⼤学), 塩⾒準(京都⼤学), ⽥邊昇(東京⼤学), 中⾥直⼈(会津⼤学), 吉川隆英(富⼠通研究所), 福本 尚⼈(富⼠通研究所), 星宗王(NEC), 三好健⽂(わさらぼ), 宮島敬明(理化学研究所)

システムソフトウェアWG

合⽥憲⼈(国⽴情報学研究所), 遠藤敏夫(東京⼯業⼤学), ⼩柴篤史(理化学研究所), ⼩松⼀彦(東北⼤学), 坂本⿓⼀(東京⼤学), ⾼野了成(産業技術総合研究所), 滝沢寛之(東北⼤学), 辻美和⼦(理化学研究所), ゲローフイ バリ(理化学研究所), 中島耕太(富⼠通研究所), 深井貴明(理化学研究所), ⼭本啓⼆(理化学研究所), 和⽥康孝(明星⼤学)

アプリケーション・ライブラリ・アルゴ
リズムWG

岩下武史(北海道⼤学), ⼩野謙⼆(九州⼤学), 笠置明彦(富⼠通研究所), ⽚桐孝洋(名古屋⼤学), ⽩幡晃⼀(富⼠通研究所),
住元真司(富⼠通研究所), ⾼橋⼤介(筑波⼤学), 寺尾剛史(理化学研究所), ⻑坂侑亮(富⼠通研究所), 椋⽊⼤地(理化学研究所), 村上弘(東京都⽴⼤学)

システム運用WG

⼤島聡史(名古屋⼤学),實本英之(理化学研究所),庄司⽂由(理化学研究所),滝澤真⼀朗(産業技術総合研究所),⽵房あつ⼦(国⽴情報学研究所),藤原⼀毅 (国⽴情報学研究所),
三浦信⼀(理化学研究所)

リーダ：三輪忍(電気通信⼤学), 佐野健太郎(理化学研究所), ⾕本輝夫(九州⼤学)

リーダ：佐藤賢⽃(理化学研究所), 佐藤幸紀(豊橋技術科学⼤学)

深沢圭⼀郎(京都⼤学), 今村俊幸(理化学研究所),中島研吾(東京⼤学/理化学研究所)
塙敏博(東京⼤学), 野村哲弘(東京⼯業⼤学)

NGACI システムソフトウェアWGテーマ
テーマ
基盤ソフトウェア

大規模並列 / 高性能計算プログラミング環境

性能解析ツール

利用高度化ツール

資源管理
外部連携

サブテーマ

OS、仮想化、コンテナ
汎用演算機：CPU、アクセラレータ
次世代・専用ハードウェア：量子コンピュータ、ニューロモーフィック、データフロー型 etc.
メモリ：メモリ階層、データ移動
インタコンエクト：データ転送
ストレージ：ファイルシステム、I/Oツール、データ管理
プログラミングモデル
コンパイラ
デバッグ、テスト、再現性
データ学習&推論フレームワーク（TensorFlow, PyTorchなど）
データ処理&解析フレームワーク（Hadoop, Sparkなど）
プロファイラ、トレーサー、性能解析方法論
性能モデル、シミュレーション
省電力化システム：DVFSなどアプリの消費電力最適化
耐障害性システム：高信頼通信ライブラリ、冗長符号化、チェックポイントリスタートなど）
ディスアグリゲーション技術
資源モニタリング、ジョブスケジューラ
リアルタイム処理
分散ストレージ、広域ネットワーク、クラウド連携

NGACIホワイトペーパー︓ システムソフトウェアWG寄稿箇所

第1章 はじめに第2章 スーパーコンピュータの技術動向
2.1 ハードウェア技術の動向
2.2 システムアーキテクチャ(システムハードウェア)の技術動向
2.3 システムソフトウェアの技術動向
2.4 数値計算ライブラリ/ミドルウェア/アルゴリ
ズムの技術動向
2.5 運⽤に関する技術動向
第3章 アプリケーションの要求性能分析
3.1 次世代システムの予測性能とアプリケーションの要求性能
3.2 要求性能に対するアプリケーション分析
3.3 アプリケーションの要求性能との⽐較

第4章 次世代 (2028 年頃) システムの候補
4.1 汎⽤システム型
4.2 専⽤システム混載型および新たなる可能性
第5章 次世代型運⽤への要求
5.1 新しい利⽤形態とシナリオ
5.2 設備・管理
5.3 ユーザ利⽤・課⾦モデル
第6章 技術課題と研究開発ロードマップ
6.1 デバイス・アーキテクチャ
6.2 システムソフトウェア
6.3 数値計算ライブラリ・アルゴリズム
第7章 おわりに46ページ / 163ページ
NGACI: h6ps://sites.google.com/view/ngaci/home

本事業全体の趣旨
本調査研究は、ポスト「富岳」時代の次世代計算基盤の具体的な性能・機能等について、サイエンス・産業・社会のニーズを明確化し、それを実現可能なシステム等の選択肢を提案するものである。その際、我が国として独⾃に開発・維持するべき技術を特定しつつ、システム（アーキテクチャ、システムソフトウェア・ライブラリ、アプリケーション）、新計算原理、運⽤技術を対象とした調査研究及び要素技術の研究開発等を実施。（”評価項⽬”も参照）
システム調査研究チーム（代表機関：理化学研究所）

・既存ソフト環境の情報提供（アーキG）・ソフト・ライブラリの調査（ソフトG）・要件・ 要求検討（ソフトG＋アーキG）・ソフト開発ロードマップ策定（ソフトG）

アーキテクチャ調査研究
グループ

・ベンチマークセット提供（アプリG）・性能評価・What-if解析（アーキG）・アルゴリズム改善検討とベンチマーク更新（アプリG）
・再評価＋アーキ改善検討（アーキG）

システムソフトアプリケーショ
ライブラリ
ン調査研究
調査研究
グループ
・利⽤状況実績調査（ソフトG＋アプリG）
グループ
・ベンチマークセット提供（アプリG）
・定量的・定性的評価解析（ソフトG）・今後の改善・開発戦略検討（ソフトG＋アプリG）岣ઃ਼৻ੑ઴੦ೕ峕બ峵৹ਪଢ଼஢岤ৰ઱৬਑ધ৖ఐ৾੄‫ق‬岣ઃ਼৻ੑ઴੦ೕ峕બ峵৹ਪଢ଼஢岤௬੼੻৩ভ‫ك‬PDভ৮崊崱崸崌崞嵣嵎嵤崞WG

ઈ੾੻৩ভഥਮ‫ڰ‬ফ‫ڳ‬াৎਡ崟崡崮嵈৹ਪଢ଼஢崩嵤嵈‫਀৻ق‬ਃঢ়‫؟‬৶৲৾ଢ଼஢ਚ‫ك‬崊嵤崕崮崗崩嵋৹ਪଢ଼஢崟崡崮嵈崥崽崰崎崏崊嵣嵑崌崾嵑嵒৹ਪଢ଼஢崊崿嵒崙嵤崟嵏嵛৹ਪଢ଼஢৶৲৾ଢ଼஢ਚ୕૒ৢઙૄভ঺৶৲৾ଢ଼஢ਚূਨপ৾ਨਲ੊প৾৶৲৾ଢ଼஢ਚপଚপ৾໒ణপ৾૯ଘ৘য়প৾໒ణপ৾঩মAMDઙૄভ঺੟ସ嵣౫મଢ଼஢ਃଡূ਎ੵ঵প৾崌嵛崮嵓ઙૄভ঺ృପপ৾ਲஞଢ଼஢৫৅ਃଡূ਎প৾峇峘౎ੈৡਃঢ়‫؟‬ઙૄভ঺崯嵤崧崨崌嵔崗崰嵣崵崫崰嵗嵤崗崡嵣崠嵋崹嵛岝বয়ੲਾ৾ଢ଼஢ਚ岝੡ଽોপ৾岝 NVIDIA Corporation岝
Hewlett Packard Enterprise岝਎੃প৾岝বয়ଠધ઎岝঩মਉ৕ৡଢ଼஢৫৅ਃଡ崟崡崮嵈৹ਪଢ଼஢崩嵤嵈‫਀৻ق‬ਃঢ়‫؟‬ઋૺপ৾‫ك‬崊嵤崕崮崗崩嵋৹ਪଢ଼஢崟崡崮嵈崥崽崰崎崏崊嵣嵑崌崾嵑嵒৹ਪଢ଼஢崊崿嵒崙嵤崟嵏嵛
৹ਪଢ଼஢

ઙૄভ঺
Preferred Networksূ਎প৾বয়ੲਾ৾ଢ଼஢ਚઋૺপ৾ઙૄভ঺ভஸপ৾ઋૺপ৾
ૈ௖ৈ௧Preferred Networksઙૄভ঺ਲஞଢ଼஢৫৅ਃଡবয়୭୆ଢ଼஢ਚದଠൡপ৾
Preferred Networksূஞপ৾੡ଽોপ৾ઁਣপ৾ূ਎প৾ઋૺপ৾

ৗੑ઴ਉ৶৹ਪଢ଼஢崩嵤嵈‫਀৻ق‬ਃঢ়‫؟‬෵ᡳଝ྆প৾‫ك‬෵ᡳଝ྆প৾৶৲৾ଢ଼஢ਚృପপ৾ূਨপ৾঩মਗ਼ਞ
ઙૄভ঺ઈ৷ૼ୒৹ਪଢ଼஢崩嵤嵈‫਀৻ق‬ਃঢ়‫ূ؟‬਎প৾‫ك‬ূ਎প৾৶৲৾ଢ଼஢ਚূ਎ੵ঵প৾বয়ੲਾ৾ଢ଼஢ਚ峇峘౎ੈৡਃঢ়‫୕؟‬૒ৢઙૄভ঺峇峘౎ੈৡਃঢ়‫؟‬੡ଽોপ৾岝পଚপ৾岝ృପপ৾岝ਓ঵ૼ୒੕়ଢ଼஢ਚ

評価項⽬：演算性能、電⼒性能⽐、I/O性能、開発コスト、⽣産性(アプリ開発のしやすさ)、商⽤展開・技術展開、カーボンニュートラル

次世代計算基盤に係るシステム検討ワーキンググループ

システム調査研究/システムソフト・ライブラリ調査研究Gの概要（システムソフトG、 SysSoftG）
調査研究体制取組概要
システムソフトGに関しては、これまでのフラグシップや第⼆階層システムのソフトウェアの開発⼯数や利⽤状況、そして既に構築されているエコシステムとの親和性も踏まえ、ソフトウェア資産として何をベースに、国内でどこまでを開発すべきか、もしくは国際協調が必要なソフトウェアを優先度をつけて明らかしつつ、今後のロードマップを策定することが必要である。このため、次世代計算基盤を産業界を含む幅広い応⽤分野での活⽤を促すためにも、従来のシステムソフトウェアだけでなくデータ利活⽤の促進、機械学習技術と第⼀原理シミュレーション、さらには⼤規模リアルタイムデータ処理の⾼度な融合、従来の共⽤HPCシステムとは次元の異なる⾼セキュリティの担保、などを主要検討項⽬として⾒据えた今後の⽇本の次世代計算基盤として⾏うべきソフトウェア開発について調査研究を⾏う。
調査内容

コンパイラ・プログラミングモ
デルサブG

取りまとめG

セキュリティや⾃動チューニング等の分野横断的調査

HPC利⽤環境調査サブG（協⼒機関）名古屋⼤学【機関代表: ⽚桐】
スケジューラ・ランタイムサブG（分担機関）東北⼤学【SGL: 滝沢】ストレージアーキ・パターン調査（協⼒機関）株式会社DDNジャパン【機関代表: 橋⽖】
OS・仮想化・クラウド連携サブG（協⼒機関）国⽴情報学研究所【SGL: ⽵房】
HPC利⽤環境サブG（分担機関）⼤阪⼤学【SGL: 伊達】通信ライブラリサブG（分担機関）九州⼤学【SGL: 南⾥】

AIフレームワーク
サブG

コンパイラ・プログラミングモデルサブ
G（理化学研究所）【SGL: 辻】

IO・ストレージ・ファイルシステムサブG

数値ライブラリサブG

産業展開を⾒据えたシステムソフトウェア新領域の調査（理化学研究所）【SGL: 今村】

OS・仮想化・クラウド連携サブG

通信ライブラリ
サブG

システムソフト取りまとめ補助【SGL: 建部】

システムソフトに関する技術動向調査と研究開発ロードマップの策定

数値ライブラリサブG

取りまとめ担当:（代表機関）理化学研究所◎【GL: 佐藤賢⽃, 副GL: ⽚桐, 佐藤幸紀, AD：佐藤三久】

IO・ストレージ・ファイルシステムサブ
G（分担機関）筑波⼤学

次世代計算基盤に係る調査研究は、候補アーキテクチャを取り巻くソフトウェアエコシステムの状況やその後の商業展開を⾒据えた調査が不可⽋であり、網羅的なシステムソフトウェアの調査研究が必要となる。このためシステムソフト・ライブラリ
調査研究グループでは、①スケジューラ・ランタイム 、②IO・ ストレージ・ファイルシステム、③OS・仮想化・クラウド連携、④HPC利⽤環境調査、⑤通信ライブラリ、 ⑥コンパイラ・プログラミング、⑦数値ライブラリ、⑧AI フレームワークのシステムソ
フトウェアの技術動向の調査を⾏うとともに、利⽤実態やアプリGと連携し（可能であれば）優先順位をつけ、それに基づき、国内で開発・移植・チューニングすべきものと国際協調によりソフトウェア開発を⾏うべきかの検討（を可能にするための調査）を⾏う。評価項⽬には、演算性能、電⼒、性能⽐、I/O性能、開発コスト、⽣産性(アプリ開発のしやすさ)、商⽤展開・技術展開、カーボンニュートラルが挙げられる。
スケジューラ・ランタイムサブG

システムソフト・ライブラリ調査研究グループ

AIフレームワークサブG

7（理化学研究所）【SGL: Mohamed】

7

調査研究項⽬• 【調査研究1】 システムソフトウェアの動向調査• (1-1) 既存および将来システムソフトウェアの動向調査•

移植性・⽣産性、性能について調査•••

導⼊調査、利⽤頻度、その他優先順位の決定のための情報収集
海外のスパコンセンターの動向の調査センターや採⽤しているアーキテクチャーによる違い 等• (1-2) ⼤規模システムにおけるシステムソフトウェアの調査（担当︓HPC利⽤調査サブG）• 【調査研究2】 国内で開発すべきか否かを検討するための調査• (1) 国内では維持しない技術、独⾃開発しないソフトウェア
••
•
•
•

(a) OSSコミュニティによる開発（例︓gcc, LLVM）(b) 海外企業による独⾃開発（例︓ SYCL/DPC++）(c) OSSの移植（⼯数の低い移植︓As-is or 軽微な移植）（例︓VeloC）(d) OSSの移植（⼯数の⾼い移植︓チューニング）（例︓OneDNN）(e) 国際共同による新規開発• (2) 国内で維持する技術、独⾃開発するソフトウェア• (a) 国内独⾃開発予定 (例︓富⼠通コンパイラ、LLIOソフトウェア）• (b) 開発&導⼊未定• 【調査研究3】類似ソフトウェアに関しては差異の調査• 例1) OpenMPI vs. MVAPICH はAPIはほぼ同等• 例2) OneMKL vs SSL-II, Numpy v.s. cuNumericà Intel x86（OneMKL）とFujitsu Arm（SSL-II）と同等の開発環境が提供できるか、できなければ⼀⽅が他⽅に対して何が⾜りないか最終報告書のイメージ（プロセッサ版）
HPC利⽤状況調査GやアプリGからの要望に基づき、どのようなシステムソフトウェア・ライブラリを開発/移植・チューニングすべきかを決定

候補アーキテクチャ
アーキ候補1
(x86)

コンパイラ

gcc
LLVM/clang
icc

低位数値ライブラリ

OneMKL

アーキ候補3
Arm9+X(Chiplet)

アーキ候補4x86+GPU

(1-b)

N/A
(2-a)

(1-b)

複数の類似システムソフトがある場合、差異の調査

OpenBLAS
Eigen
SSL-III
Numpy

(2-a)
(1-a)

(1-d)

ScipycuNumeric…

アーキ候補5…

国内で開発すべきか否かを検討するための調査…
高位
数値計算ライブラリ+

アーキ候補2
Arm9(1-a)

新規コンパイラ
各システムソフトウェ
ア・ライブラリの詳し
い説明

評価指標︓
開発コスト、⽣産性(アプリ開発のしやすさ)
商⽤展開・技術展開(1-a) OSSコミュニティによる開発(1-b) 海外企業による独⾃開発(1-c) OSS（⼯数の低い移植︓As-is or 軽微な移植）(1-d) OSS（⼯数の⾼い移植︓チューニング）(1-e) 国際共同開発(2-a) 国内独⾃開発（重点開発 or 富岳ソフトの移植）(2-b) 開発未定

（主要な）システムソフトに関しては、異なるアーキテク
チャでの性能評価※インターコネクトやストレージに関しても同様の調査

今後の調査研究計画
FY2022 Q3

FY2022 Q4Plenary Kick-off Meeting
全体スケジュール

FY2023 Q1

FY2023 Q2

FY2023 Q3

FY2023 Q4Several internal/external workshops
Final report

Interim report【調査研究1】
システムソフトウェア技術動向の調査

HPC利⽤環境調査サブG【調査研究1】
HPCIシステムにおけるシステムソフトウェア利用状況調査

アーキG

アプリG

【調査研究1】
調査委員会およびアプリ調査Gの報告から追加調査【調査研究2】国内で開発すべきか否かを検討するための調査【調査研究3】類似ソフトウェアの差異調査

アーキGからの提案アーキ
テクチャのリスト（2023年5月ごろ）【調査研究1】
HPCIシステムにおけるシステムソフトウェアの優先順決定の検討

最終報告書作成

システムソフト調査G（HPC利⽤環境調査サブG以外）

中間報告書作成

External evaluation committee meeting (every 2 months)（新規アーキの追加）* アプリGからのシステムソフトウェア利用調査結果* ベンチマークは（2023年3月までに準備）

The schedule is subject to change