第22回PCクラスタシンポジウム
パネル討論「次世代HPC計算基盤構築に向けて夢を語ろう」

理化学研究所計算科学研究センター
慶應義塾大学 理工学部
近藤 正章

次世代計算基盤に係る調査研究（FS）の概要

出典: 文部科学省
1

次世代計算基盤に係る調査研究（FS）の全体推進体制

出典: 文部科学省
2

研究体制：ALL Japan＋メジャー国内外ベンダーによる実施体制
GL: グループリーダ
AD: アドバイザー
SGL: サブグループリーダ※赤字は開始後に追加予定機関

システム調査研究チーム（代表機関）理化学研究所【代表者：近藤， AD: 松岡(理研)】

アーキテクチャ調査研究グループ
取りまとめ担当:（代表機関）理化学研究所◎【GL: 佐野, 副GL: 三輪(電通大), AD: 天野(慶大)】アーキテクチャ調査研究サブG１（理化学研究所）【SGL: 泰地】アーキテクチャ調査研究サブG２（分担機関）富士通株式会社【SGL: 新庄】アーキテクチャ調査研究サブG３（分担機関）インテル株式会社【SGL:矢澤】アーキテクチャ調査研究サブG４（分担機関）日本AMD株式会社【SGL:吉田】アーキテクチャ調査研究サブG５（協力機関）NVIDIA Corporation【SGL:Wells】
アーキテクチャ調査研究サブG６（協力機関）Hewlett Packard Enterprise【SGL:根岸】

システムソフト・ライブラリ調査研究グループ
取りまとめ担当:（代表機関）理化学研究所◎【GL: 佐藤, 副GL: 片桐(理研),佐藤(豊橋技大) AD : 佐藤(理研)】

スケジューラ・ランタイムサブG（分担機関）東北大学【SGL: 滝沢】IO・ストレージ・ファイルシステムサブG（分担機関）筑波大学【SGL: 建部】ストレージアーキ・パターン調査

システムソフト取りまとめ補助（協力機関）名古屋大学【機関代表: 片桐】

通信ライブラリサブG（分担機関）九州大学【SGL: 南里】
コンパイラ・プログラミングモデルサブG（理化学研究所）【SGL: 辻】アプリケーション調査研究グループ
取りまとめ担当:（分担機関）北海道大学◎【GL: 岩下, 副GL : 高橋(筑波大),深沢(京大), AD: 中島・富田(理研)】

アプリ調査研究取りまとめ補助（協力機関）京都大学【機関代表: 深沢】

生命科学分野サブG（分担機関）横浜市立大学【SGL: 寺山】社会科学分野サブG（理化学研究所）【SGL: 楳本】

新物質・エネルギーサブG（分担機関）物質・材料研究機構【SGL: 山地, 副SGL福島(東大)】

デジタルツイン・Society5.0分野サブG（分担機関）東京大学【SGL: 下川辺】

（協力機関）株式会社DDNジャパン【機関代表: 橋爪】数値ライブラリサブG（理化学研究所）【SGL: 今村】

気象・気候サブG（分担機関）海洋開発研究機構【SGL: 小玉】

（協力機関）日本原子力研究開発機構【機関代表: 小野寺】

OS・仮想化・クラウド連携サブG（協力機関）国立情報学研究所【SGL: 竹房】

AIフレームワークサブG（理化学研究所）【SGL: Mohamed】

地震・津波防災（分担機関）東京大学【SGL: 藤田】科学技術計算アルゴリズムサブG（分担機関）筑波大学【SGL: 高橋】ものづくり分野サブG（理化学研究所）【SGL: 大西】機械学習アルゴリズムサブG（分担機関）東京工業大学【SGL: 横田】

HPC利用環境サブG（分担機関）大阪大学【SGL: 伊達】

ものづくり分野協力

アーキテクチャ調査研究サブG７（協力機関）海外ベンダー【予定】【SGL: 未定】

デジタルツイン・Society5.0分野補助（協力機関）宇宙航空研究開発機構【機関代表: 未定】

ベンチマーク構築サブG（理化学研究所）【SGL: 村井】基礎科学分野サブG（理化学研究所）【SGL: 青木】性能モデリングサブG（理化学研究所）【SGL: Domke】

宇宙・惑星アプリ分野協力アーキテクチャ調査研究グループ

システムソフト・ライブラリ調査研究グループ（協力機関）国立天文台【機関代表: 瀧脇】

アプリケーション調査研究グループ

3

調査研究の全体概要（理化学研究所：システム調査研究）
次世代計算基盤には、SDGs・Society5.0の実現に向けた課題解決のためのプラットフォームとしての役割が求められる。そこで、今後の科学に「研究DX」をもたらす高度なデジタルツイン実現の基盤として、広範な計算手法・シミュレーション技法や大規模データを駆使しつつ、それらが密に連携しながら全体のワークフロー実行が可能な汎用性の高い計算基盤の実現を目指し、あるべきアーキテクチャやシステムソフトウェア・ライブラリ技術について、アプリケーションとのコデザインを通じた調査研究を行う。
特に、システム設計の基本理念として演算精度も考慮しながら必要な計算性能を確保し、電力制約の下でデータ移動を高度化・効率化する“FLOPS to Byte”指向のシステム構築を、アーキテクチャ開発からアルゴリズム設計、アプリケーション技術に至るまで実践する。
ALL Japan体制のもと、実効的な性能を向上させる次世代計算基盤のシステム構成や要素技術の調査検討、要素技術の開発を、アーキテクチャ・システムソフトウェアとアプリケーションとのコデザインを通じて実施する。

より高い実効性能

取組概要

デジタルツインによる研究DXプラットフォーム
より広いアプリ分野への適用

調査内容
アーキテクチャ調査研究
 半導体技術・パッケージング技術動向を踏まえつつ、システム全体やその構成要素について考え得る技術的可能性や総合性能を調査（新規要素技術として三次元積層メモリ技術、強スケーリング・計算インテンシブ向けアクセラレータ、チップ間直接光通信技術などを意識） アプリケーション調査研究G提供のベンチマークセットの性能解析に基づき将来システムの性能を予測、また次世代アプリ開発へとフィードバック
システムソフトウェア・ライブラリ調査研究
 従来のソフトウェアに加え、データ利活用促進、機械学習技術と第一原理シミュレーションや大規模リアルタイムデータ処理との高度な融合、高セキュリティの担保などを主要検討項目と据え、国内で開発すべきソフトを優先度も含めて明らかにしつつ今後の開発ロードマップを策定
アプリケーション調査研究 複数アーキテクチャを統一的に評価するための広範なベンチマークセットを構築し、それを利用したアーキテクチャ評価結果を踏まえてアルゴリズムやパラメータの改善を検討しつつベンチマークセットを更新しながら、性能モデルも利用した探索的な”What if”の視点で解析を行う
 次世代計算基盤に向けてどのようなアルゴリズムのクラスが大幅な進化が見込まれるか、の指標も抽出して今後のアプリ発展につなげる

アーキテク
チャ
調査研究

ベンチマーク提供／
評価とWhat if解析

要求要件調査と開発
ロードマップ検討

コデザイン
システムソフトライブラリ
利用調査と必要調査研究

SW項目検討アプリケーション
調査研究

スケジュール
2022 Q3
アーキテクチャシステムソフトウェア
アプリケーション

2022 Q42023 Q1

2023 Q22023 Q3

2023 Q42024 Q1

テクノロジ・アーキ技術の調査・検討

ベンチマーキングによる性能解析/予測

アーキ再検討

既存ツールや利用動向調査

新規開発ソフト項目検討・定量的評価

将来の要件整理

アプリ調査とベンチマーク設計

ベンチマーク評価に基づく性能分析

アルゴリズム最適化検討

プロセッシングエレメントの検討要素技術例

4

調査研究概要（アーキテクチャ調査研究G）
現状

目標

目標

戦略

移り行く
技術動向

汎用性と高性能の両立

将来の開発と運用

国際連携と独自技術

ムーア則終焉、既存方式の行き詰まり、半導体・パッケージング
技術新展開

広範な応用問題への対応、使い易さの追求、要求性能の達成

フラッグシップシステムの開発と運用、人材育成と最先端研究開発の必要性

サプライチェーンやエコシステムとの連携、独自技術による差別化と安全保障

・次世代計算機像の共有した国内外
複数ベンダーを巻き込んだ技術調査
研究・技術動向調査、技術探索

調査検討技術項目（案）• 要素技術• CMOS技術• パッケージング技術(3次元積層、チップレット)• シリコンフォトニクス

・次世代機アーキの提案
・FS段階からのアプリとのコデザイン・有効性、実現可能性評価• ノードアーキテクチャ• 汎用プロセッサ（CPU）• アクセラレータ• DRAM（外部メモリ）• SRAM（キャッシュメモリ等）

・既存エコシステムや国外技術との連携の検討
・国内波及効果を意識した技術開発の方向性検討• システムアーキテクチャ• 相互接続網• I/O、ストレージ• 信頼性、可用性、保守性• 電力効率5調査研究概要（システムソフトウェア・ライブラリ調査研究G）


システムソフトに関する技術動向調査と研究開発ロードマップの策定 システムソフト8分野（下図参照）に渡る網羅的な調査研究

加えて分野の横断的に必要な技術（セキュリティー、自動チューニング等）やプラットフォーム化に関する調査

フラグシップマシンや第二階層システムにおける利用状況、既存のソフトウェアエコシステム、開発工数等を考慮し、国内でどこまでを開発すべきか、もしくは国際協調が必要かを判断し、システムソフトウェアの優先度を決定
 産業展開を見据えたシステムソフトウェア新領域の調査
 学術領域でだけでなく産業界を含む幅広い応用分野での活用を促すための新規開発領域の調査
 民間データセンターやクラウドでも応用可能な技術領域を対象
 産業利用を目指しプラットフォーム化したデジタルツイン環境の提供、データ利活用の促進、機械学習技術と第一原理シミュレーションの融合、高度な大規模リアルタイムデータ処理、高セキュリティ化など



産学連携によるALL Japanの調査研究体制
 代表機関である理化学研究所が強みを持つ⑥〜⑧に関しては自ら調査研究
 ①〜⑤に関しては、当該研究分野では各大学の研究者と分担・協力したALL Japan体制（①は東北大学、②は筑波大学およびDDN、③は国立情報学研究所、④は大阪大学、⑤は九州大学）⑧AIフレームワーク
サブG⑦数値ライブラリ
サブG⑥コンパイラ・プログラミン
グモデルサブG①スケジューラ・
ランタイムサブG

取りまとめG
セキュリティや自動チューニング
等の分野横断的調査⑤通信ライブラリ
サブG

システムソフトに関する技術動向調査と研究開発ロードマップの策定②IO・ストレージ・
ファイルシステムサブG③OS・仮想化・
クラウド連携サブG④HPC利用環境調査サブG

産業展開を見据えたシステムソフトウェア新領域の調査

産学連携とALL Japanによる調査研究体制
6

調査研究概要（アプリケーション調査研究G）
各アプリ分野サブＧ

アプリサブＧ＋ベンチ構築サブG＋性能モデリングサブG
カテゴリー

チーム名 orベンチマークSuite
複合系気候科学研究チーム

アプリ名

アプリの内容SCALE

気象シミュレーション
QCD

Bridge++連続系場の理論研究チーム

QWS
粒子系生物物理研究チーム

QCD

GENESIS

分子動力学

Gromacs, NAMD, LAMMPS

分子動力学

NTChem量子化学計算CP2K

量子系分子科学研究チーム

RELION
CUBE

複雑現象統一的解法研究チーム

FrontFlow/red-HPC

R-CCS
関連

データ同化研究チーム

MONET

旧戦略5分野アプリ群に加え社会科学やAI・BigDataを含めた幅広いワークロードを網羅的に調査研究
デジタルツインのための裾野の広い計算基盤の構築へ貢献

科学技術計算／機械学習アルゴリズムサブＧ

次世代計算基盤のアーキ特徴を踏まえ最新・有用なアルゴリ
ズム・解法（時空間タイリングや通信回避アルゴリズムなど）また機械学習手法とその第一原理計算との連携に関して調査研究

量子系物質科学研究チーム

CUBE(Complex Unifi ed Building cubE method)は階層直行格子と埋め込み境界法に基づき、自動車のような複雑形状を対象とした、産業において求められる複雑な流れ問題を解くためのシミュレーションフレームワ
大規模かつ複雑な形状を有する流れ場(自動車空力、ガスタービン等)を解析するための汎用熱流体解析ソフトウェア

NICAM-LETKF

高性能人工知能システム研究チーム

高性能ビッグデータ研究チーム

量子化学計算生体高分子の電子顕微鏡データ解析ソフト

全球数値予報システム

ベンダー2

名無し(resnet_channels.py) Neural network based multiscale precipitation nowcasting
NEST

大規模並列数値計算技術研究チーム

ベンダー1

量子化学計算BigDFT
NWChem

計算構造生物学研究チーム

発火神経回路シミュレーション

DeepBenchAlex’s Benchmarker

発火神経回路シミュレーション
AIベンチマーク，単体カーネル
AIベンチマーク，シンプルベンチマーク

MLPerf, MLPerf HPC

AIベンチマーク，実利用ベンチマーク

CosmoFlowqNET
Turbo-RVB
Intel HiBench
EigenExa, ScaLAPACK,

MLPerfHPC中のベンチマーキング

ベンダー3

：

DMRG
QMC
HiBench is a big data benchmark suite that helps evaluate different big data frameworks in terms of speed, throughput and system resource utilizations. It contains a set of Hadoop, Spark and streaming workloads

ELPA, SLATE, PETSc,数値計算ライブラリ

SLEPc, kokkos, FFTE-C

重要アプリカーネルを選出しベンチマーク化
各種アーキ上で簡便に評価可能なツール構築

各アプリ分野サブＧ

ベンチマーク評価解析に基づき次世代のアプリチャレンジを検討、サイエンスロードマップ
へ反映

各種カーネルレポジトリ化し共通ベンチマークセットを各ベンダーに提供＋性能解析

msの分子シミュにより新規機能タン
パク質の設計・細胞内タンパク質の機能解明へ高 温 超 伝 導 体 の 量 子 縺 れ や 超 伝 導ギャップの直接シミュレーションが可能に将来気候予測の信頼性に対して質的向上が期待自然界のクォーク質量より軽い深カイラル領域の本格探索
ペルソナモデルに基づく社会シミュ
レーション

サイエンスへの波及効果例
7

次世代計算基盤として目指すシステムの方向性
 データ移動効率化指向のアーキテクチャ・アルゴリズムの一例

 三次元積層メモリ技術を駆使した相対メモリバンド幅の大幅な向上
 シリコンフォトニクスによるリモートメモリアクセスへの高バンド幅確保

 強スケーリング実行での実行効率の確保：データフロー型の導入などによる低遅延実行
 混合精度演算の積極的利用とアーキ・ソフトウェアからのサポート
プロセッシングエレメントの構成例
High Capacity DRAMHigh Capacity DRAMHigh Capacity DRAM

Strong Scaling / Compute
Intensive Accelerator
Low Latency 3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

Many Core General Purpose CPU

Compute Centric Accelerator

Silicon Photonics
Multi-Port High Injection
1Tbps x 12 = 12Tbps

密結合かつホモジニアスなシステム構成
Silicon Photonics
Optical Interface

TSV Interposer
Organic Substrate

基板への実装「３次元メモリ技術」＋「光技術」：日本の技術力を結集して破壊的イノベーションへ
8

次世代計算基盤構築に向けたスケジュール予測
富岳Next スケジュール予測
2020
R2
NGACI WP1.0

半導体プロセス予測

2021
R32022
R42023
R52024
R62025
R72026
R82027
R92028R102029
R112030
H122031
H12WP1.1

Plan-A

FS
公募

Plan-B

FS
公募

TSMC N5Intel 10nm

調査研究

開発PJ
(基本設計)

Intel7 (10nm+)

開発PJ(詳細設計)

開発PJ(基本設計)

調査研究

TSMC N4

開発PJ(詳細設計)

TSMC N3
Intel4

Intel3

Intel18A

開発PJ(製造・設置・調整)
TSMC N1.4?

TSMC N2Intel20A

開発PJ(製造・設置・調整)

Intel15A?

（参考）富岳開発スケジュール実績∇ Top500#1

https://www.ssken.gr.jp/MAINSITE/event/2020/20210121-sci/lecture-01/20210121_sci_ishikawa.pdf
9次世代HPC計算基盤構築に向けた夢 「アプリケーションファースト」な計算基盤の構築

Top500などの指標に捕らわれない設計目標の設定
 ソフトウェア・エコシステムを当初から意識したハードウェア・ソフトウェアの開発
 利用者の裾野を広げつつ最適化も可能なアプリケーションフレームワークへの投資とそのためのシステムソフト開発
 計算システム内、またエッジ・計算システム間でのワークフローを効率的に実行できるシステム構築
 ターゲットコードに特化し過ぎない「コデザイン2.0」手法の構築
 数世代にわたりアップデートされ続ける（≒商用展開で成功する）アーキテクチャの設計
 破壊的イノベーションをもたらす計算基盤の開発

最先端テクノロジーのアーリーアダプターとして世界をリードする高い実行性能を誇るシステムの実現
 データを基にした「計算」が価値を生む今後の世界に向けた日本のプレゼンス強化 「フラグシップだからできない」ではなく「フラグシップだからこそできる」思い切った機能的・運用的な進化への挑戦
 計算基盤と実験系や新計算原理とのより密な連携など

 日本に夢を与えられる次世代計算基盤開発プロジェクトへ
10