NGACI：次世代先端的計算基盤の開発に向けたコミュニティ活動
東京大学大学院情報理工学系研究科
東京大学情報基盤センター（兼務）
理化学研究所計算科学研究センター（兼務）近藤 正章
2020/12/15

第20回PCクラスタシンポジウム

1自己紹介：近藤正章• 経歴および研究歴– 2000～2003年：東京大学工学系研究科、博士（工学）• オンチップメモリを用いたプロセッサの高性能・省電力化– 2003～2008年：東京大学先端科学技術研究センター、特任助教など• 省電力マイクロプロセッサ・アーキテクチャ、計算機クラスタの電力制御• 機械学習を用いたプロセッサの実行時適応的制御– 2008～2013年：電気通信大学情報システム学研究科、准教授• 省電力マイクロプロセッサ・アーキテクチャ、メニーコアプロセッサ• 「HPCI 技術ロードマップ白書」 アーキテクチャ取りまとめ– 2013～現在：東京大学大学院情報理工学系研究科、准教授（2014～現在：東京大学情報基盤センター、准教授 兼務）（2018～現在：理化学研究所計算科学研究センター、チームリーダー兼務）• 次世代高性能計算機のアーキテクチャと電力管理技術• ドメイン特化型アーキテクチャおよび極低温コンピューティングに関する研究• 「NGACI (Next-Generation Advanced Computing Infrastructure) 」取りまとめ
2020/12/15

第20回PCクラスタシンポジウム

2

NGACI活動の紹介• NGACI: Next-Generation Advanced Computing Infrastructure– 概要と活動目的
今後の高性能計算機の持続的な発展を考えるにあたり、AIやビッグデータ技術とのさらなる融合、Society5.0といった新しい応用分野への展開など、さらなる発展も期待されますが、ムーアの法則の終焉など多くの技術的課題が待ち受けていることも事実です。本活動(NGACI)は、将来の高性能計算環境として、また共用計算機資源としてどのような技術的課題があり、どのような研究開発が必要なのか、コミュニティーとしてどのような活動をしていくべきなのかなどに関して、オープンに意見交換をしつつそれをWhite Paperとしてまとめることで本分野の発展に寄与することを目的としています。

https://sites.google.com/view/ngaci/home– これまでの実績• 本活動に登録して頂いているコミュニティのメンバー数：98人• 7回の全体ミーティングと3回のセミナーを実施• ４つのWGにより将来のシステム像や課題を集中的に議論– アーキテクチャWG、システムソフトWG、アプリ/ライブラリWG、システム運用WG– White Paperについて• 初版のドラフト（163ページ）がほぼ完成し現在チェック・校正中
2020/12/15

第20回PCクラスタシンポジウム

NGACI white paper 3

White Paperの執筆協力者• 取りまとめ: 近藤（東大・理研）• アーキテクチャWG– WGリーダ: 三輪（電通大）, 佐野（理研）, 谷本（九大）– WGメンバ: 安島（富士通）, 井口（北陸先端大）, 井上（九大）, 江川（電機大）,岡本（Spin Memory） 小野（九大）,鯉渕（NII）,小林（筑波大）, 小松（東北大）, 佐藤（東北大）,佐藤（豊橋技科大）, 塩見（京大）, 田邊（東大）,中里（会津大）, 吉川（富士通研）, 福本（富士通研）, 星（NEC）, 三好（わさらぼ）, 宮島（理研）• システムソフトWG– WGリーダ: 佐藤（理研）, 佐藤（豊橋技科大）– WGメンバ: 合田（NII）, 小柴（理研）, 小松（東北大）, 坂本（東大）, 高野（産総研）, 滝沢（東北大）, 辻（理研）,中島（富士通研）, 深井（理研）, 山本（理研）, 和田（明星大）,• アプリケーション・ライブラリ・アルゴリズムWG– WGリーダ: 深沢（京大）, 今村（理研）, 中島（東大・理研）– WGメンバ: 岩下（北大）, 小野（九大）, 笠置（富士通研）, 片桐（名大）,白幡（富士通研）,住元（富士通研）,高橋（筑波大）, 寺尾（理研）, 長坂（富士通研）, 椋木（理研）, 村上（都立大）• システム運用WG– WGリーダ: 塙（東大）, 野村（東工大）– WGメンバ: 大島（名大）, 實本（理研）, 庄司（理研）, 滝澤（産総研）, 竹房（NII）, 藤原（NII），三浦(理研)
2020/12/15

第20回PCクラスタシンポジウム

4White Paperの章構成
1.はじめに
2.スーパーコンピュータの技術動向
2.1 ハードウェア・テクノロジートレンド
2.1.1 デバイス
2.1.2 プロセッサ
2.1.3 メモリ技術
2.1.4 データ転送技術
2.1.5 ASIC/FPGA
2.1.6 その他
2.2 システムアーキテクチャの技術動向
2.2.1 ノードアーキテクチャ
2.2.2 インターコネクト
2.2.3 ストレージ
2.3 システムソフトウェアの技術動向
2.3.1 基盤ソフトウェア
2.3.2 大規模並列/高性能計算
2.3.3 プログラミング環境
2.3.4 性能解析ツール
2.3.5 利用高度化ツール
2.3.8 資源管理
2.3.9 外部資源連携
2.4 数値計算ライブラリ／ミドルウェア／
アルゴリズムの技術動向
2.4.1 数値計算ライブラリ
2.4.2 数値計算ミドルウェア
2.4.3 数値計算・アプリケーションを支える重要技術

2020/12/15

2.5 運用に関する技術動向
2.5.1 スパコン利用の枠組み
2.5.2 従来のスパコン利用方式
2.5.3 クラウドとHPC
2.5.5 新しい利用形態
2.5.6 設備と運用技術

3. アプリケーションの要求性能分析

5. 次世代型運用への要求
5.1 新しい利用形態とシナリオ
5.2 データアーカイブ・流通
5.3 設備・管理
5.4 ユーザ利用・課金モデル

6. 技術課題と研究開発ロードマップ
6.1 デバイス・アーキテクチャ
6.1.1 汎用システム型
6.1.2 専用システム混載型
6.1.3 PIM混載型
6.2 システムソフトウェア
6.2.1 基盤ソフトウェア
6.2.2 大規模並列/高性能計算
6.2.3 プログラミング環境
6.2.4 データフレームワーク
6.2.5 性能解析ツール
6.2.6 利用高度化ツール
6.2.7 資源管理
6.2.8 外部資源連携

3.1 アプリケーションの次世代システムに対する要求性能
3.2 要求性能に対するアプリケーション分析
3.2.1 汎用システム型要求アプリケーション
3.2.2 メモリ性能要求アプリケーション
3.2.3 演算性能要求3.2.4 ネットワーク性能要求3.2.5 ポスト処理性能要求

4. 次世代(2028年頃)システムの検討
4.1 汎用システム型
4.1.1 メニーコアCPU型
4.1.2 メニーコアCPU & GPU混載型

6.3 数値計算ライブラリ・アルゴリズム
6.3.1 数値計算ライブラリ
6.3.2 数値計算ミドルウェア

4.1.3 その他（ベクトルプロセッサ）
4.2 専用システム混載型および新たなる可能性
4.2.1 CPU拡張型

6.3.3 数値計算・アプリケーションを支える重要技術

4.2.2 アクセラレータ主体型 / ヘテロジニアス型
4.2.3 Processing-In-memory主体型
4.2.4 アプリケーションの要求性能に対する評価

第20回PCクラスタシンポジウム

7.

おわりに
5

2028年頃に実現可能な次世代システムの予測• 次世代システムの構成としていくつかのアーキテクチャタイプを検討– 汎用システム型• メニーコアCPU型：富岳の構成の延長として考えられるシステム• メニーコアCPU＆GPU混載型：GPUとホストCPUで構成（現在多くのシステムでも採用）• ベクトルプロセッサ混載型：ベクトルプロセッサとホストCPUで構成（例： SX-Aurora TSUBASA ）– 専用システム混載型（ムーアの法則減速により重要な検討事項に）• CPU拡張型– ISA（SIMD）の専用的な命令をCPUに拡張機能として搭載（例：Intel AMXやARM SVEのFMMLAなど）– BFloat16やINT8、INT4などの応用に特化したデータ型の導入• アクセラレータ主体型/ヘテロジニアス型– システム搭載方式：チップ内拡張(SoCやMCM)、ノード内拡張、ラック間疎結合– アクセラレータ構成方式：専用、準専用、汎用• Processing-In-memory主体型– 演算器とメモリの密接実装によるメモリアクセスの高バンド幅化と低遅延化• （新計算原理の混載）
2020/12/15

第20回PCクラスタシンポジウム

6

汎用システム型の性能予測方法• システムコンポーネント毎に以下の文献データから予測– プロセッサ：IRDS Roadmap - Systems and Architectures (2017 and 2020 edition)• ソケットあたりコア数: 70コア, SIMDビット長：2048-bit x 2, クロック周波数：3.9GHz• CPUソケットのTDP: 351W

– GPU
• 保守的な予測：NVIDIA社の過去のハイエンドGPUの性能をもとに線形で外挿• 積極的な予測：将来のCPUの性能予測値に現行のGPU/CPUの性能比を乗じることで予測– ネットワーク：“Ethernet Alliance Roadmap 2018”• リンクあたり1.6 Tbyte （100Gbps x 16レーン）• ノードあたり1リンク （リンク数増加によってアプリのカバー範囲が変わらないため）– ストレージ：“Lustre: The Next 20 Years”, HPC-IODC Workshop, 2019.
• LustreでI/O性能が1.36x/年、容量が1.38x/年で向上するとの予想を利用• 制約：システム全体の電力– 3種類のシステム電力バジェット：30, 40, 50MW （cf. 富岳では28.3MW） および PUE=1.1– 3種類のCPU（あるいはGPU）の電力バジェットの比率： 60, 70, 80%
2020/12/15

第20回PCクラスタシンポジウム

72028年のメニーコア型システムの予測性能• 最も積極的な予測でも最大1.8 EFLOPS (富岳の性能の3.37倍)システムの電力制約の仮定
CPUの電力バジェット
158,9768.3x106537ー163ー
4.850.33

参考）富岳の諸元(EB)
2020/12/15

第20回PCクラスタシンポジウム

92028年のGPU混載型システムの予測性能• 最も積極的な予測で最大18.0 EFLOPS (富岳の性能の33.5倍)
保守的な予測の場合（NVIDIA GPUの性能トレンドから外挿）積極的な予測の場合（CPUとの性能比のトレンドから外挿）

2020/12/15

第20回PCクラスタシンポジウム

10• チップ内拡張型（SoC）

CPU– CPUとアクセラレータが同一CPUダイ上で結合– オンチップキャッシュなどのメモリ階層の一部を共有

Acc.

L1$
L2$
I/O

Mem cont.

アクセラレータのシステム搭載方式

CPU• チップ内拡張型（マルチチップパッケージ）

HBM– チップレットとして実装されたアクセラレータをインターポーザなどでCPUと結合– 主記憶を共有• ノード内拡張型

CPU

PCI-E
Acc.

– アクセラレータがPCI-Express、CXL、CAPI等のインターコネクトでCPUと結合– メモリ間のデータ転送やアクセス制御の検討が必要• 問題特化型ノードやラックによる疎結合型– 独立したアクセラレータ専用ノードやラックをネットワークで結合
2020/12/15

第20回PCクラスタシンポジウム

Acc.

Acc.
CPUAcc.
11

アクセラレータの構成法式• 専用アクセラレータ– 特定の計算問題または計算ドメインのみを高速に処理可能な構成方式– 最も高性能・高電力効率であるが、柔軟性やプログラマビリティが低い– 例）ディープニューラルネットワークアクセラレータ、FFTアクセラレータ• 準専用アクセラレータ– 複数の計算モデル・計算問題を高速に処理可能＋ある程度のプログラマビリティを持つ構成– 専用アクセラレータに比べ若干性能や電力効率で劣る– 例）データフロープロセッサ、コンボリューションプロセッサ• 汎用アクセラレータ– 特定のアクセラレータを再構成可能デバイス上に構成する方式– 例）FPGA, Coarse-Grain Reconfigurable Arrays (CGRA)• 特定計算ドメインの候補– 疎行列計算、N体問題、FFT、ソート、グラフ処理、脳型計算、量子計算シミュレーション、エージェントシミュレーション
2020/12/15

第20回PCクラスタシンポジウム

12アプリケーションの要求性能分析• 計算科学ロードマップやアンケートに基づき37個のアプリの要求性能を解析– そのうちノード数の要求について記載のないものは除く– より多くのアプリ（重点課題やビッグデータアプリ）の分析は今後の課題• 分析の目的– 性能要求の分析により必要なシステムのタイプを分類– 汎用的なシステム構成によりどの程度のアプリケーションがカバーできるかの調査• 分析の際に仮定するシステム構成（メニーコア型・GPU混載型の積極的な予測の場合）# of CPU Sockets or GPUs
# of total cores
PFLOPS (double)
DDR total BW (PB/s)
HBM total BW (PB/s)
Total Size of DDR (PB)
Total Size of HBM (PB)
2020/12/15

Manycore (50MW, CPU80%)
103,600
7,252,000
1,810
228683
39
9GPU (50MW, CPU80%)
112,580
1.2 x 109
17,963ー743ー10

第20回PCクラスタシンポジウム

13アプリケーションの要求性能App. Area

Name of Application

素粒子・原子核

rmcsm
物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2020/12/15

HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM
EM-PIC
P3T
AmaTeRAS# of Required
Comp. Perf.
Node(TFlops/node)
40,000
7.75
4,100
7.56
1,000
5.6
6,000
5
4,100
4.15
1,000,000
0.03
18,00011.11
100,000
10100,000
31
100,000
2.7
100,000
550,000
30
50,00011.2
100,000
7.6
16,000
100
6,900
100
200,000
2.8
400,000
1.23
40,0001.15
32,0000.2
160,000
1.38
100,000
6.9
100,000
200
100,000
1.6
10,0003.1
1,000,000
1

Memory BW(TB/s/node)
1
0.073
0
0.5
21.22
0.001
16.111
17
1.3
0.033
0.5
3.2
1.22
123.7524.638
1.1
3.5
1.575
0.438
1.688
0.028
0.36
0.46
0.01
0.024

第20回PCクラスタシンポジウム

Memory(GB/node)Interconnect BW(Tb/s/node)
2
1.25
0.98
0.088
105
0
4.88
53.75
100
1.025
1,944.44
0.001
3200.014110.05
40
0.018
10.003
78
022
00.02
01.88
0.25
4.35
0.425
75
0.025
30
01.25
01250
750
4.38
0100
25
72
0.125
960
0.125
0.1
0.001
0.45
41.25

File I/O BW(GB/s/node)
0.045
0.039
0.1
0.017
0.006
0.009
0.002
0.003
0.01
00.001
00
0.13
0.006
0.493
0.005
00
2.5
0.5
0.3
0.06
10
0.001
0

Storage Size(PB)
60
5
0.001
0120
340
0.1
0.32
00.02
500
15160
175
290
1230
33
50
10300
2,600.00
2,000.00
400
2014アプリケーションの要求性能との比較• メニーコア型システム構成（システム電力50MW, CPU80%）の場合

lack of memory BW

2020/12/15

第20回PCクラスタシンポジウム

15アプリケーションの要求性能との比較• GPU混載型システム構成（システム電力50MW, GPU80%）の場合

要求メモリバンド幅 (B/F)– 赤: 要求性能を満たす, 灰色: 要求性能を満たしていない要求メモリサイズ (PB)
2020/12/15

第20回PCクラスタシンポジウム

16

各アプリケーションの要求性能との比較• メニーコア型システム（〇および×は各コンポーネントが要求を満たしているかどうかを表す）
App. Area

Name of Application

素粒子・原子核

rmcsm
物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2020/12/15

HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM
EM-PIC
P3T
AmaTeRAS

NodeCPU

MemoryInterconnect

Storage

Total〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇

〇〇〇〇〇

〇〇

〇

××〇

××〇

〇

〇

〇

×〇

〇

×〇

〇

×〇

〇

×〇

〇×〇

〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇

〇〇〇

〇

〇〇〇〇

〇

〇

〇〇〇〇

〇

〇〇

〇

〇

〇

〇

××〇

〇

×〇

××〇

×××〇

〇

〇

〇

××〇

〇〇〇×〇〇〇〇〇〇〇〇

×××××〇〇〇

××〇〇〇×〇×〇×〇〇〇×〇〇×〇××〇〇〇〇〇〇×〇〇×〇×

第20回PCクラスタシンポジウム

17

各アプリケーションの要求性能との比較• GPU混載型システム（〇および×は各コンポーネントが要求を満たしているかどうかを表す）
App. Area

Name of Application

NodeCPU

MemoryInterconnect

Storage

Total〇〇〇〇〇〇〇〇〇〇

rmcsm〇〇〇〇HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM

×〇〇〇〇〇〇〇〇〇〇××〇〇×〇〇〇〇〇〇〇〇〇〇××〇〇〇〇〇〇〇

×EM-PIC
P3T
AmaTeRAS〇〇×〇〇〇〇〇
××××〇
×〇×〇
〇
××××〇
×〇
×××〇
〇

〇〇×〇
〇〇〇〇〇〇〇〇〇〇〇〇〇×〇
×〇〇〇×〇〇〇〇〇〇〇〇〇〇〇〇
〇
×〇
〇
〇
××〇
〇
×〇
〇

〇
〇
××××〇
×〇
×〇
〇
××××〇
×××××〇
×

素粒子・原子核

物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2020/12/15

第20回PCクラスタシンポジウム〇〇〇〇18

システムへの要求の分類（1/2）• 汎用システム要求– 従来型の延長である汎用的なメニーコア型システムを要求するアプリ• メモリ性能要求– 特にメモリに対して容量・転送速度・アクセス手法の面での拡張を要求するアプリ• 高演算性能要求– ノード数やコア数の増加を要求、あるいはSIMD演算機構への要求を持つアプリ• ネットワーク性能要求– 通信バンド幅や特殊なネットワークトポロジーに関する要求を持つアプリ
システムのタイプ
汎用システム
メモリ性能
高演算性能
ネットワーク性能
2020/12/15

アプリケーション
Rmcsm, paraDMRG, GELLAN, MODYLAS, 生命科学, 創薬医x6, FFB, ADVENTURE,Front-Comp, GT5D, WHC, Realtime cerebellum, NEURON＋Stochastic, SCALE-RM, P3T(BW) NTChem, SMASH, バリオン2体波動関数計算, NICAM, LQCD, GAMERA, SCALE-RM(size) NTChem, CHASER-LTKF, EM-PIC(#node) GAMERA, NICAM, NICAM-LETKF, AmaTeRAS, (#core) CNN, ニュートリノ輻射輸送(others) LQCD, SCALE-RM, NICAM
GreeM, 精密格子QCD, AmaTeRAS
第20回PCクラスタシンポジウム

19

システムへの要求の分類（2/2）• 個別の要求– SCALE-SMD: 配列へのリストアクセス– 精密格子QCD: Allrecue専用NW、4次元構造格子を並列化しやすいNW– GENESIS: リアルタイム可視化のための高いポスト処理性能• 専用アクセラレータの要求– 負荷分散支援ハードウェア（粒子計算）– エージェント処理のハードウェア実装（エージェントシミュレーション）– 疎行列専用ハードウェア（疎行列計算）– メモリアクセスのスケジューリング支援機構（モンテカルロ計算、グラフ処理）– アニーリング（イジング模型による最適化問題）– データフロー型かつ大量のレジスタを持つハードウェア（FFT）– ソーティングのハードウェア実装（ソーティング）
2020/12/15

第20回PCクラスタシンポジウム

20

次世代型運用への要求• 新利用形態への対応– 観測データやセンサデータ、外部データベースを直接取り込みながらリアルタイム処理– 例）地震観測データによるデータ同化、ゲリラ豪雨予測、ビッグデータによる異常検知– 高信頼性・高セキュリティへの要求• データアーカイブ・流通– 重要データの保護、ディザスタリカバリ → 複数拠点でのデータ連携• 設備・管理– 省エネ運用、電力変動対応、冷却設備の負荷変動大への対応– 外気導入や湖水・海水の利用を含めた次世代冷却技術• ユーザ利用・課金モデル– Service Level Agreement (SLA)の定義– 省エネ実行に対するユーザのインセンティブの明確化と課金モデルへの反映
2020/12/15

第20回PCクラスタシンポジウム

21

技術課題と研究開発ロードマップ（デバイス・アーキ）• 計算処理ハードウェア– 電力効率の改善（350Wでノード当たり35TFLOPSの達成は簡単ではない）– SIMDベクトル長の拡大への対策• テンソル・プロセッシング向けの2次元PEアレイの検討、プログラミング環境の強化– アクセラレータアーキテクチャの検討• コデザインによる幅広いアプリに適用可能なアクセラレータとそのシステム搭載方式の検討• メモリ– 積層メモリの広帯域化と大容量化、歩留まりの改善– ロジックとメモリの3次元積層化– NVMやSCMといった新しいメモリ技術の導入• インターコネクト– シリコンフォトニクスやコパッケージドオプティクスなどの光伝送技術の実用化
2020/12/15

第20回PCクラスタシンポジウム

22

技術課題と研究開発ロードマップ（システムソフトウェア）• 基盤ソフトウェア– コンテナ化されたアプリケーション／ユニカーネルの効率的な実行– 不揮発性メインメモリ（NVDIMM）のサポート• 大規模並列・高性能計算– CPUとアクセラレータの効率的に利用と統一的な管理– データ転送の最適化、NVMを用いたチェックポインティング、ルーティングや集団通信最適化– 非同期通信の進捗処理• プログラミング環境– Oversubscriptionプログラミング、マルチレイヤコンパイラ、ワークフロー向けプログラミング• 次世代システム向け各種フレームワーク– データフレームワーク（TensorFlowなど）、プロファイラ、電力管理、スケジューラ、C/R• 新しいシステムコンセプト向けのシステムソフトウェア– ディスアグリゲーション、外部資源（クラウドやIoT）との連携
2020/12/15

第20回PCクラスタシンポジウム

23

技術課題と研究開発ロードマップ（ライブラリ・アルゴリズム）• 自動チューニング– 超非均質プロセッサの対応、混合精度演算対応、Society 5.0アプリ向けチューニング
– AIと自動チューニング技術の融合• 耐故障機構– アプリケーションレベルでのC/R、代替計算継続・縮退リソース計算継続方式• 機械学習フレームワーク– 新アーキ向け各種フレームワーク改良・ライブラリの高速化– 外部計算資源との連携、シミュレーションとの連携• アルゴリズム– 特定問題のアクセラレーション（グラフ処理など）• 新計算原理との融合– 従来型計算機と量子計算機のハイブリッド利用
2020/12/15

第20回PCクラスタシンポジウム

24

まとめ
• NGACIコミュニティ活動とWhite Paperの紹介• White Paperの概要– 2028年頃に実現可能な次世代システムの予測– アプリケーションの要求性能分析と想定されるシステム性能との対比– 技術課題と研究開発ロードマップ• 次世代システム検討における重要項目と今後の課題– 幅広いアプリで利用可能なアクセレレータアーキテクチャやその演算器構成の検討が必要– 多くのアプリケーションが高バンド幅および大容量のメモリを要求• データ移動に関するアーキテクチャ・ソフトウェア的な最適化がより重要に– Society5.0へのさらなる貢献のための次世代運用技術– アプリケーション・システムの協調設計（コデザイン）がこれまで以上に求められる– アプリ要求の精緻化と重点課題アプリを含む多くのアプリケーションでの分析が必要
2020/12/15

第20回PCクラスタシンポジウム

25