次世代のHPCストレージ・ファイルシステム技術
2021年12月10日

Shinji Sumimoto, Ph.D.
FUJITSU LTD.

1

Copyright 2021 FUJITSU LIMITEDBackground○ ストレージ、ファイルシステムへの要求が多様化○SNS, IoT, センサーデータ○クラウド利用の広まり○オンプレミス、エッジ・クラウド間データ連携、○リアルタイム性、メタデータ性能、データアクセス性能○ HPCとDLの融合：○大容量データを利用したシミュレーション高速化○リアルタイムデータを用いたシミュレーション: データ同化○ メモリシステムとストレージシステムの境界消失○SCM, NVMe技術の一般化、キャッシュコヒーレンス領域の拡大○アクセス手法(命令 or API)の違いになりつつある○ 今後のHPCシステムを概観、ストレージ・ファイルシステムについて考察
2

Copyright 2021 FUJITSU LIMITED次世代HPCシステムの方向性とこれからのストレージ○次世代HPCシステムの方向性○Post Moore: Computing Beyond Moore’s Law○Disaggregated Computing○Cloud Native Computing○NGACI: Next-Generation Advanced Computing Infrastructure○これからのストレージ・ファイルシステム○本講演で述べることは一個人の見解であり、現在所属している会社で開発中の製品とは直接関係ありません。
3

Copyright 2021 FUJITSU LIMITEDPost Moore : Computing Beyond
Moore’s Law
Computing Beyond Moore’s Law
https://cs.lbl.gov/assets/CSSSP-Slides/20200714-Shalf.pdf

4

Copyright 2021 FUJITSU LIMITEDComputing Beyond Moore’s Law
https://cs.lbl.gov/assets/CSSSP-Slides/20200714-Shalf.pdf

5

Copyright 2021 FUJITSU LIMITEDComputing Beyond Moore’s Law
https://cs.lbl.gov/assets/CSSSP-Slides/20200714-Shalf.pdf

6

Copyright 2021 FUJITSU LIMITEDComputing Beyond Moore’s Law
https://cs.lbl.gov/assets/CSSSP-Slides/20200714-Shalf.pdf

7

Copyright 2021 FUJITSU LIMITEDComputing Beyond Moore’s Law
https://cs.lbl.gov/assets/CSSSP-Slides/20200714-Shalf.pdf

8

Copyright 2021 FUJITSU LIMITEDProject 38https://crd.lbl.gov/departments/computer-science/cag/research-2/project-2/

9Copyright 2021 FUJITSU LIMITEDProject 38https://crd.lbl.gov/departments/computer-science/cag/research-2/project-2/

10Copyright 2021 FUJITSU LIMITEDProject 38https://crd.lbl.gov/departments/computer-science/cag/research-2/project-2/

11

Copyright 2021 FUJITSU LIMITEDDisaggregated Computing
https://www.oscer.ou.edu/Symposium2020/oksupercompsymp2020_talk_shalf_20200930.pdf

12

Copyright 2021 FUJITSU LIMITEDDisaggregated Computing
https://www.oscer.ou.edu/Symposium2020/oksupercompsymp2020_talk_shalf_20200930.pdf

TOR=Top of
Rack Switch

13

Copyright 2021 FUJITSU LIMITEDDisaggregated Computing
https://www.oscer.ou.edu/Symposium2020/oksupercompsymp2020_talk_shalf_20200930.pdf

TOR=Top of
Rack Switch

14

Copyright 2021 FUJITSU LIMITEDDisaggregated Computing
https://www.oscer.ou.edu/Symposium2020/oksupercompsymp2020_talk_shalf_20200930.pdf

15

Copyright 2021 FUJITSU LIMITEDDisaggregated Computing
https://www.oscer.ou.edu/Symposium2020/oksupercompsymp2020_talk_shalf_20200930.pdf

16

Copyright 2021 FUJITSU LIMITEDCloud Native Computing
https://www.cncf.io/

17

Copyright 2021 FUJITSU LIMITEDCloud Native Computing: Cloud Nativeとは？
○ CNCF Cloud Native Definition v1.0

○クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなアプリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イミュータ
ブルインフラストラクチャ、および宣言型APIがあります。
○これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニアはインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。
○Cloud Native Computing Foundationは、オープンソースでベンダー中立プロジェクトのエコシステムを育成・維持して、このパラダイムの採用を促進したいと考えてます。 私たちは最先端のパターンを民主化し、これらのイノベーションを誰もが利用できるようにします。

○ https://github.com/cncf/toc/blob/main/DEFINITION.md○ https://12factor.net/
18

Copyright 2021 FUJITSU LIMITEDCloud Native Computing○Server Less

○On demand Provisioning○Automatic Deploy and Scaling○Run Anywhere by Container,Docker○Micro Services, Isolated Processes,Event(Message) Driven○Loosely Coupled (vs. TightlyCoupled)○Orchestration, Fault Tolerance,
Automatic Scaling

19

Copyright 2021 FUJITSU LIMITEDNGACI: Next-Generation Advanced Computing
Infrastructure
https://sites.google.com/view/ngaci/home20

Copyright 2021 FUJITSU LIMITEDNGACI White Paper
https://www.mext.go.jp/content/20210618-mxt-jyohoka01-000016078-01.pdf

21

Copyright 2021 FUJITSU LIMITEDNGACI White Paper
https://www.mext.go.jp/content/20210618-mxt-jyohoka01-000016078-01.pdf

22

Copyright 2021 FUJITSU LIMITEDNGACI White Paper
https://www.mext.go.jp/content/20210618-mxt-jyohoka01-000016078-01.pdf

23

Copyright 2021 FUJITSU LIMITEDNGACI White Paper
https://www.mext.go.jp/content/20210618-mxt-jyohoka01-000016078-01.pdf

24

Copyright 2021 FUJITSU LIMITEDNGACI White Paper
https://www.mext.go.jp/content/20210618-mxt-jyohoka01-000016078-01.pdf

25

Copyright 2021 FUJITSU LIMITED2028 年頃におけるCPU・ネットワーク・ストレージの予測性能
白書 P114-115(30MW, 80%の値より)
メニーコアCPU型 総コア数

総演算性能

予測性能
4.4x10E06 cores

1086 PFLOPS

DDR Mem 総バンド幅

137 PB/s

HBM Mem 総バンド幅

410 PB/s

総DDR 総容量

23 PB

総HBM 総容量5 PB

NW インジェクションバンド幅

1/6 TB/s

総Storage 容量

3.45 EB

総ストレージスループット

34 TB/s

26

Copyright 2021 FUJITSU LIMITEDFrom ISC19 Workshop: Lustre – The Next 20 Years

https://hps.vi4io.org/_media/events/2019/hpc-iodc-lustre_next_20_years-dilger.pdf
2028年ストレージ見積もり:2018 年のSummit のストレージ性能（2.5TB/s, 250PB）を外挿
27

Copyright 2021 FUJITSU LIMITED次世代ストレージへの要求と課題○システム処理能力がエクサスケールシステム以上○より大量のデータ処理を高速に実行する必要がある○エクサスケールの一桁以上の容量と性能(150PB->3.4EB, 1.5TB/s->34TB/s)○より電力制約が求められる○計算能力とデータ量が増加しても電力増加は最小限○どのように電力使用を絞るべきか○多種多様なアーキテクチャに対してデータを供給する必要がある○多種多様なデータ供給手法が想定される○どのようなストレージアーキテクチャが必要か？

28

Copyright 2021 FUJITSU LIMITED次世代のHPCシステムとストレージ・ファイルシステム
Keywords: Extreme Heterogeneity, Disaggregated, Cloud Native= Dynamically Configured Heterogeneous System

29

Copyright 2021 FUJITSU LIMITED次世代のHPCシステムの方向性○異種加速機構混合システム○汎用CPU,GPU,FPGA, 専用加速機構, QC, NC,etc.

○動的再構成による最適化システム○アプリケーション毎に加速機構構成変更○システムソフトウェア：On Demand再構成

30

Copyright 2021 FUJITSU LIMITED次世代のHPCシステムソフトウェアの方向性○マイクロサービスによる動的再構成

https://github.com/kubernetes/community/blob/master/ico
ns/docs/k8s-exposed-pod.png○異種ハードウェア、アプリケーション毎に最適化○動的スケールアウトによる対負荷耐性向上○再Deployによる耐故障性維持○ユーザへの見え方は様々な形態に個別設定○伝統的なbatch system,Web インターフェイス○Jupiter Notebook等のモダンインターフェイス○Vscodeなどの統合開発環境 など○提供サービスも様々な形態○計算機センターサービス○IoTセンサー・リアルタイム処理サービス○イベントドリブン型処理サービス○社会インフラと連動した動態解析サービス等
31

Copyright 2021 FUJITSU LIMITED次世代のHPCシステムでのファイルシステムの方向性○ マイクロサービスによる動的再構成

https://github.com/kubernetes/community/blob/master/ico
ns/docs/k8s-exposed-pod.png○アプリケーション毎に動的構成最適化○動的スケールアウトによる対負荷耐性向上○再Deployによる耐故障性維持○ ユーザへの見え方は様々な形態に個別設定○ファイルAPI, メモリ、ストリーム、DB○Permanent, Temporary○プロセス内、グループプロセス内○ 提供サービスも様々な形態○メタデータ、ファイルデータ、データベース、トランザクション、キャッシュ、分散レプリカ他○ストリーム、On Memory、ブロック、アーカイブ、圧縮、暗号化他○他クラウドサービス、広域ファイルシステム連携他
32

Copyright 2021 FUJITSU LIMITED次世代HPCストレージ・ファイルシステム課題と方向性○ クラウドネイティブ・マイクロサービス化○既存サービスの再構成と段階的な移行○ エクサスケールの一桁以上の容量と性能○性能は新デバイスの活用、新しいストレージアーキ○ どのように電力使用を絞るべきか？
○新デバイスとストレージアーキ○ どのようなストレージアーキテクチャが必要か？
○冗長なデータ移動を抑制する○ Computational Storage, Host CPU Processing Bypass Offload○主記憶の電力を抑制しながら大量データ処理○ Integration of Storage Class Memory○ データ保持電力の排除: RPMA(Remote Persistent Memory Access)○一桁多いデータ処理○ Computational Storage, 蓄積型からStreaming型への転換
33

Copyright 2021 FUJITSU LIMITEDCloud Native, Offload 事例○Cloud Edition for Lustre software on AWS, Azure, GCP, OCI○CloudにおけるManaged Service○AWSにおいてはS3 storageのcacheとして動作○HDF5: DAOS with Optane SCM, k8s連携○HDF as a service:○FuzzBall:○Computing Service based on Kubernates○Computational Storage○FPGA○Computation in SSD Controller○RPMA+CXLによるSystem Wide Offload
34

Copyright 2021 FUJITSU LIMITEDHDF as a service
https://www.hdfgroup.org/wp-content/uploads/2019/09/ServerBasedHDF.pdf

35

Copyright 2021 FUJITSU LIMITEDFuzzball: the Ctrl IQ software stacks

https://www.nextplatform.com/2021/02/18/why-the-founder-of-centos-is-building-the-next-platform/

Greg Kurtzer: one of the co-founders of the CentOS Linux distribution,
the Singularity container environment for HPC workloads, the founder of the new Rocky Linux distribution

36

Copyright 2021 FUJITSU LIMITEDComputational Storage：FPGA
Slides from FMS2018 https://www.flashmemorysummit.com/

37

Copyright 2021 FUJITSU LIMITEDComputational Storage: Arm
Slides from FMS2018 https://www.flashmemorysummit.com/

38

Copyright 2021 FUJITSU LIMITEDRPMA: Remote persistent Memory Accesshttps://github.com/pmem/rpma
IEEE Cluster 2020 WS: ITAP2020-Session2-2-PMoRDMA.pdf

39

Copyright 2021 FUJITSU LIMITEDCXL: Compute Express Link
Slides from OFA VWS2020 https://www.openfabrics.org/wp-content/uploads/2020workshop-presentations/403.-CXL-OFA-Virtual-Workshop-2020_FINAL.pdf

40

Copyright 2021 FUJITSU LIMITEDシステム内機能オフロード化○ OS and Host CPU Processing Bypass+Offload○ ユーザレベルクライアント：カーネルーユーザコピー排除○ SCMファイルマップで直接Read/Write/Atomic Operation実行○ Computational Storage○ アプリケーションの前処理をStorage Controller(+FPGA)実行○ 前処理後のデータを主記憶に転送○ FPGA処理によるOn the fly高機能データ転送○ RAID, 暗号化、符号化、疎行列処理

アプリケーション

VFS
Linux Kernel

Etc..
SCM

Host CPUCXLCXLExt4Storage
NVMe Controller

NFSNetwork Device Driver

NetworkController

FPGA

NVMe-oF

RedfishRPMA○ Computational Network Transfer

Lustre

BｔrFS

Block Device Driver

アプリケーション○ 転置、分配他通信処理をNIC/HCA+FPGAで実行

VFS○ MPI集団通信実行○ On the fly高機能データ転送、転置、Pack/Unpack、Strideデータ転送○ NVidia DPU, VMware Smart NIC○ 冗長なコピーの削減:

Linux Kernel

Etc..
SCM

Host CPU

CXL
CXL
Ext4

BｔrFS

Block Device Driver○ ストレージ(他ノード)からユーザメモリ直結転送

Storage
NVMe Controller

Redfish41

LustreNFS

Network Device Driver

NetworkController

FPGA

NVMe-oF
Nvidia DPU,Vmware Smart NIC

Copyright 2021 FUJITSU LIMITEDまとめ○次世代HPCシステムの方向性○Post Moore: Computing Beyond Moore’s Law○Disaggregated Computing○Cloud Native Computing○NGACI: Next-Generation Advanced Computing Infrastructure○これからのシステム・ストレージ・ファイルシステム○Keywords: Extreme Heterogeneity, Disaggregated, Cloud Native= Dynamically Configured Heterogeneous System

42

Copyright 2021 FUJITSU LIMITEDThank you

Copyright 2021 FUJITSU LIMITED