AI時代のAI時代のデータインテンシブHPCプラットフォームの開発と展開
Software Defined Rack Scale Structure
Hyper Matrix HPC

2024/6/27
コアマイクロシステムズ株式会社 鶴見利章

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPCマーケットトレンド

ミックスワークロードデマンド
・SIMULATION / MODELING・AI / ML & DL
・BIGDATA ANALYSTIC

ソフトウェア定義型トレンド

クラウド分散 / 広域化トレンド

・DISAGGREGATED COMPOSABLE
・HYPER CONVERGENCE
・SDS / SDN / SDWAN・HYBRID CLOUD
・MULTICLOUD ROUTING・MP EDGE/GRID CLOUD1

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPCテクノロジートレンド

階層ファブリック構成
・MEMORY FABRIC
・PCIe/CXL FABRIC
・RDMA FABRIC
・WAN FABRIC

ハイパースケール構成
・RACK SCALE FUSION HPC
・HYPER CONVERGED HPC・DISAGGREGATED COMPOSABLE HPC

グローバルスケール構成・MULTI SITE HPC
・HYBRID CLOUD HPC
・MULTI CLOUD HPC

2コアマイクロシステムズ株式会社
Core Micro Systems Inc.

階層ファブリックレイヤアーキテクチャ～10ns
NVDIMM-N

CPUコア

CPU/Memory FABRIC
HBM/DRAM～150ns

NVDIMM-P

(SCM)

NVMe

(SCM)

NVMe

(NAND)PCI EXPRESS

CPU/メモリ

PCIe/CXL FABRIC
GPU/FPGA～1μs

IB/NDR、100GbE/400GbE/(次世代800GbE)

NVMeOF

PFS/pNFS※Parallel File System

RDMA FABRIC
GPU/DIRECT

NAS/S3

1μs～40 / 100G

CMS広域HPC

クラウドHPCWAN FABRICCMS SINETストレージ※広域RDMAネットワーク

クラウドストレージ(S3)3

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPCストレージシステムのレイヤ構成イメージ

HPCノード群
CACHE FS
SCM/NVMe

拡張リアルタイムストレージ（SCM/NVMe）

NVMe OF
ARRAY※ローカルバーストバッファストレージ（ジョブ連動キャッシュ）HPCノードインテグレートストレージ
SHARED
BURST
BUFFER

リアルタイム共有ストレージ（ジョブ連動ステージング）
ポリシーベース
HSM

プロジェクトALL NVMe
ﾊﾟﾗﾚﾙﾌｧｲﾙｼｽﾃﾑ

TIER

HYBRID
ﾊﾟﾗﾚﾙﾌｧｲﾙｼｽﾃﾑ

TIER/HSM
コントローラMAID

CAPACITY
ﾊﾟﾗﾚﾙﾌｧｲﾙｼｽﾃﾑ

OPTICAL

TAPE
オブジェクトストレージ

パブリック
クラウドストレージ4コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPCセグメント展開ソリューション

アカデミック/リサーチ
Fusion Scaler HPC

テクニカル/エンタープライズ
Prime Scaler HPC

クラウド/データセンタ
iDC Scaler HPC

Hyper Matrix HPC
Software Defined Rack Scale Structure

SINETパイプライン
ストレージサービス

マルチクラウドルーティングサービス

5コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPCセグメントプラットフォーム
アカデミックリサーチ向け

テクニカル/エンタープライズ向け

クラウド/データセンタ向け

Fusion Scaler HPC

Prime Scaler HPC

iDC Scaler HPC

Modeling & Simulation

AI/CAE/EDA/BIO

AI/Analystics

AI/Analystics Hybrid

BigData Hybrid

HPC Hybrid■Large Cluster HPC■HCI/CDI Cluster HPC■AI Native BIG HPC■Hybrid Cluster HPC■Single Big Machine HPC■Composable AI HPC■Flex HPC Resource■Hybrid HPC Resource■Large AI Resource

・Fusion Pod MAX CPU

・Prime Pod HCI・iDC Pod GenAI・Fusion Pod BIG MEM

・Prime Pod CDI・iDC Pod Green・Fusion Pod Flex GPU

・Prime Pod GPU MAX・iDC Pod Dynamix

・Fusion Pod Pro GPU

・Prime Pod MEM MAX※フルコンポーザブルAIプラットフォーム(開発中)・Fusion Pod Pro APU

4U CDU

6HPCモジュラーデータセンタソリューション

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■屋内プレハブ方式
・In-Row冷却■屋外コンテナ方式
・In-Row冷却・Rear Door冷却・Immersion冷却・外気連動冷却7

■アカデミック/リサーチ向けFusion Scaler HPC

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion POD MAX CPU■Fusion POD BIG MEM■Fusion POD Flex GPU■Fusion POD Pro GPU■Fusion POD Pro APU

8ラックスケール型高密度CPU HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion Pod MAX CPU■ラック内機器構成
・2U/4ノード（8CPU/AMDまたはIntel）サーバ x 16・1U/64ポート IB NDR（400G）スイッチ x 2
・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ポート管理スイッチ x 2■性能指標（FP64）
・CPU群（AMD GENO構成）：最大589TFLOPS・CPU群（Intel XEON構成）：最大707TFLOPS■冷却システム・コールドプレート型液体冷却・冷却能力：80KW■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE
32ポート

32ポート

・・・・・

・・・・・

64ポートIB NDRスイッチ

サーバ サーバ サーバ サーバノード
ノード ノード
ノード
#1
#2
#3
#4
#1

64ポートIB NDRスイッチ#1

サーバ サーバ サーバ サーバノード ノード
ノード
#1
#2
#3
#4

サーバ サーバ サーバ サーバノード ノード
ノード ノード
#1
#2
#3
#4

#8

#9ノード
・・・・・・・#2

サーバ サーバ サーバ サーバ
ノード ノード
ノード
#1
#2
#3
#4

ノード
・・・・・・・#169

ラックスケール型超大容量メモリ HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion Pod BIG MEM■ラック内機器構成
・6U/8CPU（Intel）/128DIMM（124NVMe）サーバ x 4
・1U/64ポートIB NDR（400G）スイッチ x 1
・1U/32ポート100GbE x 1（オプション）
・1U/48ポート管理スイッチ x 1■性能指標（FP64）
・CPU群：最大120TFLOPS・GPU群：最大1040TFLOPS■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE32ポート・・・・・

64ポートIB NDRスイッチ

6U/8CPUサーバ

6U/8CPUサーバ#1#2・・・・・・・

6U/8CPUサーバ#410

ラックスケール型高密度汎用GPU HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion Pod Flex GPU■ラック内機器構成
・4U/8GPU（PCIe型）/2CPU（AMD）/12NVMeサーバ x 8・1U/64ポートIB NDR（400G）スイッチ x 1・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ポート管理スイッチ x 1■性能指標（FP64）
・CPU群：最大73TFLOPS・GPU群：最大2176TFLOPS■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE・GPU Directクラスタ
32ポート・・・・・

64ポートIB NDRスイッチ

4U/8GPUサーバ

4U/8GPUサーバ#1#2・・・・・・・

4U/8GPUサーバ#811ラックスケール型高密度専用GPU HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion Pod Pro GPU■ラック内機器構成
・5U/8GPU（SXMまたはOAM）/8NVMeサーバ x 4
・1U/64ポートIB NDR（400G）スイッチ x 1
・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ポート管理スイッチ x 1■性能指標（FP64）
・CPU群：最大32TFLOPS・GPU群：最大2614TFLOPS■冷却システム・コールドプレート液体冷却・冷却能力 80KW
■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE・GPU Directクラスタ
32ポート・・・・・

64ポートIB NDRスイッチ
・・・

・・・

4U/8GPUサーバ

4U/8GPUサーバ

4U/8GPUサーバ

4U/8GPUサーバ

#1

#2

#3

#4

・・・

・・・

12

ラックスケール型高密度ユニファイドメモリAPU
HPCビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Fusion Pod Pro APU■ラック内機器構成
・2U/4APU（AMD Mi300A）/8NVMeサーバ x 16
・1U/64ポートIB NDR（400G）スイッチ x 2
・1U/48ポート管理スイッチ x 1■性能指標（FP64）
・APU群：最大3.92PFLOPS■冷却システム・コールドプレート型液体冷却・冷却能力：80KW■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE

32ポート

32ポート・・・・・・・・・・

64ポートIB NDRスイッチ

64ポートIB NDRスイッチ

2U/4APUサーバ

2U/4APUサーバ

2U/4APUサーバ

2U/4APUサーバ

#1

#8

#1

#813

■テクニカル/エンタープライズ向けPrime Scaler HPC

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Prime Pod HCI■Prime Pod DCI■Prime Pod GPU MAX■Prime Pod Mem MAX

14

ラックスケール型汎用CPU HPCビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Prime Pod HCI■ラック内機器構成
・1U/2CPU（AMD/128コアGENOA）/1GPUサーバ ｘ 32
・1U/64ポート IB NDR（400G）スイッチ x 1
・1U/32ポート100GbEスイッチ x 1（オプション）・1U/48ポートGbE管理スイッチ x 1■性能指標（FP64）
・CPU群：最大294TFLOPS・GPU群：最大832TFLOPS（オプション）■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■HPCノード群インタコネクト構成
・フルバイセクションFAT-TREE
32ポート

・・・・・

64ポートIB NDRスイッチ

1U/2CPUサーバ

1U/2CPUサーバ#1#2・・・・・・・

1U/2CPUサーバ

4U CDU

#3215

ラックスケール型コンポーザブル HPCビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Prime Pod CDI■ラック内機器構成
・1U/2CPU/1GPU/12NVMe x 16
・4U/8GPU/JBOG x 2
・2U/32スロット JBOM x 2
・2U/24NVMe JBOF x 2
・1U PCIe/CXLスイッチ x 1
・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ポート管理スイッチ x 1■性能指標・構成依存・単体マシン化/複数マシン化■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■HPCノード群ローカルインタコネクト構成
・PCIe/CXLコンポーザブル
1U
サーバ #1

1U
サーバ #2・・・・・・・

1U
サーバ #1632ポートCXLスイッチ

JBOX

JBOX

#1

#2

JBOM

JBOM

JBOF

JBOF

#1

#2

#1

#2

16

ラックスケール型ラージGPUシングルマシン
HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Prime Pod GPU MAX■ラック内機器構成
・6U/8CPU(Intel)/8GPU/128DIMM/24NVMeサーバ x 1・4U/8GPU JBOG x 8
・1U/48ボート管理スイッチ x 1■性能構成
・CPUコア数：最大448コア
・GPU数：最大64+(8)・メモリ総量：最大32TB■性能指標(FP64)
・CPU群：最大44TFLOPS・GPU群：最大2176TFLOPS■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■プラットフォーム構成
6U/8CPUサーバ
128DIMM/24NBMe

4U/8GPU
JBOG#14U/8GPU
JBOG

・・・・・・・#24U/8GPU
JBOG

#817

ラックスケール型ラージメモリシングルマシン
HPCビルティングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Hyper Pod Mem MAX■ラック内機器構成
・6U/8CPU(Intel)/DIMM/24NVMeサーバ x 6
・1U/16ポート(x16) CXL2.0スイッチ x 3
・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ボート管理スイッチ x 1■性能構成
・CPUコア数：最大2688コア
・メモリ総量：最大196TB
・NVMe総量：最大4.32PB■性能指標(FP64)
・CPU群：最大265TFLOPS■冷却システム・リアドア型水冷熱交換器（アクティブファン型）
・冷却能力：40KW■プラットフォーム構成

6U/128DIMM
サーバ#1

CXLスイッチ

6U/128DIMM
サーバ・・・・・・・#2

CXLスイッチ

6U/128DIMM
サーバ#6

CXLスイッチ18

クラウドデータセンター向け iDC Scaler HPC

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■iDC Pod GenAI■iDC Pod Dynamix ※計画中（コンポーザブルリソースラック群/CPU/メモリ/GPU/NVMe）■iDC Pod Green19

ラックスケール型ラージAPUクラスタ
HPCビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■iDC Pod GenAI■ラック内機器構成
・NVIDIA GB200ブレード x 18
・NVLINKスイッチ x 9
・1U/64ポート IB NDR(400G)スイッチ x 3
・1U/32ポート 100GbEスイッチ x 2
・OCP電源ユニット x 4■性能指標
・FP64：最大3.24PFLOPS
・FP16/AI：最大360PFLOPS
・FP4/AI：最大1440PFLOPS■冷却システム・コールドプレート型液体冷却・冷却能力：130KW■プラットフォーム構成

GB200ブレード#1GB200ブレード

NVLINKスイッチ#1#2・・・・・・・・・・・・

GB200ブレード#18

NVLINKスイッチ#920

ラックスケール型液浸冷却専用GPU
HPCビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■iDC Pod Green■ラック内機器構成
・1U/4GPU（PCIe）/2CPU（AMD/Intel）サーバ（OCP3.0） x 32
・1U/64ポートIB NDR（400G）スイッチ x 1
・1U/32ポート100GbEスイッチ x 1（オプション）
・1U/48ポート管理スイッチ x 1
・DPU NICオプション
・OCP電源ユニット x 2（4）
■性能指標（FP64）
・CPU群：最大294TFLOPS・GPU群：最大3328TFLOPS■冷却システム・Single Phase液浸冷却・冷却能力：最大130KW■HPCノード群インタコネクト
・フルバイセクションFAT-TREE
32ポート・・・・・

64ポートIB NDRスイッチ

1U/4GPUサーバ

1U/4GPUサーバ#1#2・・・・・・・

1U/4GPUサーバ#3221

ラックスケール型NVMeストレージ

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

Flash Scalerシリーズ■Flash Scaler BB■Flash Scaler Primery■Flash Scaler Central

22ラックスケール型バーストバッファ
HPCストレージビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Flash Scaler BB■ラック内機器構成
・2U/24NVMe CiB NVMeOFストレージ x 8
・1U/12NVMeストレージサーバ（Intel DAOSベース） x 16
・1U/64ポートIB NDR（400G）スイッチ x 2
・1U/48ポート管理スイッチ x 1■性能指標・最大スループット：2.3TB/s + 0.76TB/s（最大1.52TB/s）
・最大IOPS：128M + 128M
・最大容量：5.7PB + 5.7PB■冷却システム・リアドア型水冷熱交換器（パッシブファン型）
・冷却能力：40KW■ストレージノード群インタコネクト構成
・2重化スイッチ構成
・フルメッシュ接続
32ポート

32ポート

・・・・・

64ポートIB NDRスイッチ

2U/24NVMe
CiBｽﾄﾚｰｼﾞ#1・・・・・ 2U/24NVMe
CiBｽﾄﾚｰｼﾞ#8・・・・・

64ポートIB NDRスイッチ

1U/12NVMe
ｽﾄﾚｰｼﾞ
#1

1U/12NVMe
ｽﾄﾚｰｼﾞ
#2・・・・・

1U/12NVMe
ｽﾄﾚｰｼﾞ
#1623

ラックスケール型プライマリー NVMe
HPCストレージビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Flash Scaler Primary■ラック内機器構成
・2U/24NVMe CiB Lustre PFSストレージ x 16
・1U/64ポートIB NDR（400G）スイッチ x 2
・1U/48ポート管理スイッチ ｘ 1■性能指標・最大スループット：4.6TB/s
・最大IOPS：256M
・最大容量：11.5PB■冷却システム・リアドア型水冷熱交換器（パッシブファン型）
・冷却能力：40KW■ストレージノード群インタコネクト構成
・2重化スイッチ構成
・フルメッシュ接続
32ポート

32ポート

・・・・・

・・・・・

64ポートIB NDRスイッチ

2U/24NVMe
CiBｽﾄﾚｰｼﾞ#1

64ポートIB DRスイッチ

2U/24NVMe
CiBｽﾄﾚｰｼﾞ#8・・・・・

2U/24NVMe
CiBｽﾄﾚｰｼﾞ#1624

ラックスケール型セントラル NVMe
HPCストレージビルディングブロック

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

■Flash Scaler Central■ラック内機器構成
・8U/160NVMe CiB Lustre PFSストレージ x 4
・1U/64ポートIB NDR（400G）スイッチ x 2
・1U48ポート管理スイッチ x 1■性能指標・最大スループット：768GB/s
・最大IOPS：32M
・最大容量：38.4PB（PLC NAND構成時）■冷却システム・リアドア型水冷熱交換器（パッシブファン型）
・冷却能力：40KW■ストレージノード群インタコネクト構成
・2重化スイッチ構成
・フルメッシュ接続
・・・・・

・・・・・

64ポートスイッチ

64ポートスイッチ

8U/160NVMe
CiBｽﾄﾚｰｼﾞ

8U/160NVMe
CiBｽﾄﾚｰｼﾞ

8U/160NVMe
CiBｽﾄﾚｰｼﾞ

8U/160NVMe
CiBｽﾄﾚｰｼﾞ

#1#2

#3

#425

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

HPC HSMアーカイブストレージビルディングユニット■オブジェクトストレージ・CMS Object STOR
・900HDD（21.6PB/物理容量）/ラック・Cephストレージクラスタ■MAID省電力ストレージ・CMS MAID STOR
・816HDD（最大19.5PB/物理容量）/ラック・最大90％の省電力コントロール■光ディスクライブラリー
・SONY PETA SITE
・最大 2.9PB/ラック■テープライブラリ
・Quantum Scaler i6000（LTO9）
・最大 46.8PB/ラック■階層ストレージ管理ソフトウェア
・HSM/TIERストレージ統合（NODEUM）
・広域ストレージメタデータ統合（iRODS）

CMS Object

CMS MAIDSONYPETA SITE

Quantum
Scaler i6000

26

HPC自動構築/運用保守ソリューション

コアマイクロシステムズ株式会社
Core Micro Systems Inc.

運用保守監視業務
保守監視業務には、ログ集中管理と A I による自動異状検知システム (CMS Log Ponder ) を適用します。このシステムは、本システムより出力された各種システムログをそのまま保存する「ログ集積機能」、集められたログを種類とエラー内容に従い分類する「ログ分類機能」、ログの統計的な特徴を分析する「ログ統計機能」、ログ内容から異状を検知する「ログ異状検知機能」を有しています。
1.ログ集積機能
本システムからはシステム状態を通知するログやセンサー値が時系列データとして出力されます。これらは CMS Log Ponder の時系列データベースへ集約保存されます。
2. ログ分類機能
ログ分類機能は、ログを出力したホスト、メッセージクラス、特定の文言など、内容に応じてログデータを分類します。
3. ログ統計機能
ログ統計機能は、ログに対する様々な統計情報を提供します。これには、特定期間内での発生件数、センサー値の増減、時間ウィンドウを変化させた場合の、平均値、中央値、標準偏差など基本的な統計量の変化などのデータを、管理者様の要求に応じて作成します。

図 4 統計レポート作成例
4 ログ異状検知機能
本システムには多数の計算ノード、ストレージノード、ストレージ装置、ネットワーク機器などが含まれており、それらを単純な閾値ベースの監視のみで運用するのは大変な困難を伴います。弊社はAI モデルを適用し定常状態の時系列ログデータを学習させることにより、A I モデルによる能動的な異状検知を実現することに成功しました。これにより、運用管理者様の運用負荷を軽減するとともに、事態が悪化する前に対応いただくよう通知することが可能となります。

27

ご清聴どうもありがとうございました。

HPC4U !
コアマイクロシステムズ株式会社
Core Micro Systems, Inc.
URL：https://www.cmsinc.co.jp/ Mail：sales@cmsinc.co.jp
TEL： 03-6279-8501 FAX 03-6279-8502〒174-0041 東京都板橋区舟渡1-12-11 ヘリオスⅡビル3F