Lenovo
HPC&AI最新ソリューションのご紹介
ISG AP HPC&AI 石橋 史康| 2024/3/12

2023 Lenovo. All rights reserved.

Top500スーパーコンピューターランキング
で1/3のシステムがLenovoサーバー
182
180174169162
140#19281169

33%

19#1 insystems

shareMarkets
World- Wide

10 Markets

250
Based on count of listing on the TOP500.org Nov. 2023 list.

NOV 14

NOV 15

NOV 162023 Lenovo . All rights reserved.

NOV 17

NOV 18

NOV 19NOV 20NOV 21

NOV 22

NOV 23Green 500ランキング No.1
レノボ、2023年下半期のGreen500リストで1位をキープ
3期連続の1位

GREEN500の1位は、米国ニューヨークのフラットアイアン研究所に設置されたアンリシステムが再び獲得しました。エネルギー効率は65.40Gflops/Watt。さらに、同システムの改良により、HPLスコアは2.88Pflop/sとなり、前回の2.038Pflop/sを上回り、TOP500リストで405位から255位へと大きく躍進しました。....-Top500 June 2023プレスリリース••••••••

システム名: HenriHENRISUPERCOMPUTER
お客様: Flat Iron
サーバー： SR670V2
世界初のH100 PCIeシステム
14サーバー（ 112 GPU）にアップグレード
2.88 PFLOPs HPL
TOP500 rank – 225
約65GFlops/Watt

Lenovo ThinkSystem SR670V2
2023 Lenovo . All rights reserved.

3

Lenovo サーバー ポートフォリオ
エッジからエンタープライズまでの包括的なコンピューティングを提供

ラック型サーバー

タワー型サーバー

1U
SR645 V3
ST650 V3 ST650 V2

2U

HPC/AI用プラットフォーム

ミッションクリティカル
SR860 V3

SR665 V3

SR670 V2（GPUリッチ）

エッジコンピューティングソリューション
1U2U

4U 最大 4 CPU

SR850 V3SR635 V3SR645

2U 最大 4 CPU

SR655 V3SR665

SR675 V3 （GPUリッチ、クローズドループ液体冷却）

SE360 V2
SR950 V38U 最大 8 CPU

SE350 V2SR635
ST250 V3 ST50 V2SR655
SE450

高密度型サーバー
SR630 V3
SR650 V3

SD650 V3 SD650-N SD650-I V3

SR250 V32023 Lenovo . All rights reserved.

SE350

SR860 V2

SR630 V2
2U2N
2U4N
SD530 V3 SD550 V3

SR950
4U 最大 8 CPU
4U 最大 4 CPU

SR650 V2SD665 V3 SD665-N V3

SR850PSE455 V3

2U 最大 4 CPU

Neptune4空冷８GPUサーバー発表
ThinkSystem SR680a V3フォーム・ファクター 8U ラック
プロセッサー
2基の第5世代Intel® Xeon® スケーラブル・プロセッサー、最大350W
メモリGPU

最大周波数5600MHzのDDR5 DIMMを32枚使用、最大4TB8倍の高性能GPUをサポート：•900GB/秒のNVLinkインターコネクトを備えた8x
NVIDIA HGX™ H100またはH200 GPU•800GB/秒のInfinityファブリック相互接続を備えた8x AMD Instinct™ MI300X GPU

ThinkSystem SR685a V3
フォーム・ファクター
プロセッサー
メモリー
GPU

I/O拡張

8U ラック
2基の第4世代AMD EPYC™プロセッサー、最大400W
最大周波数で24x DDR5 DIMMを使用した場合、最大3TB8倍の高性能GPUをサポート：•800GB/秒のInfinity Fabricインターコネクトを備えた8x AMD Instinct™ MI300X GPU•900GB/秒のNVLinkインターコネクトを備えた8x
NVIDIA HGX™ H100またはH200 GPU
最大10 x PCIe Gen5 x16 FHHLアダプタ（フロント8、リア2）GPU接続用にPCIeスイッチに接続された8xフロントー 2x PCIe または、ーまたはー 1x PCIe + 1x
OCP3.0ー背面にー CPU接続用にー 2x PCIeまたはー 1x OCP3.0ー背面ーー
最大16台の2.5インチホットスワップNVMe SSD
ブート用に最大2x M.2 (RAID対応)

I/O 拡張Up to 10x PCIe Gen5 x16 FHHL adapters
GPU接続用にPCIeスイッチに接続された8xフロント
CPU接続用として背面に2 x CPUに接続

ストレージ

最大16台の2.5インチホットスワップNVMe SSD
ブート用に最大2 x M.2 (VROC経由でRAID)

ストレージ

冷却

N+1ホットスワップファン・ソリューションによる空冷式

冷却

N+1ホットスワップファン・ソリューションによる空冷式

対応 OS

RHEL, Ubuntu, Alma Linux, Rocky Linux,ESXi

対応OS

RHEL、Ubuntu、Alma Linux、Rocky Linux、ESXi

2023 Lenovo . All rights reserved.

5

Lenovo Neptune™Direct Water Cooling• 10年の歴史• 98%以上の排熱を水冷により除去（液冷でも液浸でもなく水ーWater）• 空冷ファンがないためサーバー単体で約10%の消費電力削減• 空調を含めシステム全体の消費電力を最大40％削減
Lenovoへ移管
NexScale nx360 M4

ThinkSystemの誕生
ThinkSystem SD650

2012

2020
2015

水冷技術の誕生
iDataplex dx360 M42023 Lenovo . All rights reserved.

2017

2023

ThinkSystem SD650-N V3

第5世代Lenovo Neptune™
Direct Water-Coolingテクノロジー
水冷サーバーの躍進
ThinkSystem SD650 V2ThinkSystem SD650-N V2

過去最大の発表
ThinkSystem SD650 V3
ThinkSystem SD650-I V3
ThinkSystem SD665 V3ThinkSystem SD665-N V36

第5世代Lenovo Neptune™ Direct Water-Coolingテクノロジー
SD650 V3•

業界標準１９インチラックに収納可能なシャーシ

2 x 4th,5th Gen. Intel Xeon SPOr Xeon CPU Max
１トレイ：1U 2NodeInfiniband Shared I/O, Socket
Directに対応

SD650-N V3

2 x AMD EPYC 9004
１トレイ：1U 2NodeInfiniband Shared I/O,Socket Directに対応•

2 x 4th,5th Gen. Intel Xeon SPOr Xeon CPU Max
１トレイ：1U 1Node+ NVIDIA H100x4••

SD650-I V3
2 x 4th,5th Gen. Intel Xeon SPOr Xeon CPU Max+ Intel GPU Max x4
１トレイ：1U 1NodeSD665 V3

最高クラスのCPUを最高のパフォーマンスでサポート• EPYC 9654(96C)• 水冷専用Xeon SKU• Xeon CPU Max
最大6U12Nodes
全ての熱源を水冷で冷却• CPU• Memory• M.2 SSD
• PCIeデバイス（NVMe SSD, Infinibandアダプター

SD665-N V3
2 x AMD EPYC 9004
+ NVIDIA H100x4
１トレイ：1U 1Node

ブースで展示中2023 Lenovo . All rights reserved.

7

Lenovo 汎用コールドプレートデザイン• システムデザインによらず利用可能:インテル・AMD・NVIDIAのCPU・GPU• 最適化された角度の液体流路がドラッグ（渦）を防ぎ、圧力損失を低減

2023
All rights
rights reserved.
reserved.
2023Lenovo
Lenovo.. All

Top500におけるNeptune™ Direct Water-CoolingRank
31373874

Name
ComputerSuperMUC-NG ThinkSystem SD650, Xeon Platinum 8174 24C 3.1GHz, Intel Omni-PathGuru
ThinkSystem SD650 V2, Xeon Platinum 8368Q 38C 2.6GHz, Infiniband HDRMaru
ThinkSystem SD650 V2, Xeon Platinum 8368Q 38C 2.6GHz, Infiniband HDR
Raven-GPU ThinkSystem SD650-N V2, Xeon Platinum 8360Y 36C 2.4GHz, NVIDIA A100, Mellanox HDR Infiniband
ThinkSystem SD650 V2, Xeon Platinum 8368 38C 2.4GHz, NVIDIA A100 40GB, Mellanox HDR
82
HoreKa-Green Infiniband
85
Underhill
ThinkSystem SD650 V2, Xeon Platinum 8380 40C 2.3GHz, Infiniband HDR86RobertThinkSystem SD650-N V2, Xeon Platinum 8380 40C 2.3GHz, Infiniband HDR115
RavenThinkSystem SD650 V2, Xeon Platinum 8360Y 36C 2.4GHz, InfiniBand HDR 100
174
ThinkSystem SD650 V2, Xeon Platinum 8358 32C 2.6GHz, Mellanox HDR Infiniband
Snellius Phase ThinkSystem SD650-N V2, Xeon Platinum 8360Y 36C 2.4GHz, NVIDIA A100 SXM4 40 GB, Infiniband
176
1 GPUHDR
Geely Wise185
Star-Dubhe Lenovo ThinkSystem SD650 V3, Xeon Gold 6458Q 32C 3.1GHz, Infiniband HDR
Lichtenberg II230(Phase 2) ThinkSystem SD650 V3, Xeon Platinum 8470Q 52C 2.1GHz, InfiniBand HDR100281
VSC-4ThinkSystem SD650, Xeon Platinum 8174 24C 3.1GHz, Intel Omni-Path365
HoreKa-Blue ThinkSystem SD650 V2, Xeon Platinum 8368 38C 2.4GHz, Mellanox HDR Infiniband
ThinkSystem SD650-N V2, Xeon Platinum 8360Y 36C 2.4GHz, NVIDIA HGX A100 80GB 500W,
410
Lise GPU-X Infiniband HDR200442Cannon
ThinkSystem SD650, Xeon Platinum 8268 24C 2.9GHz, InfiniBand HDR100
484
Alvis
ThinkSystem SD650-N V2, Xeon 6338 32C 2GHz, NVIDIA A100, Infiniband HDR486 2023 Lenovo . RE1ThinkSystem SD650-N V2, Xeon Platinum 8358 32C 2.6GHz, NVIDIA A100 80GB​, Infiniband HDR
All rights reserved.

9

Lenovo Neptune プロセッサー DWC モジュール
オープンループ液冷
汎用サーバーもDWC対応しました• ThinkSystem SR650 V3（２Uサーバー）• ThinkSystem SR630 V3（１Uサーバー）• CPUのみ水循環コールプレートにより熱の除去を実現• 水冷専用SKUに対応• Intel Xeon Platinum 8470Q 52C 350W 2.1GHz• Intel Xeon Gold 6458Q 32C 350W 3.1GHz

2023 Lenovo . All rights reserved.

10

42U Rack for in-Row CDU•One node liquid f低 rate limitation (DI water)
0.5 LPM----- Maximum 40℃ inlet
1.0 LPM----- Maximum 45℃ inlet
1.5 LPM----- Maximum 50℃ inlet
Pressure limitation
Max Operating Node Inlet Pressure = 43.5 psi(3 Bar)2U for Switch

Server Node38 1U NodeEaton FD83 Valve
Common 38 Ports Manifold
Hose Kit for in-Row CDU
1.3m/2.3m
2023 Lenovo . All rights reserved.

In-Row CDU selection by Lenovo or by customer’s DC
design.
• CoolTera 310KW FS400 Liquid-to-liquid CDU• Vertiv 60KW XDU -liquid to air CDU

2U for Switch

HPC
Storage
Solutions2023 Lenovo . All rights reserved.

12

Lenovo HPC&AI ストレージポートフォリオ
パフォーマンス

キャパシティー

a o sThinkSystem
DE SeriesIBM Storage Scale

6 node performance
5.1 million read IOPS
and up to 228GB/s

2023 Lenovo . All rights reserved.

ThinkSystem
DM SeriesThinkSystem
D4390 JBODHybrid

WekaFS
NVMe SSDに最適化されたオールフラッシュSDSソリューション
• 並列ファイルシステム• 単一の名前空間• 無停止拡張可能• S3ストレージと階層化可能• 最小構成：– ６サーバー– 実効１１５TB～– 100Gbps～ Ethernet or IB• Lenovo ThinkSystem による検証済み構成をご提供• 対応プロトコル
POSIX, NFS, SMB, S3,NVIDIA GPUDirect, andKubernets CSI Plugin

SPDK/DPDKによる最適化

2023 Lenovo . All rights reserved.

14
https://lenovopress.lenovo.com/lp1691-lenovo-高-performance-file-system-solution-with-weka-data-platform

Lenovo DSS-G
Distributed Storage Solution for IBM® Storage Scale™
Lenovo Distributed Storage Solution for IBM Spectrum Scale（DSS-G）は、ハイパフォーマンスかつデータ集約型の環境に適した、高密度に拡張可能なファイルおよびオブジェクト・ストレージ用のソフトウェア・デファインド・ストレージ（SDS）ソリューションです。DSS-Gは、Lenovo ThinkSystemサーバー、Lenovoストレージ・エンクロージャー、業界をリードするIBM
Spectrum Scaleソフトウェアの性能を組み合わせ、現代のストレージ・ニーズに対する高性能で拡張性の高いビルディングブロック・アプローチを提供します。

6 x DSS-G100

1 x DSS-G204

with internal NVMewith 2.5” SSD

1 x DSS-G240

1 x DSS-G242

6 x DSS-G100

With 3.5” NL-SAS“hybri ” with both2.5” SSD an
3.5” NL-SAS1 x DSS-G240

SR650

SR650

SR650

SR650

D1224+D1224
D1224
SR650

D3284

SR650

D1224

SR650

D1224
D3284

D1224

D3284

SR650

D3284

D3284
D3284

IBM Storage Scale

D3284

D3284
D3284

D3284

D3284

2023 Lenovo . All rights reserved.

D3284

15

Lenovo
DDN EXAScaler•

100% NVME or Hybrid•

Max Capacity (raw) based on 30TB NVMe flash and 22TB SAS HDD.

•

SAS SSD can also be used in SS9024 (up to 30TB today).
Best IOPS & Throughput per rack
Up to 70M IOPs in a single rack
1.8 TB/s of read throughput
1.4 TB/s of write throughput
16PB of FlashBest Price per Flash TB
Up to 14M IOPs in a single rack
360 GB/s of read throughput
240 GB/s or write throughput
Up to 26PB of FlashBest Price per TB

TLC Flash

QLC Flash*Hybrid2023 Lenovo . All rights reserved.

20PB per Rack
90 GB/s of read throughput
65 GB/s of write throughput

NVMe Slots
Capacity
SS9024 qty
Slots
Capacity

24
732 TB

24732 TB

24732 TB

24732 TB

24732 TB

24732 TB

2180
3.9 PB4360
7.8 PB5450
9.8 PB8720
15.7 PB10900
19.6 PB

Lenovo
DSS-G-NVX2

IBM Storage Scale• All Flash• 100% TLC, QLC NVMe flash• Max Capacity (raw) based on 30.5TB NVMe flash
Best IOPS & Throughput per rack
Up to 70M IOPs in a single rack
1.8 TB/s of read throughput
1.4 TB/s of write throughput
16PB of FlashBest Price per Flash TB
Up to 14M IOPs in a single rack
360 GB/s of read throughput
240 GB/s or write throughput
NVMe Slots
Up to 26PB of FlashCapacity

2023 Lenovo . All rights reserved.

24732 TB

48
1.4 PB96
2.9 PB144
4.3 PB192
5.8 PB240
7.3 PBHPC
SoftwareSolutions

2023 Lenovo . All rights reserved.

18

Lenovo HPC&AI Software Stack with LiCOIntel

NVIDIA

OneAPIHPC SDK / CUDA-X AI

Central Access

HPC User Interface

AI Development

Additional Dashboards

LiCO Web portal

LiCO Jobs & Workf低s

LiCO AI Studio / Dev Tools

Grafana

Energy Optimization

Job SchedulingContainer Support

Performance Monitoring

Energy Aware Runtime

Slurm Workload Manager

Apptainer / Charlie Cloudextrae / paraver

System Management

System Provisioning

System Monitoring

System Verification

Confluent

ConfluentIcinga 2

Node Health CheckOperating System

HPC Network SW

Ethernet SW(Embedded)

File System

SLES / RHEL / Rocky,Ubuntu, CentOS

UFM

CumulusSpectrum Scale, ...

Development

LiCO

Interface

Application

Registries: NGC, DockerHub, ...

SystemInterface2023 Lenovo . All rights reserved.
2022 Lenovo Internal. All rights reserved.

19

Energy Aware Runtime（EAR）
ソフトウェアによるエネルギー削減
EARはLenovo®、Barcelona Supercomputing Center、Energy Aware Solutions (EAS)との共同開発によるオープンソースソフトウェアです。
システムおよびアプリケーションの電力監視に加え、エネルギー最適化および電力上限設定機能を提供しています

パフォーマンスをほとんど低下させることなく、クラスタの消費電力を約10%削減
2019年8月よりLRZ SuperMUC 6480ノードでも実運用

EAR version 4.1対応状況
対応MPI
対応スケジューラー

Optimizer Pro
Optimizer
Detective Pro
システム監視・レポート

●

●

●

ジョブアカウンティング

●

●

●

●

●

エネルギー最適化
パワーキャッピング
レノボから提供している有償サポートの種類
2023 Lenovo . All rights reserved.

●

対応CPU/GPUIntel MPI, OpenMPISLURM, Altair PBS professional, LSF
Intel Xeon, AMD EPYC, Intel GPU, NVIDIA GPU*CPU/GPUの種類によって一部の機能が限定される場合がありますExascaleからEveryscaleTMへ
Everyscale(あらゆるスケールの）ユーザーにイノベーションをもたらす
Exascale技術を推進しています

SCALABILITY
2023 Lenovo Internal. All rights reserved.

SUSTAINABILITYCOMMUNITY

Supercomputing Now! 2022

22