HEROES FORUM 2023 Dec

PowerEdgeがAI基盤で大活躍！
気になる事例とAI検証環境のご紹介
デル・テクノロジーズ株式会社
データーセンターコンピュート&ソリューションズ事業統括
パートナーセールスエンジニアリング本部
テクニカルセールス
野口 尚也 / 中村 真子

1

Copyright © Dell Inc. All Rights Reserved.

はじめに現時点での情報となりますので、最新情報は随時アップデートされたものをご参照ください。
(2023年12月21日)

2

Copyright © Dell Inc. All Rights Reserved.

◆なぜPowerEdgeでAI基盤？
◆GPU搭載可能サーバーポートフォリオ◆事例紹介 ~サイバーエージェント様~◆Dellが提供するAI基盤検証環境◆まとめ ~これだけは押さえてほしいポイント~

AGENDA
3

Copyright © Dell Inc. All Rights Reserved.

なぜPowerEdgeでAI基盤？
4

Copyright © Dell Inc. All Rights Reserved.

おさらい (クラウドとオンプレミスの特徴)
クラウドメリット• 初期コストの安さ• 導入期間の短さ• 運用・管理が不要

オンプレミスデメリット• セキュリティの懸念• 通信速度の懸念• インスタンスの枯渇

メリット• セキュリティ◎• 通信速度◎• リソースの予約不要
デメリット• 初期コストの高さ• 導入期間の長さ• 運用管理は必要

AI基盤はどちらで構築するべきか？
5

Copyright © Dell Inc. All Rights Reserved.

どのようにAIを使うか、そこが基盤構築の分かれ道！
クラウドオンプレミス• ライトユーザー向け• インファレンスタイプ• ヘビーユーザー向け• ファインチューニング

ChatGPTなど
既存サービスを活用

カスタマイズしてオリジナル基盤として活用
6

Copyright © Dell Inc. All Rights Reserved.

AI基盤を構築するためのポイント

クラウド

オンプレミス

求めるサービス・基盤

GPT-4やPaLM2等
既に存在する
クラウドサービス

自社オリジナル自分たちでサービスを構築

カスタマイズの柔軟性

トークン毎、文字数単位で追加料金が発生する

AI基盤上のカスタマイズにおいて追加料金は不要

データ活用のためのセキュリティ

サービス提供者のポリシーに準拠

自社のポリシーに準拠

3年でクラウドがオンプレよりも高くなるケースも！
7

Copyright © Dell Inc. All Rights Reserved.

なぜオンプレミスでのAI基盤構築でPowerEdgeが良いのか➀iDRAC②サーマル設計③保守体制

いよいよ、PowerEdgeの紹介となります！
8

Copyright © Dell Inc. All Rights Reserved.

GPU搭載サーバーポートフォリオ
9

Copyright © Dell Inc. All Rights Reserved.

PowerEdge最新世代サーバー
エッジ

コア
アクセラレーター活用

メインストリーム .
4ソケット

XE9640
XE9680

XR8000

R760
R760xa

XE8640

モジュラー

R960

R660

ストレージ密度

XR7620

XR5610

R860
R7625

XR4000R760xd2
R6625

MX760

T560

メインストリーム コスト効率

スケールアウト
クラウドサービスプロバイダー向け

R7615
R760xs

C6620

R660xs

R6615

10Copyright © Dell Inc. All Rights Reserved.

HS5620HS5610GPUアクセラレーター稼働専用サーバー 最新ポートフォリオ

AI 基盤を支えるPowerEdge
XE9680

XE9640

XE8640R760xa

8 GPU

4 GPU

4 GPU

4 GPU 12 GPU

NVIDIA H100 SXM5 700W*

NVIDIA H100 SXM5 700W*

NVIDIA H100 SXM5 700W*

PCIe 350W*

AMD MI300X OAM 750W*

Intel MAX 1550 OAM 600W*

空冷(最大35℃環境まで)

水冷（DLC）専用

空冷(最大35℃環境まで)空冷(最大35℃環境まで)

PCIe 75W*＊GPUのTypical Board Powerを指します。

CPU
メモリ

：第4世代インテル Xeonスケーラブル・プロセッサー：DDR5 DIMM 4800MT/s
11

Copyright © 11
Dell Inc.
All Rights
DellRights
Confidential– for Partner internal use only.
Copyright©Reserved.
Dell Inc. All
Reserved.

× 2基× 最大32枚

PowerEdgeの推しポイント

12

Copyright © Dell Inc. All Rights Reserved.

推しポイント➀ iDRAC ~サーバー管理機能~

13

Copyright © Dell Inc. All Rights Reserved.

従来のPowerEdge

最新のPowerEdge

推しポイント②
新・サーマル設計✓ 高性能なGPUも空冷稼働を実現✓ 日本製のFAN
Direct Liquid Cooling• 空冷の5倍の冷却力• 液漏れ検出とアラート• ラックソリューションとして提供
14

Copyright © Dell Inc. All Rights Reserved.

従来のPowerEdge

最新のPowerEdge

推しポイント②
新・サーマル設計✓ 高性能なGPUも空冷稼働を実現✓ 日本製のFAN
Direct Liquid Cooling• 空冷の5倍の冷却力• 液漏れ検出とアラート• ラックソリューションとして提供
15Copyright © Dell Inc. All Rights Reserved.

事例紹介 ~サイバーエージェント様~16

Copyright © Dell Inc. All Rights Reserved.

GPU搭載のPowerEdgeで和製生成AI基盤を構築！
<課題>
インターネット産業に軸足を置いた、3つの事業ポートフォリオ

⚫

⚫

⚫

広告事業の収益増大に向けた、効果的な広告キャッチコピー創作作
業の効率化
日本語LLM (GPTベース)の開発の時間短縮とコスト削減のため、最新・高性能な GPU が必要GPUを含む基盤資源を監視して常に基盤を最適化して維持する必要がある

引用元：統合報告書「CyberAgent Way 2023」
https://d2utiq8et4vl56.cloudfront.net/files/user/pdf/ir/library/
annual/cyberagent_IR_2023_jpn.pdf?v=1702002196
17

Copyright © Dell Inc. All Rights Reserved.

<導入機種>⚫

XE9680 (H100SXM x8)
CyberAgentLM (LLM) の学習・他用途としても検討中⚫

XE8545 (A100SXM x4)
CALM以外のAI含む学習・推論・ファインチューニング用⚫

R7625 (A2 x8)
推論・ファインチューニング用⚫

R760xa (L4 x8)

推論・ファインチューニング用

導入効果⚫社内LLMでインターネット広告のキャッチコピーを生成。

AI研究開発効率 約5.14倍⚫ 最大130億パラメーターの社内LLMを開発。
⚫ 検索連動広告などのバナー制作へ投入し、当たり率が顕著に向上。※当たり率 = 既存の広告よりも効果が高いものを作れる割合

システム運用工数削減⚫最大68億パラメーターのLLM「CyberAgentLM(CALM2)」 を一般公開。
⚫ 商用利用可能なオープンソースによってコミュニティへ貢献⚫ 社内LLMへのフィードバック反映

18Copyright © Dell Inc. All Rights Reserved.

パブリッククラウド
運用コスト比較45.5%

導入後の状況についてお伺いしました！
• iDRACについて– 「iDRAC 9の完成度が高すぎて、他社サーバーに不満を持つようになってしまって困っています。」– 「複数コンポーネントのアップデートを同時に実行したり、”次の再起動時に適用“と予約できたり、サポートサイトから自動でパッケージを取得したり、」• XE9680について– 「我々のように自前での増設・換装を含め、NICの選択肢を増やしたいユーザーにとっては大変ありがたい設計だと感じています。」

株式会社サイバーエージェント
グループIT推進本部CIU
Solution Architect
高橋 大輔 様– 「エアフローの変更と同時に動作温度帯も広がったため、あらゆる環境で運用しやすい設計となっています。」
19

Copyright © Dell Inc. All Rights Reserved.

Dellが提供するAI基盤検証環境
20

Copyright © Dell Inc. All Rights Reserved.

AI Experience Zone

概要

検証画面

21

Copyright © Dell Inc. All Rights Reserved.

利用方法

AI Experience Zone – 概要
• 運用イメージが湧かない…

• AIスキルのあるエンジニアがいない• 試したいけどGPU高い…

GPUサーバーを試せる無料の検証環境

22

Copyright © Dell Inc. All Rights Reserved.

AI Experience Zone – 設置機器
幅広い世代のサーバー構成
Model

台数搭載GPU

メモリ

R640

3

A100 ×2枚

40G

R740

3

T4×3枚

16G

R750

1

A30×2枚24G

R760xa

1A30×2枚

24G

C4140

2

V100 ×4枚

32G

XE8545

1

A100 ×4枚80G※一部の機器のみ掲載【利用例】◆ AIソリューションの検証／評価◆ GPU性能比較◆ 複数GPUによる分散処理の動作確認 etc.
23

Copyright © Dell Inc. All Rights Reserved.

AI検証画面サンプル

AIで分析したいデータ

作成したAIモデルを評価するためのデータ

AIで予測したい項目

24

Copyright © Dell Inc. All Rights Reserved.

AI検証画面サンプル

25

Copyright © Dell Inc. All Rights Reserved.

AI Experience Zone
利用方法

〒100-8159
東京都千代田区大手町一丁目2番1号
Otemachi Oneタワー 17階26

Copyright © Dell Inc. All Rights Reserved.

まとめ ~これだけは押さえてほしいポイント~
27

Copyright © Dell Inc. All Rights Reserved.

さいごにオンプレミスでAI活用なら PowerEdge!!

１

２

３

iDRAC

サーマル設計AI Experience Zone

© Copyright 2022 Dell Inc.

Thanks for yourgreat partnership.