Falcon 4010 GPU 拡張シャーシが PCIe 版 A100 のGPU 性能に与える影響
著者 ジーン・チョウ、ケビン・ツァイ
H3 Platform Inc. 2020 年 9 月
概要
PCIe 版 A100 GPU の登場に続き、異なるホストサーバ下での GPU ピアツーピア性能に対する当社の GPU ソリューションの効果をさらに理解するために、PCIe Gen.4 GPU を搭載した Falcon 4010
GPU 拡張シャーシをテストすることができました。この実験では、PCIe Gen.3 のインテル Xeon
Gold 5120T と PCIe Gen.4 の AMD EPYC 7452 の 2 つの異なるサーバを使用し、PCIe 版 A100 GPUを Falcon 4010 プラットフォームを介してホストに接続し、両方の環境で CUDA サンプルコマンドを実行しました。この実験の結果、GPU は両方のサーバの下で PCIe Gen.4 のピアツーピア帯域幅を達成していますが、ホストとデバイスの通信はサーバ自体の PCIe 世代に制限されています。
テスト方法Falcon 4010 が GPU ピアツーピアパフォーマンスにどのような影響を与えるかをテストするために、インテル Xeon Gold 5120T PCIe Gen.3 サーバーと AMD EPYC 7452 PCIe Gen.4 サーバーを同じ Falcon 4010 拡張シャーシに接続しました。各サーバーには 4 つの PCIe 版 A100 GPU が割り当てられています。両方のホストサーバー上で CUDA サンプルコマンド『p2pBandwidthLatencyTest』、『htod』、および『dtoh』を実行し、結果を比較します。

Copyright© 2020 H3 Platform Inc. All rights reserved.
The information is subject to change without notice株式会社 エルザ ジャパン
〒105-0014 東京都港区芝 3-42-10 三田 UT ビル

TEL: 03-5765-7391(代表) / FAX: 03-5765-7235

ELSA(エルザ)はテクノロジー・ジョイント株式会社の登録商標です。NVIDIA、Quadro、GeForce は NVIDIA Corporation の商標です。
その他商品名は各社の商標または登録商標です。仕様などは予告無しに変更されることがあります。(141020)

https://www.elsa-jp.co.jp

各サーバには PCIe 版 A100 GPU が割り当てられており、シャーシと各サーバ間の接続は PCIe 4.0
x4 ケーブル 4 本(PCIe Gen.4 x16)を介して行われます。ケーブルは miniSAS で、コネクタはSFF-8644。PCIe スイッチは Broadcom PEX88096、アダプタは Broadcom PEX88032 です。
手続き
1. AMD EPYC 7452 PCIe Gen.4 サーバーにログインします。
2. nvidia-smi コマンドを実行して、ホストが GPU を検出して認識していることを確認します。
3. p2pBandwidthLatencyTest コマンドを実行します。
4. htod コマンドを実行します。
5. dtoh コマンドを実行します。
6. ホスト対デバイス、デバイス対ホスト、GPU ピア対ピア無効、GPU ピア対ピア有効の双方向帯域幅の結果を記録します。
7. インテル Xeon Gold 4120T PCIe Gen.3 サーバーにログインします。
8. 手順 2-6 を繰り返します。
9. 2 つのサーバーから得られたテスト結果を比較します。
テスト結果

AMD EPYC PCIe Gen.4 server/p2pBandwidthLatencyTest

htod

株式会社 エルザ ジャパン
〒105-0014 東京都港区芝 3-42-10 三田 UT ビル

TEL: 03-5765-7391(代表) / FAX: 03-5765-7235

ELSA(エルザ)はテクノロジー・ジョイント株式会社の登録商標です。NVIDIA、Quadro、GeForce は NVIDIA Corporation の商標です。
その他商品名は各社の商標または登録商標です。仕様などは予告無しに変更されることがあります。(141020)

https://www.elsa-jp.co.jp

Dtoh

インテル Xeon PCIe Gen.3 server/p2pBandwidthLatencyTest

htod

Htod

株式会社 エルザ ジャパン
〒105-0014 東京都港区芝 3-42-10 三田 UT ビル

TEL: 03-5765-7391(代表) / FAX: 03-5765-7235

ELSA(エルザ)はテクノロジー・ジョイント株式会社の登録商標です。NVIDIA、Quadro、GeForce は NVIDIA Corporation の商標です。
その他商品名は各社の商標または登録商標です。仕様などは予告無しに変更されることがあります。(141020)

https://www.elsa-jp.co.jp

Dtoh

まとめ

ホスト対デバイス、デバイス対ホストの最大帯域幅パフォーマンス

Copyright© 2020 H3 Platform Inc. All rights reserved. The information is subject to change without notice

Copyright© 2020 H3 Platform Inc. All rights reserved. The information is subject to change without notice株式会社 エルザ ジャパン
〒105-0014 東京都港区芝 3-42-10 三田 UT ビル

TEL: 03-5765-7391(代表) / FAX: 03-5765-7235

ELSA(エルザ)はテクノロジー・ジョイント株式会社の登録商標です。NVIDIA、Quadro、GeForce は NVIDIA Corporation の商標です。
その他商品名は各社の商標または登録商標です。仕様などは予告無しに変更されることがあります。(141020)

https://www.elsa-jp.co.jp

Copyright© 2020 H3 Platform Inc. All rights reserved. The information is subject to change without notice

インテル Xeon Gold 5120T PCIe Gen.3 server.
ホストからデバイスへの帯域幅のピークはそれぞれ 12.36GB/s と 12.55GB/s で、双方向 p2p 無効時と有効時の帯域幅のピークはそれぞれ 9.65GB/s と 48.59GB/s でした。p2p を無効にした場合のGPU ピア間レイテンシは 24.79μs、有効にした場合の GPU ピア間レイテンシは 2.71μs とピークに達しています。
AMD EPYC 7452 PCIe Gen.4 server.
ホストからデバイスへの帯域幅とデバイスからホストへの帯域幅のピークはそれぞれ 25.11GB/s と24.61GB/s で、双方向 p2p の無効化と有効化の帯域幅のピークはそれぞれ 25.62GB/s と48.66GB/s でした。p2p を無効にした場合の GPU ピア間レイテンシは 25.68μs、有効にした場合の GPU ピア間レイテンシは 2.75μs とピークに達しています。
我々は、Falcon 4010 GPU による拡張がホストからデバイスへの帯域幅パフォーマンスや GPU ピアツーピアのレイテンシに影響を与えないことを発見しました。しかし、Falcon 4010 GPU プラットフォームは、ホストサーバ自体の PCIe バージョンにもかかわらず、PCIe Gen.4 標準の GPU ピアツーピアの帯域幅を可能にします。

株式会社 エルザ ジャパン
〒105-0014 東京都港区芝 3-42-10 三田 UT ビル

TEL: 03-5765-7391(代表) / FAX: 03-5765-7235

ELSA(エルザ)はテクノロジー・ジョイント株式会社の登録商標です。NVIDIA、Quadro、GeForce は NVIDIA Corporation の商標です。
その他商品名は各社の商標または登録商標です。仕様などは予告無しに変更されることがあります。(141020)

https://www.elsa-jp.co.jp