NEC、高度な先進 AI 研究用途にSUPERMICRO 最新 GPU システムで構築
NECは、AI研究用スーパーコンピュータの構築に、NVIDIA® A100 GPU を搭載した Supermicro GPU サーバーを採用。

業種
AI 研究
課題
• 580ペタフロップスを実現可能なGPU+CPUパフォーマンス
• 最新のGPUを備えたハイエ
ンドサーバーを提供可能な信頼できるパートナー

はじめに
NECは、長年にわたり、システムに関連する幅広い領域で、設計から提供を行うリーダーとして知られています。特に、AI技術の研究開発においては半世紀以上の実績があり、画像・映像認識、言語・意味理解、データ分析、予測予兆検知、最適計画・制御等、各種AIの領域で世界最高水準のAIを数多く生み出し、業界をリードしています。顔認証・虹彩認証では世界No.1、機械学習の難関国
際学会の採択数では企業で世界8位です。NECでは、全ての研究所でAI研究を行っており、AI研究者の数は数百名にも及びます。このように、NECでは世界有数のAIの研究開発能力を保有しています。
AIをリードするNECが、AIの技術競争力を強化し、AIの領域においての事業競争力を維持・強化するためのAIスパーコンユ―ターの構築に、SupermicroのGPUシステムとUltraサーバーシステムを選択しました。

課題
NECでは、先進AIの創出を加速し、社会価値の創造をスピード化することが課題でした。AIの実際の開発では、データやアルゴリズムなどを変えながら、数千回も試行錯誤を繰り返します。しかし、深層学習そのものの要求計算量が増大しているため、学習が1回あたり数千時間またはそれ以上に、長時間化する場合もあります。

© Copyright 2022 Supermicro例えば、巨大な言語モデルであるGPT-3では、1基の NVIDIA Tesla V100 GPU による学習で、実に355年の時間がかかってしまうという状態になっています。結果を得るまでに、このような膨大な時間が必要になる学習では、どの業界でも利用できないことを意味しており、年単位ではなく数時間で学習を完了させる必要があります。この実例から分かるように、より高性能なAIスーパーコンピュータを構築することが、多くの学習モデルに必須となることを示しています。さらに、そのための大規模なクラスターシステムの設計、実装のためには、社内の専門知識や、信頼できるサプライヤーが必要になります。

ソリューション

そのため、AIスーパーコンピュータを利用することで、計算機リソースの制約なく、先進的なAIアルゴリズムの研究開発が可能になることが期待されます。さらに、大規模なAIシステムでは、何百人もの研Supermicro GPUサーバー

究者がシステムに同時にアクセスし、それぞれの研究者のニーズを推進できるようにする能力が必要

および Ultraサーバーです。

SYS-420GP-TNAR•

デュアル 第3世代 インテル®
Xeon® Platinum 8358

ソリューション

プロセッサー

NECは、Supermicroと協力し、NECのAI研究用スーパーコンピュータの設計、構築を行うことにし•

1 TB メモリー/ノードました。NECが戦略的パートナーとしてSupermicroを選んだ主な理由は2つあります。

•8 x NVIDIA A100

1) NECが必要とするAIスーパーコンピュータのためのアーキテクチャーに合わせて、GPUサーバ

80GB Tensor Coreーの内部構成を自由にカスタマイズ、変更することができることです。 深層学習におけるAI

GPU SXMの学習のワークロードに最適化するためには、サーバーの物理的なハードウェア構成、•

NVIDIA HGX™ プラットフ
ォーム、NVIDIA
NVLink™ およびNVSwitch™ 搭載

SYS-120U-TNR•

デュアル 第3世代 インテル®
Xeon® Gold 6342
プロセッサー•256GB メモリー/ノード

BIOS設定、冷却ファンの設定等、多くの点を、NECで変更、再構成することが必要になります。これらの設定を変更する機能と、その自由度が担保されていることが、SupermicroのGPUサーバーを選択した重要な点です。
2) NECは、テクノロジーの進歩に合わせて、使用するハードウェアの拡張が可能であり、次世代のAIアクセラレーターにも対応できる必要があると考えていました。さらに、深層学習の研究は、年々劇的に進展を遂げていくため、そうしたときに、物理的な構成を自由に変更し拡張できる、Supermicroのハードウェアの自由度と拡張性が、NECにとって非常に魅力的でした。
NVIDIAのGPUは現状、PyTorchやTensorFlow等の深層学習のフレームワークの多くのアプリケーションにおいて、デファクトスタンダードになっており、NVIDIA以外のGPUを使用することは、多くの課題や困難を伴うことになり、深層学習を用いた研究を行うには現段階において非常に難しくなります。したがって、NECのAI研究者も、NVIDIAのGPUでAIの研究開発を行うということが、最適であると確信しています。
NECは、NVIDIA A100 Tensor Core GPUを採用しました。主な理由は、NVIDIA A100 を使用したAIの演算速度が非常に優れていることです。また、A100のGPUメモリー帯域幅は2TB/sですが、深層学習の処理においてはメモリー帯域幅の制限がボトルネックとなります。そこで、A100で採用されたTF32を使用することで、Range は FP32 と同じですが、Precision は FP16 として扱うことができ、精度は損なわれることなく、メモリー帯域幅のボトルネックを緩和することができます。すなわち、A100の演算性能をより活かしやすくなります。特に、NECでは、生体認証、画像認識・映像認識など、画像を用いたAIの研究開発を行っているグループが多数あり、GPUのメモリー制限がボトルネックとなりやすく、TF32がサポートされたA100を採用する決め手となっています。

© Copyright 2022 Supermicroまた、NECが NVIDIA HGX A100 を採用した理由は、NVIDIA A100 Tensor Core GPUを複数基搭載し、600GB/s でGPU間の通信が可能な、第3世代の NVIDIA NVSwitch™ を採用していることです。GPU間のデータ通信を、サーバー内で高速に実行でき、非常に高速な学習が可能になるため、この内部スイッチが必要になります。
NECでは、アプリケーションのより高速な学習のために、GPUが相互に通信する必要があるため、サー利点

バー内の複数のGPUが 600GB/s の高速で通信できることは、分散学習の高速化において、GPU•

より高速で、より完全なAIワークロード•

次世代のGPUによる将来性の確保の演算性能をフルに活かすことができ、AIの研究開発効率を大幅に改善できると確信しています。
また、NECがネットワークスイッチとNICにNVIDIAの製品を選択した理由は、サーバーからスイッチまで End-to-End での RoCEv2 通信をサポートする ConnextX-6 ソリューションであり、実行性能で 200GbE の限界近くまで性能を発揮できるためです。 分散深層学習では、パラメータ交換を行うために、毎イテレーション AllReduce の処理を行う必要があり、クラスター内で大量の通信が発生します。そのため、最近の大規模なAIモデルでは、帯域幅が狭く、遅延が大きく、通信速度が遅いと、期待される処理時間が達成されません。その場合、使用するサーバーの数を増やしても分散効率は上がりません。CPUをバイパスして遅延を減らすためにも、RoCE v2 を用いた NVIDIA
GPUDirect® RDMA が行えることが重要になります。SupermicroのGPUサーバーとNVIDIAテ
クノロジーのソリューションによって、すべてのスイッチとサーバー間を End-to-End で繋ぐことが可能になるため、NECはこれらの製品とソリューションの採用に至りました。

NEC

SYS-420G-TNAR

SYS-120U-TNR

NECは、「Orchestrating abrighter world」という企業理念を推進しながら、ITとネットワークテクノロジーの統合におけるリーダソリューション（構成）詳細:
数量ーとしての地位を確立しました。
NECは、企業とコミュニティが、社会と市場で起こる急速な変化に適応できるよう、安全・安心・公Supermicro

CPUメモリーサーバー(ノードあたり)(ノードあたり)

2 x 第3世代 インテル

116 ノード
計 928 GPU

SYS-420GP-TNAR

1,024GB

8 x NVIDIA
A100 80GB
NVLink,NVSwitch

2 x 第3世代 インテル

し、誰もが人間性を充分に発揮目指します。NECに関する詳細はプロセッサー,32 cores, 2.6GHz

平・効率という社会価値を想像できる持続可能な社会の実現を

Xeon Platinum 8358

GPU119ノード

SYS-120U-TNR

Xeon Gold 6342
プロセッサー,

256GB

24 cores, 2.8GHz

こちらをご覧ください
https://www.nec.com© Copyright 2022 Supermicro利点
NECは、多くのテストを実施した結果、新しいAIスーパーコンピュータが、Tesla V100 GPU 1基と比較して、学習時間の理論演算性能が、最大4,600倍速くなり、AIの開発時間を大幅に短縮できると判断しました。その結果、Supermicroベースの新しいAIスーパーコンピュータを使用するNECの研究者は、多様なAIドメインについて、より多くの研究を行うことができるようになります。
「計算能力は、AIの時代における競争力の源泉です。NVIDIAとインテルからなるGPUサーバーによって、研究者に驚くべきパフォーマンスの分散深層学習環境を提供できることで、AI研究を大幅に加速することができ、大変嬉しく思っています。NECは引き続きSupermicroと緊密に連携し、AI研究を強化することで社会的価値の創造を加速させます。」 ― NEC シニアAIプラットフォーム アーキ
テクト 北野 貴稔
より詳細な情報はこちらをご覧ください:https://www.supermicro.com/ja/products/gpu
https://jpn.nec.com/rd/aisupercomputer/© Copyright 2022 Supermicro