Datasheet.*
データセンター向けの比類のないAI およびグラフィックスのパフォーマンス

生成 AI は変革を促進し、あらゆる業界の企業に新たな機会のフロンティアをもたらします。 AI で変革するには、企業はより多くのコンピューティング リソース、より大規模なスケール、そして増え続ける多様で複雑なワークロードの要求を満たす幅広い機能セットを必要とします。
NVIDIA L40S GPU は、データセンター向けの最も強力なユニバーサル GPU であり、生成 AI やモデルのトレーニングと推論から 3D グラフィックス、レンダリング、ビデオ アプリケーションに至るまで、次世代の AI 対応アプリケーションにエンドツーエンドのアクセラレーションを提供します。

2x> 生成> 大規模言語モデルz{トレーニングと推論> °±¬¹¨µ¶¨™±·¨µ³µ¬¶¨> レンダリングと - グラフィックス> ストリーミングとビデオコンテンツ

生成 AI
1.5x

1.7x

1.5x

1.2x
1秒あたりの画像

トレーニング時間 (860M Tokens)

AI トレーニング

次世代のワークロードを加速する

1.0x1.0x
0.5x0x

1.0x
1.0x
0.5x0xNVIDIA A100

NVIDIA L40S

GPT-408 LoRA (相対性能)¬±¨r·¸±¬±ª²zr$ r!'%{ª¯²¥¤¯·µ¤¬±¥¤·¦«¶¬½¨!"(z¶¨´¸¨±¦¨¶{¶¨´r¯¨±ª·«"%&z·²®¨±¶{¡¿! (8x A100) vs. Two systems with 4x L40S GPUs.
¨µ©²µ°¤±¦¨¥¤¶¨§²±³µ¨µ¨¯¨¤¶¨¥¸¬¯§¶¸¥­¨¦··²¦«¤±ª¨

NVIDIA A100

NVIDIA L40S·¤¥¯¨¬É¸¶¬²±%!"»%!"z相対性能{·¤¥¯¨¬É¸¶¬²±¹"!¨¯¤·¬¹¨¶³¨¨§¸³
©²µ%!"»%!"µ¨¶²¯¸·¬²±¬°¤ª¨ª¨±¨µ¤·¬²±¡! z(»! {¹¶º²¶¼¶·¨°¶ with4x L40S GPUs. Performance based on³µ¨µ¨¯¨¤¶¨¥¸¬¯§¶¸¥­¨¦··²¦«¤±ª¨

NVIDIA Ada Lovelace アーキテクチャ搭載
第4世代 Tensor コア

構造的スパース性と最適化された TF32 フォーマットのハードウェア サポートにより、すぐに使用できるパフォーマンスの向上が実現し、AI およびデータ サイエンスモデルのトレーニングが高速化されます。 DLSS を使用して AI で強化されたグラフィックス機能を高速化し、解像度をアップスケールし、選択したアプリケーションでのパフォーマンスを向上させます。

.*l¤·¤¶«¨¨·l+第3世代 RT コア

スループットの向上とレイトレーシングとシェーディングの同時実行機能により、レイトレーシングのパフォーマンスが向上し、製品設計やアーキテクチャ、エンジニアリング、建設のワークフローのレンダリングが高速化されます。 ハードウェア アクセラレー
ションによるモーション ブラーと見事なリアルタイム アニメーションを使用して、実際に動作している本物のようなデザインをご覧ください。

Transformer Engine
Transformer Engine は AI のパフォーマンスを劇的に加速し、トレーニングと推論の両方でのメモリ使用率を向上させます。 Ada Lovelace 第 4 世代 Tensor コアのパワーを利用して、Transformer Engine はトランスフォーマー アーキテクチャのニューラル ネッ
トワークのレイヤーをインテリジェントにスキャンし、FP8 と FP16 の精度の間で自動的にリキャストすることで、より高速な AI パフォーマンスを実現し、トレーニングと推論を加速します。

データセンターに対応

L40S GPU は、エンタープライズ データ センターの 24 時間年中無休の運用に最適化されており、NVIDIA によって設計、構築、テスト、サポートが行われ、最大のパフォーマンス、耐久性、稼働時間を保証します。 L40S GPU は最新のデータセンター標準を満たしており、Network Equipment-Building System (NEBS) レベル 3 に対応しており、ルート オブ トラスト テクノロジーによるセキュア ブートを備えており、データセンターに追加のセキュリティ層を提供します。
技術仕様
GPU アーキテクチャ§¤²¹¨¯¤¦¨アーキテクチャ

GPU メモリー$(&付きメモリー帯域幅(&$|¶

インターコネクトインタフェース¨¨±$»!&&$|¶双方向

NVIDIA Ada Lovelace アーキテク
チャベースの CUDA® コア!(!'&

NVIDIA 第3世代 RT コア!$"

NVIDIA 第4世代 Tensor コア%&(コア性能" )

#")!&#"¨±¶²µコア

!(##&&p!&¨±¶²µコア

#&" %'##p

FP16 Tensor コア#&" %'##p

FP8 Tensor コア'##!$&&pピーク(¨±¶²µ'##!$&&pピーク$¨±¶²µ'##!$&&p

フォームファクター

$$ z{»! % z{デュアルスロット

ディスプレイポート$»¬¶³¯¤¼²µ·!$¤最大消費電力#%

電源コネクター+0r³¬±

.*l¤·¤¶«¨¨·l,

サーマル

パッシブ

仮想z¹{ソフトウェア対応¢¨¶¹プロファイル対応

仮想GPUライセンスガイド を参照

NVENC I NVDEC-»¯-»z+エンコードとデコードを含む{

ルートオブトラスト対応セキュアブート ¢¨¶準拠¨¹¨¯-サポート²Ï¬±®Ïサポート

²

pスパース性を含む始める準備はできましたか？
.* のさらに詳しい情報は:
ººº±¹¬§¬¤¦²°|ja-jp/data-center/¯.*¶Î,*,-²µ³²µ¤·¬²±¤±§¤©©¬¯¬¤·¨¶¯¯µ¬ª«·¶µ¨¶¨µ¹¨§·«¨¯²ª²¡¬±®¤±§°±¬¹¨µ¶¨¤µ¨·µ¤§¨°¤µ®¶¤±§|²µµ¨ª¬¶·¨µ¨§·µ¤§¨°¤µ®¶²©²µ³²µ¤·¬²±¤±§¤©©¬¯¬¤·¨¶¬±·«¨¤±§²·«¨µ¦²¸±·µ¬¨¶·«¨µ¦²°³¤±¼¤±§³µ²§¸¦·±¤°¨¶°¤¼¥¨·µ¤§¨°¤µ®¶²©·«¨µ¨¶³¨¦·¬¹¨²º±¨µ¶º¬·«º«¬¦«·«¨¼¤µ¨
¤¶¶²¦¬¤·¨§,2.+-+0,-