InfiniBand vs. RoCE: AIデータセンターのネットワークを選択する方法

<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">近年、AIは大きな進歩を遂げており、自然言語処理、コンピュータビジョン、自動運転車、仮想アシスタント、レコメンドシステム、医療診断など、さまざまなアプリケーションに活用されています。AIの応用が進むにつれて、データセンターでは低レイテンシーで高帯域幅のネットワークへのエスカレートする需要があり、複雑なワークロードを効率的に処理することが求められています。</p>
<h2 class="tit_one community_blog_detail_tit_one">InfiniBandネットワークの概要</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandネットワークは、InfiniBandアダプタまたはスイッチを介してデータ転送を容易にします。主要なコンポーネントには、サブネットマネージャ（SM）、InfiniBandネットワークカード、InfiniBandスイッチ、およびInfiniBandケーブルが含まれます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">NVIDIAは、急速に進化している200Gbps HDRや商用展開された400Gbps NDRカードを含む、さまざまなInfiniBandネットワークカードをサポートする主要な製造業者です。以下の図は、よく使用されるInfiniBandネットワークカードを示しています。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/GYBXK_2bJCda.jpg" alt="Infiniband" width="100%" /></p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/hrbCT_1h4xSa.jpg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandスイッチはルーティングプロトコルを実行せず、全体のネットワークの転送テーブルは中央集権化されたサブネットマネージャによって計算され、配布されます。転送テーブルに加えて、サブネットマネージャはInfiniBandサブネット内のパーティショニングやQuality of Service（QoS）など、InfiniBandサブネット内の設定を担当します。InfiniBandネットワークでは、スイッチ間やスイッチとネットワークカード間の接続には専用のケーブルと光モジュールが必要です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">2022年以来、FSはNVIDIAのエリートパートナーとなりました。私たちはInfiniBandのロスレスネットワークソリューションに基づいた完全なセットのオリジナル製品を提供できます。FSの<a href="https://www.fs.com/jp/c/nvidiar-infiniband-switches-4156" target="_blank" rel="noopener">Infinibandスイッチ</a>は、16Tb/sの集約スイッチスループットと130ns未満のスイッチレイテンシーを処理できます。FSの<a href="https://www.fs.com/jp/c/nvidiar-infiniband-adapters-4173" target="_blank" rel="noopener">Infinibandアダプタ</a>は、NDR、NDR200、HDR、HDR100、EDR、FDR、およびSDRのInfiniBandスピードをサポートしています。また、FSの<a href="https://www.fs.com/jp/c/infiniband-ethernet-2875" target="_blank" rel="noopener">IBトランシーバー</a>は、0.5mから2kmの距離の接続要件を満たし、無料の技術サポートも提供しています。優れた顧客サービスとコストと複雑さを削減しながら優れたパフォーマンスを提供する製品により、FSはサーバークラスターにおける選択肢として最適な選択肢です。</p>
<h2 class="tit_one community_blog_detail_tit_one">InfiniBandネットワークソリューションの特徴</h2>
<h3 class="new_community_detaile_section_h3 new_community_detaile_section_h3_1">ネイティブロスレスネットワーク</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandネットワークでは、クレジットベースのシグナリングメカニズムを使用して、バッファオーバーフローやパケットロスを防止しています。パケットの送信を開始する前に、送信側は受信側が対応するパケット数を収容するために十分なクレジットを持っていることを確認します。InfiniBandネットワークの各リンクには、事前に定義されたバッファが装備されています。送信側からのデータ伝送は、受信側の利用可能なバッファサイズに制約されます。転送が完了すると、受信側はバッファを解放し、現在の利用可能なバッファサイズを一貫して更新し、送信側に送信します。このリンクレベルのフロー制御メカニズムにより、送信側が過剰なデータでネットワークを圧倒することはなく、効果的にバッファオーバーフローやパケットロスを回避することが保証されます。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/mMEt2_3bpz8X.jpg" alt="Infiniband" width="100%" /></p>
<h3 class="new_community_detaile_section_h3 new_community_detaile_section_h3_1">ネットワークカード拡張機能</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandのアダプティブルーティングは、パケットごとの動的ルーティングに依存し、広範な展開において最適なネットワーク利用を保証します。InfiniBandネットワークにおける大規模なGPUクラスターの注目すべき事例には、Baidu AI CloudやMicrosoft Azureなどがあります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">現在、市場ではいくつかの主要なプロバイダーがInfiniBandネットワークソリューションと関連機器を提供しています。NVIDIAは70%を超える市場シェアを持ち、このセクターを支配しています。その他の重要なサプライヤーには次のようなものがあります:</p>
<ul class="new_community_blog_detail_ul">
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>Intel Corporation: さまざまなInfiniBandネットワーク製品とソリューションを提供します。</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>Cisco Systems: InfiniBandスイッチおよび関連製品を提供する有名なネットワーク機器メーカーです。</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>Hewlett Packard Enterprise (HPE): アダプタ、スイッチ、サーバーなどのさまざまなInfiniBandネットワークソリューションを提供する著名なIT企業。</p>
</li>
</ul>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">これらのプロバイダーは、多様なユーザー要件に合わせた製品とソリューションを提供し、さまざまな規模やアプリケーション シナリオにわたるInfiniBandネットワーク導入をサポートします。</p>
<h2 class="tit_one community_blog_detail_tit_one">RoCE v2ネットワークの概要</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandネットワークは、サブネットマネージャ（SM）を備えた中央管理システムに依存していますが、RoCE v2ネットワークは完全に分散型のネットワークとして動作し、通常は2層アーキテクチャで構成されたRoCEv2対応のNICとスイッチで構成されています。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/dYFje_4FBQwZ.jpg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">さまざまなメーカーがRoCE対応のネットワークカードを提供しており、主要なベンダーにはNVIDIA、Intel、Broadcomなどがあります。PCIeカードは、データセンターサーバーネットワークカードの主要な形態として使用されます。RDMAカードは一般に、50Gbpsから始まるポートPHY速度を備えており、現在の商用ネットワークカードでは、最大400Gbpsのシングルポート速度を実現することができます。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/hCCrp_5PMfZP.jpg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">ほとんどのデータセンタースイッチは現在、RDMAフローコントロール技術をサポートしており、RoCE対応のネットワークカードと組み合わせることでエンドツーエンドのRDMA通信が容易になります。Cisco、Hewlett Packard Enterprise（HPE）、Aristaなどの主要なグローバルデータセンタースイッチベンダーは、大規模データセンターの要求に応えるために高性能で信頼性のあるデータセンタースイッチソリューションを提供しています。これらの企業は、ネットワーキング技術、パフォーマンス最適化、スケーラビリティにおける幅広い専門知識を持ち、世界中で広く認知され、採用されています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">高性能スイッチの中核は、それらが使用するフォワーディングチップにあります。現在の市場では、BroadcomのTomahawkシリーズのチップが商用のフォワーディングチップとして広く利用されています。その中でも、Tomahawk3シリーズのチップは現在のスイッチで広く使用されており、新しく登場したTomahawk4シリーズのチップをサポートするスイッチが徐々に増えています。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/kjkSW_68QwaE.jpg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">RoCE v2はイーサネット上で動作するため、従来のイーサネット光ファイバと光モジュールの両方を使用できます。</p>
<h2 class="tit_one community_blog_detail_tit_one">ROCE v2ネットワークソリューションの特徴</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">比較的低コストで高い汎用性を持つ点で、RoCEはInfiniBandと比較して利点を持っています。RoCEは高性能なRDMAネットワークの構築に使用されるだけでなく、従来のイーサネットネットワークでも利用されます。ただし、スイッチ上でHeadroom、PFC（優先度ベースのフローコントロール）、ECN（明示的な過負荷通知）などのパラメータを設定することは複雑さを引き起こす可能性があります。特に多数のネットワークカードを備えた広範な展開では、RoCEネットワークの全体的なスループット性能がInfiniBandネットワークと比較してわずかに低下する場合があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">さまざまなスイッチベンダーがRoCEをサポートしており、現在、NVIDIAのConnectXシリーズのネットワークカードはRoCE互換性の点で相当な市場シェアを持っています。</p>
<h2 class="tit_one community_blog_detail_tit_one">InfiniBand vs. RoCE v2</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">技術的な観点から見ると、InfiniBandはさまざまな技術を取り入れて、ネットワークのフォワーディング性能を向上させ、障害回復時間を短縮し、スケーラビリティを向上させ、オペレーションの複雑さを簡素化しています。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/YH4kH_output8mReQZ.jpg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">実際のビジネスシナリオでは、RoCEv2が優れたソリューションとして機能しますが、InfiniBandは優れたソリューションとして際立っています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>企業の業績について</strong>: InfiniBandは、RoCEv2と比較してエンドツーエンドのレイテンシが低いため、アプリケーションレベルのビジネスパフォーマンスにおいて優位性を持っています。ただし、RoCEv2のパフォーマンスも、ほとんどのインテリジェントコンピューティングシナリオのビジネスパフォーマンス要件を満たすことができます。</p>
<p><img title="Infiniband" src="https://media.fs.com/images/community/erp/GysEb_8dyRcN.jpeg" alt="Infiniband" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>事業規模について</strong>: InfiniBandは、数万枚のカードを持つGPUクラスターをサポートし、全体的なパフォーマンスを劣化させることなく維持することができます。産業界においても多数の商業利用事例があります。RoCEv2ネットワークは、数千枚のカードを持つクラスターをサポートし、全体的なネットワークパフォーマンスに大きな劣化がないまま運用することができます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>業務運営・保守について</strong>: InfiniBandはRoCEv2よりも成熟しており、マルチテナントの分離や運用診断機能などの機能を提供します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>事業費について</strong>: InfiniBandはRoCEv2よりもコストが高くなります。これは主に、イーサネットスイッチと比較してInfiniBandスイッチのコストが高いためです。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>取引先について</strong>: NVIDIAはInfiniBandの主要サプライヤーですが、RoCEv2 には複数のサプライヤーがあります。</p>
<h2 class="tit_one community_blog_detail_tit_one">結論</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">まとめると、インテリジェントコンピューティングセンターの複雑なネットワーク技術選択プロセスにおいて、InfiniBandは優れたソリューションとして浮かび上がり、コンピューティング環境に大きな利点を提供します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、特に高性能コンピューティング環境において、一貫して優れたパフォーマンスと信頼性を発揮しています。InfiniBandの採用により、インテリジェントコンピューティングセンターは高帯域幅で低レイテンシのデータ伝送能力を開放し、より効率的な計算とデータ処理を促進することができます。これにより、優れたサービスとユーザーエクスペリエンスが提供されます。将来に向けて、インテリジェントコンピューティングセンターは、先進的なネットワーク技術の探求と採用を続け、常にコンピューティング能力を向上させ、科学研究とイノベーションを推進することが期待されています。</p>