HPCコンピューティングにおけるInfiniBand製品選択のヒント

<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">Computex 2023期間中、NVIDIAは先進的なチップ、スーパーコンピューティング・アーキテクチャ、洗練されたスイッチなど、多様な最先端製品を発表しました。特に注目すべきは、強力なAIスーパーコンピュータ「NVIDIA Helios」です。Quantum-2 InfiniBandネットワークを活用することで、4台のDGX GH200システムを複雑に相互接続し、大規模なAIモデルトレーニングの効率を大幅に高めます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">AIGCが推進する加速コンピューティングへのデータセンターの決定的なシフトを示す指標は数多く存在します。高性能コンピューティング(HPC)、AI、広大なインフラストラクチャへの要求が高まる中、迅速な相互接続性とよりインテリジェントなネットワークソリューションへのニーズが高まっています。このような状況の中、InfiniBand製品は、これらの必須要件にきめ細かく対応し、業界の注目の的となっています。</p>
<h2 class="community-restructure-h2 community_page_first_h2">InfiniBandの基礎</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、主にデータセンターや高性能コンピューティング(HPC)環境で使用される高速、低遅延の相互接続技術です。InfiniBandは、クラスタやデータセンター内のサーバー、ストレージデバイス、その他のネットワークリソースを接続するための高性能ファブリックを提供します。InfiniBandテクノロジの登場は、従来のTCP/IPプロトコルに関連する重大なネットワーク遅延とオペレーティングシステムの追加オーバーヘッドと密接に結びついています。</p>
<p><img title="Basics of InfiniBand-1" src="https://media.fs.com/images/community/erp/5nS7i_16rFfx.jpg" alt="Basics of InfiniBand-1" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">伝統的なTCPプロトコルは、広く採用されている伝送プロトコルであり、冷蔵庫のような日常的な電化製品から高度なスーパーコンピューターまで、さまざまな機器に応用されています。しかし、TCPの採用には大きなコストがかかります。TCPは複雑で、膨大なコードベースと多数の例外によって特徴付けられ、アンインストールが困難になっています。</p>
<p><img title="Basics of InfiniBand-2" src="https://media.fs.com/images/community/erp/DkerZ_2FnSAr.jpg" alt="Basics of InfiniBand-2" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">対照的に、IBは信頼ベースのフロー制御メカニズムを採用し、接続の完全性を確保し、データパケットの損失を最小限に抑えることが可能です。IBでは、受信バッファに十分な空き容量がある場合にのみデータ送信が行われます。データ送信の完了後、受信側はバッファスペースに余裕があることを通知し、最初のデータパケット損失に伴う再送遅延をなくします。このアプローチにより、効率と全体的なパフォーマンスが大幅に向上します。</p>
<h2 class="community-restructure-h2">市場におけるInfiniBand</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBand技術は、InfiniBand Trade Association (IBTA)の監督下で開発されており、IBTAは特にInfiniBand標準の維持と普及に責任を負っています。さらにIBTAは、商用InfiniBand製品のコンプライアンスを保証し、相互運用性テストを実施しています。InfiniBand Trade Associationの主要理事9社のうち、InfiniBandに専念しているのはMellanoxとEmulexの2社だけです。Emulexは業績不振のため、2015年にAvagoに買収されました。現在、MellanoxはInfiniBand市場を支配しており、同社製品を使用したクラスタ導入数は競合他社を大きく上回っています。</p>
<h2 class="community-restructure-h2">InfiniBandの主な利点</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">全体として、InfiniBandテクノロジーには次のような利点があります。</p>
<ul class="new_community_blog_detail_ul">
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>高速性と拡張性</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>低遅延</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>低消費電力</p>
</li>
</ul>
<h2 class="community-restructure-h2">HPCネットワークにおけるInfiniBand</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">高性能コンピューティング(HPC)の分野では、高速相互接続ネットワーク(HSI)がシステムの性能と効率において重要な役割を果たしています。中でもInfiniBand技術は、その優れた性能により、HPCで広く採用されている重要なコンポーネントとなっています。最も急成長しているHSI技術の1つであるInfiniBandは、最大200Gbpsの帯域幅と0.6マイクロ秒未満のポイント間遅延を提供し、高性能コンピューティングクラスタの構築を強力にサポートします。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandの高速ネットワーク機能により、HPCシステムは複数のサーバーを効果的に組み合わせ、直線的な性能スケーラビリティを達成することができます。この技術は、高性能コンピューティングクラスターの開発、特にスーパーコンピューターの構築において極めて重要な役割を果たしています。企業や大規模、超大規模データセンターは、その高い信頼性、可用性、スケーラビリティ、優れた性能から大きな恩恵を受けています。したがって、HPC領域におけるInfiniBand技術の重要性は、コンピューティングクラスタの性能強化に反映されるだけでなく、さまざまな規模のデータセンターに重要なサポートを提供し、HPCエコシステムの全体的な発展を推進しています。</p>
<h2 class="community-restructure-h2">市場中のInfiniBand製品の売れ行き</h2>
<h3 class="community-restructure-h3">Mellanoxテクノロジーズ(NVIDIA®ネットワーキングに買収される)</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBand (IB)分野のリーダーであるMellanoxは、2020年4月にNVIDIAに買収されました。Mellanox製品を購入するための公式プラットフォームは、NVIDIAネットワークストアです。このストアは効率的で信頼性が高く、幅広い種類のコネクタを提供しています。ただし、一部の製品は公式ウェブサイトで直接購入できない場合があります。公式サイトで製品が入手できない場合、顧客はNVIDIAパートナーから購入する選択肢があります。</p>
<h3 class="community-restructure-h3">NVIDIA®パートナーネットワーク</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">NVIDIAのパートナーは、IBケーブルとトランシーバーを含む、最新の市場ソリューションと消耗品の主要なプロバイダーです。IBケーブルとトランシーバーは、NVIDIA公認ディストリビューター/ディーラーネットワークを通じて世界的に流通しています。ディストリビューター/ディーラーに関する情報は、NVIDIAの公式ウェブサイトで確認できます。ディストリビューター/ディーラーとNVIDIAとの緊密な協力関係により、コネクタの不足、不十分な市場供給、長い納品サイクルなどの課題が発生する可能性があります。</p>
<h3 class="community-restructure-h3">FS.com</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">FSはNVIDIA®のエリートパートナーであり、<a href="https://www.fs.com/jp/c/infiniband-switches-4156">NVIDIA® InfiniBandスイッチ</a>、<a href="https://www.fs.com/jp/c/infiniband-ethernet-2875?162=28287">InfiniBandモジュール</a>、<a href="https://www.fs.com/jp/c/infiniband-ethernet-2875?162=84938,28288">InfiniBandケーブル</a>と<a href="https://www.fs.com/jp/c/nvidia-infiniband-adapters-4173">NVIDIA® InfiniBandアダプター</a>など、豊富なInfiniBand製品を公式ウェブサイトで提供しています。FSのウェブサイトでは、InfiniBand製品の豊富な在庫を保持し、迅速な納品を保証しています。InfiniBand製品の購入やInfiniBandソリューションの入手をご希望の場合は、FSまでお問い合わせください。</p>
<h2 class="community-restructure-h2">InfiniBand製品選択のヒント</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBand製品は、高性能コンピューティングデータセンターにおいて重要な役割を担っており、適切な製品を選択することが運用を成功させるために最も重要なことです。包括的なInfiniBandシステムには、InfiniBandスイッチ、InfiniBandアダプタ、InfiniBandロングホール、InfiniBandイーサネットゲートウェイ、InfiniBandケーブルとトランシーバー、InfiniBandテレメトリとソフトウェア管理、InfiniBandアクセラレーションソフトウェアが含まれます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">高性能コンピューティング・データセンターにとって、適切なInfiniBand製品を選択することは非常に重要です。帯域幅と距離の要件、コネクタ、予算、互換性、信頼性、将来のニーズなどを考慮し、適切なIBコネクタを選択する必要があります。</p>
<p><img title="Tips for Choosing InfiniBand Product" src="https://media.fs.com/images/community/erp/ySGFn_4eehMR.jpg" alt="Tips for Choosing InfiniBand Product" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandネットワーク相互接続製品について：</p>
<ul class="new_community_blog_detail_ul">
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>DAC高速銅線ケーブルは、短距離高速相互接続のための経済的なソリューションを提供します。</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>AOCアクティブケーブルは、より長距離のデータ伝送に光技術を利用しています。</p>
</li>
<li><span class="new_community_blog_detail_ul_circle"></span>
<p>光モジュールは長距離高速相互接続によく使われます。</p>
</li>
</ul>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">異なる製品カテゴリー、スピードレート、パッケージモジュールを理解することで、十分な情報に基づいた意思決定を行うことが役立ちます。また、適切なサプライヤーを選択することで、パフォーマンスと予算の要件に合致した高品質のInfiniBand製品を入手することができます。</p>
<h2 class="community-restructure-h2">InfiniBandかイーサネットか：HPCコンピューティングにはInfiniBandが有利</h2>
<p><img title="InfiniBand or Ethernet: InfiniBand is Better for HPC Computing" src="https://media.fs.com/images/community/erp/FcDKX_5YaHC4.jpg" alt="InfiniBand or Ethernet: InfiniBand is Better for HPC Computing" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">HPCコンピューティングパワーにおいて、InfiniBandとイーサネットのどちらを使うべきかについて、いまだに疑問を持っている人がいます。実際、高性能コンピューティングには、InfiniBandの方が適しています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandとイーサネットの具体的な違いに関する詳細な議論は、FSコミュニティの記事「<a href="https://community.fs.com/jp/article/InfiniBand-vs-ethernet-which-is-right-for-your-data-center-network.html">InfiniBandとイーサネット：両者の違いは？</a>」でご覧になります。この2つの違いについても、こちらの記事を参照してください。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">高性能コンピューティング(HPC)の領域では、InfiniBandは下記のいくつかの重要な側面でイーサネットより優れています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>フロー制御の仕組み</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandはエンド・ツー・エンドのフロー制御を採用しており、伝送中にメッセージが輻輳しないようにすることで、ロスレスネットワークを実現できます。対照的に、イーサネットのフロー制御メカニズムは比較的単純で、輻輳やデータ損失を引き起こす可能性があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>ネットワークトポロジーの優位性</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、レイヤー2ネットワークにサブネットマネージャーを導入し、ノードのローカルIDを設定し、コントロールプレーンを通して転送パス情報を計算/配布することができます。これにより、フラッディング、VLAN、ループブレーキングの問題を回避し、大規模ネットワークの展開を容易にします。これは、イーサネットに対するInfiniBandの独自の優位性です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>パフォーマンスパラメーター</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、より高い帯域幅、より低い遅延、より少ないジッタを提供し、HPC環境における高速で信頼性の高いデータ伝送に理想的な選択肢となります。イーサネットと比較して、InfiniBandは40Gから400Gの高速データ転送を誇りますが、イーサネットは現在100Gに制限されています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>GPUワークロードへの適合性</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandはGPUワークロードの処理に適しており、CPUとGPU間の高速データ転送を可能にします。これは、イーサネットが相対的に弱点を示す可能性のある、大きな計算能力を要求するタスクにとって特に重要です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>並列コンピューティングのサポート</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、複数のプロセッサーが同時に通信することを可能にし、並列コンピューティングにおいて優れた性能を発揮します。これは、広範な並列計算機能を必要とするアプリケーションには不可欠です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>世界中のHPC TOP500ランキング</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">最新のグローバルHPC TOP500ランキングによると、InfiniBandの市場シェアは着実に増加しており、現在TOP100を独占している一方、イーサネットの市場シェアは減少傾向にあります。</p>
<p><img title="Global HPC TOP500 Rankings" src="https://media.fs.com/images/community/erp/eNBjP_6mPtJF.jpg" alt="Global HPC TOP500 Rankings" width="100%" /></p>
<h2 class="community-restructure-h2">結論</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">現在、我々は人工知能と一般コンピューティング (AIGC) の隆盛の時代にあります。OpenAI、マイクロソフト、グーグルといったプラットフォーム大手や、Midjjourney、Character Alといったアプリケーションに特化した企業が、AIアプリケーションやサービスの開発と進化を加速させています。さらに、新しい企業やアプリケーションの急速な出現により、人工知能の分野では競争の激しい雰囲気が生まれています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">生産性を決定する上で、コンピューティングパワーが重要な役割を果たしていることは明らかです。現在、NVIDIA IB製品の品薄は顕著です。ビジネスの要求に応えるためには、適切なサプライヤーとInfiniBand製品を選択することが不可欠です。</p>