Infiniband 技術に関するQ&A

<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">ビッグデータや人工知能技術の進歩に伴い、高性能コンピューティングに対する需要は常に高まっています。この需要に応えるため、NVIDIA Quantum-2 InfiniBandプラットフォームは、高速かつ低遅延のデータ伝送と処理能力を可能にし、ユーザーに卓越した分散コンピューティング性能を提供します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><img title="标题" src="https://media.fs.com/images/community/erp/WhCxB_ib-qa1rTPmD.JPEG" alt="标签" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">以下、IB技術に関するよくあるQ&amp;Aを挙げていきます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：CX7 NDR200 QSFP112ポートは、HDR/EDRケーブルと互換性がありますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：はい、互換性があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：CX7 NDRネットワークカードをQuantum-2 QM97XXシリーズスイッチに接続する方法は？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：CX7 NDRネットワークカードは、NVIDIAの400GBASE-SR4または400GBASE-DR4光モジュールを使用し、QM97XXシリーズスイッチは、800GBASE-SR8（2x400GBASE-SR4相当）または800GBASE-DR8（2x400GBASE-DR4相当）光モジュールを使用します。これらのモジュールは、12芯マルチモードユニバーサル極性APC端面パッチコードを使用して接続します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：CX7デュアルポート400Gは、ボンディングにより800Gを実現できますか？なぜ200Gで400Gを実現できるのか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：ネットワーク全体のパフォーマンスは、PCIe帯域幅のボトルネック、ネットワークカードの処理能力、物理的なネットワークポートの帯域幅などの要因によって決まります。CX7ネットワークカードのPCIe仕様は5.0 x16で、理論上の帯域幅制限は512Gbpsです。PCIe 5.0 x16の最大帯域幅の制限により、CX7ネットワークカードではデュアルポート400Gのハードウェアは使用できません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：1対2のケーブルの接続方法は？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：最適なパフォーマンスを得るには、1対2のケーブル（800Gから2X 400G）を2つの異なるサーバーに接続する必要があります。通常、GPUサーバーには複数のネットワークカードが搭載されているため、分岐ケーブルがイーサネットサーバーのネットワークカードに完全に接続されないようになります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：InfiniBandのNDRシナリオでは、1対2のケーブルはどのように接続されるのですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：InfiniBand NDR のシナリオでは、1対2ケーブルには2つのタイプがあります。一つ目のタイプは、MMS4X00-NS400 + MFP7E20-NXXX + MMS4X00-NS400（200G用にダウングレード）など、1対2のパッチコード（400Gを2x200Gに分割）と光モジュールを使用します。2つ目のタイプは、MCP7Y00-NXXXやMCP7Y10-NXXXなど、1対2のDACカッパーケーブル（800Gを2x400Gに分割）を使用します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：Superpod ネットワークでは、各サーバー上の 4 枚の NDR200 カードを 1x 4 ケーブルで同じスイッチに直接接続できますか、それとも2本の 1x 2 ケーブルを使用して異なるスイッチに接続する必要がありますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：Superpod ネットワークでは、各サーバーの 4 つの NDR200 ポートを 1 対 4 ケーブルで同じスイッチに接続することは推奨されません。この接続方法は Super Pod ネットワークルールに準拠していません。NCCL/SHARP の最適なパフォーマンスを確保するため、リーフスイッチは 1 対 4 ケーブルを使用して、異なるサーバの NDR200 ポートを特定のパターンで接続する必要があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：最新のSuperpodネットワークについては、Superpodネットワーク・ホワイトペーパーに記載されているように、コンピューティング・ネットワークにUFMソフトウェアを搭載した2台のIBスイッチを別々に構成する必要があります。しかし、この構成ではクラスタのGPUノードが1つ少なくなってしまいます。別のUFMスイッチを設定せず、管理ノードのみにUFMソフトウェアを導入した場合、コンピューティングネットワークに影響を与えることなく、別のストレージネットワークでクラスタを管理できますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：ソフトウェアを含む UFM 機器を構成することを推奨します。コンピューティングネットワーク内の管理ノードに UFM ソフトウェアをデプロイすることは代替ソリュー ションですが、GPU コンピューティングのワークロードを負担するべきではありません。ストレージネットワークは別個のネットワークプレーンとして独立して動作するため、コンピューティングクラスターの管理に使用することはできません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：UFM エンタープライズ、SDN、テレメトリ、サイバーアルの違いは何ですか？UFMを購入する必要はありますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：OFEDに含まれるopensmやコマンドスクリプトツールを使って簡単な管理や監視を行うことは可能ですが、UFMに適したグラフィカルユーザインタフェースや多くの機能がありません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><img title="标题" src="https://media.fs.com/images/community/erp/Jea27_ib-qa2WReKR.JPEG" alt="标签" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：スイッチ、OFED、UFMで必要なサブネットマネージャの数に違いはありますか？お客様の導入にはどちらが適していますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：スイッチ管理は、最大2Kノードまでのネットワークに適しています。UFMとOFEDのopenSMノード管理機能は無制限ですが、管理ノードのCPUとハードウェア処理能力との調整が必要です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：64個の400Gbポートを持つスイッチに32個のOSFPポートがあるのはなぜですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：この制約は、2Uパネルのサイズと消費電力の制限にあり、32個のケージしか収容できません。この構成は、2つの400GポートをサポートするOSFPインターフェイス用に設計されています。NDRスイッチでは、ケージとポートの概念を区別することが重要である。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：異なるインターフェイスを持つ2つのモジュールをケーブルで接続してデータを伝送することは可能ですか？例えば、サーバーのOSFPポートとスイッチのQSFP112ポートをケーブルで接続することは可能ですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：モジュールの相互接続はパッケージングに依存しません。OSFP と QSFP112 は、主にモジュールの物理的なサイズを表します。イーサネット・メディア・タイプが同じであれば（リンクの両端が400G-DR4または400G-FR4など）、OSFPモジュールとQSFP112モジュールは相互に互換性があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：UFMはRoCEネットワークの監視に使えますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：いいえ、UFMはInfiniBandネットワークしかサポートしていません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：UFMの機能は、マネージド・スイッチとアンマネージド・スイッチで同じですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：はい、機能は変わりません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：伝送帯域幅とレイテンシーに影響を与えずに、IBケーブルがサポートする最大伝送距離は？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：光モジュール＋ジャンパーは約500m、パッシブDACケーブルは約3m、アクティブACCケーブルは5mまで到達可能です。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：CX7ネットワークカードは、イーサネットモードでRDMAをサポートする他の400Gイーサネットスイッチに接続できますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：400Gイーサネット接続の確立は可能であり、RDMA(RoCE)はこの状況下でも動作可能ですが、性能は保証されません。400Gイーサネットでは、BF3+Spectrum-4 で構成される Spectrum-X プラットフォームの使用を推奨します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：NDRがHDRやEDRと互換性がある場合、これらのケーブルやモジュールは一体型しかないのでしょうか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：HDRまたはEDRとの互換性を確保するために、通常OSFP-2xQSFP56 DAC/AOCケーブルが使用されます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：OSFPネットワークカード側のモジュールはフラットモジュールであるべきですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：ネットワークカードにはヒートシンクが付属しているので、ファットモジュールをそのまま使用することが可能です。フィン付きモジュールは主に液冷スイッチ側に採用されています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：IBネットワークカードはイーサネットモードでRDMAをサポートしていますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：RDMA over Ethernet（RoCE）を有効にすることができ、Nvidia Spectrum-Xソリューションの使用を推奨します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：NDRのAOCがないのはなぜですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：OSFPモジュールは大きくて重いため、光ファイバーはダメージを受けやすい傾向があります。2分岐ケーブルなら3つの大きなトランシーバー端があり、4分岐ケーブルなら5つのトランシーバーがあるのです。このため、特に30メートルのAOCでは、敷設中にファイバーが破損するリスクが高まるわけです。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：光モジュールの違いを除けば、400G IBと400Gイーサネットのケーブルは同じですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：光ケーブルも同じだが、端面は8度の角度に研磨されているAPCタイプであることに注意する必要があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：CX7ネットワークカードのレイテンシ性能に特定の要件はありますか？フルメモリやバインドコアなど、最適なデバッグ環境下でのネットワークレイテンシ要件は？許容可能なレイテンシ値とは、例えば何マイクロ秒以下ですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：レイテンシ性能は、テストマシンの周波数や構成、perftestやMPIなどのテストツールに依存します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：OSFPネットワークカード側のモジュールはOSFPフラットモジュールであるべきですか？なぜOSFP-Riding Heatsinkという記述があるのですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：「Riding Heatsink（ライディング・ヒートシンク）」とは、ケージに組み込まれたヒートシンクのことです。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><img title="标题" src="https://media.fs.com/images/community/erp/pyxsP_ib-qa3GrM8H.jfif" alt="标签" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：UFMはこのクラスターソリューションのどこに位置づけられるのか？その役割を理解したいと思います。</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：UFMはサーバー上で個別に動作し、ノードとして扱うことができます。2台のサーバを使用した高可用性をサポートします。ただし、計算ワークロードも処理するノードでUFMを実行することは推奨されません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：UFMはどの規模のネットワーク・クラスターに適していますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：UFMはOpenSubnet Manager (openSM)だけでなく、その他の強力な管理機能やインターフェイス機能を提供するため、すべてのInfiniBandネットワークにUFMを設定することをお勧めします。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：PCIe 5は512Gまでしかサポートしないのですか？PCIe 4はサポートされないのですか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：PCIe Gen5は最大32G x 16レーンを提供し、最大帯域幅は512Gとなります。一方、PCIe Gen4は最大16G x 16レーンを提供し、最大帯域幅は256Gとなります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>IBネットワークカードはシンプレックスモードとデュプレックスモードのどちらをサポートしていますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：IBネットワークカードはすべてデュプレックスです。データを送受信する物理的なチャンネルはすでに分離されているため、シンプレックスかデュプレックスかは現在のデバイスの概念にすぎません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"><strong>Q：FSはIBネットワーククラスタ構築のための技術サポートと高品質な製品を提供できますか？</strong></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">A：もちろん、FSはハイパフォーマンス・コンピューティングとデータセンター・ソリューションの提供を専門としています。IBネットワーク・クラスタ構築の豊富な経験と専門知識を持っており、さまざまな顧客のニーズに応えるため、さまざまなハードウェア接続ソリューションを提供しています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">FSのInfiniBandソリューションには、<a href="https://www.fs.com/jp/c/800g-ndr-infiniband-3801">800G</a>、<a href="https://www.fs.com/jp/c/400g-ndr-infiniband-3672">400G</a>、<a href="https://www.fs.com/jp/c/200g-hdr-infiniband-1367">200G</a>、<a href="https://www.fs.com/jp/c/100g-edr-infiniband-2320">100G</a>、<a href="https://www.fs.com/jp/c/56-40g-fdr-infiniband-4065">56/40G</a>の速度を持つAOC/DACケーブルとモジュール、<a href="https://www.fs.com/jp/c/nvidia-infiniband-adapters-4173">NVIDIA InfiniBandアダプタ</a>、<a href="https://www.fs.com/jp/c/nvidia-infiniband-adapters-4173">NVIDIA InfiniBandスイッチ</a>が含まれます。IBネットワーク・クラスタ・ソリューションでは、FSの専門チームがお客様のニーズとネットワーク規模に基づいて適切なハードウェア接続ソリューションを提供し、ネットワークの安定性と高いパフォーマンスを確保します。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">より詳しい情報とサポートについては、<a href="https://www.fs.com/jp">FS.COM</a>をご覧ください。</p>