InfiniBand vs. イーサネット: 両者は何か？

<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">相互接続技術として、InfiniBandとイーサネットはそれぞれの特徴と違いがあり、どちらが優れていると一概に言うことはできません。両者は異なる応用分野で発展・進化を続けており、ネットワークの世界では欠かすことのできない2つの相互接続技術となっています。</p>
<h2 class="community-restructure-h2 community_page_first_h2">InfiniBand vs. イーサネットネットワーク: 両者は何か？</h2>
<h3 class="community-restructure-h3">InfiniBandネットワーク</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandとイーサネットの違いは、設計の観点からは大きく異なります。ネットワークを相互接続する技術として、InfiniBandはその高い信頼性、低レイテンシ、広帯域幅により、スーパーコンピューターのクラスターで広く使われています。さらに、人工知能の進歩に伴い、GPUサーバーに適したネットワーク相互接続技術でもあります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">4Xケーブルで10Gbits/secの生データ・レートを実現するために、InfiniBand標準では、1レーンあたり2.5Gビット/秒のベース・レートでSDR（Single Data Rate）信号の伝送が認められています。シングル・チャネルはそれぞれ5Gビット/秒と10Gビット/秒に拡張可能で、潜在的な最大データ・レートは4Xケーブルで40Gビット/秒、12Xケーブルで120Gビット/秒となり、InfiniBandネットワークはダブル・データ・レート（DDR）とクアドルプル・データ・レート（QDR）の信号を持つことができます。</p>
<p><img title="InfiniBand Network" src="https://media.fs.com/images/community/erp/EPsS6_infinibandrbFFG.png" alt="InfiniBand Network" width="100%" /></p>
<h3 class="community-restructure-h3">イーサネットネットワーク</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">1980年9月30日に導入されて以来、イーサネット規格はLANで最も広く使われている通信プロトコルとなりました。InfiniBandとは異なり、イーサネットは以下の主な目標を念頭に設計された：複数のシステム間で情報をいかに簡単に流すできるか。分散性と互換性を考慮して設計された典型的なネットワークです。従来のイーサネットは主にTCP/IPを使ってネットワークを構築し、徐々にRoCEへと発展してきました。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">一般的に、イーサネットネットワークは、主に複数のコンピュータやプリンタ、スキャナなどの他のデバイスをローカルエリアネットワークに接続するために使用されます。光ファイバケーブルを通じて有線ネットワークにイーサネットネットワークを接続するだけでなく、ワイヤレスネットワーキング技術を通じてワイヤレスネットワークにイーサネットネットワークを実現することもできます。ファスト・イーサネット、ギガビット・イーサネット、10ギガビット・イーサネット、スイッチド・イーサネットがイーサネットの主な種類です。</p>
<p><img title="Ethernet Network" src="https://media.fs.com/images/community/erp/t5xCM_5_-1-kbCbr.png" alt="Ethernet Network" width="100%" /></p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"> </p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"> ''こちらもチェック- <a href="../blog/roce-vs-infiniband-vs-tcp-ip.html">RoCE対Infiniband RDMA対TCP/IPの違い</a></p>
<h2 class="community-restructure-h2 community_page_first_h2">InfiniBand vs. イーサネット: 両者の違いは何か？</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">高性能コンピューティングシナリオにおけるクラスタデータ伝送のボトルネックは、InfiniBandの本来の設計目標であり、時代の要求に沿った相互接続規格となっています。そのため、InfiniBandとイーサネットには、主に帯域幅、レイテンシ、ネットワークの信頼性、ネットワーク技術、アプリケーションシナリオの点で多くの違いがあります。</p>
<h3 class="community-restructure-h3">帯域幅</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandの誕生以来、InfiniBandネットワークの発展は長い間Ethernetのそれよりも速くなっていました。その主な理由は、InfiniBandが高性能コンピューティングにおけるサーバー間の相互接続に適用され、CPUの負荷を軽減するためです。しかし、イーサネットは端末機器の相互接続に向いており、帯域幅に対する要求はそれほど高くありません。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">10Gを超える高速ネットワークトラフィックの場合、すべてのパケットをアンパックすると、多くのリソースを消費することになるります。第一世代のSDR InfiniBandは10Gbpsのレートで動作するため、データ伝送帯域幅の増加やCPU負荷の軽減に加え、CPUの負荷を軽減してネットワーク利用率を高める高速ネットワーク伝送が可能です。</p>
<h3 class="community-restructure-h3">ネットワークレイテンシー</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">ネットワークのレイテンシーに関しても、InfiniBandとイーサネットは大きく挙動が異なります。イーサネット・スイッチは通常、ネットワーク・トランスポート・モデルのレイヤー2技術として、ストア・アンド・フォワードとMACテーブル・ルックアップ・アドレッシングを採用しています。イーサネット・スイッチの処理フローは、IP、MPLS、QinQなどの複雑なサービスを考慮しなければならないため、InfiniBandスイッチの処理フローよりも長くなります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">一方、<a href="https://www.fs.com/jp/c/infiniband-switches-4156">InfiniBandスイッチ</a>の場合、レイヤ2処理は非常に簡単です。16ビットのLIDで転送パス情報を検索するために使用できる唯一のものです。並行して、Cut-Through技術を活用することで、転送遅延を100ns以下にまで大幅に短縮し、イーサネット・スイッチよりも大幅に高速化します。</p>
<h3 class="community-restructure-h3">ネットワーク信頼性</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">パケットロスや再送はハイパフォーマンスコンピューティング全体のパフォーマンスに大きな影響を与えるため、メカニズムレベルでネットワークのロスレス特性を確保し、高信頼性機能を実現するためには、信頼性の高いネットワークプロトコルが必要です。独自に定義されたレイヤー1からレイヤー4までのフォーマットを持つInfiniBandは、完全なネットワークプロトコルです。エンドツーエンドのフロー制御は、InfiniBandネットワークのパケット送受信の基本であり、ロスレス・ネットワークを実現することができます。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandと比較して、イーサネット・ネットワークにはスケジューリング・ベースのフロー制御メカニズムがありません。そのため、パケット送信時に相手側が輻輳するかどうかを保証することができません。ネットワークにおける瞬間的なトラフィックの急激な増加を吸収するためには、これらのメッセージを一時的に格納するために、スイッチ内に数十MBのキャッシュ領域を確保する必要があり、これがチップリソースを占有します。このため、同じ仕様のイーサネット・スイッチのチップ面積は、InfiniBandのそれよりも大幅に大きくなり、コストだけでなく消費電力も大きくなります。</p>
<h3 class="community-restructure-h3">ネットワーク構築方法</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">ネットワーキングモードの観点から見ると、InfiniBandネットワークはEthernetネットワークよりも管理が簡単です。SDN（ソフトウェア定義ネットワーキング）のアイデアはInfiniBandに設計上組み込まれています。各InfiniBandレイヤー2ネットワークには、サブネットマネージャーが存在し、ネットワークのノードのID（LocalID）を設定し、制御プレーンを介して一貫して転送経路情報を計算し、それをInfiniBandエクスチェンジに発行します。このようなレイヤー2ネットワークの構成を完了するために、特別な設定なしで構成する必要があります。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">イーサネットネットワーキングモードでは、MACエントリを自動的に生成するために、IPはARPプロトコルと連携する必要があります。さらに、ネットワーク内の各サーバーは定期的にパケットを送信してエントリがリアルタイムに更新されることを保証する必要があります。仮想ネットワークを分割し、その規模を制限するために、VLANメカニズムを実装する必要があります。ただし、イーサネットネットワーク自体にはエントリ学習メカニズムがないため、ループネットワークが発生します。ネットワーク転送パスでのループを防ぐために、STPなどのプロトコルを実装する必要がありますが、これはネットワーク構成の複雑さを増加させます。</p>
<p><img title="InfiniBand vs. Ethernet Network: What Are They?" src="https://media.fs.com/images/community/erp/jZSaS_infiniband-networkingD2rDC.jpg" alt="InfiniBand Networking" width="100%" /></p>
<h3 class="community-restructure-h3">応用シナリオ</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandは、高帯域幅、低レイテンシ、並列コンピューティングの最適化されたサポートにより、HPC環境で広く使用されています。大規模なデータ処理と頻繁なノード間通信が重要なHPCクラスタの厳しい通信要件に対応するように設計されています。一方、イーサネットは、企業ネットワーキング、インターネットアクセス、ホームネットワーキングで一般的に使用されており、その主な利点は、低コスト、標準化、幅広いサポートです。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">最近の動向では、大規模な計算能力への需要が急増しており、マシン内での高速通信やスーパーラージスケールクラスター内での低レイテンシ、高帯域幅の通信が求められています。トップ500のスーパーコンピューティングセンターのユーザー統計によると、IB（InfiniBand）ネットワークはトップ10とトップ100のセンターで重要な役割を果たしています。例えば、OpenAIはMicrosoft Azureに構築されたIBネットワークを使用してCHATGPTのトレーニングを行っており、大規模なスーパーコンピューティングセンターへの需要が大幅に増加しています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1"> </p>
<h2 class="community-restructure-h2 community_page_first_h2">InfiniBand製品の検索</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">上記のInfiniBandとEthernetの比較から判断すると、InfiniBandネットワークの利点は非常に顕著です。SDR 10Gbps、DDR 20Gbps、QDR 40Gps、FDR56Gbps、EDR 100Gbpsから今日の800Gbps InfiniBandまで、InfiniBandネットワークの急速な反復は、すべてRDMA技術の恩恵を受けています。</p>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">FSは、<a href="https://www.fs.com/jp/c/infiniband-ethernet-2875" target="_blank" rel="noopener">InfiniBandトランシーバー &amp; DAC/AOCケーブル</a>、<a href="https://www.fs.com/jp/c/infiniband-adapters-4173" target="_blank" rel="noopener">InfiniBandアダプタ</a>、および<a href="https://www.fs.com/jp/c/infiniband-switches-4156" target="_blank" rel="noopener">InfiniBandスイッチ</a>など、さまざまなInfiniBand製品を発売しました。それぞれを一つずつ見てみましょう。</p>
<h3 class="community-restructure-h3 community_page_first_h3">InfiniBandトランシーバー＆DAC/AOCケーブル</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">FSは、40G~200G InfiniBandトランシーバとケーブルの豊富なセットを提供し、コンピューティングとストレージ・インフラの高効率な相互接続を支援します。</p>
<table class="blog_table" cellspacing="0" cellpadding="0">
<tbody>
<tr>
<th>製品タイプ</th>
<th>製品</th>
<th>応用</th>
<th>コネクタ</th>
</tr>
<tr>
<td rowspan="5">InfiniBandトランシーバー</td>
<td><a href="https://www.fs.com/jp/products/152670.html" target="_blank" rel="noopener">40Gトランシーバー</a></td>
<td>InfiniBand FDR10</td>
<td>MTP/MPO-12</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/152899.html" target="_blank" rel="noopener">100Gトランシーバー</a></td>
<td>InfiniBand EDR</td>
<td>LCデュプレックス</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/167425.html" target="_blank" rel="noopener">200Gトランシーバー</a></td>
<td>InfiniBand HDR</td>
<td>MTP/MPO-12</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/200963.html" target="_blank" rel="noopener">400Gトランシーバー</a></td>
<td>InfiniBand NDR</td>
<td>MTP/MPO-12 APC</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/205113.html" target="_blank" rel="noopener">800Gトランシーバー</a></td>
<td>InfiniBand NDR</td>
<td>デュアルMTP/MPO-12 APC</td>
</tr>
<tr>
<td rowspan="6">InfiniBand DACケーブル</td>
<td><a href="https://www.fs.com/jp/products/153433.html" target="_blank" rel="noopener">40G DACケーブル</a></td>
<td>InfiniBand FDR10</td>
<td>QSFP+/QSFP+</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/159802.html" target="_blank" rel="noopener">56G DACケーブル</a></td>
<td>InfiniBand FDR</td>
<td>QSFP+/QSFP+</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/153622.html" target="_blank" rel="noopener">100G DACケーブル</a></td>
<td>InfiniBand EDR</td>
<td>QSFP28/QSFP28</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/167429.html" target="_blank" rel="noopener">200G DACケーブル</a></td>
<td>InfiniBand HDR</td>
<td>QSFP56/QSFP56; QSFP56/2x QSFP56</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/205391.html" target="_blank" rel="noopener">400G DACケーブル</a></td>
<td>InfiniBand HDR</td>
<td>OSFP/2x QSFP56</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/c/800g-ndr-infiniband-3801?162=84938" target="_blank" rel="noopener">800G DACケーブル</a></td>
<td>InfiniBand NDR</td>
<td>OSFP/OSFP; OSFP/2× OSFP; OSFP/4× OSFP</td>
</tr>
<tr>
<td rowspan="5">InfiniBand AOCケーブル</td>
<td><a href="https://www.fs.com/jp/products/155655.html" target="_blank" rel="noopener">40G AOCケーブル</a></td>
<td>InfiniBand FDR10</td>
<td>QSFP+/QSFP+</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/159806.html" target="_blank" rel="noopener">56G AOCケーブル</a></td>
<td>InfiniBand FDR</td>
<td>QSFP+/QSFP+</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/154825.html" target="_blank" rel="noopener">100G AOCケーブル</a></td>
<td>InfiniBand EDR</td>
<td>QSFP28/QSFP28</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/135679.html" target="_blank" rel="noopener">200G AOCケーブル</a></td>
<td>InfiniBand HDR</td>
<td>QSFP56/QSFP56; QSFP56/2x QSFP56; 2x QSFP56/2x QSFP56</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/205347.html" target="_blank" rel="noopener">400G AOCケーブル</a></td>
<td>InfiniBand HDR</td>
<td>OSFP/2× QSFP56</td>
</tr>
</tbody>
</table>
<h3 class="community-restructure-h3 community_page_first_h3">InfiniBandアダプタ</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">FS InfiniBandアダプタは、データセンター・アプリケーションの継続的に増大する需要に対応することを目的とした、最高性能で最も柔軟なソリューションを可能にします。ConnectX-6およびConnectX-7カードは、従来の革新的な機能に加えて、パフォーマンスとスケーラビリティをさらに向上させる数々の機能強化を実現しています。</p>
<div class="Cou_container_margin blog_pages overflow_x">
<table class="blog_table" cellspacing="0" cellpadding="0">
<tbody>
<tr>
<th>製品</th>
<th>速度</th>
<th>ホストインターフェース</th>
<th>ポート</th>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/168435.html" target="_blank" rel="noopener">MCX653105A-ECAT-SP</a></td>
<td>HDRと100Gb/s</td>
<td>PCIe 4.0x16</td>
<td>シングルポート</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/168438.html" target="_blank" rel="noopener">MCX653106A-HDAT-SP</a></td>
<td>HDRと200Gb/s</td>
<td>PCIe 4.0x16</td>
<td>デュアルポート</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/jp/168436.html" target="_blank" rel="noopener">MCX653106A-ECAT-SP</a></td>
<td>HDRと100Gb/s</td>
<td>PCIe 4.0x16</td>
<td>デュアルポート</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/168437.html" target="_blank" rel="noopener">MCX653105A-HDAT-SP</a></td>
<td>HDRと200Gb/s</td>
<td>PCIe 4.0x16</td>
<td>シングルポート</td>
</tr>
<tr>
<td><a href="https://www.fs.com/jp/products/177272.html" target="_blank" rel="noopener">MCX75510AAS-NEAT</a></td>
<td>NDRと400Gb/s</td>
<td>
<div style="white-space-collapse: preserve;" data-zone-id="0" data-line-index="0" data-line="true">PCIe 5.0x16</div>
</td>
<td>シングルポート</td>
</tr>
</tbody>
</table>
</div>
<h3 class="community-restructure-h3 community_page_first_h3">InfiniBandスイッチ</h3>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandスイッチであるNVIDIA Quantum/Quantum-2は、最大200Gb/s、400Gb/sの高速インターコネクトを実現し、AI開発者や科学研究者の研究、イノベーション、製品開発を加速する極めて低レイテンシーでスケーラブルなソリューションを提供します。</p>
<div class="Cou_container_margin blog_pages overflow_x">
<table class="blog_table" cellspacing="0" cellpadding="0">
<tbody>
<tr>
<th>製品</th>
<th><a href="https://www.fs.com/jp/products/158523.html">MQM8700-HS2F</a></th>
<th><a href="https://www.fs.com/jp/products/161048.html">MQM8790-HS2F</a></th>
<th><a href="https://www.fs.com/jp/products/206473.html">MQM9700-NS2F</a></th>
<th><a href="https://www.fs.com/jp/products/206475.html">MQM9790-NS2F</a></th>
</tr>
<tr>
<td><strong>ポートタイプ</strong></td>
<td>40 x HDR QSFP56</td>
<td>40 x HDR QSFP56</td>
<td>64 x NDR 400G</td>
<td>64 x NDR 400G</td>
</tr>
<tr>
<td><strong>機能</strong></td>
<td>マネージドスイッチ</td>
<td>アンマネージド・スイッチ</td>
<td>マネージドスイッチ</td>
<td>アンマネージド・スイッチ</td>
</tr>
<tr>
<td><strong>ソフトウェア</strong></td>
<td>MLNX-OS</td>
<td>MLNX-OS</td>
<td>MLNX-OS</td>
<td>MLNX-OS</td>
</tr>
<tr>
<td><strong>AC電源</strong></td>
<td>1+1ホットスワップ対応</td>
<td>1+1ホットスワップ対応</td>
<td>1+1ホットスワップ対応</td>
<td>1+1ホットスワップ対応</td>
</tr>
<tr>
<td><strong>ファン数</strong></td>
<td>N+1ホットスワップ対応</td>
<td>N+1ホットスワップ対応</td>
<td>6+1ホットスワップ対応</td>
<td>6+1ホットスワップ対応</td>
</tr>
<tr>
<td><strong>エアフロー</strong></td>
<td>後ろから前へ</td>
<td>後ろから前へ</td>
<td>後ろから前へ(P2C)</td>
<td>後ろから前へ(P2C)</td>
</tr>
</tbody>
</table>
</div>
<h2 class="community-restructure-h2 community_page_first_h2">結論</h2>
<p class="blog_p padding_top_none community_blog_detail_p community_blog_detail_p1">InfiniBandとイーサネットの間には適切なアプリケーションシナリオが存在します。InfiniBandネットワークによるレートの大幅な向上により、CPUはネットワーク処理のためにより多くのリソースを犠牲にすることなく、ネットワークの利用率を向上させることができます。これは、InfiniBandネットワークがハイパフォーマンスコンピューティング業界の主要なネットワークソリューションとなる主な理由の一つです。将来的には1600GbpsのGDR（Global Data Rate）や3200GbpsのLDR（Local Data Rate）のInfiniBand製品も登場するでしょう。データセンターノード間の通信遅延に高い要求がなく、柔軟なアクセスと拡張がより重要な場合は、長期間にわたってEthernetネットワークを選択することもできます。</p>
<p><img title="InfiniBand vs. Ethernet Network: What Are They?" src="https://media.fs.com/images/community/erp/GdkSF_infiniband-roadmapZpnfx.jpg" alt="InfiniBand Roadmap" width="100%" /></p>