DDCテクノロジー：AIGCネットワークによる革命的なソリューション

<div data-page-id="WX21dpBypohWcOx5XIbcbjihn7c" data-docx-has-block-data="false">
<p class="ace-line ace-line old-record-id-RfR1dGWX2o7wKDxcrpVcI8C1nlI"><span style="color: #000000;">2023年までには、ChatGPTがその代表例である人工知能生成コンテンツ(AIGC)技術が隆盛し、テキスト生成、コード開発、詩の制作など、いくつかの分野で業界を変えていくことになるだろう。この記事では、新世代のAIGCネットワークが導入した画期的なソリューションである、ネットワーク用のDDCテクノロジーについてご紹介します。この革新的なテクノロジーは、ネットワーキングの展望に革命をもたらし、これまでにない方法で効率性と接続性を高めることを約束します。</span></p>
<h2 class="heading-2 ace-line old-record-id-JaoZdLHFdoCPHRxq2GccDehnnWc"><span style="color: #000000;">GPU負荷分散の3つの方法</span></h2>
<p class="ace-line ace-line old-record-id-BFiidNT3lo1IeixVndzc4urPnuv"><span style="color: #000000;">前述のAIGC大規模モデルの並外れたパワーは、その膨大なデータ量だけでなく、アルゴリズムの継続的な進化と進歩にも起因しています。このような大規模モデルをトレーニングする場合、作業負荷を分散するために複数のGPUが必要になることがよくあります。効率的な負荷分散を実現するために、データ並列、テンソル並列、パイプライン並列の3つの手法が採用されています。</span></p>
<h3 class="heading-3 ace-line old-record-id-Ht1JdHQrMoNY3nx8wt7c9Fi7nch"><span style="color: #000000;">データ並列</span></h3>
<p class="ace-line ace-line old-record-id-WNwQd7xkkodR0Bxk38vcA0oMnCe"><span style="color: #000000;">データ並列処理では、モデルの入力データを複数のミニバッチに分割し、異なるGPU間でそれらのミニバッチを並列処理します。各GPUはモデルの完全なコピーを所有し、それぞれ独立にミニバッチを処理します。GPU間通信と同期により、モデルのパラメータは更新され、統合されます。データ並列性は、大規模なトレーニングデータセットを持つモデルに適しており、トレーニングプロセスを加速し、モデルの収束速度を向上させます。</span></p>
<h3 class="heading-3 ace-line old-record-id-Oa3adGP2WocA1Px8IElcdAtQnbn"><span style="color: #000000;">テンソル並列</span></h3>
<p class="ace-line ace-line old-record-id-EmQ7dzRCQov9hXx40IOcZoagn6e"><span style="color: #000000;">テンソル並列処理は通常、モデルが大きすぎて1つのプロセッサのメモリに収まらない場合に採用されます。この方法では、モデルの異なる部分が異なるGPUに割り当てられ、各GPUが入力データの一部の処理と対応する計算の実行を担当します。GPU間の頻繁な通信と同期によって、出力が収集され統合されますが、これは高い通信オーバーヘッドにつながる可能性があります。テンソル並列では、交換遅延を最小化するためにプロセッサ間の高速接続が必要です。</span></p>
<h3 class="heading-3 ace-line old-record-id-HuAId3zPGowRjlxxY4NcYOoZned"><span style="color: #000000;">パイプライン並列</span></h3>
<p class="ace-line ace-line old-record-id-T9F6dBXpuo3NuGxPM70cogfQnDg" style="text-align: left;"><span style="color: #000000;">パイプライン並列は、モデルの計算フローを複数のステージに分解し、これらのステージの実行を異なるGPU間でパイプライン方式で並列化します。各GPUはモデル全体の計算の特定の部分を処理し、処理された結果を次のGPUに渡してさらに計算させます。このアプローチは、全体的なトレーニング時間を短縮し、複雑な計算フローと複数の連続したステージを持つモデルには特に有効ですが、依存する計算結果を待つ間、一部のプロセッサが作業を一時停止するような大きなストールを発生させないように、パイプラインを注意深く管理する必要があります。時には、これら3つの並列戦術を組み合わせてトレーニングプロセスを改善することもあります。</span></p>
<h2 class="heading-2 ace-line old-record-id-F9c4dRR9Oog4GExKNUKccuXbnmh"><span style="color: #000000;">AIGCの運営を支える3つの従来のソリューション</span></h2>
<p class="ace-line ace-line old-record-id-QPiHdgRpdo3Gqux6W51cBQp4npd"><span style="color: #000000;">従来のソリューションでは、AIGCの運用をサポートする一般的なソリューションとして、InfiniBand、RDMA、フレームスイッチの3つがあります。</span></p>
<h3 class="heading-3 ace-line old-record-id-WBMadhm4joxFqcx7t8ocGwAsnif"><span style="color: #000000;">InfiniBandネットワーキング</span></h3>
<p class="ace-line ace-line old-record-id-X1rqdZy7aouLlBxLnQYc9U2anbh"><span style="color: #000000;"><span style="color: #2d1df8;"><a style="color: #2d1df8;" href="https://www.fs.com/jp/c/infiniband-ethernet-2875">InfiniBand</a> </span>ネットワーキングは、高性能コンピューティングやデータセンターで使用される高速相互接続技術です。高帯域幅、低遅延、輻輳がないなどの利点があります。しかし、コストが高く、従来のイーサネットネットワーキングの数倍のコストがかかります。</span></p>
<div class="ace-line ace-line old-record-id-X1rqdZy7aouLlBxLnQYc9U2anbh">
<p><span style="color: #000000;"><img title="InfiniBand Networking" src="https://media.fs.com/images/community/erp/G4Xjr_2EzA5b.jpg" alt="InfiniBand Networking" width="100%" /></span></p>
<div data-page-id="WX21dpBypohWcOx5XIbcbjihn7c" data-docx-has-block-data="false">
<h3 class="heading-3 ace-line old-record-id-CyHTd58z4oIaIHx2sm8cW4CNnXe"><span style="color: #000000;">RDMAネットワーキング</span></h3>
<p class="ace-line ace-line old-record-id-DcJadQNGOomK7dxMpiacTBCInTB" style="text-align: left;"><span style="color: #000000;">RDMA(Remote Direct Memory Access)は新しい通信メカニズムで す。RDMA方式では、データはCPUや複雑なオペレーティングシステムをバイパスしてネットワークカードと直接通信できるため、レイテンシを短縮しながらデータスループットを大幅に向上させることが可能です。以前は、RDMAは主にInfiniBandネットワーク上で行われていました。現在はイーサネットへの移植が進んでいます。現在主流のネットワーキング方式は、RoCE v2プロトコルに基づき、RDMAをサポートするネットワークを構築するものです。</span></p>
<p class="ace-line ace-line old-record-id-Y1LsdJ9GOoZaJHxbG8eciIipnZe"><span style="color: #000000;">関連記事-<span style="color: #2d1df8;"><a style="color: #2d1df8;" href="../../article/roce-rdma-over-converged-ethernet.html" target="_blank" rel="noopener">RDMA over Converged Ethernet（RoCE）ガイド</a>.</span></span></p>
<div class="ace-line ace-line old-record-id-Y1LsdJ9GOoZaJHxbG8eciIipnZe">
<p><span style="color: #000000;"><img title="RDMA Networking" src="https://media.fs.com/images/community/erp/sDpWp_roceKypTn.png" alt="RDMA Networking" width="100%" /></span></p>
<div data-page-id="WX21dpBypohWcOx5XIbcbjihn7c" data-docx-has-block-data="false">
<h3 class="heading-3 ace-line old-record-id-FP84d8toqoRdxdx2z2ZcvwvUnSX"><span style="color: #000000;">フレームスイッチ</span></h3>
<p class="ace-line ace-line old-record-id-BcwTd7DnKoczu2xVexZc43hrnDe"><span style="color: #000000;">フレームスイッチとは、イーサネットのようなフレームベースのプロトコルを扱うために特別に設計されたネットワークスイッチのことです。しかし、スケーラビリティの制限、デバイスの高い消費電力、広範な障害領域などの問題から、この手法は小規模なAIコンピュータ・クラスタの展開にしか適していません。</span></p>
<h2 class="heading-2 ace-line old-record-id-UDvIdOrF7o7B2Ux9aX7ckBivnwe"><span style="color: #000000;">新世代AIGCネットワーク：DDCテクノロジー</span></h2>
<p class="ace-line ace-line old-record-id-QPZLdtlvWohX7oxmAlrcVJX4nVm"><span style="color: #000000;">従来のイーサネットは性能がボトルネックであるため、従来のアプローチでは輻輳やパケットロスなどの性能ロスに悩まされ、拡張性も不十分です。こうした限界に対応するため、DDC(Distributed Disaggregated Chassis)と呼ばれる新しいソリューションが登場しました。DDCは従来のフレームスイッチを分解し、そのスケーラビリティを向上させ、AIクラスタの規模に合わせたネットワークスケールを可能にします。</span></p>
<p class="ace-line ace-line old-record-id-M9lDdRZ37oWfXUxiupFcgQvInTh"><span style="color: #000000;">DDCは、大規模なAIモデル訓練に必要なネットワーク要件を、規模や帯域幅のスループットという点で満たすだけでなく、ネットワーク運用の他の重要な側面にも対応しています。しかし、ネットワーク運用はこれら2つの側面だけでなく、遅延、負荷分散、管理効率などの点からも最適化する必要があります。これらの課題に取り組むため、DDCは以下の技術戦略を取り入れております:</span></p>
<h3 class="heading-3 ace-line old-record-id-KTEvd5FtAo7rIJxlx6JcObUfnuh"><span style="color: #000000;">VVOQ+セルベースの転送技術でパケットロスを抑制 </span></h3>
<p class="ace-line ace-line old-record-id-MHVZdOkdeotHv9x1dazcPDk8nYf"><span style="color: #000000;">ネットワークがトラフィックのバーストを経験するシナリオでは、受信側での処理が遅くなり、輻輳やパケットロスにつながる可能性があります。DDCシステムは、VOQ+Cellベースの転送メカニズムを採用しており、堅牢なソリューションを提供します。具体的な処理方法を掘り下げて説明します:</span></p>
<p class="ace-line ace-line old-record-id-Jor8dFCZroMHqNxRCj1cb4Htnuh"><span style="color: #000000;">送信側は、パケットを受信後、仮想出力キュー(VOQ)に分類して格納します。ネットワーク接続ポイント(NCP)は、セグメント化する前にバッファ容量をチェックし、動的に負荷分散を行います。一時的な処理制限時には、パケットをVOQ内に格納することで、通信の安定性と帯域幅の利用率を高めます。</span></p>
<div class="ace-line ace-line old-record-id-Jor8dFCZroMHqNxRCj1cb4Htnuh">
<p><img title="VOQ+Cell" src="https://media.fs.com/images/community/erp/EDkPG_4PGQQb.jpg" alt="VOQ+Cell" width="100%" /></p>
<p> </p>
<div data-page-id="WX21dpBypohWcOx5XIbcbjihn7c" data-docx-has-block-data="false">
<h3 class="heading-3 ace-line old-record-id-CAr9d3E1Po3RJgxswrfcrKhenof"><span style="color: #000000;">PFCシングルホップ配備でデッドロックを完全に回避</span></h3>
<p class="ace-line ace-line old-record-id-Czi1dVulgoMoj0xTlI2cdD2xnBe">RDMAロスレスネットワークは、トラフィック制御にPFC(プライオリティ・フロー・コントロール)技術を利用し、優先順位を割り当てたイーサネットリンク用の複数の仮想チャネルを作成できます。しかし、PFCの実装には、特にデッドロックの問題など、課題がないわけではありません。</p>
<div class="ace-line ace-line old-record-id-Czi1dVulgoMoj0xTlI2cdD2xnBe">
<p><img title="PFC Single-Hop Deployment" src="https://media.fs.com/images/community/erp/MFpzw_56kzbm.jpg" alt="PFC Single-Hop Deployment" width="100%" /></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p>DDCネットワークのコンテキストでは、すべてのネットワーク接続ポイント(NCP)とネットワーク通信機能(NCF)をまとまったエンティティとして考えることで、マルチレベルのスイッチが不要になるという際立った利点が生まれます。その結果、DDCアーキテクチャはPFCに関連するデッドロック問題を効果的に回避し、シームレスで中断のないネットワーク運用を保証します。</p>
<p><img title="NCFs" src="https://media.fs.com/images/community/erp/psRcB_6iztZ5.jpg" alt="NCFs" width="100%" /></p>
<p> </p>
<h3 class="heading-3 ace-line old-record-id-M8aldEPRJowRODxaxnNci5fmn8d"><span style="color: #000000;">分散型OSが信頼性を向上</span></h3>
<p class="ace-line ace-line old-record-id-IlHxdo6QloEeXvxmFfyc31nonLe">DDCアーキテクチャでは、管理機能はネットワーク・コントロール・カード(NCC)の制御下に集中化されています。しかし、この集中制御は単一障害点の潜在的なリスクをもたらします。この問題を軽減するため、DDCは分散型オペレーティングシステムを組み込み、各ネットワーク接続ポイント(NCP)とネットワーク通信機能(NCF)に対して個別の管理機能を実現しています。この分散型アプローチには、システムの信頼性を高め、展開プロセスを簡素化するための独立した制御および管理プレーンが含まれています。</p>
<h2 class="heading-2 ace-line old-record-id-E7kYd891ioEymKxJIYkcjsVwnng">結論</h2>
<p class="ace-line ace-line old-record-id-Vhdbdz5rwo48e2xAdPVcsuKAny4">DDCは、独自の技術戦略により、大規模なAIモデルトレーニングに関連するネットワーク需要に効果的に対応します。さらに、多様で複雑なシナリオにおけるネットワークの安定性と効率性を確保するために、多くの側面を綿密に最適化します。</p>