2024/2/27

研究背景• マイクロデータセンターを利用したエッジサービスの提供• 通信遅延の削減やトラヒックの削減を実現• 大規模データセンターと比べ保有資源に限りがある• リソース分離型マイクロデータセンター (µDDC) が提案• 資源単位で構成されたマイクロデータセンター• 柔軟なスケーリングや資源利用率の向上の実現

リソース分離型
マイクロデータセンターにおけるネットワーク構成の評価指標

実行に必要分だけ資源割当
DCネットワーク

大阪大学 大学院情報科学研究科 村田研究室
博士後期課程 2 年
生駒 昭繁

GPU

CPU

RAM

storage

サービス

自由に資源を更新/追加
CPU

RAM

DCネットワーク
DC内NW・・・
GPUCPURAM

storage
CPU

サーバ中心のマイクロデータセンター

GPURAM

storageμDDC

12024/3/1

122µDDC におけるタスクの実行µDDC におけるタスクの実行• タスク開始前に資源割り当ての要求が到着• 要求に対して、随時、実行に必要な計算資源、メモリ資源、それらの間のネットワーク資源を割り当て
CPU
タスク1

要求資源
CPU 1つRAM 1 つ割当要求• タスク開始前に資源割り当ての要求が到着• 要求に対して、随時、実行に必要な計算資源、メモリ資源、それらの間のネットワーク資源を割り当て

RAM

CPU

RAM

CPU

タスク2

要求資源
CPU 1つRAM 1 つ

RAM

CPU

割当要求

タスク1

タスク1

CPU

RAM

CPU

RAM

割り当てリソース間で通信が発生
CPU

RAM

CPU

RAM

μDDC ネットワーク

タスク 1 の経路

RAM

μDDC ネットワークµDDC におけるタスクの実行µDDC におけるタスクの実行
3

3

4

4

µDDC におけるタスクの実行µDDC におけるタスクの実行• タスク開始前に資源割り当ての要求が到着• 要求に対して、随時、実行に必要な計算資源、メモリ資源、それらの間のネットワーク資源を割り当て• タスク開始前に資源割り当ての要求が到着• 要求に対して、随時、実行に必要な計算資源、メモリ資源、それらの間のネットワーク資源を割り当て

タスク1

タスク1

タスク1

タスク1

CPU

RAM

CPU

RAM

CPU

タスク3

RAM

要求資源
CPU 1つRAM 1 つ

割り当てリソース間で通信が発生
CPU

RAM

CPU

RAM

タスク 1 の経路

タスク2

タスク2

タスク 2 の経路

割当要求

CPU

μDDC ネットワーク

要求の時間制約を満たすことが困難に

5

RAM

CPU

他のタスクの通信経路と競合するため遅延が増大µDDC におけるタスクの実行

5

新型GPU

GPU

RAM

CPURAM

タスク 1 の経路

タスク2

タスク2

タスク 2 の経路

μDDC ネットワーク

6

6

1

2024/2/27µDDC におけるタスクの実行

リソース分離の課題• タスク開始前に資源割り当ての要求が到着• 要求に対して、随時、実行に必要な計算資源、メモリ資源、それらの間のネットワーク資源を割り当て
タスク3
タスク3

要求資源
CPU 1つRAM 1 つ

割当要求

タスク1

タスク1

CPU

RAM

CPU

• 資源間の通信遅延がサービスの性能に影響• 性能要件を満たすことができない可能性がある• ある資源間の通信が他資源間の通信や資源割り当てを制限• 多くの処理を実行するために、ネットワークが性能に及ぼす影響を考慮したµDDCに向けたネットワークの構成が必要

RAM• 資源間の通信が他の資源間の通信を阻害しない• 各資源間でできるだけ少ないホップで通信可能

タスク3CPU

通信量の多いリンクを避けた経路をとるとホップ数が増大
要求の時間制約を満たすことが困難に

RAM

CPURAM

タスク 1 の経路

タスク2

タスク2

タスク 2 の経路

• このような資源のペアが多ければ、多くのタスクを実行可能

μDDC ネットワーク

7788µDDC ネットワーク評価指標の提案

μDDC ネットワークに求められる要件• 研究の目的

1. 計算資源・メモリ資源間の低遅延な接続• 多くのタスクを実行可能な µDDC であるかを評価する指標の提案• 計算資源とメモリ資源の通信遅延により、タスクの処理速度が低下
計算資源とメモリ資源は、タスクの性能要件を満たすために十分近接していなければならない• アプローチ• ネットワークの要件として、ホップ数とリンクの混雑度を考慮

タスクの性能要件を満たすホップ内に通信可能な資源ペアが多く存在• ホップ数:各計算資源から一定ホップ内にどれだけ資源が存在するか• 混雑度:資源間の通信時に、輻輳が生じるリンクは存在しないか

2. 多量の計算資源・メモリ資源間の通信の収容• 各計算資源に対する、必要な要件を満たす通信が可能な資源の数 (候補資源数) を指標として定義• 実行タスクが増加すると、ネットワーク内の通信量が増加• 通信量の増加により、資源間の通信遅延が増大
資源間の経路上のリンクは、タスクの性能要件を満たすために十分な帯域を確保しなければならない• 候補資源数が多いほど、実行に必要な資源が枯渇しにくいことを表す• 既存のネットワークトポロジに対して指標を導出し、評価資源間の同時通信の際に、一部のリンクに資源間の通信が集中しない
991010指標の考え方指標の導出• 多くのタスクを実行するために、性能要件を満たす遅延で通信できる資源ペアが多く存在することが必要

1. 各計算資源が、当該資源から t 番目に近い資源とのみ通信する際の最大ホップ数・リンク混雑度を導出

各計算資源が通信できる資源の数を指標 (候補資源数) として定義

2. それぞれが制約を満たすときの t の最大値を導出

1. 各計算資源が、当該資源から t 番目に近い資源とのみ最短経路で通信すると仮定
2. その状況下において、最大ホップ数と混雑度を導出• 最大ホップ数• 最大ホップ数:通信する可能性のある資源間のホップ数の最大値• 混雑度:各リンクを利用する資源ペア数の期待値• リンク混雑度

3. 最大ホップ数・混雑度が要件を満たす t の最大値を導出
4. 各計算資源に対して、t ホップ以内の資源数を導出• 候補資源数

111112122

2024/2/27

指標の導出

指標の導出

2. それぞれが制約を満たすときの t の最大値を導出

2. それぞれが制約を満たすときの t の最大値を導出• 最大ホップ数• 最大ホップ数

1. 各計算資源が、当該資源から t 番目に近い資源とのみ通信する際の最大ホップ数・リンク混雑度を導出

任意の計算資源とその資源から t ホップ内の資源との最短ホップの最大値

1. 各計算資源が、当該資源から t 番目に近い資源とのみ通信する際の最大ホップ数・リンク混雑度を導出• リンク混雑度• リンク混雑度• 候補資源数• 候補資源数

任意の計算資源とその資源から t ホップ内の資源とがリンク e を通過する確率の総和

リンク e を通過する経路設定確率

資源ペアの通信確率

13131414

指標の導出

評価対象の μDDC ネットワーク構成

2. それぞれが制約を満たすときの t の最大値を導出• 全 8 個のトポロジに対して評価• 最大ホップ数

スイッチ間ネットワーク

1. 各計算資源が、当該資源から t 番目に近い資源とのみ通信する際の最大ホップ数・リンク混雑度を導出• 既存のネットワークトポロジに対して、指標を導出し、資源割当シミュレーションを実施• トポロジの構造と資源の配置方法を変更•••

スイッチ間のトポロジ
3DトーラスHyper X
Fat-tree• リンク混雑度
配置方法••

最大ホップ数、リンク混雑度の要件• 候補資源数
𝐻と、𝐷を満たす t の最大値2種の資源を交互に配置
2種の資源を固めて配置

計算資源・メモリ資源
15151616

比較トポロジ (1/2)

比較トポロジ (2/2)• 他トポロジと資源数を同数にするために、スイッチ数が異なる2パターンを評価

3D トーラス (資源を交互に配置)

3D トーラス (資源を固めて配置)

HyperX(資源を交互に配置)

HyperX(資源を固めて配置)
1717

Fat-Tree_A(資源を交互に配置)

Fat-Tree_A(資源を固めて配置)

Fat-Tree_B(資源を交互に配置)

Fat-Tree_B(資源を固めて配置)
18183

2024/2/27

各トポロジの指標の値

資源割当による評価• 既存トポロジに対して、資源割当シミュレーションを実施• ホップ数と混雑度の要件ごとの、指標が最大のトポロジを調査• どれだけの資源を割り当てることが可能かを評価• 全環境で、資源を交互に配置する
場合が最大• 指標の有効性を確認• 私たちが以前提案した資源割当手法[1]で実施• 異種の資源が隣接するため、ホップ数を削減したため• 将来要求されるタスクが必要な資源を残すように割当• HyperX が多くの環境で最大• 各ノードに対する隣接ノード数が最大
 近接資源や柔軟な経路設定が可能• 4 つの状況を想定し、シミュレーションを実施• タスクの実行に必要な資源の数と、時間制約を変更
タスクの時間制約が⾧い• 資源割当の柔軟性と近接資源数の向上が重要各要件における指標が最大のトポロジ

タスクの時間制約が短い

タスクの実行にCase 1
必要な資源が少ない

Case 2

タスクの実行に必要な資源が多い

Case 4

Case 3

各ケースにおける、必要資源数とタスクの時間制約の対応[1] Disaggregated Micro Data Center: Resource Allocation Considering
Impact of Network on Performance
20191920

資源割当結果まとめと今後の課題• まとめ• 各ケースにおいて、HyperXの資源利用率が最大• µDDC におけるネットワーク構成の評価指標 候補資源数 を定義• 候補資源数が大きいほど多くの資源の割り当てに成功• 各計算資源に対する、ホップ数・混雑度の要件を満たす資源の数• 資源を交互に配置することで資源利用率が高い• 既存トポロジに対して指標を導出し、資源割当を実施• 候補資源数が多いほど多くの資源の割当が可能であることを示した• 候補資源数との対応関係と一致• 今後の予定• ホップ数や混雑度の要件の決定方法の検討• 指標をもとにした最適なトポロジの設計手法の検討

21

Case 1Case 2

Case 3

Case 42221224