社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

リソース分離型マイクロデータセンターにおけるネットワーク構成の評価指標
生駒昭繁†

大下裕一†

反町将†

村田正幸†

† 大阪大学 大学院情報科学研究科 〒565–0871 大阪府吹田市山田丘 1–5
E-mail: †{a-ikoma,y-ohsita,a-ikoma,murata}@ist.osaka-u.ac.jp
あらまし リソース分離型マイクロデータセンター（µDDC）において、多くのアプリケーションをその性能要件を満たしながら実行するためには、性能要件を満たすために必要な遅延時間内で通信することが可能な資源ペアが十分に存在することが必要である。そして、資源間の通信遅延は、通信経路のホップ数や通信量が大きく影響する。そこで、資源ペアの通信経路として利用するリンクに対して、通信がどれだけ混雑しやすいか、資源間の通信のために必要なホップ数の 2 点に注目し、各計算資源に対して、どれだけの資源を通信相手とできるかを指標として定義した。指標の有効性を示すために、複数のネットワークトポロジで構成された µDDC に対して資源割当シミュレーションを行い、指標の値を比較を行った結果、指標の値が大きいほどより多くのアプリケーションの割当が可能であることを示した。
キーワード マイクロデータセンター、リソース分離、ネットワークトポロジ

Performance evaluation of remote memory utilization method
in disaggregated micro data center
Akishige IKOMA† , Yuichi OHSITA† , Masashi SORIMACHI† , and Masayuki MURATA†† Graduate School of Information Science and Technology, Osaka University
Yamadaoka 1–5, Suita, Osaka, 565–0871 Japan
E-mail: †{a-ikoma,y-ohsita,a-ikoma,murata}@ist.osaka-u.ac.jp
Abstract In a disaggregated micro data center (µDDC), ensuring the execution of numerous applications whilesatisfying their performance requirements necessitates many resource pairs capable of communicating within the required latency. The communication latency between resources signiﬁcantly depends on factors such as the hop countbetween communicating resources and the toraﬃc. We focus on two aspects-how congested the communication is on
the links used as communication paths for resource pairs, and the hop count required for communication between
resources. We deﬁne an metrics that measures how many resources each computing resource can communicate with,considering these factors. To evaluate the eﬀectiveness of the deﬁned metrics we conducted a resource allocation
simulation. The results indicate that higher values of the indicator allow for the allocation of more applications,demonstrating its eﬃcacy.
Key words Micro data center, Resource disaggregation, network topology

1. は じ め に規模なデータセンターと比べて保有する資源量が限られているため、多種多様なサービスを展開するためには、資源利用効率近年、多くのクラウドサービスが展開されているが、クラウの向上が重要となる。資源の効率的な利用を実現する方法の一ドを用いた処理は、ユーザ側から離れた場所にあるデータセンつとして、CPU やメモリ等の資源を独立させ、それらをネッターとの通信を必要とするため、自動運転のようなタイムセントワークでつなぐリソース分離があげられる [2]。リソース分シティブな処理には不向きである。そこで、エッジに配置する離を行ったデータセンターでは、資源単位での管理が可能であ比較的小規模のデータセンターであるマイクロデータセンター

り、従来のサーバ中心のデータセンターと比較して、資源利用が提案されている [1]。ただし、マイクロデータセンターは、大率の向上が可能である [3]。そこで、私たちは、リソース分離—1—を適用したマイクロデータセンターである、リソース分離型マだけ混雑しやすいかに注目して通信候補資源数を定義する。

イクロデータセンター（以降、µDDC）を検討している。しか

本研究では、通信候補資源数の導出のために、各資源が当該し µDDC では、資源同士がネットワークによって接続するた資源から近い順に一定数の資源を候補とし、それぞれが最短経め、資源間の通信遅延により、実行アプリケーションの性能が路で通信するような状況を仮定する。そして、その状況下にお低下する [4]。特に、CPU 等の計算資源とメモリ資源との遅延ける各リンクを経由して通信する資源ペアの数の期待値の最大の影響が大きく、各資源や資源間の通信経路の割当方法にアプ値と通信する可能性のある資源間のホップ数の最大値を導出すリケーションの実行性能が大きく依存する。

る。それぞれ、リンク混雑度、最大ホップ数とする。そして、

私たちは、ネットワークがアプリケーションの処理性能に及リンク混雑度、最大ホップ数をもとに、通信候補資源数を導出

ぼす影響を考慮した、資源割り当て制御手法 [5] をすでに提案しし、各計算資源に対して十分な数の通信可能資源が存在するかており、その有効性を確認している。ただし、資源割当はネッを調査することで、µDDC ネットワークを評価する。

トワークに大きく依存しており、特定のリンクに通信が集中し2. 1 記 号 定 義てしまうなど、柔軟な資源割当が困難な µDDC ネットワーク

通信候補資源数の導出に利用する記号を表 3 に示す。

トポロジの場合、資源の利用効率は大きく低下してしまう可能

2. 2 通信候補資源数の導出性がある。そのため、より効率的な資源利用のためには、柔軟µDDC 上の各資源が、当該資源から t 番目に近い資源までをな資源割当が可能なネットワークトポロジについての検討が必通信候補とするときの最大ホップ数 H(t) とリンク混雑度 D(t)要である。

を導出し、それらと実行アプリケーションの性能要件をもとに、

文献 [6] では、リソース分離型のアーキテクチャに向けたネットワークトポロジが提案されており、複数の木構造を並列に構通信候補資源数を導出する。

a ) 最大ホップ数 H(t) の導出成した Monet というネットワークトポロジが提案されている。

資源 n, m ∈ R 間の最短ホップ数を Sn,m として、最大ホッこのトポロジは、資源間のホップ数を削減することで、低消費プ数は、資源 n ∈ R と当該資源から t 番目に近い資源候補電力で資源間を低遅延で接続することができることが示されてm ∈ Pn (t) の各資源ペアの最短ホップ数の最大値より、いるが、規模が大きく、小規模の µDDC においては、不向きであるといえる。そのため、µDDC に向けたトポロジの提案が必要となる。
本研究では、多種多様なサービスを提供する µDDC に最適

H(t) = max max Sn,m(1)n∈R m∈Pn (t)である。

b ) リンク混雑度 D(t) の導出なネットワークを構成するために必要な、µDDC ネットワーク

まず、各リンク e ∈ E に対する、当該リンクを経由して通信の評価指標を提案する。µDDC において、資源割当は実行サーする資源ペアの数の期待値を De (t) とする。本研究において、ビスの性能を決定づけるため、様々なサービスを提供するため各資源ペアの経路は、最短経路の中からランダムに選択されるには、柔軟な資源割当を行うことが可能なトポロジの構成が必とする。よって、要不可欠である。このとき、µDDC において処理を実行する

資源 n ∈ R から近い順に t 個選択した資源候補 m ∈ Pn (t) の際、実行資源と、実行資源間の通信経路を設定する。そのため、最短経路数を Rn,m 、リンク e を経由する最短経路数 Rn,m (e)通信可能な資源ペアの数が多ければ多いほど、柔軟な資源割当とし、リンク e が資源 n, m 間の経路になる確率をが可能にあるといえる。本研究では、処理を実行する CPU やする。また、各資源は通信候補の中からランダムに通信相手をGPU のような計算資源を中心に、各計算資源に対して、通信選択するとする。よって、資源 n から t 番目に近い資源までを可能な資源の数を指標として定義し、その指標の有効性を議論

通信候補としたときの資源候補の組み合わせの数を Cn (t)、そする。のうち資源 m を含む組み合わせの数を Cn (t, m)、として、資本稿の構成は以下の通りである。2 章で提案する指標の定義を行い、3 章において、定義した指標が µDDC ネットワークのC (t,m)

源 n と m の通信確率は、 Cnn (t)·t とできる。よって、各リンクを経由して通信する資源ペアの数の期待値 De (t) は、評価のために有効であるかを既存トポロジとの比較によって示す。最後に、4 章で今後の課題とまとめについて示す。

De (t) =∑ ∑n∈R m∈Pn (t)2. 評 価 指 標µDDC において、多くのアプリケーションをその性能要件

Rn,m (e)とRn,mRn,m (e) Cn (t, m)
Rn,m Cn (t) · tである。そして、この混雑度をもとに、µDDC の各リンク e ∈ Eの混雑度の最大値がリンク混雑度であるので、を満たしながら実行するためには、性能要件を満たすために十分な遅延で通信できる資源ペアが多く存在することが必要である。そこで、各計算資源が通信できる資源の数を指標として定義する。本稿では、この指標を通信候補資源数と呼ぶ。実行アプリケーションの性能要件を満たすためには、資源間のホップD(t) = max De (t)(2)e∈Eである。

c ) 最大ホップ数・リンク混雑度に基づく通信候補資源数
tmax (H target , Dtarget ) の導出数が十分小さく、資源間の経路上のトラヒックが多すぎないこµDDC 上の各資源が、当該資源から t 番目に近い資源までをとが必要である。そこで、資源間のホップ数と各リンクがどれ通信候補とするときにパラメータ t は各資源が通信可能な資源の—2—

表 1: 通信候補資源数の導出に利用する記号の定義
記号

内容RµDDC 上の資源の集合

EµDDC 上のリンクの集合

H(t)最大ホップ数D(t)リンク混雑度Sn,m

資源 n, m ∈ R 間の最短ホップ数

Pn (t)

資源 n ∈ R と当該資源から t 番目に近い資源の集合

De (t)

各リンク e ∈ E に対する、当該リンクを経由して通信する資源ペアの数の期待値

Rn,m

資源 n, m ∈ R 間の最短経路数

Rn,m (e)Rn,m のうち、リンク e ∈ E を通過する経路の数

Cn (t)

資源 n が t 番目に近い資源までを通信候補としたときの資源候補の組み合わせの数

Cn (t, m)

Cn (t) のうち、資源 m を含む資源候補の組み合わせの数

H target実行アプリケーションの性能要件を満たすためのホップ数の制約

Dtarget実行アプリケーションの性能要件を満たすためのリンク混雑度の制約

tmax (H target , Dtarget ) ホップ数制約 H target 、リンク混雑度制約 Dtarget の際の通信候補資源数数とみなすことができ、パラメータ t が大きいほど各計算資源は多くの通信候補を持つといえる。そこで、実行アプリケーション

3. 1 既存ネットワークごとのネットワーク指標とパラメータの値の関係の性能要件を満たすためのホップ数の制約 H target と混雑度の各トポロジにおける通信候補資源数の比較のために、最大

制約 Dtarget をもとに、通信候補資源数 tmax (H target , Dtarget )ホップと混雑度の制約 H target と Dtarget を 1 から 20 まで変を導出する。これは、最大ホップ数とリンク混雑度が制約をみ化させたときに、その制約における通信候補資源数が最大であたすときの t の最大値であるので、るネットワークを図 2 に示す。

tmax (H target , Dtarget ) = max t,

H(t) ≤ H target
D(t) ≤ Dtarget

図 2 から、どの環境においても、A 型の資源配置のトポロジが B 型の資源配置のトポロジよりも通信候補資源数の値が大きくなっていた。これは、交互に資源を配置することで、資源である。この値が大きいほど、各計算資源が通信相手とできる同士が隣接し、より少ないホップ数で通信可能になるためであ資源が多いため、より柔軟な資源割当が可能である。

る。例えば、Dtarget が 10 であるとき、H target が 2 や 3 であ3. 評

価るときは、A 型の資源配置のトポロジの通信候補資源数が最大となっている。また、H target = 2 かつ、8 ≤ Dtarget の範囲以

既存のネットワークについて、通信候補資源数を導出し、資外において、HyperX(A) は tmax の値が最も大きいネットワー

源割当シミュレーション結果と比較することで、評価指標の有クとなっており、より多くの環境において、通信候補資源数の効性を示す。

観点から優れているといえる。HyperX は、各ノードに対して、

a ) 比較ネットワーク資源と直接接続している隣接ノードの数が最も多いため、近接評価のために、一般的に広く用いられている、3D トーラスする資源ペアも多い。さらに、あるノードから 1 ホップで到達トポロジ、FatTree トポロジと、ノード間のホップ数をより小できるノードが多いため、選択できる経路の数も多くなる。そさく抑えることができる HyperX [7] トポロジを利用する。なのため、少ないホップでの通信を可能としながら、リンク混雑お、比較のために、計算資源とメモリ資源の数を統一してネッ度も小さく抑えることができたといえる。

トワークを構成する。各ネットワーク構成のスイッチ数と資源数を表 2 に示す。ただし、FatTree は、構成のために必要とす

3. 2 ネットワーク指標と性能要件や実行資源数との関係調査るスイッチの数が他トポロジとは異なるため、資源プール内に通信候補資源数によるトポロジ評価の有効性を示すために、存在する資源数を増加させることで保有資源数を統一した場合私たちが提案した、µDDC ネットワークがアプリケーションと、資源プール内に存在する資源数を固定し、構成するスイッの性能に与える影響を考慮した資源割当手法 (RA-CNP) [5] をチの数を増やすことで保有資源数を統一した場合の 2 パターン利用して、各トポロジにおいてアプリケーションの資源割当シについて評価する。それぞれ、FatTree_1、FatTree_2 とする。

ミュレーションを行い、各トポロジでどれだけのアプリケー

さらに、これらのネットワークについて、一つのスイッチに計ションの資源割当が可能であるかを計測し、その結果と通信候

算資源とメモリ資源の両方が接続する資源配置 A と、1 つのス補資源数の値を比較する。

イッチに 1 種類の資源しか接続しない資源配置 B の 2 パター

3. 2. 1 計 測 環 境

ン計測する。それぞれ図 1a から図 1h に示す。

シミュレーションのために、µDDC ネットワークや割当アプリケーションのパラメータを設定する。このとき、図 2 に示す
ように、通信候補資源数の値は実行サービスの性能要件によっ—3—表 2: 各ネットワーク構成のスイッチ数と資源数
トポロジ

スイッチ数 計算資源プール数

計算資源プール内 メモリ資源プール数 メモリ資源プール内計算資源数

総計算資源数

総メモリ資源数

メモリ資源数

FatTree_1

15208208160160

FatTree_2

24325325160160

3D トーラス 1632532

5160160

HyperX

32

532

5160160

16(a) 3D トーラス (A)(b) 3D トーラス (B)(c) HyperX(A)(d) HyperX(B)(e) FatTree_1(A)(f) FatTree_1(B)(g) FatTree_2(A)(h) FatTree_2(B)

図 1: ネットワーク構成て変化する。そこで、割当アプリケーションの性能要件や実行a ) ネットワークに必要な資源の数が異なる複数のケースについて計測を行う。

ネットワークのパラメータについて、表 3 に示す。なお、評価を行うすべてのネットワークにおいて、パラメータは同一で—4—

分類処理、その他のアプリケーションが YOLO を用いた画像分類処理である。
表 4: Parameter settings for the resource requests
アプリケーション 1 アプリケーション 2 アプリケーション 3
時間制約 (Case 1,3/Case 2,4)

700/350600/250

実行に必要な資源数 (Case 1,2/Case 3,4)

3/6

3/6

クロック数

0.063

0.063

0.063

500/150
3/6

Process 1
メモリへの書き込みレート (/ms)

0.000495

0.003

0.0075メモリからの読み込みレート (/ms)

0.000495

0.003

0.0075

メモリ資源数 (Case 1,2/Case 3,4)

1/1

1/1

1/1

計算資源数 (Case 1,2/Case 3,4)

1/1

1/1

1/1

Process 2
クロック数

0.097

0.097

メモリへの書き込みレート (/ms)

000

メモリからの読み込みレート (/ms)

0.000495

0.000495

0.0075

メモリ資源数 (Case 1,2/Case 3,4)

2/5

2/5

2/5

計算資源数 (Case 1,2/Case 3,4)

1/1

1/1

1/1

0.097

Process 3

図 2: tmax の値が最も高いネットワーク構造

クロック数

4268.4

メモリへの書き込みレート (/ms)

2.805

2.85

メモリからの読み込みレート (/ms)

5.565

5.145

5.145

ページフォールト発生回数

121577.9

101990.3

101990.3

3528.63528.62.85

1 ページフォールトあたりの読み込みページ数

9.5

8.7

8.7

メモリ資源数 (Case 1,2/Case 3,4)2/52/52/5

計算資源数 (Case 1,2/Case 3,4)

2/5

2/52/5

3. 2. 2 評 価 指 標
資源割当シミュレーションによって、通信候補資源数が大きいほど、より多くのアプリケーションの実行が可能であることある。

を示す。そこで、ネットワーク上の計算資源の総数に対する、
表 3: µDDC ネットワークパラメータの設定
ParametersValue

CPU の FLOPS

108.8GFLOPS

各コアの周波数

3.4GHz

伝搬遅延0.025 µs

スイッチング遅延

3 µs

カットスルー時のスイッチング遅延 300 ns
ページサイズ

4 KB

帯域幅

50 Gbps

各ノード間のリンク数

2

割当計算資源の数を計算資源利用率として計測する。この値が大きいほど、より多くの資源ペアの通信を行うことができ、より多くのアプリケーションの実行が可能であるといえる。なお、評価のために、性能要件を満たすような資源割当に失敗した場合は、その要求を棄却する。

3. 2. 3 資源割当結果
各 Case について、それぞれ 5 種類の要求列を生成し、それb ) 割当アプリケーションをもとに評価を行う。結果を図 3 に示し、図 3 の縦軸は資源割

性能要件の異なる 3 種類のアプリケーションについて資源当終了時の計算資源利用率を表す。

割当を行う。エッジで実行される典型例として ResNet [8]、すべての Case において HyperX は最も多くのアプリケー

YOLO [9] を用いた画像分類処理を考える。各アプリケーショションを収容することができているが、図 2 に示す結果とも一ンの実行要求は同一の確率で生成されるとし、生成されたすべ致しており、様々な場合で各資源が十分な資源候補を持っていての実行要求が割り当てられた場合、これ以上の実行要求の割るために、より多くのアプリケーションの割当に成功したとい当が不可能になる。つまり、生成されたすべての要求を割り当える。また、どの Case においても、A 型の資源配置のトポロてた場合、そのトポロジは割当可能な上限までアプリケーショ

ジの方が、B 型の資源配置の同一トポロジよりも計算資源利用ンを割り当てたことを示す。

率が高く、これも図 2 の結果と一致する。結果から、通信候補また、評価のために、各資源要求の性能要件と必要資源数を変更して以下の 4 つの場合について資源割当を行う。

•Case1 実行アプリケーションの時間制約が長く、実行に必要資源数が少ない場合•

Case2 実行アプリケーションの時間制約が短く、実行に必要資源数が少ない場合•

Case3 実行アプリケーションの時間制約が長く、実行に必要資源数が多い場合•

Case4 実行アプリケーションの時間制約が短く、実行に資源数が大きいほど、柔軟な資源割当が可能であり、より多くのアプリケーションを実行可能であるといえる。

4. お わ り に
本稿では、リソース分離型マイクロデータセンター（µDDC）
におけるネットワークの評価指標として計算資源候補数を提案した。本指標は、多種多様なアプリケーションを実行可能なµDDC ネットワークであるかを評価するための指標であり、通信を行う可能性のある資源間は、どれだけのホップ以内で通信必要資源数が多い場合可能であるか、ネットワーク上の各リンクはどれだけの資源間各アプリケーションの実行性能のパラメータ設定について、表の経路として利用される可能性があるかの 2 点に注目し、それ4 に示す。なお、アプリケーション 1 が ResNet を用いた画像

ぞれが実行アプリケーションの性能要件を満たすときの、各計—5—

(a) Case 1(b) Case 2(c) Case 3(d) Case 4

図 3: 各 Case における、各ネットワークトポロジの計算資源利用率算資源が通信できる資源の個数として導出している。この指標の値が大きいほど、資源割当の際に、多くの実行資源ペアの候補から実行資源を選択できることを表し、柔軟な資源割当にによる、実行アプリケーション数の向上が期待できる。

[3]

いパン的に利用される複数の既存ネット枠トポロジに対して、計算資源候補数を導出し、資源割当を成功した実行要求の数と比較した結果、計算資源候補数が多いネットワークトポロジであるほど、より多くの要求の割当に成功しており、µDDC ネッ[4]

トワークの評価指標として、計算資源候補数の有効性を示した。
今後の予定として、アプリケーションの性能要件の決定方法の検討が挙げられる。本稿では、ホップ数やリンク混雑度の制約はあらかじめ判明している前提で計測を行ったが、実際にア[5]プリケーションを処理する際は、資源の実行性能や、要求量等、制約には様々な要因が影響する。これらについて、適切に考慮した制約の決定方針が必要となる。また、本稿では既存トポロジに対して評価を行ったのみであり、µDDC に最適なトポロ[6]

ジが何であるかは判明していない。指標をもとにした、ネットワークトポロジの構築手法の提案も今後検討が必要な点である。
[7]

謝辞

本研究の一部は、NICT 委託研究・JPJ012368C00101「多種多様なサービスに対応可能な高機能エッジクラウド情報処理基[8]盤の研究開発」によるものである。ここに記して謝意を表す。
文

献[1] K. Bilal, O. Khalid, A. Erbad, and S. U. Khan, “Potentials,trends, and prospects in edge technologies: Fog, cloudlet,
mobile edge, and micro data centers,” Computer Networks,vol. 130, pp. 94–120, Jan. 2018.
[2] S. Han, N. Egi, A. Panda, S. Ratnasamy, G. Shi, and[9]S. Shenker, “Network support for resource disaggregation in
next-generation datacenters,” in Proceedings of the Twelfth
ACM Workshop on Hot Topics in Networks, pp. 1–7, Nov.
2013.
G. Zervas, H. Yuan, A. Saljoghei, Q. Chen, and V. Mishra,“Optically disaggregated data centers with minimal remotememory latency: Technologies, architectures, and resource
allocation [invited],” Journal of Optical Communicationsand Networking, vol. 10, no. 2, pp. A270–A285, 2018.
P. X. Gao, A. Narayan, S. Karandikar, J. Carreira, S. Han,
R. Agarwal, S. Ratnasamy, and S. Shenker, “Network requirements for resource disaggregation,” in Proceedings of
12th USENIX Symposium on Operating Systems Designand Implementation (OSDI 16), (Savannah, GA), pp. 249–264, USENIX Association, Nov. 2016.
A. Ikoma, Y. Ohsita, and M. Murata, “Disaggregated micro data center: Resource allocation considering impactof network on performance,” in Proceedings of 2023 IEEE
20th Consumer Communications & Networking Conference(CCNC), pp. 360–365, 2023.
V. Mishra, J. L. Benjamin, and G. Zervas, “Monet: Heterogeneous memory over optical network for large-scale data
centre resource disaggregation,” Research Article Journalof Optical Communications and Networking, vol. 1, 2021.
J. H. Ahn, N. Binkert, A. Davis, M. McLaren, and R. S.
Schreiber, “Hyperx: topology, routing, and packaging of efﬁcient large-scale networks,” in Proceedings of the Conference on High Performance Computing Networking, Storageand Analysis, pp. 1–11, 2009.
K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of 2016 IEEE
Conference on Computer Vision and Pattern Recognition(CVPR), pp. 770–778, 2016.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You
only look once: Uniﬁed, real-time object detection,” in Proceedings of 2016 IEEE Conference on Computer Vision andPattern Recognition (CVPR), pp. 779–788, 2016.

—6—