Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

LSTMを用いた任意パラメータ指定可能なネットワークトラヒック生成
栗山 海渡
長岡技術科学大学

渡部 康平
大学院工学研究科

1

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ2

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ3

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

背景・目的
u近年，ユーザの利用する端末が多様化し，トラヒックが増加
uそのため，ネットワークの評価が重要になってきている◆ex) 負荷テスト，シミュレーション etc…
uネットワークの評価には，大量のトラヒックデータが必要となる◆これを用意するのは，コストやプライバシーの観点から難しい

4

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

背景・目的
u一般的にトラヒックジェネレータを用いて試験用トラヒックを生成
u既存のトラヒックジェネレータにおける問題◆リアルなトラヒックを作るのが困難◆任意の特性を持ったトラヒックが生成できない

u目的
トラヒックの特性を多面的に再現し，任意パラメータ指定可能な新たなトラヒックジェネレータを提案5

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ6Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

一般的な生成モデル
u確率分布を推定する生成モデルは，以下の2つに分類される◆統計学的手法に基づくモデル◆Markov Modulated Poisson Process (MMPP)◆Auto Regressive Integrated Moving Average (ARIMA)◆Covariation Orthogonal (CO) 線形予測
◆機械学習に基づくモデル◆Convolutional Neural Network (CNN)◆Long Short Term Memory (LSTM) [2]◆Generative Adversarial Networks (GAN) [1]

u通信トラヒックを対象とした生成モデルは限定的であり，十分に研究がなされていない
7

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

LSTM
u長期的な依存関係を学習できるため，時系列データに対してよく用いられる
uLSTMの構成◆セル (𝒉) : セル状態に情報を追加または削除していく◆ゲート: シグモイド層 (𝝈) によって，0〜1の数値を出力することで前の情報 (𝒉) を引き継ぐOutput layer

Middle layer(LSTM block)
Input layer
8

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

GAN
u本物のデータに類似したデータを生成する教師なし学習モデル
uGANの構成◆識別器(Discriminator)◆学習データなら1，生成データなら0となるように学習◆生成器(Generator)◆Discriminatorを騙せるほど類似したデータを生成◆Discriminatorの出力を1に近づけるように学習

𝐷
𝐺

RealorFake

9

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ10Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

提案モデルの構造uLSTMとGANを組み合わせたトラヒック生成モデル◆特徴量 (condition)を入力に付与することで，特徴量を反映したトラヒックが生成できる11

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

提案モデルの構造: 前処理
𝐧𝐨𝐢𝐬𝐞uトレンド成分#𝒙𝐭𝐫𝐞𝐧𝐝とノイズ成分#𝒙に分割する
𝒕𝒕◆トレンド成分#𝒙𝐭𝐫𝐞𝐧𝐝: Exponential Moving Average (EMA)𝒕◆ノイズ成分#𝒙𝐧𝐨𝐢𝐬𝐞: 測定したトラヒック − EMA
𝒕!𝐭𝐫𝐞𝐧𝐝
トレンド成分𝒙𝒕

測定したトラヒック𝑿𝒊+!𝐧𝐨𝐢𝐬𝐞
ノイズ成分𝒙𝒕

12

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

提案モデルの構造: LSTM
𝑻

#𝐭𝐫𝐞𝐧𝐝#𝐧𝐨𝐢𝐬𝐞uLSTMに分割されたトラヒック 𝒙,𝒙を入力する
𝒕𝒕◆特徴量 (condition)を付与することで，特徴量を学習する

13

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

提案モデルの構造: GAN
uGANでLSTMが学習した時系列的な特性を学習する◆特徴量 (condition)を付与することで，特徴量を反映したトラヒックが生成できる

14

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ15

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

特徴量
u特徴量とは◆トラヒックが持つ固有の値のこと◆特徴量は各トラヒック毎に異なる値を持つ
𝜇,! , 𝜎,! , 𝜌,! : conditionu今回，学習に用いる特徴量は以下の通り
Traffic volume◆平均: 𝜇++◆標準偏差: 𝜎++◆トレンド (線形近似の傾き): 𝜌++𝑻

u特徴量の値を特徴量ベクトル 𝜇++ , 𝜎++ , 𝜌++ に調整した生成を目指す
16

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

学習データの作成
uデータセット [5]◆ある1日の30秒毎に何バイト通信されたかを表したデータ

u学習データ◆前処理として，標準化を行う (平均値：0，標準偏差：1)◆𝒕を50ずつずらして学習データを作成 (𝑡 = 𝟎~𝟓𝟎, 𝟓𝟏~𝟏𝟎𝟎, ⋯)◆ランダムに訓練データとテストデータを分割
訓練データ

テストデータ

(80個)

(20個)

𝑡

データセット(24, 24時間)

学習データ(100個)

17Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

パラメータ設定
uLSTMのハイパーパラメータ◆層数: 4◆隠れ層の次元: 256◆最適化関数: SGD◆学習回数: 50000◆学習率: 0.01

uGANのハイパーパラメータ◆正規乱数ベクトルの次元: 100◆最適化関数: Adam
◆バッチサイズ: 2◆学習回数: 5000
◆学習率: 0.01

18

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

評価指標
uKolmogorov-Smirnov (KS)検定◆グラフ分布における空間的な特性の類似度を評価

uフーリエ変換，自己相関◆時系列的な特性の類似度を評価

u平均，標準偏差: 𝜇++ , 𝜎++◆平均，標準偏差の分布の類似度を評価

uトレンド: 𝜌++◆時系列の長期的傾向の類似度を評価

訓練データの特性を統計的に反映しつつ，訓練データには存在しない，新たなトラヒックを生成したいØ訓練データとテストデータの特性 (統計量) と同程度の類似度を持つデータが望ましい
19

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

特徴量を指定しない生成結果: 評価指標
u特徴量を指定しない生成結果の評価

uLSTM及び提案モデルがほぼ全ての評価指標において同程度の精度
Ø多面的な観点から見て，再現精度が優れているといえる
20

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

Standard deviation

Average

特徴量を指定しない生成結果: 分布

Trend

Real data
CO modelLSTM model
LSTM+GAN model(proposed)

Average Standard deviation

Trend

uLSTM及び提案モデルがReal dataの分布とほぼ一致している
Ø多面的な観点から見て，再現精度が優れているといえる

21

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

特徴量を指定した生成結果: 評価指標
u特徴量を指定した生成結果の評価

u特徴量 (condition)を指定することで生成結果が変化しているØ任意の特徴量を調整したトラヒックが生成できたといえる
22

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

Standard deviation

Average

特徴量を指定した生成結果: 分布 (平均を指定)

Trend

Real data
Average_−1.5
Average_ 0
Average_ 1.5

Average Standard deviation

Trend

u特徴量を指定することによって，分布が変化していることがわかる
Ø任意の特徴量を調整したトラヒックが生成できた23

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

Standard deviation

Average

特徴量を指定した生成結果: 分布 (トレンドを指定)

Trend

Real data
Trend_−0.02
Trend_ 0
Trend_ 0.02Average Standard deviation

Trend

u特徴量を指定することによって，分布が変化していることがわかる
Ø任意の特徴量を調整したトラヒックが生成できた24

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目次

u背景・目的
u関連研究
u提案モデルu実験uまとめ25

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

まとめ・今後の予定
uまとめ◆LSTMとGANを組み合わせたトラヒック生成モデルの提案◆実際のトラヒックトレースを使用して比較評価を実施

Øトラヒック特性を多面的に再現したトラヒックが生成できたØ任意の特徴量を調整したトラヒックが生成できたØしかし，指定した特徴量と値が離れていた

u今後の予定◆GANによるデータセットの拡張◆他の特徴量の検討

26

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

参考文献
u[1] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio, “GenerativeAdversarial Nets,” Proceedings of the 27th International
Conference on Neural Information Processing Systems (NIPS2014), 2014.
u[2] S. Hochreiter and J. Schmidhuber, “Long Short-TermMemory,” Neural Computation, vol.9, no.8, pp.1735–1780, 1997.
u[5]C. Zhang, X. Ouyang, and P. Patras, “Traffic Data Repository
at the WIDE Project,” Proceedings of 2000 USENIX Annual
Technical Conference (USENIX ATC 2000) FREENIX Track, 2000.

27