Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

機械学習による通信データ生成へのアプローチ
長岡技術科学大学
大学院工学研究科
准教授 渡部 康平

1Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

自己紹介
2011年 首都大学東京 大学院システムデザイン研究科
3月 博士前期課程 修了．修士 (工学) 取得．
2012年 日本学術振興会 特別研究員 (DC2) に採用.
4月 (2014年3月まで)
渡部 康平
博士 (情報科学)

2014年 大阪大学 大学院情報科学研究科 博士後期課程
3月 修了．博士 (情報科学) 取得．

[所属]
長岡技術科学大学
大学院工学研究科

長岡技術科学大学 大学院工学研究科 電気電子
2014年
情報工学専攻 助教に着任．(2019年10月ま4月で)

[職位]
准教授

2019年 長岡技術科学大学 大学院工学研究科 電気電子
11月 情報工学専攻 准教授に着任．現在に至る．

[研究分野]
QoS計測，トラヒック・モビリティのモデリング etc.
2Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

本日の内容
u通信データにおけるデータ生成
u活用する機械学習の技術
uネットワークトポロジ生成技術
uネットワークトラヒックの生成技術
u通信デバイスの移動軌跡の生成技術
u本日のまとめと今後について

3

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

通信データにおけるデータ生成

4

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワークにおける実データ問題
uネットワークに関する製品テストやシミュレーションは重要．

u説得力のあるテストやシミュレーションには実データが必要不可欠．
uトポロジ，トラヒック，フロー，デバイスの移動軌跡，etc.

uしかし，多くの実データは非公開．
u通信データはプライバシーの塊．
u一部の企業や組織内で収集され，独占的に利用される．
u公開されているのは一部のデータのみ．

uGAFAによるデータ独占問題のネットワーク版．
u独占により，多くの研究者が制約を受けている．
必要な特性を備え，丁度いい規模で，必要な組み合わせが揃った実データが入手できることはほとんどない．
5

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

統計的モデルで生成することの問題点
u実データを利用できない場合，統計的モデルでデータを生成する．
u統計的モデルは，着目する特性を再現するが，実データが持つ特徴の一面を再現しているに過ぎない．
u一面を再現するにも専門性を要するチューニングが必要．
u実データの特性を多面的に表現できないため，実データを使った実験結果とは乖離がある．

トラヒックモデル

トポロジ生成モデル
BAMMPP
FBM・・・周期性

パケット長分布クラスタ性

connecting
nearest neighbor
Transit-Stub

平均距離

長期依存性
重畳後の分布

次数分布

自己相関平均レート
パケット長と間隔の相関
パケット間隔分布

媒介中心性
ランダム性

連結性
固有値
重みの相関・

ランダム性
バースト性
自己相似性

・・

Poisson

ラベルの相関

近接中心性
直径

次数中心性

6

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

機械学習的なアプローチ
u近年の機械学習技術の目覚ましい発展は，従来では明示的なモデル化が難しい複雑な生成問題にも，ブラックボックスモデリングの適用を可能にしている．
実在する猫の画像存在しない猫の画像
ブラックボックス
モデル

ネットワークの実データ
ブラックボックス
モデル

実データを多面的に模擬したデータ

本プロジェクトでは，実データの代替として利用可能で，かつ実験の利用目的に沿った任意の特性を持つ疑似データの生成を目指す．

7

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

プロジェクトの概要
シミュレーション・実験環境
モバイルネットワーク

有線ネットワーク
電波伝搬特性を再現
トラヒックの時系列や経路を再現！

トポロジ構成を再現

遅延やロスを再現メッセージの生成をエミュレート

実験目的に沿う実データがあるとは限らない

生成モデル群
トラヒック・フロー
生成モデル

端末の移動をエミュレート

トポロジ
生成モデル

品質・故障 モビリティ
モデル
生成モデル

メッセージ
生成モデル

量的・質的に限られた実データ
8

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

実データを模擬したデータの有用性
u実データを模擬したデータは，結果の信頼性を保ちつつ，柔軟なテスト・シミュレーションを実現する．
u実データの多くの特性を維持．
u量的制約がない．
uパラメータチューニング可能
ネットワーク規模

実際に入手可能な実データ

ケース1: 似たようなデータがたくさん欲しい

ケース2: 小規模なデータしか手に入らないが規模の大きなデータがほしい
ケース3: 特定のパラメータを変化させながら実験したい
次数分布のべき指数9Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

目標到達までのステップ
1. 統計的に同じ性質のデータを作る．
uデータとしては異なるが，平均的特性は類似するものを生成．

2. 特定の性質を持つデータを狙って作る．
u与えられた複数のデータのうち，狙った性質を持つもののみを生成．

3. 中間的特性のデータを作る．
u与えられたデータの中間的特性のデータを生成．
u元のデータの性質を保ちつつ，任意の特性のみ変えたデータを生成．

特性2

4. 任意の特性のデータを作る．
1

4
32

実際に入手可能な実データ

特性110

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワーク関連データ生成での課題
画像を中心に発展してきたニューラルネットワークを始めとする機械学習的なアプローチをネットワークに適用するには，いくつかの問題が予見される．
u分布(の裾)に対する要求条件がシビア．
uトラヒックデータでは，パケット長や間隔の分布が重要．
uトポロジデータでは，次数分布の裾の挙動が重要．
u統計的なモデルの考え方で，機械学習に制約を掛ける？

u生成結果の良し悪しの判別方法が難しい．
u実データと似ていることをどう証明するか．
u検定などを使って多面的に特性を再現していることを示す？
u既存の判別手法を騙せるレベルを目指す？
11

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

活用する
機械学習の技術12

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

活用する機械学習の技術〜LSTM
u時系列をニューラルネットワークで処理するための枠組み．
uxt にデータを再帰的に入力していくことで，時系列データを処理可能．
u長さ n のデータを入力して hn を得れば，埋め込み (データの特徴を表現する低次元ベクトル) を取得可能．
uht から xt+1 を推定するようにすれば，時系列の生成に利用可能．

13

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

活用する機械学習の技術〜VAE
uVariational Autoencoder (VAE) は，入力データを低次元にベクトルとして表現して，乱数からデータを生成するための枠組み．
uニューラルネットワークにより，データの特徴を表現する低次元ベクトルの分布を推定．
u低次元ベクトルの分布として正規分布を仮定．
u乱数から生成するため，学習データに含まれないデータを生成可能．
乱数
入力データ

Encoder

Decoder

データの 徴を
低 元 ク

出力データ

した

この部分だけ使うと生成モデルになる
14

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

活用する機械学習の技術〜GAN
uGenerative Adversarial Networks (GAN) は，2つのニューラルネットワークからなる生成モデル．
uGenerator: 乱数を元にDiscriminatorを騙せるデータを生成uDiscriminator: Generatorの偽のデータと本物のデータを識別．

u2つのニューラルネットワークが互いに競いながら精度を上げる．
実在する猫の画像
学習
GAN
Discriminator

乱数

Generator

True or False
実在しない猫の画像
15

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワーク
トポロジの生成16

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワークトポロジの生成
uネットワークトポロジのデータは様々なテスト，シミュレーションで活用されている．
u通信プロトコルの検証，通信品質の評価，噂や感染症の伝搬，etc.

uネットワークトポロジの実データに関しては，様々な特性が研究されてきた．
uスケールフリー性: 次数分布のべき指数で定量化
uクラスタ性: クラスタ係数で定量化
u他にも，ネットワークトポロジ (グラフ) に関する特徴量は多数．

ネットワークトポロジのデータを学習して，任意の特性のトポロジデータを出力するモデルを目指す．

17

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

既存の研究
uネットワークトポロジの生成に関しては，統計的生成モデルを中心に古くから研究されてきた．
u近年では，機械学習的なアプローチを使い，データを元に生成する研究も登場してきている．
%$PRGHOPRO*$1
PRO*$1

ステップ1 (同じ性質のデータを作る) までは既存研究あり

0RO*$1
1HW*$1¬¬*UDSK*HQ*UDSK*HQ18

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

問題の定式化
u任意のグラフをグラフの特性を表現するベクトルする写像を考える．
uに変換の各成分はグラフ特性: 次数分布のべき指数，クラスタ係数など．

uの一部の成分(特性)を別の値に変更し， の逆写像で変換すると，他の特性を維持しつつ任意の特性を持つグラフになる．
u本研究で解く問題は，一部のからを推定する問題．
2EVHUYHG
RU8QREVHUYHG*UDSK6HW*UDSK&RPSOHWH6HW

HOHPHQWUHSODFH

5HSUHVHQWDWLYH
9HFWRU RI
19

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

提案モデル
u条件付きVAEを使って実装．
uVAEでエンコードしたグラフの特徴を表すベクトルに，変更したい特性を結合することで，出力するグラフを制御．
HJシーケンス化FRQGLWLRQDOYHFWRU$%(QFRGHU'HFRGHU

LSTM

LSTM&20

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

学習の条件
uLSTMの各種パラメータは以下の通り．
u隠れ層の次元: 256
u埋め込み層の次元: 128u正規分布に変換を行う線形層の次元: 20uミニバッチ数: 60uエポック数: 400

uConnecting Nearest Neighbor (NN) モデルで生成した25ノードのグラフから，特定の特性を持つデータのみ抽出して学習．
u次数分布のべき指数とクラスタ係数を条件ベクトルとして指定．
ID-0.5̲0.6-0.8̲0.4-1.1̲0.2次数分布のべきクラスタ係数

データ数-0.80.4400-0.5-1.10.60.2

400
40021

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

学習データの再現
u条件ベクトルを変更した場合の生成結果の次数分布のべき指数．
uばらつきはあるものの，ある程度指定した値の周辺を生成している．

22Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

学習データの再現
u条件ベクトルを変更した場合の生成結果のクラスタ係数．
uやや下にずれているが，同様の結果．

23

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

中間的特性のデータの生成
uデータセット中に含まれない中間的な値を条件ベクトルとして与えた場合の次数分布のべき指数．
u中間的な値を生成しており，条件ベクトルで特性の調整できている．

24

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

中間的特性のデータの生成
uデータセット中に含まれない中間的な値を条件ベクトルとして与えた場合のクラスタ係数．
u次数分布同様，条件ベクトルにより特性が調整できている．

25

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワークトポロジ生成のまとめ
ネットワークトポロジのデータを学習して，指定した値に近い特性を持つトポロジデータを生成するモデルを開発．
u次数分布のべき指数，クラスタ係数について指定した値のデータのみを生成可能．
u学習に含まれていない中間的な特性を持つデータを生成可能．
u未検証な項目．
u中間的ではなく，実データの境界領域を生成したときの挙動．
u条件ベクトルとして与えていない特性の挙動が維持されているか．
u次数分布のべき指数とクラスタ係数以外の任意の特性に適用可能か．

26

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワークトラヒックの生成

27

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ネットワークトラヒックの生成
uネットワークのトラヒックデータは，通信システム実験で重要．
u負荷テスト，品質評価，異常検知，etc.

uトラヒックデータを生成することで，様々な実験が可能になる．
u生成したいトラヒックデータには，様々な粒度が考えられる．
フローレベル

バイトレベル0DLO6HUYHU )LOH6HUYHU

パケットレベル
Google Map

0DLOVHUYHU)LOHVHUYHU&OLHQW

&OLHQW

&OLHQW

&OLHQW

&OLHQWVYouTube28

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

バイトレベルのトラヒック生成
uLSTMでバイトレベルのトラヒックデータを学習
u再帰的に未来の出力を生成することでデータ生成．

Traffic volume𝑥

𝐴

ℎ$

𝑥#

𝑥$

𝐶#

𝐶!%#

𝐴

ℎ# ⋯ ℎ!%#𝐶!

ℎ! ⋯ ℎ &%#

𝑥!

𝑥"
𝑥!

𝑇𝑡 ⋯1 ⋯eTim

𝐶&%#

𝑡𝑦! が𝑥!"#となるように学習𝐴𝑥&𝑦Traffic volume

𝐴

𝐶$𝑦&𝑦!

𝑦#𝑦$

𝑇𝑡𝑡 ⋯

1 ⋯emiT29

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

LSTMによるバイトレベルの生成
uWIDEプロジェクト[1]のトラヒックデータを学習して生成．

学習データの一部

生成データの一部[1] Kenjiro Cho, Koushirou Mitsuya, and Akira Kato. Traffic data repository at the wide project,
USENIX Association, pp. 51, 2000.

30

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

各時刻ごとのバイト数の分布
u学習データと生成データで各時刻ごとのバイト数の分布を，サンプル数80としてKS検定で検証．
u棄却されないので，それなりに近い分布になっている．

31

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

バイトレベル生成データの周波数特性
u周波数特性を見ると比較的似た挙動が出ている．

32

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

フローレベルの生成
uフローレベルについては，複数のデータセット間のデータの翻訳にトライしている．
u言語間の翻訳に類似した手法で，フローを埋め込んだベクトルを変換．

Da a
1

Da a
2

IP2V

=33

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

通信デバイスの移動軌跡の生成

34

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

デバイスの移動軌跡の生成
u通信デバイスの移動は，モバイル通信のシミュレーションで重要．
u従来は統計的アプローチが利用されてきた．
uデータドリブンなシミュレーションもあるが，地理的条件などが限定されてしまうため，一般的には使えない．
ランダムに場所を選択

モバイルノード
Random Waypoint mobility model
35

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

デバイスの移動軌跡データの地理条件の変換
u実データを元に生成しつつも，地理的条件が自由に設定可能な生成モデルの構築を目指す．
入手可能な実データ

別の道路ならどうなるか

36

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

デバイスの移動軌跡をLSTMで学習
uLSTMに環境情報(=地図情報)を入力して，再帰的に生成．

次のx座標
次のy座標

vector v
1
NeuralNet

v2

v3v4

NeuralNet

NeuralNet

NeuralNet

u2

u3

u4

Cell states

現在地x座標現在地y座標vector u1…

環境情報
目的地x座標
目的地y座標37

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

デバイス移動軌跡とポテンシャル場
u道路を表すポテンシャル場を形成し，勾配を環境情報として入力．
uパスプランニングの古典的な手法であるポテンシャル場を使う方法と機械学習的なアプローチを組み合わせ．
勾配ベクトルを入力

現在地x座標現在地y座標ポテンシャル場…

環境情報
目的地x座標
目的地y座標道路の端

道路の中央道路の端
38

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

本日のまとめと今後について

39

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

まとめと今後u我々の研究グループでは，通信データの生成をキーワードに，データ生成問題にチャレンジしています．
uネットワークトポロジ: 少しの成果
u通信トラヒック: 道半ば
uデバイスの移動軌跡: 道半ば

u他にも，様々なデータ生成に取り組む予定．
u通信品質，電波特性，メッセージ生成，etc.

u機械学習と統計的モデルの融合的なアプローチの検討．

再現するデータのアイデアがある方，実際にデータをお持ちの方，機械学習に詳しい方，面白そうと思った方，我々と一緒に共同研究しませんか？

ご連絡をお待ちしております．
40

Nagaoka
NagaokaUniv.
Univ.ofofTech.
Tech.- -ComNets
ComNetsLab.
Lab.

ご清聴ありがとうございました．

41