第 4部
ネット ワークト ラフィック統計情報の収集
と解析

139

第

1章

はじめに
WIDE MAWI WG は，広域分散環境におけるトラフィックデータの「収集」，「 解析」，「保存」「， 利用」等のために必要とされる技術に関する研究を行うことを目的に活動を行っている．
本年度は，トラフィックデータの収集に関しては，前年度から開始した MRTG(Multi
Router Trac Grapher) での収集と WWW での表示，既存の NNStat での収集，および解析を行った．更に，今後のバックボーントラフィック解析のサンプルとして tcpdump を利用した国際線のトラフィックを一定時間収集した．また，エンド -エンド 間の遅延を統計物
理的解析を行った．
以下の章ではそれぞれ以下の報告を行う．

1. WIDE バックボーンのトラフィック収集および解析
2. エンド -エンド 間における遅延の統計物理的解析

141

2章
WIDE バックボーンでのト ラフィック
第

2.1

はじめに

MAWI WG ではその前身である NetStat WG 時代から WIDE バックボーンでのトラ
フィック収集および解析を行っている．従来 WIDE バックボーンではルータとして Sun
Microsystems 社製のワークステーションを主に使用し，各 NOC 内ネットワークはハブやコンセントレータで構成されていた．このような環境で当 WG ではネットワークトラフィッ
クの収集ツールとして，主に NNStat や tcpdump を使用していた．後にルータが Cisco 社などの専用ルータになっても，NNStat の設定で，ルータのイーサネットインタフェースの
MAC アドレスを指定することにより収集できた．近年回線の高速化とトラフィックの増大により，NOC 内のネットワークはインテリジェントなスイッチングハブが導入されたため，
NNStat や tcpdump では従来通りの収集ができなくなっている．前年度からはこのような従来型の収集が行えない環境では，SNMP を使用したトラフィック収集に切り替え，従来と同程度のトラフィック情報を得るための試みがなされている．また，NNStat，tcpdumpの利用をを全面的に停止するのではなく，利用が可能な環境では継続して利用し収集を行っ
ている．

2.2

ト ポロジとト ラフィック収集環境

現在の WIDE バックボーンのトポロジを図 2.1に示す．このようなネットワークトポロ
ジにおいて，MAWI WG では，SNMP を利用したトラフィック収集および表示ソフトウェアとして MRTG(Multi Router Trac Grapher)，BPF を利用したトラフィック収集ソフト
ウェアとして NNStat を使用している．

2.3

各線ト ラフィック

MRTG では，SNMP の任意の MIB オブジェクトを指定して統計情報を収集することが可能である．ここでは，該ネットワークの総パケット量を示す ifInOctets と ifOutOctets
をルータの SMNP エージェントに対してリクエストを送信し，統計情報を受信する．

142

第 4部

143

ネット ワークト ラフィック統計情報の収集と解析

小松
仙台

大手町
札幌

広島
京都

岐阜

藤沢

東京
八王子

福岡
浜松

大阪

サンフラン
シスコ

奈良
MRTG
NNStat
図 2.1: トポロジとトラフィック収集環境

2.3.1

藤沢-サンフランシスコ

1. MRTG
MRTG によって収集されたトラフィック情報を図 2.2に示す．藤沢側のルータで収集しているので，実線がサンフランシスコ向きのトラフィック，塗りつぶしが藤沢向きのトラフィックである．
また，それぞれのトラフィックの最大値および平均値は以下の通りである．
サンフランシスコ→藤沢
最大 (使用率)
平均 (使用率)

藤沢→サンフランシスコ
最大 (使用率)
平均 (使用率)

1490.8 kb/s (97.1%) 722.5 kb/s (47.0%) 1502.1 kb/s (97.8%) 837.7 kb/s (54.5%)

1997 年度 WIDE 報告書

144

図 2.2: 藤沢-サンフランシスコ

2. NNStat
NNStat より収集されたトラフィック統計情報から，IP のプロトコル番号別に集計を行った．
海外から藤沢へのトラフィックの集計を図 2.3，図 2.4に，藤沢から海外へのトラフィッ
クの集計を図 2.5，図 2.6に示す．

¸öØìöº¼¶³­÷Ô´ÆËN¬®£°²­­­­­­°­­­­­­­¯²­­­­­­¯­­­­­­­¿ÐÔ´ÆËN¬®£

ÌÐÍÃ
ÒÁÍ
ÑÀÍ
ÆÍ ñòëëâé
ÆÄÊÍ
ÆÀÊÍ

®²­­­­­­®­­­­­­­²­­­­­­

­

±

²

³

´

s

µ

¶

図 2.3: 海外→藤沢 (パケット数/日)

®­

第 4部

145

ネット ワークト ラフィック統計情報の収集と解析¸öØìöº¼¶³­÷Ó§ËN¬£®±­­­­­­­­­®¯­­­­­­­­­®­­­­­­­­­­µ­­­­­­­­­¿ÐÓ§ËN¬£

ÌÐÍÃ
ÒÁÍ
ÑÀÍ
ÆÍ ñòëëâé
ÆÄÊÍ
ÆÀÊÍ

³­­­­­­­­­±­­­­­­­­­¯­­­­­­­­­

­

±

²

³

´

µ

s

¶

®­

図 2.4: 海外→藤沢 (バイト数/日)­÷³¸öØìöº¼¶Ô´ÆËN¬®£²­­­­­­­±²­­­­­­±­­­­­­­°²­­­­­­°­­­­­­­¿ÐÔ´ÆËN¬®£

ÌÐÍÃ
ÒÁÍ
ÑÀÍ
ÆÍ ñòëëâé
ÆÄÊÍ
ÆÀÊÍ

¯²­­­­­­¯­­­­­­­®²­­­­­­®­­­­­­­²­­­­­­

­

±

²

³

´

s

µ

¶

図 2.5: 藤沢→海外 (パケット数/日)®­1997 年度 WIDE 報告書146­÷³¸öØìöº¼¶Ó§ËN¬®£µ­­­­­­­­­´­­­­­­­­­³­­­­­­­­­²­­­­­­­­­¿ÐÓ§ËN¬®£

ÌÐÍÃ
ÒÁÍ
ÑÀÍ
ÆÍ ñòëëâé
ÆÄÊÍ
ÆÀÊÍ

±­­­­­­­­­°­­­­­­­­­¯­­­­­­­­­®­­­­­­­­­

­

±

²

³

´

s

µ

¶

®­

図 2.6: 藤沢→海外 (バイト数/日)

2.3.2

東京-藤沢

MRTG によって収集されたトラフィック情報を図 2.7に示す．東京側のルータで収集しているので，実線が藤沢向きのトラフィック，塗りつぶしが東京向きのトラフィックである．

図 2.7: 東京-藤沢

また，それぞれのトラフィックの最大値および平均値は以下の通りである．
藤沢→東京
東京→藤沢
最大 (使用率)
平均 (使用率)
最大 (使用率)
平均 (使用率)

634.4 kb/s (41.1%) 228.6 kb/s (14.8%) 1228.5 kb/s (79.6%) 482.2 kb/s (31.2%)

第 4部

2.3.3

ネット ワークト ラフィック統計情報の収集と解析

147

東京-八王子MRTG によって収集されたトラフィック情報を図 2.8に示す．八王子側のルータで収集しているので，実線が東京向きのトラフィック，塗りつぶしが八王子向きのトラフィックである．

図 2.8: 東京-八王子

また，それぞれのトラフィックの最大値および平均値は以下の通りである．
東京→八王子八王子→東京最大 (使用率)
平均 (使用率)
最大 (使用率)
平均 (使用率)

621.5 kb/s (40.3%) 242.5 kb/s (15.7%) 383.0 kb/s (24.8%) 61.8 kb/s (4.0%)

2.3.4

大手町-東京MRTG によって収集されたトラフィック情報を図 2.9に示す．大手町側のルータで収集しているので，実線が東京向きのトラフィック，塗りつぶしが大手町向きのトラフィックである．

図 2.9: 大手町-東京

また，それぞれのトラフィックの最大値および平均値は以下の通りである．

1997 年度 WIDE 報告書

148

東京→大手町最大 (使用率)
平均 (使用率)

大手町→東京最大 (使用率)
平均 (使用率)3315.7 kb/s (3.3%) 1432.8 kb/s (1.4%) 9964.1 kb/s (9.8%) 4929.4 kb/s (4.9%)
2.3.5

大手町-小松MRTG によって収集されたトラフィック情報を図 2.10 に示す．大手町側のルータで収集しているので，実線が小松向きのトラフィック，塗りつぶしが大手町向きのトラフィックである．途中，トラフィック情報の収集されていない部分は，ルータの設定変更の後，MRTGの設定を更新していなかったためである．

図 2.10: 大手町-小松

また，それぞれのトラフィックの最大値および平均値は以下の通りである．
小松→大手町
大手町→小松最大 (使用率)
平均 (使用率)
最大 (使用率)
平均 (使用率)

2468.9 kb/s (40.2%) 909.8 kb/s (14.8%) 3337.0 kb/s (54.3%) 1259.2 kb/s (20.5%)

2.3.6

藤沢-浜松

MRTG によって収集されたトラフィック情報を図 2.11 に示す．浜松側のルータで収集しているので，実線が藤沢向きのトラフィック，塗りつぶしが浜松向きのトラフィックである．
また，それぞれのトラフィックの最大値および平均値は以下の通りである．
藤沢→浜松
浜松→藤沢
最大 (使用率)
平均 (使用率)
最大 (使用率)
平均 (使用率)58.2 kb/s (90.9%) 33.5 kb/s (52.4%) 56.0 kb/s (87.4%) 13.8 kb/s (21.6%)

2.3.7

京都-岐阜

MRTG によって収集されたトラフィック情報を図 2.12 に示す．京都側のルータで収集しているので，実線が岐阜向きのトラフィック，塗りつぶしが京都向きのトラフィックである．
また，それぞれのトラフィックの最大値および平均値は以下の通りである．

第 4部

ネット ワークト ラフィック統計情報の収集と解析

149

図 2.11: 藤沢-浜松

図 2.12: 京都-岐阜

岐阜→京都
最大 (使用率)
平均 (使用率)京都→岐阜
最大 (使用率)
平均 (使用率)

1575.6 kb/s (51.3%) 526.0 kb/s (17.1%) 598.8 kb/s (19.5%) 228.5 kb/s (7.4%)
2.3.8

京都-奈良

MRTG によって収集されたトラフィック情報を図 2.13 に示す．京都側のルータで収集しているので，実線が奈良向きのトラフィック，塗りつぶしが京都向きのトラフィックである．

図 2.13: 京都-奈良

1997 年度 WIDE 報告書

150

また，それぞれのトラフィックの最大値および平均値は以下の通りである．
奈良→京都
京都→奈良
最大 (使用率)
平均 (使用率)
最大 (使用率)
平均 (使用率)

1255.4 kb/s (81.7%) 562.9 kb/s (36.6%) 1440.7 kb/s (93.8%) 610.8 kb/s (39.8%)

2.3.9

京都-広島

MRTG によって収集されたトラフィック情報を図 2.10 に示す．大手町側のルータで収集しているので，実線が小松向きのトラフィック，塗りつぶしが大手町向きのトラフィックである．途中，トラフィック情報の収集されていない部分は，ルータの設定変更の後，MRTGの設定を更新していなかったためである．

図 2.14: 京都-広島

また，それぞれのトラフィックの最大値および平均値は以下の通りである．
広島→京都
京都→広島
最大 (使用率)

平均 (使用率)

最大 (使用率)

平均 (使用率)422.2 kb/s (27.5%) 61.8 kb/s (4.0%) 1252.2 kb/s (81.5%) 255.5 kb/s (16.6%)

2.4

国際線におけるサンプル調査

現在国際線 (藤沢-サンフランシスコ) のトラフィックは NNStat で収集されているが，
NNStat での収集パラメタは 2，3 年変更されておらず，トラフィック自体の内容の変化に対応できていない部分があると思われる．そこで，国際線のトラフィックを一定時間収集を行い，近年のトラフィック動向，特に TCP および UDP についてサンプル調査する．また，得られた結果を NNStat のパラメタ設定の基礎データとする．国際線でのトラフィックデー
タ収集は，1997 年 11 月 4 日の 14:08 から 16:00 まで，tcpdump を使用して行い，TCP と
UDP のパケットについてポート毎の集計を行った．海外→ SFC は、SFC 宛のパケットのみを，SFC →海外は、WIDE からのパケットを抽出している．

第 4部

2.4.1

ネット ワークト ラフィック統計情報の収集と解析

151

海外 → SFC

バイト 数の多い順収集されたトラフィックで，海外から SFC 側に流入するトラフィックをバイト数の多い順に集計したものを表 2.1に示す．バイト数の多い順トラフィックは，ここ数年の傾向と同
じく HTTP の応答データが 6 割を占めている．HTTP に続いて多いのは，FTP のデータ
で 5%程度．以下は 2%以下である．TCP の 3128 番は Squid で使用されている．

送信ポート

表 2.1: バイト数の多い順
宛先ポート バイト数
割合 パケット数

割合

tcp80
tcp20
tcp3128*
udp1976*
udp53*
tcp55925
udp1647

*
*
*
tcp80
*
udp53
*
tcp25
*
*

37.38
2.50
2.36
14.39
2.66
6.51
5.90
1.92
0.62
1.20

682744860
57414547
29516737
27965752
27797620
23638855
22534199
19340915
16761325
15817942

59.76
5.03
2.58
2.45
2.43
2.07
1.97
1.69
1.47
1.38

92374061793
58415
35565065794
160914
145845
47435
15349
29554

パケット 数の多い順収集されたトラフィックで，海外から SFC 側に流入するトラフィックをパケット数の多い順に集計したものを表 2.2に示す．パケット数に関しても HTTP の応答データが 4 割弱を占めている．ついで，HTTP の要求パケットが多く 14%を占め，DNS 関連のパケットが続いている．以下，2%台となる．

2.4.2

SFC → 海外

バイト 数の多い順収集されたトラフィックで，SFC から海外に流出するトラフィックをバイト数の多い順に集計したものを表 2.3に示す．バイト数の多い順トラフィックは，HTTP が多く，海外からの日本の HTTP サーバへの要求に対する応答のデータ (47%) と，日本から海外の HTTP
サーバへの要求 (25%) である．DNS，NNTP，SMTP に続いている．

1997 年度 WIDE 報告書

152

送信ポート

表 2.2: パケット数の多い順
宛先ポート バイト数
割合 パケット数

割合

tcp80
*
*
udp53
udp2600
udp1976
tcp20
tcp3128*
tcp119

*
tcp80
udp53
*
*
*
*
*
udp1127
*

37.38
14.39
6.51
5.90
2.83
2.66
2.50
2.36
2.25
1.97

送信ポート

表 2.3: バイト数の多い順
宛先ポート バイト数
割合 パケット数

割合

tcp80
*
udp53
*
*
*
tcp25
*
*
*

*
tcp80
*
udp53
tcp119tcp25*
tcp3128
tcp1443
tcp1252

10.68
53.23
10.74
10.24
0.94
2.63
2.24
1.25
0.17
0.11

682744860
27965752
23638855
22534199
512141327797620
57414547
29516737
34087965142795403887315
220818151
54644246
50020522
29025018
27519133
7582705
747231574513647102704

59.76
2.45
2.07
1.97
0.45
2.43
5.03
2.58
0.30
0.45

46.58
25.47
6.30
5.77
3.35
3.17
0.87
0.86
0.86
0.82

923740355650160914
145845
70016
65794
61793
58415
55731
48605

451962225248245456443346139764
111226
94722
53082
7191
4838

第 4部

ネット ワークト ラフィック統計情報の収集と解析

153

パケット 数の多い順収集されたトラフィックで，SFC から海外に流出するトラフィックをパケット数の多い順に集計したものを表 2.3に示す．パケット数の多い順トラフィックでは，HTTP が多く，
日本から海外の HTTP サーバへの要求が 5 割を超えている．以下，DNS，海外から日本のHTTP への要求に対する応答が続いている．

送信ポート

表 2.4: パケット数の多い順
宛先ポート バイト数
割合 パケット数

割合

*
udp53
tcp80
*
*
tcp25
icmp
*
*
*

tcp80
*
*
udp53
tcp25
*
icmp
tcp3128
tcp20
tcp119

53.23
10.74
10.68
10.24
2.63
2.24
1.78
1.25
1.07
0.94

220818151
54644246
403887315
50020522
27519133
7582705
57067827472315429252129025018

25.47
6.30
46.58
5.77
3.17
0.87
0.66
0.86
0.50
3.35

2252482454564451962433461111226
94722
75342
53082
45422
39764

考察
国際線トラフィックのうち TCP/UDP のポート別集計では，海外向け，SFC 向けともに
HTTP がかなりの割合を占めていることは，ここ数年の傾向となんら変わるものではないと判断できる．HTTP 以外のトラフィックでは，FTP や DNS がやや多いが，また Squid 同士のキャッシュの交換データが一部存在する．以下数%で多種類のトラフィックが存在する．
これらのデータに基づいて NNStat で収集するトラフィックに関するパラメタの設定を再検討することは必要である．

2.5

今後の課題

本章では，WIDE バックボーンでのトラフィック統計情報の収集および解析について述
べた．
現在，WIDE バックボーンの敷設状況において，SNMP をベースにした MRTG による
トラフィック収集と，tcpdump や NNStat を利用したトラフィック収集の二つの系統を各回線および NOC 内ネットワークの状況に応じて併用している．現状での体制としては，そ1541997 年度 WIDE 報告書

れぞれの特性を生かしたトラフィック収集を行い，収集されたデータを可視化などにより容易に確認できること，また容易に解析等に利用できるようにすることが，今後のバックボーンネットワーク構築に必要となる．
理想的には，全てのバックボーンにおいて均質なレベルでのトラフィック収集を行うことが重要である．本年度から一部導入されている高速な ATM のバックボーンにおいても，
SNMP によって収集されるカウンターベースのトラフィック統計情報のみならず，tcpdumpなどによって IP パケットそのものを収集し，解析する必要がある．今後は OC-3 でのタッピングや関連の要素技術 (サンプリングなど ) に関しても取り組んでいく．

3章
End-to-end 遅延の統計物理的解析
第

3.1

はじめに

コンピュータネットワークにおける高精度のトラフィック測定によって、パケットトラ
フィックは一般的に自己相似的な性質を持つことが、明らかになってきている [27, 28] 。こ
こでいう自己相似性とは [29] 、(1) パケットの到着間隔分布の分散が発散し 1 (2) 長時間にわたる時間相関を持つことに対応する。これらの性質は従来の電話のトラフィック等で用いられている、ポアソン過程に基づくモデルにはない性質である。ポアソン過程では、(1)パケットの到着間隔分布の分散が有限であり、(2) 短時間にわたる時間相関を持つもののみ
しか表現できないことがわかっている、つまり、現実のネットワークトラフィックは、従来のポアソンモデルでは正確に取扱うことが難しいことを示している。
このような自己相似的なトラフィックに関する測定・解析・モデリングに関しては、数多く研究がなされている [27, 28, 30, 31, 32, 33, 34] が 、その自己相似性の生成原因等については未だ良くわかっていない。本稿では、この問題に対して、統計的な観点から見た輻輳の振舞いに注目している。コンピュータネットワークにおけるトラフィックのマクロ的な振舞いは、輻輳という観点から考えた場合には、交通流におけるマクロな振舞いに似ていることが指摘されており、たとえば Ethernet における測定で観測される 1/f 雑音は車の流量密度でも同様に観測されている [35] 。さらに交通流の場合には、渋滞そのものから自己相似的なゆらぎが生成されることが指摘されており、その生成原因として相転移現象の存在が知られている [36]。
本稿では、自己相似性を持つネットワークトラフィックのモデルとして、交通流のモデルと同様な相転移の概念が適用可能であるかど うかを検討するために、WAN 上のいくつかの経路におけるルータの振舞いを、end-to-end 遅延を測定し統計物理的な手法により解析を行った。
測定および解析の結果、end-to-end 遅延のマクロ的な振舞いは、常に自己相似性を示す
わけではなく、むしろ交通流に見られるような相転移現象を示すことがわかった。これらの結果は、今後の輻輳制御やフロー制御の際のモデルとして有効であると考えられる。
1 分散が発散するのは無限系での話であり、実際にはサンプルが有限であることから、サンプル数を増やすほど分散の値が大きくなりうることを示している。

155

1997 年度 WIDE 報告書

156

3.2

測定

現在のインターネットの規模の大きさから考えて、すべての経路上のパケットトラフィッ
クのゆらぎを観測することは、現実には不可能である。そのため、国内のいくつかの典型的な経路について数日間 RTT のゆらぎの測定を行った。本稿では、その中でも統計的に見た場合に興味深い、いくつかの典型的なデータ (比較的空いている経路/非常に混んでいる
経路/適度に混んでいる経路) の結果を示す。より棄却率の高い、すなわち、混んでいる経路を選択することも可能であるが、パケット棄却率が大きくなると棄却分の影響が大きくなり、ゆらぎの統計的な性質を正しく測定・解析することが困難になるため、本実験ではそのような経路は採用していない。
今回の測定条件を表 3.1に示す。また、測定方法は以下のとおりである。

経路

表 3.1: 測定条件
測定時刻

パケット棄却

ホップ数

東北大学 { 福井県立大学
東北大学 { ソニー CSL
慶應大学 { 九州大学

1997 年 3 月 12 日 0:00 - 8:00
1997 年 3 月 24 日 10:00 - 18:00
1997 年 11 月 18 日 10:00 - 18:00

0.002 %
7.59 %
2.59 %

910121. 測定する経路を決定し 、その経路上に存在するルータをリストアップする。(この際に、経路が測定時間内で安定であり、また経路が対称であることを traceroute コマン
ド を用いて定期的に確認する)。
2. 経路上の各ルータに対して 0.1 秒ごとに ICMP echo request パケットを送信する。
3. その reply パケットからラウンドトリップタイム (RTT) を計算する。
これにより、各経路上のおのおののルータごとに RTT 時系列 (288,000 点) を記録する。
ここで注意すべき点は、ICMP パケットを測定に用いている点である。ある種のルータ
では、ICMP パケットはルータ内の処理の優先順位が低く設定されている可能性がある。
たとえば 、ルータが隣接ルータからのメッセージにより、ルーティングテーブルの更新を定期的に行う場合には、ICMP echo パケットによる RTT は低優先度のために非常に大きな値となりうる。しかしながら、本稿での目的は、輻輳のマクロ的な (統計的な) 性質を知ることであり、このような周期的な振舞いが生じたとしても、輻輳のマクロ的な解析には影響を及ぼさない。さらに、仮にルーティングテーブルの更新等の特別な処理が行われていない場合であっても、ICMP echo パケットの優先度は小さいため、キューでの正確な遅延を測定することには問題があるかもしれないが、個々のパケットの RTT の値に注目しているわけではなく、その集合的な振舞いに着目しているため解析には問題とならない。

第 4部

3.3

ネット ワークト ラフィック統計情報の収集と解析

157

解析

本稿では、自己相似的なトラフィックの解析によく用いられている 2 つの解析方法 (パワースペクトル解析、しきい値間隔分布解析) を用いている。

3.3.1

パワースペクト ル解析

まず、パワースペクトル解析の結果を示す前に、実際の RTT の変動がどのようになっているかを示す。図 3.1および図 3.2は、東京 { 九州 経路での 4 番目のルータおよび 11 番目のルータのデータである。この経路では激しく輻輳しているルータは存在していない。図のx 軸は ICMP echo request パケットの送信時間、y 軸は対応する RTT の値を示している。

80

Round trip time (msec)

70
60
50
40
30
20
10
0

0

10

20
30
Time (sec)4050

図 3.1: ルータ (4 番目) での RTT の変動

4 番目のルータは、パケットの送信ホストと同様に慶應大学のキャンパス内に位置しており、図 3.1からもわかるように、ほとんどの RTT の値は最小値の 5 ミリ秒に近い値となっている。しかしながら、約 10 秒おきに周期的な大きな RTT の値が観測されている。この
周期的な遅延は Floyd らが [37] で示したルーティングメッセージの同期、またそれに伴うルーティングテーブルの計算によるものであると推測される。実際、慶應大学内では基幹
ネットワークでは OSPF を採用しており、この hello interval は 10 秒に設定されている。
それゆえ、これらの周期的な振舞いはマクロなレベルでは、実際のネットワーク上の輻輳を反映するものではなく、このルータの輻輳レベルは非常に低いと言える。

11 番目のルータは送信ホストから約 1200km 離れた福岡に位置している。図 3.2を見ると、図 3.1と比較して明らかに個々の RTT の値がその前後の値と相関を持っていることが1997 年度 WIDE 報告書

158

Round trip time (msec)

600

x

x

100

200
300
Time (sec)

500
400
300
200
100
0

0

400

500

図 3.2: ルータ (11 番目) での RTT の変動わかる。図 3.2中の \x" はパケットが棄却されたことを示しており、このデータでは全体パケットのうち約 2.6%が棄却されている。RTT の最小値 (= 60.46 ミリ秒) は、経路上のおおまかな伝搬遅延を示しており、最小値からの変動は、経路上の全ルータでの遅延の総和を示していると期待できる。また、図 3.2では周期的な変動は消えており、低優先度の処理による影響は観測されていないことがみてとれる。近傍に位置するルータの場合には、RTTの振舞いは一定値からの小さなゆらぎ (分散が小さい) で特徴づけられるのに対して、遠方に位置するルータの場合には、なんらかの時間相関が RTT データに生まれていることが直観的にわかる。
以下では、これらのデータのパワースペクトル解析の結果を示す。パワースペクトル S (w )は、元の時系列を x(t) 、その自己相関関数を R(k ) とすると、
R( ) = E [x(t)x(t +  )];

S (w ) =X ( ) exp0
k

R k

jwk

で表現される。一般に、S (w) が一定値になる場合は、時系列 x(t) が無相関であることを示し (ホワイトノイズ) 、S (w ) が周波数 (f = 1=w ) の -2 乗に比例する場合には、非定常過程、周波数 f の-1 乗に比例する場合には、自己相似的な性質 (1/f ゆらぎ ) を持つことに対応する。ここでいう無相関とは、対象とするトラフィックがポアソン的であり、同様に、非定常的であるということは、ユーザーの端末の利用の仕方 (つまり人間の一日の生活リズ
ム等) の影響が反映されていることを意味する。
前述の、図 3.1, 3.2のパワースペクトルを計算した結果をそれぞれ図 3.3, 3.4に示す (両軸ともに log-log スケールであることに注意)。
近傍のルータでの結果は、高周波領域でのホワイトノイズと低周波領域での非定常性のPower Spectrum

第 4部

ネット ワークト ラフィック統計情報の収集と解析

10

11

10

10

10

9

10

8

10

7

10

6

5

10 −4
10

−3

10

−2

−1

10
10
Frequency

10

0

10

1

Power Spectrum

図 3.3: ルータ (4 番目) での RTT の変動のパワースペクトル

10

14

10

13

10

12

10

11

10

10

10

9

10

8

10

7
6

10 −4
10

−3

10

−2

−1

10
10
Frequency

10

0

10

1

図 3.4: ルータ (11 番目) での RTT の変動のパワースペクトル

159

160

1997 年度 WIDE 報告書

重ね合わせとして捉えることができる (図 3.3中の破線は、1=f 2 に比例するものである) 。
つまり RTT のゆらぎに関しては、10 秒より短いタイムスケールでは、ゆらぎは自己相似的であるというよりはむしろポアソン的であることを意味している。この場合には、たとえパケットが棄却されたとしても、それは相関がなくランダム性に由来することになると考えられる。高周波領域での、周期的なパワースペクトルのゆらぎは、前述のルータ上での優先度の問題に起因するものである。
近傍のルータのポアソン的な振舞いに対して、集約されたトラフィックの影響を受けている遠方のルータでは、そのパワースペクトルは明らかに異なったものとなっている。図3.4では、パワースペクトルはほぼ周波数の逆数 (1/f) に比例していることがわかる (図 3.4
中の破線は、1=f の傾きに対応するもの)。周波数の逆数に比例するパワースペクトルを持
つこのゆらぎは、一般に 1/f ゆらぎと呼ばれるもので、広く自然界にも見られるものである。つまり、遠方のルータに対する RTT の時系列は、統計的な自己相似性を持つことを意味している。言い換えると、RTT の変動は非常に長いタイムスケールにわたる相関を持つ
ことに対応する。つまり、個々のパケットに対するポアソン的な独立性はもはや仮定することはできない。
このルータの違いによるパワースペクトルの遷移は、多くのルータを経由してゆく過程
で、トラフィックのゆらぎが自己相似性を生成していると解釈可能である。しかしながらこ
こで、問題になるのは、ルータを経由することが本質であるかという点である。つまりプローブされるパケットが 、単なるキューイングの方式によって自己相似性を得るのか、それとも、トラフィックの流量によって得るのかが問題である。この流量の違いによる差異を比較するために、仙台 { 福井の経路と仙台 { 東京の経路における、同一ホップだけ離れた (9 番目の) ルータに対するパワースペクトルのデータを示したものが、図 3.5, 3.6である。仙台 { 福井間の経路では、パケット棄却はほぼ 0 に等しいのに対して、仙台 { 東京間では、SINET { WIDE を経由するため、かなりのパケットが棄却されている。図 3.6のデータはボトルネックルータ以遠のルータに対する結果である。 図 3.5は、空いている経路での結果であるが、この結果は、図 3.3の近傍ルータでの結果に類似したものとなっている。つまり RTT のゆらぎは自己相似的ではなく、明らかにポアソン的である。それに対して混んでいる経路に関する結果もまた、常に自己相似的な振舞いを示しているわけではない。図 3.6では、パワースペクトルは、再び 1/f の傾きからはずれてホワイトノイズ的になっていることがわかる。つまり、経路が空いている場合および非常に混んでいる場合には、自己相似性は観測されず、むしろポアソン的に近似できると言える。この結果は、パケット流量に関して Leland らが [27] で , 述べているような、常に自己相似性が成り立つという結果とは異なるものとなっている。以上の RTT のゆらぎのパワースペクトル解析の結果をまとめると、以下の条件に当てはまる場合には、自己相似性は観測されない。

 対象となるルータが近傍に位置している場合。
 明らかなボトルネックルータが存在する場合。

Power Spectrum

第 4部

ネット ワークト ラフィック統計情報の収集と解析

10

14

10

13

10

12

10

11

10

10

10

9

10

8

10

7
6

10
−4
10

−3

10

−2

10
10
Frequency

−1

10

0

10

図 3.5: 仙台 { 福井間での RTT の変動のパワースペクトル1015

Power Spectrum

1014
1013
1012
1011
1010
109
10−4

10−3

10−2

10−1

100

101

Frequency

図 3.6: 仙台 { 東京間での RTT の変動のパワースペクトル161

1997 年度 WIDE 報告書

162

 経路上のトラフィック量が非常に大きい場合、もしくは非常に少ない場合。
3.3.2

しきい値間隔分布解析

RTT 時系列の別の統計的解析手法である、しきい値間隔分布解析 (Interval Distributionof Level Sets (IDL) analysis) の結果を示す。しきい値間隔分布解析の目的は、輻輳の持続時間の分布がどのように表現されるかを知ることにある。解析の方法は以下のとおりである。図 3.7も併せて参照のこと。
Round trip time
1

x

1

0

1

L

1

1

1

0

0

0

0

0

1

1

1

0

th

Time

図 3.7: しきい値間隔分布解析

1. RTT 時系列から、二値化のためのしきい値 (xth ) を決定する。今回の解析では、RTT
時系列の平均 + 2 2 標準偏差の値とした。
2. しきい値以上の RTT の値 (xth  x(t)) を持つタイムステップ t を輻輳状態、しきい
値未満の値 (xth > x(t)) を持つタイムステップ t を非輻輳状態と定義する。同様に棄却されたパケットは輻輳状態として扱う。

3. 連続する輻輳状態のタイムステップの個数 (L) を計算する。L は輻輳の持続時間に対応する。

4. この輻輳の持続時間の累積分布を計算する。

/

このしきい値間隔分布が仮に指数分布 (P (x < L) e0 x ) で表現される場合には、ネッ
トワーク上の輻輳は、短時間相関を持ちランダム時間だけ持続することを意味する。それに対して、分布がべき分布 (P (x < L) x0 ) になる場合には、輻輳の持続分布が長時間相関を持ち、自己相似的な振舞いを示すことに対応する。

/

第 4部

ネット ワークト ラフィック統計情報の収集と解析

10

0

10

−1

10

−2

10

−3

P (≥ L)

163

10

−1

0

10

10
L (sec)1102

図 3.8: 東京 { 九州間での輻輳の持続時間分布

図 3.8は、東京 { 九州 経路上のデータである。x 軸は輻輳の長さ L を示し 、y 軸は対応
する累積確率分布である (両軸とも log-log スケールであることに注意) 。図中の 3 本のプロットは、経路上の代表的なルータを示しており、シンボル \+", \x", \*" はそれぞれ、4,
7, 11 番目のルータに対応している。また、図中の破線は、傾き-1 のべき分布のプロットである。図 3.8を見てわかるように、近傍のルータでは、輻輳の持続時間の分布は、指数関数的であり、1 秒以上の輻輳は存在していない。つまり、非常に小さな輻輳がランダム時間
持続していることを意味している。それに対して、経路上のルータを通過してゆくにしたがって、分布は指数的な振舞いからべき的なものへと遷移していることがわかる。11 番目のルータでは、ほぼ 、輻輳の持続時間分布は広範なタイムスケール (1001〜 102 秒) で、べき分布 ( x01:0 ) となっている。これは、RTT 時系列から定義した輻輳は非常に長時間にわたる時間依存性を持っていることに対応する。この 11 番目のルータの RTT のパワース
ペクトルは、前述のとおり 1/f ゆらぎであることを示しており、このしきい値間隔分布のデータとともに、ネットワークのトラフィックのゆらぎが、自己相似的であることを意味している。しかしながら自己相似的な振舞いはどのルータでも成立する性質ではなく、ルータを通過してゆく過程で生じていることに注意されたい。

/

パワースペクトルの結果と同様に、仙台 { 福井 経路および 、仙台 { 東京 経路のしきい値間隔分布の結果を、図 3.9, 3.10に示す。 図 3.9, 3.10ともに、シンボル \x" は 6 番目のルータ、\+" は 9 番目のルータを示しており、点線は後述する相転移理論に基づく理論曲線である。図 3.9のように空いている経路では、図 3.8の近傍のルータ同様、輻輳の持続時
間は指数分布で近似できることがわかる。それに対して、混んでいる経路では、ルータを経由してゆく過程で、分布が指数分布からべき分布を通り越して、より長時間相関を持つ

1997 年度 WIDE 報告書

164

P (≥ L)

10

0

10

−1

10

−2

10

−3

10

−4

10

−1

0

10
L (sec)101

図 3.9: 仙台 { 福井間での輻輳の持続時間分布

P (≥ L)

10

0

10

−1

10

−2

10

−3

10

−4

10

−1

10

0

10

1

10

2

L (sec)

図 3.10: 仙台 { 東京間での輻輳の持続時間分布

第 4部

ネット ワークト ラフィック統計情報の収集と解析

165

分布へと遷移していることがわかる。図 3.10では、少なくとも遷移の過程で、100 秒以上の長さの輻輳が存在している。この分布はパワースペクトル解析では、べき分布をはずれてふたたび低周波領域でホワイトノイズが現われることに対応すると考えられる。
理論的なモデルを作る上では、図 3.10の 9 番目のルータのデータは非常に興味深いものとなっている。従来のモデルの提案は、指数的に減衰する分布 (ポアソン的な確率過程) や、べき的に減衰する分布 (フラクタル的な確率過程) によるものがほとんどであるが、図 3.10のような分布を表現するには、これら既存のモデル化のみでは難しいからである。次節では、このようないくつかの分布の遷移を説明可能な、相転移の概念について概説する。

3.4

相転移現象としてのネットワークト ラフィック

前節では、RTT 時系列のパワースペクトルおよび輻輳の持続時間分布が、経路の輻輳の状況によって 3 つのパターンに分類できることを示した。ここでは、これらの遷移が統計
物理における相転移現象に基づくモデルで表現可能であることを示す。
一般的に統計物理では、(自明でない) 相転移点の周辺で、システムのマクロな振舞いが根本的に変化するような現象を相転移現象と呼んでおり、多くの自然現象が相転移現象で説明可能であることが示されている。そして、相転移現象が持つ重要な性質として、相転移点でシステムがフラクタル的 (自己相似的) な性質を示すという点が挙げられる。たとえば 、交通流の解析・モデル化では、車の流量密度が相転移点の前後にある場合には、マクロなトラフィックの特性として渋滞相、非渋滞相が存在し 、その相転移点では 1/f ゆらぎが生じることがわかっている。このように考えると、交通流のモデルを、そのままネット
ワークトラフィックでのモデルに適用可能であるとも考えられる。実際、ネットワークトラ
フィックの相転移理論に基づくモデルでは、(実際のネットワークでは測定不能な量ではあるものの) 輻輳のルータ間での伝搬および解消の確率のみでネットワーク上の輻輳の時間分布をモデル化している。ここでは、結果のみを示すが、輻輳の伝搬、解消のレートをそれぞれ p, q とすると、輻輳の持続時間が t よりも長い確率は以下のように計算できる [38]。

 t) = 1 0 e0p t t

P(( + c);

=1

0 pr :

ここで、tc は定数であり、 は輻輳の生成と消滅の割合の比であり、 < 0 は定常状態での非輻輳相を示し 、 > 0 は輻輳相を示している。図 3.9, 3.10の理論曲線は実際のデータに上式をフィットさせたものである。さらに、 = 0 の場合はちょうど相転移点に対応し 、この場合の輻輳の持続時間分布は、上式より P ( t) 1=(t + tc ) にしたがう。これは、持続時間分布が -1 の傾きを持つべき分布であることを示しており、ちょうど東京 { 九州 経路のデータに一致することがわかる。このようにマクロな近似ではあるものの、輻輳の伝搬・解消に基づく相転移モデルによって、RTT 時系列の統計的な性質および 、輻輳の持続時間分布は表現可能であることがわかる。

 /1997 年度 WIDE 報告書

166

3.5

まとめ

本稿では、いくつかの経路上のルータに対して、一定期間 ICMP echo パケットを送信
し 、その RTT 時系列を測定し解析を行った結果を示した。本稿の主たる結果は、RTT に基づくネットワークのゆらぎの解析では、マクロな観点から見たネットワークの状態が 、常に単純な自己相似性を持ったものではなく、むしろ統計物理で言う相転移現象として捉えられることを示した点である。これらの結果は、今後、ネットワークトラフィックのグ
ローバルなモデル化さらに輻輳制御やフロー制御への応用が期待できると考えられる。