フローモニタリング機能による
MPLSトラヒック・マネージメント－ xFlowでのMPLSトラフィックモニタリング －小林 淳史 akoba@nttv6.net
NTT情報流通プラットフォーム研究所
Oct 31, 2006

MPLS JAPAN 2006

1

概要
トラフィック・モニタ機能の現状/状況
NetFlow, sFlow, IPFIX/PSAMP

目的
xFlowのMPLSト
MPLSトラフィック・モニタ機能
ラフィックモニタ
NetFlow v.9, (sFlow v.5)
リングを盛り上MPLSトラフィックをどうみるか？
げたい
プロバイダの立場、ユーザの立場
トラフィック交流の重要性
MPLSトラフィック交流の計測手法

トラフィック・モニタ機能をサービスに？
Oct 31, 2006

MPLS JAPAN 2006

2

トラフィックモニタ機能の現状
主な機能

アプリケーション

IF-MIB
カウンタ

・リンク単位のトラフィック量 ・リンク/ルータ単位の負荷状況確認（MRTG ..）
計測

NetFlow・フローベースのトラフィック ・トラフィック動向把握
配信・課金（エンド・ユーザ使用量確認）
・トラフィックエンジニアリング
・異常トラフィック検出

sFlow

・フレームの先頭Byte（～・トラフィック動向把握
256byte）を切り取って、IF- ・トラフィックエンジニアリング
MIB情報とともに配信。
・異常トラフィック検出

IPFIX
PSAMP
Oct 31, 2006

・フローベース/パケットベースのサンプリング抽出・サンプリング/フィルタリン
グによる柔軟な機能

・トラフィック動向把握
・課金（エンド・ユーザ使用量確認）
・トラフィックエンジニアリング
・異常トラフィック検出
・QoSモニタリング

MPLS JAPAN 2006

3

トラフィックモニタに関する状況
トラヒックモニタ機能に対する需要．
・DDoS攻撃に代表される異常トラヒックの把握・検出．
・P2Pトラフィック特性の把握
・QoS適用によるトラヒック動向の把握．
・設備設計のためのトラヒック動向の把握．
・NWの大規模化,IPv4/IPv6プロトコルの混在
トラヒックモニタ機能に関する需要が高まる。
今や多くのインターネット・プロバイダ
では、フローモニタを実施。
Oct 31, 2006

MPLS JAPAN 2006

MPLSでは?
・トラフィックモニタの要求は、もっと強い?
・MPLSでも積極活用?

4トラフィックモニタ機能（MPLS）
NetFlow v.9のMPLSでは何が配信されるか？（L3VPN）
ID
フィールド名1
IN_BYTES2
IN_PKTS
通常のNetFlow
4PROTOCOL
フロー・レコード
5TOS
6TCP_FLAGS
7
L4_SRC_PORT
8
IPV4_SRC_ADDR
9
SRC_MASK
10INPUT_SNMP
11
L4_DST_PORT
12
IPV4_DST_ADDR
13
DST_MASK
14OUTPUT_SNMP
15
IPV4_NEXT_HOP
21
LAST_SWITCHED
22
FIRST_SWITCHED
70
MPLS_LABEL_1
MPLS情報71
MPLS_LABEL_2
46
MPLS_TOP_LABEL_TYPE
47 Oct
MPLS_TOP_LABEL_IP_ADDR
31, 2006

Cisco MPLS-aware NetFlowでは？
-Labelは、上位3つまで配信可能.
-Labelの情報は、Label(20bit), Cos(8bit),S(1bit)を配信。
Label（20bit）

Cos（3bit）

B（1bit）

TTL（8bit）-TopLabelのアドレス（EdgeRouterのアドレス）とそのTypeを配信.
MPLSのLabelと送信先アドレスの情報が収集可能。

MPLS JAPAN 2006

5トラフィックモニタ機能の現状(MPLS)
主な機能

アプリケーション

IF-MIB
カウンタ

・リンク単位のトラフィック量計測

・リンク/ルータ単位の負荷状況確認（MRTG ..）MPLS
LSR-MIB
カウンタ

・In/Outラベル単位のトラフィック量計測

・トラフィックエンジニアリング

NetFlowsFlow

Oct 31, 2006

頑張ればTEへの利用も可能

・スタックされたラベル情報 ・トラフィック動向把握
が配信．
・トラフィックエンジニアリング
・ERのアドレス配信．
・異常トラフィック検出・フレーム内のラベル情報が配信．
・拡張情報によりERのアドレス配信が可能．

・トラフィック動向把握
・課金（エンド・ユーザ使用量確認）
・トラフィックエンジニアリング
・異常トラフィック検出

MPLS JAPAN 2006

6MPLSのトラフィックをどうみるか?
プロバイダの立場
リンクコストが高いPoP間のトラフィック交流量把握．
ルータ間のトラフィック交流量をみてNWトポロジーの検討に反映したい．
ユーザまたはサービスクラスによってトラフィック量の占める状況を確認．
トラフィックトレンドを把握して、QoSポリシーに反映．
サイレント故障などによるトラフィックの急激な変動を検知．
プロテクションパスにきちんと流れている?

MPLS-LSR-MIBでは、実現が困難であったルータ間・PoP間のトラフィック交流の計測をNetFlowを用いて実現．
Oct 31, 2006

MPLS JAPAN 2006

7

MPLSのトラフィックをどうみるか?
ユーザの立場
フローの中身までは、見てほしくない．
フローの中身をユーザ自身で確認する機能を提供．
提供の仕方については、考えないといけない．
トラフィックトレンドを分析してコンサルを実施．

ユーザ単位のトラフィック交流を計測

ユーザトラフィックの地域間交流状況を提供．
VPN#1（AS65501）

VPN#1（AS65503）

VPN#2（PW:100）

R2R1R2

R1

VPN#1（PW:200）

MPLSネットワークMPLSネットワーク（AS65510）
VPN#1（AS65502）

R4

R3

VPN#1（AS65500）

別AS間のトラフィック交流は、ユーザでは、計測できない!?
Oct 31, 2006

VPN#1
（PW:200）

R4

R3

VPN#2
（PW:100）

VPN（RD,PW ID）をグループ化して、課金単位に見せることができる。
MPLS JAPAN 2006

8トラフィック交流測定手法
ルータ間トラフィック交流
起点情報: NetFlowの配信元ルータ
終点情報: MPLS_TOP_LABEL_IP_ADDR

PoP間トラフィック交流
各ルータをそれぞれの地域にマッピングしてルータ間トラフィック交流をもとに集計を実施．

ユーザ識別情報の収集
L3VPNの場合: MP-BGPの経路情報を活用
VPNラベル→RD

L2VPNの場合: PW-MIBの情報を活用
VPNラベル→PW ID
Oct 31, 2006

MPLS JAPAN 20069

ユーザ識別情報の収集（L3VPN）
Bottom Labelのラベル値をもとにMP-BGP情報と突合
フロー毎にRDを探索することが可能．
MP-BGP情報は、RRとPassive BGP peerにより収集． or“NetFlow MPLS Label Export（※）”を利用．
MP-BGP経路情報

フロー情報
フィールド名
MPLS_LABEL_1
MPLS_LABEL_2

フィールド名ボトムShimヘッ
ダのラベル値

Next-Hopアドレス
NLRI

Pｒｅｆｉｘ Length

MPLS_LABEL_3

LABEL

MPLS_TOP_LABEL_TYPE

Route Distinguisher (RD)MPLS_TOP_LABEL_IP_ADDRPｒｅｆｉｘ

該当するRDを探索（※） http://www.cisco.com/en/US/products/ps6566/products_feature_guide09186a00805f236a.html
Oct 31, 2006

MPLS JAPAN 2006

10

MPLS トラフィック交流コレクタの作成
システム概要図

どうみせるのかの可視化も重要。

トラフィックDBWeb ブラウザ

トラフィック交流コレクタ

経路DB

検索

NetFlow
受信部SNMPマネージャー

経路管理
BGP
機能部

MP-BGP（Passiveに経路情報を収集）

SNMP
NetFlow
RR
MP-BGP

CE

CR

CE

CE

CR

CR

PE

MPLSネットワーク・ドメイン
・CR：CoreRouter
・CE：CoreEdge

Oct 31, 2006

PEPEPE

CR

CE

PE

PE

MP-BGP

・PE：ProviderEdge

MPLS JAPAN 2006

11

MPLS トラフィック交流コレクタの作成
PoP間トラフィック交流
全てのトラフィックもしくは、特定のVPNを指定可能．

・リアルタイムにトラフィッ
ク状況を更新．
・2次元上に表現し、NWの交流状況を俯瞰的に可視化．

終点PoP

起点
PoP

Oct 31, 2006

MPLS JAPAN 2006

12

MPLS トラフィック交流コレクタの作成
ルータ間トラフィック交流
全てのトラフィックもしくは、特定のVPNを指定可能．
終点ルータ

・リアルタイムにトラフィッ
ク状況を更新．
・2次元上に表現し、NWの交流状況を俯瞰的に可視化．

起点ルータ

Oct 31, 2006

MPLS JAPAN 200613MPLS トラフィック交流コレクタの作成
VPN単位,CoS単位のトラフィック変動を図示．
各トラフィック交流（Matrixの1セル）内のトラフィック内訳を表示．

起点→終点トラフィック変動（VPN単位に積み上げ表示）

VPN

起点→終点トラフィック変動（CoS単位に積み上げ表示）

VPN

CoS

終点情報（ルータ or PoP）
All
65001:1
65001:2

起点情報（ルータ65001:3
65001:4

CoSorPoP）

Oct 31, 2006

MPLS JAPAN 2006

14

ルータの性能/コレクタの性能
ルータの性能は、日々向上．~30k fps
コレクタに必要とされるものは?
フローを保存、集約後、再配信するMeidatorを提案．
TrafficEng.
トラフィック交流
測定装置

Mediator

マネージメント・ネットワーク

DB

大規模NWでのIPFIX（xFlow）の適応性～10K fps

Mediator
DB・Label毎の集約．

Mediator
DB
PoP#1
Europe

PoP#3
North America

PoP#2
Asia

全体トラフィック量:150 Gbps
サンプリングレート:1/1000～90K fps

draft-kobayashi-ipfix-mediator-01.txt
Oct 31, 2006

MPLS JAPAN 200615

ユーザへの提供
ユーザへのトラフィック提供のシナリオ
RD（VPN単位）にトラフィックを分散配置．
場合によっては、そのままユーザNWドメインまで配信する．
ユーザ#A

ユーザ＃B
ネットワーク・ドメイン

ユーザ＃C
ネットワーク・ドメイン

コレクタ#2

コレクタ#3

コレクタ#1RD=65535:2

RD=65535:1

RD=65535:3

Mediator

多様化したNWでのIPFIX（xFlow）の適応性

DB

MPLS network

Oct 31, 2006

MPLS JAPAN 200616

今後、議論していきたいこと
MPLS フローモニタリングの有効性
プロバイダの立場（実際にもう利用してる!?）
ユーザの立場(できるなら提供してほしい!?)フローの情報はどう扱う?

トラフィック交流
計測手法・Tips．
NetFlowとMPLS MIBの連携. ifTypeに注意。
Template数＝stackの数×IPv4,v6×L2/L3
どこをenableにすると最適か?
LDP,RSVP,プロテクションパスとNetFlow親和性?

小さいVPNトラフィックは、埋もれてしまう?
Oct 31, 2006

MPLS JAPAN 200617

ご清聴ありがとうございました．

謝辞 本稿は，総務省委託研究「次世代バックボーンに関する研究開発」による成果である．
Oct 31, 2006

MPLS JAPAN 200618