ISPへのISPへのMPLS
へのMPLS導入記
MPLS導入記
日本テレコム株式会社
伊藤広明/
伊藤広明/今村純一

はじめに• MPLSがネットワークに導入されるようになって久しいが、純粋にIPルーティングのみで運用しているISPもまだ多い• 本発表では、我々ODNがMPLS導入に踏み切るまでの経緯や動機を述べ、これによりODNで可能になった運用、サービスについて紹介する。

目次• MPLS導入の経緯• MPLS‑TE/FRRの設計、設定• MPLS‑TE/FRRの導入• 今後の展開• MPLS導入の経緯• MPLS‑TE/FRRの設計、設定• MPLS‑TE/FRRの導入• 今後の展開

MPLS導入の経緯
MPLS導入の経緯(1)
導入の経緯(1)
ネットワーク品質
ネットワーク品質、信頼に対する高まる要求
品質、信頼に対する高まる要求
・インターネットVPN利用ユーザの増加→数秒の障害：独自にNW監視を行うユーザが増えた結果、ばれる可能性大。
・インターネット上でのVoIP利用ユーザの増加→数秒の障害：声が途切れるので、ばれる。

Fast Reroute
障害時の切替りを秒単位からミリ秒単位
秒単位からミリ秒単位へ秒単位からミリ秒単位

MPLS導入の経緯
MPLS導入の経緯(2)導入の経緯(2)
ネットワークの複雑化
・Traffic増強に対応して、段階的にネットワーク増強を行った結果、OC‑48(2.4Gbps)、OC‑192(10Gbps)の混在構成となり、IGPのメトリックによる経路制御では、効率的な回線の利用が、難しくなって来た。

Traffic Engineering
経路を明示的に制御することによって、効率的な回線の利用を可能に。

MPLS導入の経緯
MPLS導入の経緯(3)導入の経緯(3)
WDMや光ケーブルの計画断作業
WDMや光ケーブルの計画断作業
・事前のTraffic迂回が、一苦労。
・IGPのコストを見ただけでは、？？？。
→Trafficの流れを把握するのも、職人技。
最適なネットワーク設計
・P2Pの流行により地方間Trafficが増えているらしい。
→地方間Trafficを、把握したい。

Traffic Engineering
迂回ルートを、明示的に設定可能
ノード間Trafficの測定が可能

• MPLS導入の経緯
MPLS導入の経緯• MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定• MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入• 今後の展開

MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定(1)の設計、設定(1)MPLS導入MPLS導入範囲
導入範囲
国内及びUS
国内及びUS拠点に設置したコアルータ間
US拠点に設置したコアルータ間・TEを必要としている区間→ 主要拠点区間
・FRRを必要としている区間→ WDM区間及びダークファイバー区間(伝送装置による迂回が効かない区間)
MPLS‑
MPLS‑TEパス構成
TEパス構成フルメッシュ構成→コアルータ間だけでも、MPLSに馴染みのない人間にとっては、設計は、大変。
管理も大変そう・・・

MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定(2)の設計、設定(2)Primary LSPの経路設定
LSPの経路設定
・帯域と遅延を考慮し、すべてのLSP・帯域と遅延を考慮し、すべてのLSP経路を明示的に指定
LSP経路を明示的に指定・多少HOP・多少HOP数が多くなることも・・・
HOP数が多くなることも・・・
Backup LSPの経路設定
LSPの経路設定
・Bypass tunnelによるリンク・ノード
tunnelによるリンク・ノード プロテクション(共通のリンクor共通のリンクorノードを通過するorノードを通過するPrimary
ノードを通過するPrimary LSPを一つのLSPを一つのBackup LSPで救済
LSPで救済)で救済)
・excludeをexcludeを使用

MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定(3)の設計、設定(3)パス計算のメトリック
・TEメトリックを使用
TEメトリックを使用
FRRのパラメータ
FRRのパラメータ
・mpls traffic‑
traffic‑eng reoptimize events link‑link‑up（up（C社）
は不採用
・切り替わり後のDown
・切り替わり後のDown TunnelのTunnelのclean‑
clean‑upはデフォルト値
upはデフォルト値• MPLS導入の経緯
MPLS導入の経緯• MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定• MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入• 今後の展開

MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入
実際の導入にあたり・OSPFのOSPFのArea跨ぎは、心配だったので、Area跨ぎは、心配だったので、MPLS跨ぎは、心配だったので、MPLS導入区間は、
MPLS導入区間は、全てArea0全てArea0に。
Area0に。
→一部loopback0
loopback0が→一部
loopback0がarea0に属していないものがあったた
area0に属していないものがあったた
め、areaarea変更を最初に実施。
め、
area変更を最初に実施。
・Configの作成と確認に膨大な時間要した
Configの作成と確認に膨大な時間要した
・設定投入もルータの負荷も気にしつつ、一つずつ確認しながら

MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入
実際に導入して＜良かった編＞
・障害時の切り替わりがはやくなった・計画作業時の事前迂回不要 =>FRR=>FRRにおまかせ
FRRにおまかせ・ノード間のtraffic・ノード間のtraffic量が明確に把握できるようになった
traffic量が明確に把握できるようになった

MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入＜導入前＞#traceroute 143.90.150.162
1 143.90.148.109 12 msec 12 msec 12 msec

MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入＜導入後＞#traceroute 143.90.150.162
1 143.90.148.198 [MPLS: Label 3107 Exp 0] 8 msec 12 msec 8 msec
2 143.90.148.105 [MPLS: Label 3129 Exp 0] 12 msec 8 msec 8 msec
3 143.90.148.194 [MPLS: Label 224 Exp 0] 12 msec 8 msec 12 msec
4 143.90.148.101 [MPLS: Label 3110 Exp 0] 8 msec 12 msec 8 msec
5 143.90.143.122 8 msec * 8 msec

MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入
実際に導入して＜困った編＞
・MRTG/RRDファイルの数がMRTG/RRDファイルの数がLSP
ファイルの数がLSP分増える
LSP分増える・Configが長くなった
Configが長くなった・大量のLog
・大量のLogメッセージ
Logメッセージ
・MPLS‑
MPLS‑TEを監視できるツールがまだ少ない
TEを監視できるツールがまだ少ない・オペレーターの教育が必要
・バックボーンの構成変更があったらどうする？

• MPLS導入の経緯
MPLS導入の経緯• MPLS‑
MPLS‑TE/FRRの設計、設定
TE/FRRの設計、設定• MPLS‑
MPLS‑TE/FRRの導入
TE/FRRの導入• 今後の展開

今後の展開MPLS‑
MPLS‑TEを
TEを導入したことで以下の様なサービスを考えてます
目的別にパスを分け、トラッフィクを色分け
・具体的には・・・・①Transitトラフィックと、Transitトラフィックと、Peer
トラフィックと、Peerトラッフィク
Peerトラッフィク(トラッフィク(ODN：ODN：AS4725
配下)配下)を論理的に色分けし、ユーザへ提供
論理的に色分けし、ユーザへ提供②VoIPとそれ以外に色分け
VoIPとそれ以外に色分け③PEからのPEからのLSPからのLSPによる差別化
LSPによる差別化TransitとTransitとPeer trafficの色分け
trafficの色分け【現状】Pure
IPネットワーク
ネットワーク現状】Pure IP
Peering

PEERING
ルータ

core2

core4

PE2

User‑2User‑1
AS65200

AS65000

Transit
契約

Transit提供
ルータ(PE1)

core1

core3

GWルータ

ISP
AS65100• User‑1はODNとpeeringをしている。もちろん無料！！
• User‑1はODNとtransit契約を結ぶと、今まで無料だったPeeringのtrafficに対して課金が発生

User‑
User‑1は不満！！

TransitとTransitとPeer trafficの色分け
trafficの色分け【対策】MPLS【対策】MPLS‑
MPLS‑TEを導入
TEを導入
Peering

PEERINGルータ

core2

core4

PE2

User‑2User‑1
AS65200

AS65000

Transit
契約
Transit提供
ルータ(PE1)

core1

core3

GWルータ

ISP
AS65100

MPLS‑TE Tunnel• User‑1とPEERINGルータ間でPeerのUP。
• BGPのテクニックとMPLSのテクニックを駆使し、GWルータからTransit提供ルータに直接trafficを流れるように設定。

TransitとTransitとPeer trafficの色分け
trafficの色分け【対策】
Peering

PEERINGルータ

core2

core4

PE2

core1

core3

GWルータ

User‑2User‑1
AS65000

Transit
契約
Transit提供
ルータ(PE1)

ISP
AS65100

MPLS‑TE Tunnel• PE2からUser‑1へのtrafficは、PEERINGルータへ• GWルータからUser‑1へのtrafficは、tunnelを使いTransit提供ルータへ

User‑
User‑1は満足！！

TransitとTransitとPeer trafficの色分け
trafficの色分け【ですが・・・】
Peering

PEERING
ルータ

ODN配下のBGPユーザ
core2

core4

PE2

User‑2

core1

core3

GWルータ

ISP

User‑1
AS65000

Transit
契約
Transit提供
ルータ(PE1)

AS65100

MPLS‑TE Tunnel