インターネット経路制御の信頼性向上に向けて～RPKIの普及と課題～
2014/12/5
インターネットマルチフィード（株）
JPNIC IRR/RPKI動向調査専門家チーム Chair
吉田友哉 (yoshida@mfeed.ad.jp)
1Agenda• インターネット経路制御を脅かす脅威• RPKIの現状と課題• 今後の展望2インターネット経路制御を脅かす脅威• 機器等の故障による物理的なもの– ルータがreloadを繰り返し、経路情報が不安定な状態が継続するetc..

• 制御機器（ルータ等）の解釈の違いやBug– Malformed AS_PATH attributeがついた経路情報をneighborから受信し、flapし続けるetc..

• 人為的な問題で経路制御に不具合が発生– ポリシーとは異なる経路広報– 経路ハイジャック、mis-origination3

インターネット経路制御を脅かす脅威• 機器等の故障による物理的なもの– ルータがreloadを繰り返し、経路情報が不安定な状態が継続するetc..

• 制御機器（ルータ等）の解釈の違いやBug– Malformed AS_PATH attributeがついた経路情報をneighborから受信し、flapし続けるetc..

• 人為的な問題で経路制御に不具合が発生– ポリシーとは異なる経路広報– 経路ハイジャック、mis-origination4事例１：グローバルに影響が及ぶ場合> 10.0.0.0/16> 10.0.0.0/24

1030 40

1030 40

10.0.0.0/16

AS30

iBGP
10.0.0.0/24
10.0.0.0/24

10.0.0.0/16

Transit

BGP経路情報Transit10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/24

10.0.0.0/24

AS10
10.0.0.0/16

20 1040

Peer

AS20> 10.0.0.0/16> 10.0.0.0/24> 10.0.0.0/16> 10.0.0.0/24

30 20 10i

10.0.0.0/24 AS40

IPパケット5事例１：グローバルに影響が及ぶ場合> 10.0.0.0/16> 10.0.0.0/24

1030 40

被害領域

1030 40

10.0.0.0/16

iBGPAS30

10.0.0.0/24

10.0.0.0/24
10.0.0.0/16

Transit

BGP経路情報Transit10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/24

10.0.0.0/24

AS1010.0.0.0/16

20 1040

PeerAS20> 10.0.0.0/16> 10.0.0.0/24> 10.0.0.0/16> 10.0.0.0/24

30 20 10i

10.0.0.0/24 AS40

IPパケット6事例２：一部のエリアに影響が及ぶ場合*> 10.0.0.0/16
10.0.0.0/16>10.0.0.0/16
10.0.0.0/16

10 i30 i

103020 10i

Peer

AS20
> 10.0.0.0/16
10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/16

10.0.0.0/16
iBGP

AS30 10.0.0.0/16
10.0.0.0/16

10.0.0.0/16

Transit10.0.0.0/16

10.0.0.0/16> 10.0.0.0/16

30 20 10Transit
AS10
10.0.0.0/16

BGP経路情報

AS40

IPパケット7事例２：一部のエリアに影響が及ぶ場合*> 10.0.0.0/16
10.0.0.0/16>10.0.0.0/16
10.0.0.0/16

10 i
30 i1030

20 10iPeer

AS20> 10.0.0.0/16
10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/16

被害領域
10.0.0.0/16

iBGPAS30 10.0.0.0/16

10.0.0.0/16

10.0.0.0/16

Transit10.0.0.0/16

10.0.0.0/16> 10.0.0.0/16

30 20 10Transit
AS1010.0.0.0/16

BGP経路情報

AS40

IPパケット8

経路ハイジャック, mis-origination• ２つの要因– Operational fault (Fat finger)– Intentional fault• ちなみに、2008年に発生した “youtubeincident”は、Fat finger, Intentional fault両方に該当する– パキスタンテレコムが自国に経路をまげるために内部からyoutubeのprefixを広告– それを上流のtransitISPがneighborに誤って経路広告してしまった

9

数年前の日本での事例
事例１

事例２

事例３

時期

2004/6

2004/92006/11

不正経路広告元

日本国内ISP

アジアISP

アジアISP

PrefixLonger, Invalid/24x2, /25x1,/29x1

Longer, Invalid/24x2

Same, Invalid/14x2, /17x2

Action

広告元に連絡のち経路広報停止

NO Action(のちwithdrawn)

Impact

約150分

PeerISPに連絡し対処をうながす
のち経路広報停止

備考

約2日

約5分
のちの解析により、他の経路も含め広範囲にわたって経路を誤って広告していた模様

全てオペレーションミスによるものと推察10

2014年の経路ハイジャック事情• 以前の愉快犯的な状況ではない。金銭目的の意図的なものも多い– BGP経路ハイジャックでBitcoin(8万ドル)を稼ぐ

http://www.secureworks.com/cyber-threat-intelligence/threats/bgp-hijacking-for-cryptocurrency-profit/
http://www.bgpmon.net/the-canadian-bitcoin-hijack/– BGP経路ハイジャックを使ったSPAM

http://www.symantec.com/threatreport/topic.jsp?id=spam_fraud_activity_trends&aid=future_spam_trends
https://www.usenix.org/conference/lisa-07/homeless-vikings-bgp-prefix-hijacking-and-spam-wars

11

Spamcopさんから…

12

(一時的な) 経路ハイジャック + SPAM
2014年2月、 弊社JPNAPのセグメント(/24)で“経路ハイジャックを使ったSPAM”を、ロ●アのASにやられた模様
時系列(JST)
2/11 23:47 経路奉行で経路ハイジャック発生検知(218.100.45.0/24)
2/12 13:22 SPAM送信(218.100.45.34, JPNAP未割当IP)
2/12 13:27 spamcopがSPAM検出
2/12 14:40 経路奉行で経路ハイジャック回復検知
2/12 PMspamcopからのメールに気づき対応=> SPAMメールヘッダのMXレコードはすでに存在せず。

未利用IPを勝手に使う
組織的な犯罪との見方が強い

spamcopからのアラートメール[SpamCop (218.100.45.34) id:6074690948]A sweet deal! Moto X. No
contract. No down payment..
----------------------------------------------------------------------------------------[ SpamCop V4.8.1.007 ]This message is brief for your comfort. Please use links below for details.
Email from 218.100.45.34 / Tue, 11 Feb 2014 22:27:49 -0600
http://www.spamcop.net/w3m?i=z6074690948z4d537a65b10c840416
66fb2664f998cez[ Offending message ]Return-path: <Motorola@wappextil.com>
Received: from wappextil.com ([unknown] [218.100.45.34])
by vms172083.mailsrvcs.net(Sun Java(tm) System Messaging Server 7u2-7.02 32bit (built Apr 16 2009))
with ESMTP id <0N0V004K08E3TI20@vms172083.mailsrvcs.net> forx; Tue, 11 Feb 2014 22:27:49 -0600 (CST)
Received: by wappextil.com id hvbsaa1hvj41 for <x>; Tue,
11 Feb 2014 23:22:31 -0500 (envelope-from <Motorola@wappextil.com>)Date: Wed, 12 Feb 2014 04:22:30 +0000
From: "Motorola 7214186" <possible@wappextil.com>
Subject: A sweet deal! Moto X. No contract. No down payment. No hassles.
-- 以下、spamメールの内容添付 --13

被害の状況（2/10-2/12)

14

実は多くのIXが被害を受けていた重要インフラのIPアドレスが脅威にさらされている
15取り得る対応策

検知

起きている状況にまずは気づく

回復

なるべく元の状態に回復させる

予防

そもそも事象が起きないようにする

detection

RecoverPrevention16取り得る対応策

検知

起きている状況にまずは気づく

回復

なるべく元の状態に回復させる

予防

そもそも事象が起きないようにする

detection

RecoverPrevention17

検知：Detection> 10.0.0.0/16

10> 10.0.0.0/16> 10.0.0.0/24

Peer

AS20
> 10.0.0.0/16

1020 1040

10.0.0.0/16

AS30iBGP不正経路検知！
BGP経路情報
BGP経路情報

10.0.0.0/16

経路見張りシステム

Transit

JPIRR

AS10
10.0.0.0/16

BGP経路情報

10.0.0.0/24

Transit10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/24

30 20 10i

日本の経路情報台帳

10.0.0.0/24 AS40

状況通知

何？！自分の経路が他人から広告されている
18取り得る対応策

検知

起きている状況にまずは気づく

回復

なるべく元の状態に回復させる

予防

そもそも事象が起きないようにする

detection

RecoverPrevention

19回復：Recover> 10.0.0.0/16> 10.0.0.0/24

10
10 40
30

1010
30 40

10.0.0.0/24
10.0.0.0/16

AS30

iBGP
10.0.0.0/24
10.0.0.0/24

10.0.0.0/16
10.0.0.0/24

Transit10.0.0.0/24

AS1010.0.0.0/16

20 1040

Peer

AS20> 10.0.0.0/16> 10.0.0.0/24> 10.0.0.0/16> 10.0.0.0/24

Transit10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/24

30 20 10i

10.0.0.0/24 AS40

一部の通信経路が回復
20取り得る対応策

検知

起きている状況にまずは気づく

回復

なるべく元の状態に回復させる

予防

そもそも事象が起きないようにする

detection

RecoverPrevention

Resource Public Key Infrastructure

Mis-origination の発生を防ぐための抜本的な対処方法は？

RPKI

21

RPKI
• Resource Public Key Infrastructureの略で、IPアドレスやAS番号リソースに関して、正しい所有者が誰なのかを証明するための認証基盤• あるIPアドレスリソースが不正利用された場合でも、証明書により正しい保有者が誰なのかを証明することが可能となります• RPKIは各地域のインターネットレジストリによって運用されています。アジア太平洋地域では現在APNICが正式に運用を行っており、日本ではJPNICが実験的にRPKIの運用を2013年より行っています。
http://www.mfeed.ad.jp/rpki/misc/whatisrpki.html
22

RPKIとROAの概要

https://www.nic.ad.jp/ja/rpki/

23

RPKIの普及状況• 日本を含むアジア太平洋地域では、RPKIの普及がヨーロッパ地域等に比べて乏しい状況
RIPE

APNIC
登録されているROA数の推移
http://certification-stats.ripe.net/• 日本やアジア地域での普及促進が必要
24

日本でのRPKI本格利用に向けて• 2014/10/1– 日本国内初「RPKI ROAパブリックキャッシュ情報配信」の試験提供をインターネットマルチフィード社とJPNICで開始• 世界中のROA情報（正しいPrefixとOriginAS情報）を気軽に取得することができ、AS内のBGP経路制御に活用• BGPルータが動作するインターネット環境からアクセス可能– RPKIに関するポータルサイト• IMF -> http://www.mfeed.ad.jp/rpki/• JPNIC -> https://www.nic.ad.jp/ja/rpki/
ROA: Route Origin Authentication25

現在提供されているJPNIC模擬環境

https://www.nic.ad.jp/ja/rpki/

26

ROAパブリックキャッシュ情報提供

https://www.nic.ad.jp/ja/rpki/

27

JPNIC RPKI Project Page

28

IMF RPKI Project Page

29

IMF RPKI Project Page

30

サービス提供概念図
今回立ち上げたサーバ
ROA情報

Prefix-Maxlen: 192.0.2.0/24-24
OriginAS: 64500

Validation

31予防：Prevention w/RPKI> 10.0.0.0/16> 10.0.0.0/24

RPKI> 10.0.0.0/16

10 [valid]30 40 [invalid]

AS20
10 [valid]> 10.0.0.0/16> 10.0.0.0/24

20 1040

10.0.0.0/16

AS30iBGP
10.0.0.0/24
AS20内部のルータが常時参照
し正しい経路情報の判別が可

10.0.0.0/16

AS1010.0.0.0/16

RPKI
ROA
cache

世界中の正しいIP
アドレスとAS情報の組み合わせ

10.0.0.0/24

10.0.0.0/16> 10.0.0.0/16> 10.0.0.0/24

30 20 10i

10.0.0.0/24 AS4032

RPKI普及に向けた課題• ROAの情報がまだまだ不足– RPKIを活用して経路制御できるレベルではない• ISPでのROAキャッシュ運用のハードルが高い– X509等の証明書関連技術知識が必要– 提供ツールがまだ発展途上の段階• ARINのROA情報の取得／提供に制限がある– ARINは、RPA(Relying Party Agreement)によって第三者への情報提供を禁止している• RPKI-RTR(tcp:323) プロトコルのTLS encryptionが未サポート– ROAのような重要な情報に関するデータ転送には必須– CiscoやJuniperなどの大手ルータベンダも未サポート• RPKIの重要性は理解できるが、社内で導入するにあたり、メリットを上司に説明できない。。
– 世界中の人が登録しないと意味がない？？
– 実際に経路制御にどう適応したらよいの？？
33

2014年7月
リリース

IMFでも2014年6月に実施

2014年10月、MF/JPNIC
ROA cache提供開始

34

RPKI活用モデル• 経路情報の不整合検知• 顧客経路のフィルタ情報としての活用• Peer/上流ISPからの受信経路制御• IXのroute-serverでの信憑性向上• IRRへの自動オブジェクト登録(rpki2irr)• 持ち込みアドレスの認証• リソース保持の証明

35

RPKI Deployment

internet

ISP-B

ISP-A

RPKI

ISP-Aは奇麗な状態
36

RPKI Deployment

internet

ISP-B

ISP-A

RPKI

ISP-Aは奇麗な状態
37

RPKI Deployment

ISP-C次第で他に曲がってしまう
Internet
ISP-C

ISP-B

ISP-A

RPKI

ISP-A
38

RPKI Deployment

Internet
ISP-C

ISP-B

RPKI

ISP-A
39

RPKI Deployment

Internet
ISP-C

ISP-D

ISP-B

RPKI

ISP-A
40

RPKI Deployment

Internet
ISP-C

ISP-D

ISP-B

RPKI

ISP-A
41

RPKI Deployment

Internet
ISP-C

ISP-D

ISP-B

RPKI

IX
ISP-E

ISP-A
42

RPKI Deployment

Internet
ISP-C

ISP-D

ISP-B

RPKI

IX
ISP-E

ISP-A
43

局所的でも効果はある
日本内の通信は影響を受けない

ISP-A
ISP-BIX
ISP-C

44Worldwide RPKI Deployment

ISP-A
ISP-B

IX
ISP-C

45

RPKI all over the world46

RPKIを活用したルーティングの普及
普及度
経路制御へ適用

試験導入
ルーティング運用者への普及

NIR/LIR対応
仕組み

RIR対応

作り２０１１以前

ルータ対応
２０１２

２０１３

ルータ拡張対応
２０１４

２０１５・・・
47

最後に• インターネットは、あらゆる社会インフラのインフラの役割を担っているということ。
• 2020年の東京オリンピックに向けて、より一層の安心・安全な通信インフラを皆さんで一緒に目指していきましょう！

48

（参考）旧IRR/RPKI動向調査専門家チーム[メンバー(当時)]チェア 吉田友哉 インターネットマルチフィード株式会社
有賀征爾
川村聖一
中野達也
平井則輔
松崎吉伸
渡辺英一郎

••
••

NTTコミュニケーションズ株式会社
ＮＥＣビッグローブ株式会社
KDDI株式会社
ソフトバンクBB株式会社
インターネットイニシアティブ株式会社
Telecom-ISAC Japan

インターネットにおける経路制御の現状
IRRの動向RPKIの動向
今後の展望

報告書：https://www.nic.ad.jp/ja/materials/irr/report-201308.pdf

49

（参考）報告書より：骨子•

現在のインターネットの経路制御は、不意の不正な経路広告によって複数の組織が甚大な被害を被った可能性があり、抜本的な予防策を講じる必要がある。

•

不正経路広告を防ぐための手段としてISPの経路フィルタが有効と言われている。経路フィルタを生成するための参照先データとしてIRRが最も活用されており、日本では経路奉行と連携した不正経路検知機能も提供されている。

•IRRは記述の自由度も高く様々な用途で活用されているが、登録情報の信憑性に問題があり、経路フィルタ生成の参照先データとして全世界で活用していくには新たな仕組みが求められている。

•

新たに、PKIを活用したIPアドレスの正当性を担保するResource PKI(RPKI)サービス

が各RIR で開始され、正しい、IPアドレスとOrigin ASの組み合わせを記述したRouteOrigin Authorization(ROA)の作成と活用が進んでいる。

••

今後 JPNICでは、RPKIサービスを日本国内で速やかに開始し、インターネットの経路制御基盤のセキュリティ向上に貢献する重要な役割を担っていく責任がある。

具体的には、日本国内の事業者に対するROAの発行、APNIC地域での安定したRPKIの提供を行っていく必要がある。

50