ほんとにあったRPKIの話

2018/11/27
1[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

略歴• 2008年4月
株式会社TOKAIコミュニケーションズ入社(当時は株式会社ビック東海)• 主な業務○ISPの運用・トラフィックの監視、NW構成変更
・一般家庭ユーザからの問い合わせ対応 など

2[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

全ては一通のメールから始まった。。。～実例～• 2017年12月 1件の問い合わせを受領あるドイツのサイトにアクセスできません。

3[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ受領～実例～• いただいた情報①–現象は2017年秋頃より発生–ユーザルータの再起動で改善せず–スマートフォンからのテザリングでは、アクセス可能
4[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ受領～実例～• いただいた情報②–ユーザの社内ネット環境(他社キャリア)からはアクセス可能–対象のドイツのサイトへ問い合わせた
ところ、個人からの問い合わせは対応不可と回答されたとのこと

5[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ受領～実例～• いただいた情報③–traceroute

対象サイトのAS

AS②
国際AS←ここまで応答ある

AS①
国内AS

AS100106AS②の網内か対象サイトのAS内が怪しい？
[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

調査開始～実例～

まずは自社試験環境から再現試験を実施
対象サイトへアクセス可能
traceroute問題無し
再現不可
果たして原因は？？
7[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

調査～実例～

対象のサイトの問い合わせフォームより、問い合わせを実施
数日後、、、、応答なし

もしかしてドイツ語が必須！？

8[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

原因切り分け～実例～

IPv6での接続は可能？
ユーザにてアクセス可能！！！

9[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

原因切り分け～実例～

新たな情報として、IPv4アクセス不可だがIPv6ではアクセス可能ということが判明。
※IPv6でアクセスしていただきユーザから更なる調査の時間をいただきました。
10[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせを実施～実例～• 上流ASへ問い合わせを実施
対象サイトのAS

AS⑤
AS①AS②AS③AS10010
11AS④[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ～実例～• 対象サイトのASについては、問い合わせ先を把握していなかったため、問い合わせ不可• AS⑤に対して、調査の協力を依頼したが弊社と直接接続がなかったため、受け付けていただけなかった。
12[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせを実施～実例～• 上流ASへ問い合わせを実施
対象サイトのAS

AS⑤
AS①
AS②
AS③
AS1001013

AS④[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ～実例～• AS①②③④へ、網内で同様の事象が発生していないか。
また、AS⑤に対して同問い合わせを投げていただけないか？

14[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

返信メールは、、、～実例～• 返信されてくるメールには–「網内からの接続に問題なし」–「別ASへの問い合わせは対応不可」とのこと、、、

やはり対象ASに連絡したい！
15[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

問い合わせ～実例～

問い合わせ窓口からでは応じていただけなかったが、ピアリング窓口へ投げてみてはどうか！？

https://www.peeringdb.com/
16[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

待望の返信～実例～

対象ASから待望の返信がきた！！！

17[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

メールのやりとり～実例～

・対象サイトへ問い合わせ
TOKAI COM

ドイツ対象サイト

There was an inquiry from our customers that it could not be browsed to a specific site.
あなたのサイトが見れません。弊社のIPに対してフィルタを設定していますか？
Since we are passing through your company from the result of traceroute, we contacted you.

Does the issue affect all prefixes advertised from you?
全てのIPから見れませんか？我々はRPKIで経路の制御を実施しています。
Anotherthing could be that some of them are RPKI invalid. We do not accept those NLRIs.

18[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

RPKI～実例～

あーるぴーけーあい？？

19[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

現状を確認～実例～• JPNICのサイトで確認

http://roa2.nic.ad.jp:8080/bgp-preview

登録自体はしっかり行われている(?)
20[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

現状を確認～実例～• JPNICのサイトで確認

http://roa2.nic.ad.jp:8080/bgp-preview

INVALID！？
21[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

INVALIDとは～実例～

INVALID→ROA登録とOriginASが不一致の経路

22[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

過去の記憶を頼りに・・・～実例～○2015年頃「RPKIの試験運用のご協力をお願いします！」と案内され、RPKIを登録しておりました。

その後、弊社から広報される経路の状況が様々な用途により日々変化していきました、、、※杉山自らが登録
23[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

復旧対応～実例～• JPNICのサイトで登録内容を修正

http://roa2.nic.ad.jp:8080/bgp-preview※反映まで約1日かかりました

24[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

起こった事象まとめ1
ROA
AS 10010
PrefixA/22

AS 10010
BGP
PrefixA/23
PrefixB/23

AS ①

ROA
AS 10010
PrefixA/22

JPNIC (ROA)

BGP
PrefixA/23
PrefixB/23

対象サイトのAS

25

BGPの情報とROAの情報が不一致！
PrefixA/23、PrefixB/23は信頼できない経路！！
→経路を破棄[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

起こった事象まとめ2ROAAS 10010
PrefixA/23
PrefixB/23

AS 10010
BGP
PrefixA/23
PrefixB/23

AS ①
BGP
PrefixA/23
PrefixB/23

対象サイトのAS

ROA
AS 10010
PrefixA/23
PrefixB/23

JPNIC (ROA)

BGPの情報とROAの情報が一致している→通信可能！！

26[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

解決～実例～

祝 復旧！！！
• IPv4の分割されたIP(ユーザ)からの通信は不可となり、分割されていないIP (試験環境)からの通信は問題なかった• IPv6に関しては、経路分割が行われなかったため、INVALIDとはなっていなかった27[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

再発防止に向けて• RPKIを管理・運用について○事象発生時
maximum prefix length「指定なし」→exact matchした経路のみ有効○修正後
maximum prefix length「24」→プレフィックス長が「/24」以下の経路が有効
28[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

再発防止に向けて• RPKIを管理・運用について

29[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

再発防止に向けて

設定当初は経路情報として、 prefix長まで考慮する必要があると判断したが、経路防御において、ASと経路の組み合わせが重要であることと、運用の負荷への観点から、/24まで許容する設定としました。
この設定により今回のような経路分割による経路情報の不一致は防げる！
30[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

これら対応を行って、気付き・思い・感じ• RPKIの運用をしっかりしましょう• INVALIDに気付ける仕組みがあったら嬉しい（メール通知など）• INVALID経路をdropする運用ってされてます？？
31[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

これら対応を行って、気付き・思い・感じ• IPアドレス依存のトラブルシュートってどのように対応されています?
• 海外ASへの問い合わせは大変• 直接ピアしてないところへ問い合わせる手段がほしい(切実)
なにかいい方法があったら教えてくださいm(_ _)m32[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.

ご清聴ありがとうございました

33[Confidential] Copyright (C) TOKAI Communications Corporation. All rights reserved.