JANOG48 Meeting

日本国内の各地域におけるサービス冗長化～ローカルノード設置を見据えて～

2021/07/15

JANOG48 Meeting導入 日本国内では、東京と大阪の都市部にデータセンターが集中しており、多くのサービス提供者、クラウドサービス事業者がこの2地域を中心に拠点を構えていることと思います。
 一方で、これらの都市部、あるいは都市部までの経路にDDoS、 災害などの要因で断が生じた場合、国内の各地域へのサービス提供ができなくなる可能性があります。
 本セッションでは、JPRSと電力系通信事業者が実施したDNSサーバのローカルノード設置の実証実験についてのご紹介とその結果について共有し、 地域におけるサービス冗長化についてどこまで冗長化をすればよいのか、トラフィックの地産地消について議論したいと考えています。

©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

2

JANOG48 Meeting

JPRSとこれまでの取り組み
 株式会社日本レジストリサービス（JPRS）– 主に、 JP DNSの運用、JPドメイン名（.jp）の登録管理 を行っています 冗長化に対するモチベーション– JP DNSがサービスを提供できなくなった場合、特に日本国内のインターネットの利用・サービス提供の双方に大きな影響– DDoS攻撃や災害によって拠点の停止、ネットワークの分断が発生するような状
況でもサービスを継続的に提供し続けたい！

 サービス冗長性向上に向けた取り組み– 2017年: 大規模災害時のインターネット継続利用実証研究– 2019年: h.dns.jp 追加– 2019年~: DDoS攻撃を想定したインターネット継続利用実証研究– 2021年: JPローカルノード運用開始 (New!)
本日ご紹介の範囲
Copyright © 2021 株式会社日本レジストリサービス

2021/07/15

3

JANOG48 Meeting

JP DNSの冗長化
 DDoS攻撃、災害で東京/大阪の拠点、経路に障害が起こると…
– 海外拠点へ名前解決が発生（サービス品質の低下）– 最悪、日本国内からの.jpの名前解決ができなくなる可能性[ローカルノードの配置]
ローカルノードを日本国
内各地に配置することで、攻撃による影響を低減する[DDoS攻撃発生時]
攻撃時発生時、国内ISPから到達性が著しく悪くなる可能性がある

LN

GN

LN

GN

JP DNS
GNグローバルノード

LN

JP DNS
ローカルノード(BGP NOEXPORT)

LN

ISP(名前解決への影響なし)

ISP(名前解決への影響あり)

GN
GN

通信経路

Copyright © 2021 株式会社日本レジストリサービス

通信経路
（分断）

DDoS攻撃2021/07/15

4

JANOG48 Meeting

DDoS攻撃を想定したインターネット継続利用実証研究
 研究・開発を主な目的としたgTLD .jprs を用いてJPローカルノード設置に向けた事前検証のための実証実験を実施
 実証実験には電力系通信事業者
HOTnet, OPTAGE, QTnet の3社が参加
 ローカルノードの展開– ISPネットワーク内に tld4.nic.jprs DNSサーバーを設置– no-exportでBGP経路広報することで、ISPネットワーク内からのみ接続可能なローカルノードとして展開

グローバルノード (JPRS)
GN
tld[1-5].nic.jprs
LN ローカルノード (ISP)
tld4.nic.jprs (bgp no-export)

大阪
福岡

LNCopyright © 2021 株式会社日本レジストリサービス

北海道LN
GNLN

海外拠点
東京

GN

GN

大阪
2021/07/15

5

JANOG48 Meeting

HOTnet会社紹介
 社名：北海道総合通信網株式会社（略称：HOTnet）
 本社所在地：北海道札幌市
 設立：1989年4月1日
 主な事業：– 光ファイバネットワークを基盤とした法人さま向けの専用回線サービスの提供– クラウドコンピューティング/サーバホスティング– データセンター事業(2017年 札幌データセンター開設)©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

6

JANOG48 Meeting

HOTnet 実証実験参加の背景
 背景– 近年DNSサービスを標的としたサイバー攻撃は増加傾向– 大規模なイベントを標的としたDDoS攻撃が発生することでインターネットの利用やサービス提供に致命的な影響が発生することが想定される。
– 北海道は東京・大阪から地理的に離れており、大規模障害時に 孤立するリスクもあり、復旧にも時間がかかる可能性がある。
 ローカルノード設置への期待– 北海道地域におけるサービスの安定化– 地域外における障害や状況の変化による影響の軽減– インターネット（JP DNS）全体の安定性・信頼性の向上に寄与©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

7

JANOG48 Meeting

実証実験での攻撃シナリオと測定方法
 攻撃シナリオ– ローカルノードなしでの.jprs DNSサーバへのDDoS攻撃 (10:15～11:45)– ローカルノードありでの.jprs DNSサーバへのDDoS攻撃 (13:00～16:00)

 計測方法– 名前解決とping疎通性を確認するプローブをインターネットとISPネットワーク内に配置しそれぞれ実験時間中計測を行った(1) GNのみ(2) GNへの攻撃(3) LNの展開
プローブをISP網内に設置

GNGN

プローブをインターネットに配置

GN

GN

LN

DDoS
攻撃

(4) GNへの攻撃(5) LNへの攻撃

LN

LN

LN

LN
GN
GN

LN

プローブをインターネットに配置

Copyright © 2021 株式会社日本レジストリサービス

LN
GN
GN

LN

DDoS
攻撃LN
GN
GN

DDoS
攻撃

2021/07/15

8

JANOG48 Meeting

各プローブから tld4.nic.jprs へのRTT(1) GNのみ(2) GNへの攻撃(3) LNの展開
プローブをISP網内に設置

GNGN

プローブをインターネットに配置
(2)
(1)
(1)

GN

GN

(3)

msec

msec

30

420
10LN

(4) GNへの攻撃(5) LNへの攻撃

LN

LN

LN

LN
GN
GN

DDoS
攻撃

プローブをインターネットに配置(3)

(4)

LN

LN
GN
GN

LN

DDoS
攻撃
(5)

LN
GN
GN

DDoS
攻撃(3)

2

00
10:15 10:30 10:45 11:00 11:15 11:30 11:45 12:00 12:15 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 15:00 15:15 15:30 15:45 16:00 16:15 16:30 16:45 17:00
Probe on the Internet

Probe on HOTnet

Probe on OPTAGE

Probe on QTnet* OPTAGEのグラフは実験環境の影響で一部不安定となっている

 JPRSでは、各ISPに設置したローカルノードの状態を確認、シナリオ（４）では、ローカルノードは攻撃の影響を受けず、名前解決が継続できていることを確認
Copyright © 2021 株式会社日本レジストリサービス

2021/07/15

9

JANOG48 Meeting

HOTnetでの実験結果(1) GNのみ

(2) GNへの攻撃(3) LNの展開
プローブをISP網内に設置

GNGN

プローブをインターネットに配置
(2)
(1)
(1)

GN

GN

(3)

msec

msec

30

420
10LN

(4) GNへの攻撃(5) LNへの攻撃

LN

LN

LN

LN
GN
GN

DDoS
攻撃

プローブをインターネットに配置

(3)

(4)

LN

LN
GN
GN

LN

DDoS
攻撃
(5)

LN
GN
GN

DDoS
攻撃
(3)

20
0
10:15 10:30 10:45 11:00 11:15 11:30 11:45 12:00 12:15 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 15:00 15:15 15:30 15:45 16:00 16:15 16:30 16:45 17:00
Probe on HOTnet HOTnetでの気づき事項– シナリオ（３）でtld4へのRTT値が下がり応答速度が向上したことを確認– シナリオ（４）で名前解決が継続して行えることを確認©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

10

JANOG48 Meeting

実証実験のまとめ 総評− グローバルノードが攻撃を受けて機能を停止した場合も、ローカルノードを設置しているネットワークでは継続して名前解決が可能
 北海道地域におけるサービスの安定化− ローカルノードが攻撃を受けた場合は、攻撃の発信元がISPのネットワーク内からに限られるため、攻撃元調査が比較的実施しやすい可能性がある サイバー攻撃対処への助け− ローカルノードを設置することによる有効性を確認
 インターネット（JP DNS）全体の安定性・信頼性が向上に寄与©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

11

JANOG48 Meeting

実証実験参加の所感 24時間365日の監視・運用部門の2名にて実証実験に参加
実験準備、スケジュール調整など難航したが、実験参加メンバーの皆様のフォローで実現
スケジュールなどはかなり融通を利かせていただいた 仲間が増えると心強い
何か技術的につまずいたら、自社だけでなく実験参加メンバーに相談して進められる
実験参加メンバーにチャットで気軽に相談することが可能
実際に不明なログが出てチャットで共有したら解決という場面も 今後
積極的に実証実験に参加していきたい©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

12

JANOG48 MeetingJPローカルノードを置いて 2021/7/12 HOTnet JPローカルノード稼動開始！
 サービス品質向上(RTT値低下)が確認できた。
15ms

1050

RTT値(GN)

RTT値(LN) 急激なトラフィック変化など異常は見受けられない− ローカルノードを設置したことで、これまで予想のつかなかったトラフィックが発生しないかなど、注目しつつ運用していく 今後の目標− 北海道の地域ローカルノードとしてどこまで広められるか 現在救えるのはHOTnetネットワーク内だけ HOTnet以外のネットワークでもローカルノードを利用できるように• 例えばpeer相手先に公開するなど
 限定されたネットワーク内でという意味ではグローバルノードとは違う©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

13

JANOG48 Meeting

会場への問いかけ 地域におけるサービス冗長化について− 今回はDNSについての考察でしたが、他のサービスは？
− どこまで冗長化が必要か？
 数・手法としてどこまで冗長化することが求められるか？

 トラフィックの地産地消について− 地元のトラフィックは地元で？
− 自ネットワーク（AS）内からの攻撃トラフィックの取り扱いと準備
 何ができるか。どんな準備をしているか。

©2021 Hokkaido Telecommunication Network Co., Inc. All rights reserved.

2021/07/15

14