ISPが福岡に進出して見えてきたDNSの課題

November 21st, 2023
BIGLOBE Inc.
前野洋史
Copyright © BIGLOBE Inc. 2023, All rights reserved.

自己紹介
前野 洋史（Hiroshi Maeno）
経歴• 2017年4月 BIGLOBE 新卒入社
• 社会人7年目
業務内容• 2017/4-2022/3：• バックボーンネットワークの設計・構築・運用• 2022/4-：• DNS/ロードバランサ/NAT64/IPv4 over IPv6基盤の設計・構築・運用• システムのAWS移行など
趣味• 一人旅、漫画、動画鑑賞、美味しいものを食べること、カラオケ
2

Copyright © BIGLOBE Inc. 2023, All rights reserved.

BIGLOBEは福岡でのピアリングを開始しました
2023年4月：福岡QD3で新POPの運用を開始しました
2023年7月：JPIX福岡に100Gbpsで接続しましたとあるコンテンツ事業者様とのトラフィック交換を見込んで100Gbpsでスタート3

Copyright © BIGLOBE Inc. 2023, All rights reserved.

地方への分散を進める目的• トラフィックは年間30％程度の増加が継続• 東京と大阪から全国にトラフィックを配送する構成は高コスト• 地域でトラフィックを集約しトラフィック配送を効率化する構成へ

福岡でのトラフィック交換により、福岡～大阪間を運ぶトラフィックを削減する

福岡でのピアリングやCDNキャッシュにより東京と大阪から運んでいた
トラフィックを福岡で折返し

九州・沖縄
お客様

4

Copyright © BIGLOBE Inc. 2023, All rights reserved.

接続の結果…
• 期待していたInboundトラフィックはゼロの状態

5

Copyright © BIGLOBE Inc. 2023, All rights reserved.

なぜこのような状態に？
• BIGLOBEのDNSリゾルバ（キャッシュDNS）は東京と大阪にある• コンテンツサーバはキャッシュDNSのアドレスを基に配信場所を選択する• 九州ユーザも西日本のキャッシュDNSを利用中のため大阪のサーバが選択される②問い合わせ元のキャッシュDNSのアドレスに応じて返答
・東日本向け：192.0.2.80
・西日本向け：198.51.100.80

東日本用キャッシュDNS① www.example.comの
IPアドレスは？

コンテンツURL
http://www.example.com④ 192.0.2.80へアクセス

東日本のコンテンツサーバ(192.0.2.80)③ www.example.com= 192.0.2.80

コンテンツの
権威DNS

東日本ユーザ④′ 198.51.100.80へアクセス

西日本ユーザ③′ www.example.com= 198.51.100.80

西日本用
キャッシュDNS

西日本のコンテンツサーバ(198.51.100.80)
九州のコンテンツサーバ(203.0.113.80)

九州ユーザ

6

Copyright © BIGLOBE Inc. 2023, All rights reserved.

解決策の一つにECS（EDNS Clinet Subnet）の利用がある• ECSを利用するとキャッシュDNSはお客様のIPアドレス情報をクエリに付与• 付与されたIPアドレス情報を基に権威DNSは最適なIPアドレスを返答する②クエリに付与されたサブネット
情報を見て適切なIPアドレスを返答
・西日本向け：198.51.100.80
・九州向け：203.0.113.80

権威DNSへの問い合わせ時は予め定めたprefix長に変換してサブネット情報を付与※西日本：192.0.2.0/25※九州：192.0.2.128/25④ 198.51.100.80へアクセス

コンテンツURL
http://www.example.com

西日本のコンテンツサーバ(198.51.100.80)

西日本ユーザ
192.0.2.53/25③ www.example.com= 198.51.100.80

コンテンツの③′ www.example.com
権威DNS = 203.0.113.80① www.example.comの
IPアドレスは？
※ 送信元：192.0.2.53①′ www.example.comのIPアドレスは？
※ 送信元：192.0.2.179

九州のコンテンツサーバ(203.0.113.80)

西日本用
キャッシュDNS④′ 203.0.113.80へアクセス

九州ユーザ
192.0.2.179/25

ECSを使う場合でも予めコンテンツ事業者側にどのIPアドレスが九州のお客様で利用しているものかを伝えておく必要はある
7

Copyright © BIGLOBE Inc. 2023, All rights reserved.

キャッシュサーバを置く場合にも影響がある
ピアリングだけでなく、CDN事業者の提供するキャッシュサーバを設置する場合もDNS対応は必要
主なCDNキャッシュとDNS対応の要否
社名配信される主なコンテンツ

DNS対応の要否

A社

様々なコンテンツ

必要

B社

様々なコンテンツ

Prefix単位で制御できるので必須ではない

C社

動画配信

不要

D社

様々なコンテンツ

必要E社

様々なコンテンツ

Prefix単位で制御できるので必須ではないF社

様々なコンテンツ

必要（一部DNS対応不要コンテンツあり）

G社

動画配信

Prefix単位で制御できるので必須ではないH社

様々なコンテンツ必要

8

Copyright © BIGLOBE Inc. 2023, All rights reserved.

現状のキャッシュDNS構成• キャッシュDNSは東京と大阪のDCで稼働• 利用者の地域に応じて東京もしくは大阪のDNSサーバが利用される• 利用者にはDHCPv4/v6,RAでPrimaryとSecondaryのDNSサーバアドレス(LBのVIP)が配信される• 権威DNSへはDNSサーバのグローバルセグメントからアクセスする• 権威DNSサーバから見たクエリの送信元アドレス = VIP ではない
東キャッシュ DNS

Primary VIP

西キャッシュ DNS

Primary VIP

東京DC A

LB
TH4430

DNSサーバ

LB
TH4430

DNSサーバ

LB
TH4430

DNSサーバNTT西日本ユーザ

NTT東日本ユーザ
東京DC B

Secondary VIP

大阪DC A

大阪DC B

LB
TH4430

DNSサーバ

Secondary VIP

9Copyright © BIGLOBE Inc. 2023, All rights reserved.

DNS構成の検討
CDN事業者の配信サーバ決定の仕組みを参考に対応方針を検討
対応方針

導入の効果

導入ハードル

導入における課題①ECSに対応高高・キャッシュがサブネット単位で増加するため、メモリ消費量の予測が難しい・opt-out機能(ユーザ毎のECSオンオフ)を実装するべきかどうか
・国内採用実績が少ないためノウハウ不足②大阪用DNSサーバの一部を福岡用に分割

中中・キャッシュDNSへのレスポンスで配信サーバを決定している CDNだと、大阪と福岡が同距離に見えるため効果が出ない可能性あり
・LB調達もしくはLBによる振り分け機能の導入が必要③福岡DNS新規構築+
福岡用アドレス払い出し高高・福岡DNS用の新規アドレスの払い出しが大変
・九州のユーザに配信するアドレスを変更するのが大変④福岡DNS新規構築+
IP anycastで振り分け

高低・事前評価が必要なこと以外は特になし④のIP anycastで大阪と福岡のDNSに振り分ける方法を検討中
他によりよい案があればご意見ください！
10

Copyright © BIGLOBE Inc. 2023, All rights reserved.

まとめ• BIGLOBEでは国内第3のリージョンとして福岡POPを立ち上げ• 地域でトラフィックを集約しトラフィック配送を効率化する構成へ• DNS構成の問題で福岡POPからトラフィックが想定通り引き込めない• クライアントのアドレス=大阪のキャッシュDNSのアドレスとなるため、福岡からアクセスしても大阪のサーバからトラフィックが配送される• 今後、全国にサービスを展開するISPにおいても問題になる可能性がある• DNSオペレータとして、どのような解決策が良いと思いますか？
11

Copyright © BIGLOBE Inc. 2023, All rights reserved.

Copyright © BIGLOBE Inc. 2023, All rights reserved.