続報：キャッシングサーバにおけるクエリトラフィック増加
NTT情報流通プラットフォーム研究所
佐藤 一道© 2010 NTT Information Sharing Platform Laboratories

前回のBoFでの発表

2© 2010 NTT Information Sharing Platform Laboratories

1ユーザあたりのクエリ数分布推移• 1日1000クエリ以上送出するユーザが増加

ユーザ数

1日あたりのクエリ数/ユーザ
3© 2010 NTT Information Sharing Platform Laboratories

クエリ数増加分析• 2009年と2010年の大量クエリ送信ユーザの特性を比較– 問い合わせドメインのバラツキ度合でユーザの正常/異常パターンを分類• 分析結果– 2010年では正常パターンを示す大量クエリ送信ユーザが増加している

SLDばらつきSLDばらつき正常パターン

2009年2月

2010年3月

ばらつき小⇒リピートクエリ送信者

4© 2010 NTT Information Sharing Platform Laboratories

Mozillaドメインクエリ送信ユーザのバラツキ• Mozillaドメインクエリ送信ユーザが1000qph以上送信ユーザに占める割合が増加し、かつ正常クエリ送信パターンを示す– Firefoxのプリフェッチ機能が大量クエリ送信ユーザ増加原因か？

:mozillaドメインクエリ送信ユーザ

2009年2月
5

2010年3月© 2010 NTT Information Sharing Platform Laboratories

大量クエリ送信ユーザ分析アップデート

6© 2010 NTT Information Sharing Platform Laboratories

大量クエリ送信ユーザ増加原因の(一次)検証• 大量クエリ送信ユーザの増加原因は何か？
– Firefoxにプリフェッチ機能が搭載されたのは2009年6月– プリフェッチ機能によって大量クエリ送信ユーザが増加していると推測• 仮説の一次検証– Firefoxを利用している(と思われる)ユーザのクエリ数をプフリフェッチ機能の搭載前後(2009年2月と2010年3月)で比較• Firefoxやアドオンのアップデートサーバの名前解決を行うユーザをFirefoxユーザとみなす– 大量のリンクがあるページをFirefoxで閲覧したとき、どの程度クエリを送出するかを調査• 300個のリンク(それぞれのドメイン名は異なる)があるページを作成し、Firefoxで閲覧したときのプリフェッチクエリをキャプチャし、分析する

7© 2010 NTT Information Sharing Platform Laboratories

Firefox利用大量クエリ送出ユーザ数の比較• Firefoxを利用しているユーザの中に、どの程度大量クエリ送出ユーザが含まれているかを調査– 秒間100クエリ以上を送信するユーザを抽出– 上記ユーザの中から、Firefoxを利用しているユーザを抽出– 2009年2月と2010年3月で比較• 分析結果– 大量クエリ送信ユーザは1年間で約4倍に増加– Firefox利用大量クエリ送信ユーザは1年間で約28倍に増加
2009年2月

Firefox利用かつ大量クエリ送信ユーザ
大量クエリ送信ユーザ

0.02
1

2010年3月

0.55
4

Firefox利用かつ大量クエリ送信ユーザの増加を確認
8© 2010 NTT Information Sharing Platform Laboratories

Firefox利用大量クエリ送信ユーザのクエリ数比較• Firefox利用ユーザのうち、1秒間あたりの送信クエリ数が最も多いユーザを2009年と2010年で比較

クエリ数

青：プリフェッチ機能搭載前 (2009年2月)
赤：プリフェッチ機能搭載後 (2010年3月)

9

2009年2月：最大秒間クエリ数は約150
2010年3月：最大秒間クエリ数は約350

経過時間 (秒)© 2010 NTT Information Sharing Platform Laboratories

Firefox利用大量クエリ送信ユーザの秒間クエリ数分布

最大秒間クエリ数

青：プリフェッチ機能搭載前 (2009年2月)
赤：プリフェッチ機能搭載後 (2010年3月)
プロットは各Firefox利用ユーザの最大秒間クエリ数を表す

Firefoxユーザの最大秒間クエリ数は全体的に増加している

Firefox利用ユーザ (最大秒間クエリ数の降順)

10© 2010 NTT Information Sharing Platform Laboratories

300リンクに対するFirefoxのプリフェッチクエリ
3発プリフェッチクエリを投げて応答を待つ(最大並列数は3？)応答があると次のプリフェッチクエリを投げる

並列数が3に達するとクエリをやめて応答を待つ
全部で約150ドメイン名のプリフェッチクエリを投げた(A、AAAA両方)• プリフェッチクエリの並列数は3？

– 秒間プリフェッチクエリ数はキャッシュサーバからのレスポンスタイムに依存する？

• プリフェッチしたドメイン名の数は150程度– プリフェッチドメイン数の上限が決まっている？

11© 2010 NTT Information Sharing Platform Laboratoriesまとめ• Firefox利用ユーザが送信するクエリ数がプリフェッチ機能搭載前後で増加している– 搭載前は秒間最大150クエリ– 搭載後は秒間最大350クエリ– プリフェッチ機能が大量クエリ送信ユーザの原因となっている可能性がある• 1ユーザあたりのクエリ数増加が与えうる影響– Firewallでレートリミットを掛けている場合、Firefoxが送信するクエリを遮断してしまう可能性がある– NAT箱のセッションテーブルが溢れる– IEがプリフェッチ機能を搭載した場合、ユーザからキャッシュサーバへのクエリが大幅に増加すると思われる
12© 2010 NTT Information Sharing Platform Laboratories

今後の予定• 挙動調査

– リンクが多く貼られたページを見たとき、プリフェッチ機能搭載ブラウザがどの程度クエリを送出するかを調査– 並列クエリ数に制限があるかを調査– プリフェッチ総数に制限があるかを調査
大量クエリ送信を確認した場合• 影響調査– FirewallやNAT箱といったネットワーク機器にレートリミットやセッション数などの制限を設定した場合、プリフェッチ機能搭載ブラウ
ザを利用しているユーザがその制限にかかるかどうかを調査
制限にかかり、クエリが遮断される現象が確認できた場合• ブラウザベンダへのフィードバック– MozillaやGoogleといったブラウザベンダに分析結果をフィードバックし、プリフェッチのクエリレートを減らすよう要求する

13© 2010 NTT Information Sharing Platform Laboratories

参考：Firefox利用ユーザの抽出• Firefoxやアドオンのアップデートサーバに問い合わせを行うユーザをFirefox利用ユーザとする– “aus2.mozilla.org”– “addons.update.mozilla.org”

Firefox利用ユーザ

resolving “aus2.mozilla.org”“addons.update.mozilla.org”

キャッシュサーバ

注意：全てのFirefox利用ユーザを抽出することはできない。また、Firefoxを利用していないユーザを抽出している可能性がある

14© 2010 NTT Information Sharing Platform Laboratories