大規模映像共有サービスのワークロード分析

NTTサービスインテグレーション基盤研究所
森・川原・長谷川・下川背景• インターネットトラヒックの変化~	  Post	  YouTube	  Arbor Networks
NANOG47 資料より抜粋
2

背景

Cisco Visual Networking Index より抜粋

3

本研究のゴール• 新しいトラヒックの理解・characteriza1on	  – 特に「フロー」の視点で	  – ネットワーク設計・制御への影響把握	  	  4分析の対象とした映像共有サービス
サービス	

拠点	

容量(free)	 容量(premium)	

ファイル	

YouTube	アメリカ	

2GB	  or	  
10分	

20GB	

ﬂv,	  3gp,	  mp4	ニコニコ動画	  	日本	  40MB	

100MB	ﬂv	MEGAVIDEO	

中国（香港）	 100MB	

5GB	

ﬂv	

DailyMo1on	

フランス	-­‐-­‐	

ﬂv,	  mp4	  	20分	  or	  150MB	

5

フロー検出におけるチャレンジ• 単純にIPアドレスの管理主体を調べるだけでは不十分	  – YouTube	  のトラヒック=	  AS	  36561	  (YouTube)	  発のトラヒックというわけではない	  – YouTube	  サーバの一部はGoogle	  ASN	  に所属	  •••YouTube	  (ASN):	  18	  GB	  Google	  (ASN)	  +	  YouTube	  (ASN):	  226	  GB	  YouTube	  (今回の分析結果):	  	  182	  GB	  	  • ペイロード情報（パケットの中身）を使わない分析	  – そもそも100Gbps	  超の世界では	  DPI	  (Deep	  Packet	  Inspec1on)	  の限界が来る可能性大	  – 一方ネットワークに何が流れているかを把握しておきたいという要求は普遍的に存在	  6

YouTubeドメイン発トラヒック• hUp/content-­‐type	  が様々	  –––––applica1on/atom+xml,	  applica1on/javascript,	  applica1on/octet-­‐stream	  applica1on/opensearchdescrip1on+xml,	  applica1on/rss+xml	  applica1on/vnd.google-­‐earth.kmz,	  applica1on/x-­‐javascript	  applica1on/x-­‐shockwave-­‐ﬂash,	  applica1on/x-­‐www-­‐form-­‐urlencoded	  applica1on/x-­‐xpinstall,	  applica1on/xml,	  applica1on/xslt+xml	  ––image/gif,	  image/jpeg,	  image/png,	  image/x-­‐icon	  text/css,	  text/html,	  text/javascript,	  text/plain,	  text/x-­‐cross-­‐domain-­‐policy,	  text/xml	  –video/mp4,	  video/x-­‐ﬂv	   興味があるのはこれ	  – Observa1on:	  ビデオ配送サーバ群と	  html	  (UI)	  配送サーバ群は異なる	  7

YouTubeトラヒックの抽出方法(1)1. 大規模URL	  収集と分析	  – web	  proxy	  サーバのログ(1ヶ月間で1億レコード)より	  content-­‐type:	  が	  video	  かつURLのドメインが	  	  /youtube\.com$/	  	  にマッチするドメイン を収集	  – 規則性の発見（リバースエンジニアリング）	  v◇◇.cache◇◇.c.youtube.com	  	  2. ドメインリスト作成	  – ドメインを補完し、実際にDNS正引きが存在するものをリストに追加	  8

YouTubeトラヒックの抽出方法(2)3.	  IPアドレスリスト作成	  YouTube– 世界中に分散したオープ
ンリカーシブDNSサーバ
経由でDNSリストのドメインをlook	  up	  (Aレコード)	  	  	  日本

アメリカ
ダミー

オープンリカーシブDNSサーバ

動画共有サービスにおける動画配信サーバのIPアドレ
スを網羅的に抽出可能

ドメイン

9

収集したドメインとIPアドレスドメイン

IPアドレス10

トラヒックデータ• あるインターネットエッジを計測	  • 下りの通信路における９時間分のトラヒックデータ	  • 下記のようなフローレコードを取得	  • 全フロー数	  〜 約1億	  • 取得したIPアドレスリストを用い、映像共有サイトのトラヒックフローを分析する	  	  	  

11

Webトラヒックの内訳
時刻毎Web bps

600• YouTubeなどの動画トラヒックは海外Webトラヒックの３分の１程度を占める	  	  500

300

200

100

時刻
YouTube

MEGAVIDEO

Dailymotion

海外Web - 動画

20:30

20:00

19:30

19:00

18:30

18:00

17:30

17:00

16:30

16:00

15:30

15:00

14:30

14:00

13:30

13:00

12:30

12:00

0
11:30

bps [Mbps]

400

12
ニコニコ動画国内Web - 動画

フロー統計
サイズが20KB 以上のフローのみ集計

13

フローサイズ分布

容量制限によるサービス毎の特徴が明確	

14フローサイズ分布のフィッティング

15

フローレート・フロー持続時間Kbps秒サービス間で大きな分布形状の差違は認められない	  持続時間は巾乗分布的	16容量制限がなくなるとどうなる？
Log-log CCDF

無料会員

有料会員

パレート分布	  1	  <	  θ	  <	  2	  （分散発散）	

?

制限パレート分布	  0	  <	  θ	  <	  1	  （平均発散）	
17

P2Pフローとの比較
P2P:	  θ=0.38	

P2P増加時のインパクト

Web:	  θ=1.12	
Tatsuya Mori, Masato Uchida, Shigeki Goto,
Flow analysis of internet traﬃc: World Wide Web versus peer-to-peer.
Systems and Computers in Japan 36(11): 70-81 (2005)
18

まとめ• 現在の映像共有サービスのトラヒックの特徴を分析	  	  • DPIや統計的推定によらないフロー検出方法の提案	  • サービス容量制限がフローサイズ分布特性に影響	  • 制限つきのP2Pフローと近い特性	  – ただしトラヒック源がピアからデータセンターにシフト	  – 容量制限の解除による変化は未知数（今後の課題）	  	  • 今後の変化・成長とネットワークに対する影響把握
は引き続き課題である	  19