インターネットDCのこれまでと未来-MPLS Japan 20182018年11月19日

高澤Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

信宏

自己紹介
高澤 信宏
2001/4/1〜
Yahoo!Japan入社
Server,DataCenter周りを経て2007年よりNWに主軸
2014/10/1 〜
システム統括本部 テクニカルディレクター
2016/4/1〜
システム統括本部 サイトオペレーション本部長
日本データセンター協会運営委員 NWWG担当

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

2

アジェンダ• 我々のサービスインフラについて• 構成等• トラフィックパターン等• 今後について

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

3

インフラについて

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

インフラについて•

クラウド・ハードウェア•クラウド• プライベートクラウド環境• 5000vm/Q 計130,000vm•ハードウェア
• 約80000台• 2000台のOCP稼働

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

5

インフラについて• 国内データセンター• 5000rack超• 東西に大規模DCを建設中• オンデマンド型
他拠点&DC内BCP推進中

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

6

インフラについて• 海外データセンター• 16MW程のDC建設中• 2018/12竣工• ワシントン州••

電気代が安いデータ系サービスに利用

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

7

インフラについて• ネットワーク• 拠点間100G専用線接続• LSで多層化したMPLSでの運用• 対外接続：東京、大阪
AS23816:東京、東北
AS24572:大阪、北九州

東北

北九州

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

8

インフラについて
TO INTERNET

WA/US
JP- 日米間100G超接続- 多層化したMPLSでの運用
9

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

9

インフラについて
Backbone

Aggregation（棟 or フロア集約）

1棟 or 1フロア

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

1棟 or 1フロア

・・・
1棟 or 1フロア

・・・

10

インフラについて
STP構成

vPC構成

Production NW

IaaS, Paas, CaaS

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Clos構成Hadoop
IaaS

11

インフラについて• CDN• 完全自社配信• 国内配信が90%• ATSコミュニティに貢献中

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

12

インフラについて
total traffic

•

95%値

•

2017あたりから右肩上がり•

動画コンテンツの増加

total…

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

13

インフラについて
平時

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

• トラフィックパターン• ライブ/動画配信• 天気/災害

14

インフラについて• トラフィックパターン
トップページでの緊急生中継 • ライブ/動画配信• 天気/災害Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

15

インフラについて
大阪府北部地震Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

• トラフィックパターン• ライブ/動画配信• 天気/災害

16

インフラについてハイパースケールとエンタープライズの融合したインフラ• ハイパースケールと同等(East Westトラフィック多)• 広告、コマース等ビッグデータ領域• エンタープライズ(North Southトラフィック多)• トップページ、大容量動画配信、100近くあるサービス

インフラの作り方が変わってきた
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

17

インフラについて• API通信でIPで制御しにくい時代に• 物理サーバ/IaaS(vm環境)->PaaS/CaaSの推進• API proxy/Firewallのキャパシティ設計• 無くならないIP制御

セキュリティポリシー整備中
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

18

今後についてCopyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

今後(プライベートクラウド/DCNW周り)• Machine Learningインフラ?
• GPUクラスターが盛況• スパコン利用も盛況

最適なインフラ構成ができているか調査中

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

20

今後(プライベートクラウド/DCNW周り)• ストレージ/データ周りのトラフィックの対処• SDSでの事故• NVMe over Ethernet
DiskのI/Oの進化が目覚ましい
ネットワークがボトルネックになる事案が多数
インターフェースはその時買える一番広帯域で構築
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

21

今後(HW/DCNW周り)• インターフェーススピード25G,100G/400G• 25G• サーバインターフェースは25G統一• 100G• 単価も下がり拠点間/外部接続で幅広く利用• クロス構成でのSpine間は必ず選択• 400G• 当面100Gでしのげそうなので、拠点間が400G化するくらいまで待ち• クロス構成のSpine間が最初の利用になりそう
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

22

今後(NW周り)• 拠点間について• 伝送機器の運用• メトロエリアはすでに実施• 長距離も費用対効果が高ければ検討も基本はキャリアさんにお任せ伝送装置がCSPのNWエンジニアにも身近になってきている
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

23

今後(NW周り)• バックボーン整理• 自動化• 外部とのトラフィックコントロールの自動化を推進• 簡素化• SRでMPLS運用をもう一段シンプルに突発トラフィックにも耐えうる環境の構築
少人数で運用できるよう一掃の工数削減へ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

24

今後(HW周り)• OCPについて• OCPの一層の推進• 運用コスト削減• 作業ミスの削減• 電力削減大規模導入で効果が大きい
NW周りの皆さんも初めて見ませんか？
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

25

今後(DC周り)• ライフサイクル

STP構成
Production NW• DC10年超えが多数に• レガシーな構成のNWも大量• リフォームしたインフラは弱い
しっかり使い切り、捨てる。
リプレースしやすいインフラ構築を心がける
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

26

まとめ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

今後について• これまで• インフラの伸びは順調• ハイパースケール・エンタープライズの融合したインフラ• これから•••••

データ周り、 ML周りのNWインフラを注視しながら進める
伝送装置はお手軽に運用できるようになった
バックボーンの運用もシンプルに
OCPの推進リフォームではなくリプレースでライフサイクル推進

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

28

ご静聴ありがとうございました。

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.