ホワイトボックスの取り組みに関して-MPLS Japan 20192019年12⽉9⽇

ヤフー株式会社
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

⾼澤信宏

⾃⼰紹介
⾼澤 信宏
2001年4⽉1⽇〜
Yahoo!Japan⼊社
2001年-2006年Server,DataCenterエンジニア
2007年よりNWエンジニアへ
2014/10/1 〜
システム統括本部 テクニカルディレクター
現在
システム統括本部 サイトオペレーション本部⻑/IDC本部⻑
⽇本データセンター協会運営委員 NWWG担当

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

2

会社概要
会社名: ヤフー株式会社
業種:インターネット広告
Eコマース・会員サービス等

本社:東京都千代⽥区紀尾井町1-3 東京ガーデンテラス 紀尾井タワー

従業員数: 約7000⼈
サービス︓
Smartphone apps:50(iOS),50(android)
Web:100+
⽉間PV: 725億PV

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

3

ホワイトボックスの取り組みの⽴ち位置この部隊で推進
サイトオペレーション本部

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

インフラ技術1部

インフラ開発インフラ技術2部

DC/Server/Storage/
オペレーションセンター

インフラ技術3部

既存ネットワークオペレーション

インフラ技術4部

⾃社CDN/⼤規模コンテンツ配信4

なぜホワイトボックス?
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

納期、供給元の安定化• スイッチは納期がかかっている• サーバ:4週間-1.5ヶ月• スイッチ：2-3ヶ月• スイッチの供給元がシングルポイント• サーバ：複数メーカー• スイッチ：保守も絡み納品ベンダーは1メーカー1社
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

6

複数メーカーでのクロスNW構築をしたい• 納期を安定させたい• 品質を維持したい• コスト効果の⾼いNW運⽤を⾏いたい
DCNWでは特殊な機能、専⽤機は求めない。
サーバと同じ選定・導⼊・構築・運⽤をNWでも!
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

7

ホワイトボックス
(クロス)
導⼊の歴史
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

現在のクロスについて
クロスファブリック

配信PoP

バックボーン

ほぼほぼこれがメイン
構成管理
BOX

内製・OSS・Apstra

内製・OSS

内製・OSS
Juniper

ホワイトボックス

ブライトボックス

カスタムボックス

Arista/Cisco/(OCP(Arista/Juniper)(Cisco/Juniper)

Juniper等

EOS/Junos

NX-OS/Junos

上記通り各社

Juniper

Custom Silicon

各社依存

各社依存

Edgecore/backpack)

OS
chip

Cumulus

Merchant Silicon

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

9

クロスファブリック導⼊の歴史
8年前⻄海岸某メーカーで紹介をうける
まだまだACLでの運⽤時代

20万⾏⼊るスイッチを作って︕

5年前
Facebookより指導を受ける
4年前やっとデータインフラで導⼊
Janog38で発表
現在拡張中
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

10

ホワイトボックスの利⽤
北⽶DCでのデータ基盤からスタート
詳細はJanog38 の発表で2015年導⼊当初
150ラック ホワイトボックススイッチ
150ラック ブライトボックススイッチ

ホワイトボックス

リダンダントをとって様⼦⾒ スタートはまずまずでした。
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

ブライトボックス

11クロス・ホワイトボック
ス停滞
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

停滞の理由(ACL)ACLCoreSWでのACL依存
クロスでのACLの掛け⽅?
サーバにかけるにしても開発が。。。
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

13

停滞の理由(⼈)• クロス/ホワイトボックスが腹落ちするまで⻑時間
8年前は早くから⼿を付けすぎてしまった。。
↓テクニカルな⾯での腹落ちした後↓• 開発と運⽤
運⽤よりも開発したいけど7000rackのNW運⽤に追われる
どうにもなかなか進まない停滞状態
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

14

2018年度まで• サイトオペレーション本部 総勢約100名• インフラ技術1部 インフラ開発• インフラ技術2部 DC/HW/ストレージ• インフラ技術3部 ネットワーク 既存運⽤ クロス推進・ホワイトボックス推進• インフラ技術4部 CDN開発・運⽤
既存運⽤と開発で⼿が回りません︕
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

15

現在のクロスについて保守が︕︕使い慣れたOS。
検証機材ばかり増える。
配信PoP
バックボーン
コミュニケーションコスト激増。

クロスファブリック

構成管理
BOX

内製・OSS・Apstra

内製・OSS

内製・OSS
Juniper

ホワイトボックス

ブライトボックス

カスタムボッ

Arista/Cisco/(OCP(Arista/Juniper)

クス

Juniper等

Edgecore/backpack)(Cisco/Juniper)

OSchipCumulus

EOS/Junos
Merchant Silicon

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

NX-OS/Junos

上記通り各社

上記通り各社

Custom

各社依存

各社依存Silicon16

停滞解消に向けて
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

停滞解消に向けて(ACL)
HostサイドACLを開発

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

18

停滞解消に向けて(⼈)
組織
開発と運⽤を分離（今更）
古い構成を守る部隊（おっさんがリード）
新しい構成を主導する部隊(責任を持って運⽤まで)
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

19

インフラ部隊について• サイトオペレーション本部 総勢約100名• インフラ技術1部• インフラ技術2部• インフラ技術3部• インフラ技術4部

インフラ開発 クロス推進DC/HW/ストレージ
ネットワーク 既存運⽤
CDN開発・運⽤

役割を変え、絞ったことで推進⼒アップ
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

20

今後
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

今後
•構成
••

ホワイトボックス/ブライトボックスどちらのメーカーでも良い構成
求める機材
A社・B社ど壊れた時もどこの• 短納期• 安定した品質• 安定供給• 低コストサーバと同等の運用を目指す

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

こでもいいA社・B社どこでもいい

A社・B社どこでもいいスイッチを使ってもいい

A社・B社どこでもいい22

今後のクロスについて
クロスファブリック

配信PoP

バックボーン“クロス”はここを増やす
構成管理
BOX

内製・OSS・Apstra

内製・OSS

内製・OSS
Juniper

ホワイトボックス

ブライトボックス

カスタムボッ

Arista/Cisco/(OCP(Arista/Juniper)

クス

Juniper等

Edgecore/backpack)(Cisco/Juniper)

OSchipCumulus

EOS/Junos
Merchant Silicon

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

NX-OS/Junos

上記通り各社

上記通り各社

Custom

各社依存

各社依存

Silicon23

今後(⼈)• サイトオペレーション本部 総勢約100名• インフラ技術1部• インフラ技術2部• インフラ技術3部• インフラ技術4部

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

インフラ開発 クロス推進
DC/HW/ストレージ
ネットワーク 既存運⽤
CDN開発・運⽤

24

今後(⼈)• サイトオペレーション本部 総勢約100名• インフラ技術1部• インフラ技術2部• インフラ技術3部• インフラ技術4部

インフラ開発 クロス運⽤
DC/HW/ストレージ
ネットワーク 次期構成推進
CDN開発・運⽤

継続したインフラ開発の体制を維持へ
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

25

ご静聴
ありがとうございました
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.