クラウド事業者から見た課題と今後
2013.10.29
ニフティ株式会社
クラウド本部クラウド事業部

Copyright © NIFTY Corporation All Rights Reserved.

会社紹介
社名： ニフティ株式会社

創立年月日： 1986年2月4日

所在地： 東京都新宿区

代表取締役社長 ： 三竹
資本金兼司

： 37億円 （2013年3月31日現在）

売上高（連結） ： 793億円（2013年3月期）
主要な事業内容 ： 1.ISP事業 2.クラウド事業 3.Webサービス事業
コーポレートメッセージ：

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

ニフティ社の歩み
ISPやWebサービスで培ったインフラ資産・ノウハウを活かしてクラウド事業を開始
1980年代〜1990年代〜「NIFTY-Serve」開始

インターネット接続サービス開始

2000年代〜

2010年代〜

クラウド事業Webサービス事業
ISP事業
パソコン通信事業

Copyright © NIFTY Corporation All Rights Reserved.

会員様向け
Webサービスの充実

Confidential「NIFTY Cloud」開始

3

ニフティクラウドのネットワーク～2009年の＠niftyサービスシステムの変化●サービスごとの個別インフラ導入●サーバー仮想化による集約

Internet

Internet

ルーター

ルーター

ルーター

LB

LB

LB

LB

SW

SW

SW

SW

SW

SW

サーバ

サーバ

サーバ

サーバ

サーバ

サーバ

サービス サービス
A
B

サービス サービス
A
C

サービス サービス
C
B

サービス サービス
A
B

サービス
C

サーバー仮想化への対応として、ネットワーク標準化および集約を行い、設計/構築/運用を省力化
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

4ニフティクラウドのネットワーク
2010年～ クラウドサービス提供

Internet
FW

ルーター

LB

SW

SW

SW

SW

SW

SW

サーバ

サーバ

サーバ

サーバ

サーバ

サーバ

ユーザー ユーザー
A
B

ユーザー ユーザー
A
C

ユーザー ユーザー
C
B

ユーザー ユーザー
D
E

ユーザー ユーザー
D
F

ユーザー ユーザー
G
E

……

POD1

PODn

ニフティサービスシステム構築のノウハウをもとに
IaaS型のパブリッククラウドを構築
様々な制限の中で作られた多数のPODを管理
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

5仮想SWのMAC上限（2000MAC）

インターネット

プライベート物理スイッチ群

グローバル
物理スイッチ群

ニフティクラウド
１Pod

某社仮想スイッチ

30000MAC
リプレイス！！
2000MACグローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

6ネットワーク分割の数(100Vlan/Pod)

インターネットグローバル
物理スイッチ群

プライベート物理スイッチ群

100Vlan
500Vlan
リプレイス！！

ニフティクラウド
１Pod

グローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential7物理スイッチのMAC上限(8000MAC)

インターネットグローバル
物理スイッチ群

8000MAC

プライベート物理スイッチ群

ニフティクラウド
１Pod

8000MAC

30000MAC
某社仮想スイッチ

グローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

8物理スイッチのMAC上限(8000MAC)

インターネット

グローバル/プライベート
物理スイッチ群

ニフティクラウド
New１Pod

30000MAC

30000MAC
某社仮想スイッチ

グローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

9仮想FWの管理ホスト台数制限

インターネット

グローバル/プライベート
物理スイッチ群

ニフティクラウド
New１Pod

某社仮想スイッチ

24000台

仮想8000台
仮想FW
Ver UP!!
グローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

10物理スイッチの論理ポート上限

インターネット

論理ポート：論理ポート：リプレイス！
10000ポート
ほぼ制限なしグローバル/プライベート
物理スイッチ群

ニフティクラウド
New１Pod（上限：ポート数×Vlan）
某社仮想スイッチ

グローバルネットワーク
プライベートネットワーク

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

11ニフティクラウドのネットワーク

更なる集約率/統合率向上に向けて！
→物理ネットワークは「太く」「早く」→論理ネットワークで「分割」

Copyright © NIFTY Corporation All Rights Reserved.

Confidential

12ネットワーク施策概要
DCコアスイッチ
グローバルＮＷ
プライベートＮＷ

Pod A

Pod B

Pod間接続による共有NWの拡大（当面は）ある程度のMACテーブル（当面は）ある程度のロジカルポート→将来的にはオーバーレイでisolation

Pod C

Pod D

物理ネットワーク性能向上による統合率向上
10Gbps → 40Gbps• ネットワーク性能向上• I/O性能向上施策により、ネットワークの統合、ホストの統合率を向上• シームレスなポッド間接続実現を推進• オーバレイでのisolation実現を前提としたネットワーク構成へ※当面はVlan頼み・・・
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

13物理構成イメージ

SLB/IPS/WAF/etc

SLB/IPS/WAF/etc

コアスイッチエッジスイッチ

コアスイッチ

VRRP/HSRP
多arp（Min:10万）
ACL（Min:1万エントリ）・・・
レイテンシ：1μsec未満
脱STP（mLag/fablic系）
多MAC(Min:10万 出来るだけ多く)
多Vlan(Min:2000 出来るだけ多く)
JumboFrame対応（Min:2000Byte）
・・・・

エッジスイッチ

広帯域化(10Gbps→40Gbps)
サービス系/管理系統合
サーバ台数に応じてスケール(Min:400ポート)
JumboFrame対応（Min:2000Byte）
・・・・
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

14各ユーザ毎の構成（～現在）
ユーザA

ユーザB

GlobalVLAN-A

VLAN-B

ユーザ毎に「１つのプライベートネットワーク」を提供
裏の制限１：同一Pod内じゃないと接続できない
裏の制限２：ネットワーク個数に制限がある
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

15

分割イメージ
DCコアスイッチ
グローバルＮＷ
プライベートＮＷ

Pod A

Pod B

Pod C
Network-A
Network-B
Network-Cネットワークの制限なくコンピューティングリソースを分割
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

16論理ネットワーク【方式検討】
オーバーレイホップバイホップ → HWを選ぶ→オーバレイで検討開始
コアスイッチコアスイッチトンネル・製品、何がいいのでしょう？
エッジスイッチ
エッジスイッチ
エッジスイッチVxLAN , エッジスイッチ
STT , NVGRE ・・・

VirtualSwitch

Copyright © NIFTY Corporation All Rights Reserved.

VirtualSwitch

Confidential

17

検討状況
【検証候補の絞り込み】
まずは、数が多いから手当たり次第話を聞きました。
－VMwareとの親和性－ニフティのスケジュールにマッチする物をピックアップ【機能】－個別NWの確実な制御－API実装状況－稼働情報収集－(FW系の機能も)Copyright © NIFTY Corporation All Rights Reserved.

【構成】－スケールした際の挙動（これから！）－障害系(これから！)－NWファンクションの構成設計（これから！）－L3超えでのオーバーレイ（これから！）

Confidential

18

話は変わって【お客様の声】
部分的にクラウド利用を始めたい。とはいえ、一部のクラウド適用に対応するために→システム改修はしたくない→利用者告知などの対応もしたくない
いろいろ聞いてみるとIPアドレスを変えたくない
・NATして接続
・L2で接続Copyright © NIFTY Corporation All Rights Reserved.

Confidential

19

既存環境接続サービス（仮）既存環境と同じIPｱﾄﾞﾚｽをｸﾗｳﾄﾞ環境でも利用可能
何かによる
NW集中ｺﾝﾄﾛｰﾙ

オンプレ環境NIFTY Cloud

何かのトンネル
IPアドレスA

IPアドレスA

ホスティング環境
IPアドレスB

何かのトンネル
IPアドレスB

同一IPでサーバー移行が可能(専用線/閉域網/ｲﾝﾀｰﾈｯﾄVPN)
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

20

L2接続のイメージと課題

何かのトンネル
IPアドレスA

IPアドレスA

トンネル：VxLAN over IPSecとかGW

GW

コントローラ

VxLAN→Vlan変換も仮想仮想

全情報管理- MAC情報- VXLAN情報・検討課題→MTU問題（フラグメント？→性能は？）→通信監視/storm/BPDUなど責任分解の考え方→macテーブル増大？
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

21

検討状況
製品毎の課題・VMのNIC数に縛りがあるかも？
・トンネル増加(n×m)による性能劣化？
・broadcast等によるゴミ増加？

Podの管理単位をどうしていくか？
1NW管理単位＝XXXXHV？XXXXVM？
XXDC？
適用後の運用
特に新機能実装時の検証(工数・環境増大？)
そろそろMACかぶります（OUI購入検討中）
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

22各ユーザ毎の構成（将来）仮想物理

Global

DMZ

Net-A

APL

Net-B

DB

Net-C

ユーザ毎にたくさんのL2面と物理設備の接続機能を提供
Copyright © NIFTY Corporation All Rights Reserved.

Confidential

23

Copyright © NIFTY Corporation All Rights Reserved.

Confidential