VIOPS06 WORKSHOP
ここまで身近に！10Gbpsを越えるネットワークの世界

Everything over Ethernet～その要件と技術～

ブロケード コミュニケーションズ システムズ© 2011 Brocade Communications Systems, Inc.

本日の内容• 既存のデータセンタ内プロトコルとその特徴• Everything over Ethernet:その前提条件• Datacenter Bridge, TRILL• FCoE, RoCE
• 課題、注意点、その他• まとめ© 2011 Brocade Communications Systems, Inc.

既存の Datacenter 内プロトコルとその特徴© 2011 Brocade Communications Systems, Inc.

System Area Network の特徴
ロスレス性はなぜ必要か？
• RDMA, I/O の特徴• メモリ間データ転送をベースに、バス(SCSIやメモリチャネル)を経由してDMAでデータをブロックで読み書きする• メモリ、ディスクの Read/Write ではロスレスは暗黙の仮定

かつてのサーバ内

現在
DC全体がシステム

Converged
NetworkAdapter

CPUNorth

MemorySouthSCSIcontroller

拡張
EthernetLANSAN

IPC

NIC

サーバ内でメモリ通信の損失は無いと仮定© 2011 Brocade Communications Systems, Inc.

SAN/IPC のロスレスを実現Datacenter 内のEthernet以外のネットワーク
次世代 Ethernet が実装しなくてはならない技術• Fibre Channel• InfiniBand• 低遅延(300ns)、広帯域(10Gbps/Lane)

ClosTopology• 低遅延(450ns)、広帯域(16Gbps/Lane)

Core-EdgeTopology

どちらもLossless/ECMPが備わったネットワーク© 2011 Brocade Communications Systems, Inc.

今日の DC ネットワークでの挑戦
通常の Ethernet の限界• Layer 2 性能と信頼性の向上• 等価コストマルチパス技術の実現• ロスレス• ブロードキャスト トラフィック の最適化
• MAC 学習の最適化• 高速収束

• 自動化による管理オーバヘッドの削減• 自律的ファブリック形成• 自動的発見、構成• VM 移動性への対応• シンプル化• 次ページ参照© 2011 Brocade Communications Systems, Inc.

Data CenterEthernet にまとめることの利点
Brocade の自社データセンタ

2008年頃の自社 DC

2010年8月オープンの新社屋/DC

仮想化により、複雑性が増大

広帯域＋すっきり＋
今までと変わらない運用© 2011 Brocade Communications Systems, Inc.

Everything over Ethernet
その前提条件© 2011 Brocade Communications Systems, Inc.

ロスレス性の実現
Data Center Brdinging 技術• “Data Center Bridging” とはデータセンタ向けに拡張された Ethernet• 下記の複数の標準を含む• Priority-based Flow Control (802.1Qbb)• Enhanced Transmission Selection (802.1Qaz)• Data Center Bridging eXchange (802.1Qaz)

FCoE© 2011 Brocade Communications Systems, Inc.

10G リンクを仮想的に8本のチャネル(Priority)に分割し、フロー制御

Equal Cost Multi-Path の実現
Transparent Interconnection of Lots of Links• 何故 TRILL が必要なのか？

A

ループとなるB
リンクは使用できない

E
C

TRILLなし

D• 従来のEthernetでは実現できないマルチパスの実現(redundant path failover)• 最短経路へのルーティング• ルーティングなどのゼロ設定• FCoE などのレジリエント構成に必
要

A

等価コスト
パスをバランスさせて使用可能

B

注意事項で説明EC
D© 2011 Brocade Communications Systems, Inc.

TRILLFibre Channel over Ethernet(RDMA over Converged Ethernet)© 2011 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only

6/30/201111

FCoE の利点
• 従来の FC のインフラがそのまま使用できる• 既存の設備投資がそのまま生きる• 従来の管理スキームがそのまま使用できる• 新技術ではない• iSCSI のような新しい技術と違い iqn や SLP/iSNS などを知らなくても構成できる• そもそも IP は zero 設定ではない• ストレージメーカの提供する既存の管理ソフトウェアがそのまま使用できる

サーバ

サーバ

FCoE SWFC SW

FCoE SW

ストレージメーカやサーバメーカの既存の管理ソフト© 2011 Brocade Communications Systems, Inc.

Fibre Channel over Ethernet• DCB 上にマッピングした上位プロトコルのひとつ• ANSI T11 FC-BB-5 v2.0 で標準化
FC-4

Upper layer (SCSI-3)

FC-3

FC Generic ServiceFC-2• ジャンボフレーム(2500bytes)

Link Service
BLS/ELS

DCB Layer-2• FC フレームと Ethernet フレームは1：1でマッピング

DCB layer-2
64b/66b encoding, others

DCB Layer-1

10Gbps Ethernet phy• FC フレーム(2112 bytes)を
Ethernet フレームでカプセル化• RFC3643 Fibre Channel Frame
Encapsulation が標準として使用されている© 2011 Brocade Communications Systems, Inc.

FCoE の構成と言葉• FCoE Node (ENode)• DCBのインターフェースを持ちFCノードとして振舞うことが可能な統合ネットワークアダプタ（CNA)がこれに当たる• FCoE Forwarder• FCスイッチとして動作することができるDCBスイッチを表す• FCoE Mapper (FCM)• ファイバチャネルフレームをイーサネットフレームにカプセル化／非カプセル化を行う機能© 2011 Brocade Communications Systems, Inc.

FCPortFC
PortFCPortFCPortFC Switch

FCoE Forwarder(FCF)

FCoE Mapper (FCM)

DCB Switch
DCB
PortDCB
PortDCB
PortENodeDCB
PortFCoE Initialization Protocol• Discovery Phase• FIP の役割
• DCB ファブリックにおけるFCFの発見• ENode による FCF の発見• DCB ファブリックに対するFCファブ
リックサービスの提供• アドレッシング方式の提供

FIP• FCoE ファブリックパラメータの交換• FCoE VLAN の発見• ENode と FCF の関連付け• 既存の FLOGI, FLOGI_ACC, LOGO
をそのまま使用

FIP
DCB• Data Transfer Phase
FCF

FCoEFCF• Login Phase• PLOGI/PRLI• その他のすべての FC プロトコルフ
レーム• ELS, FC4 ULP© 2011 Brocade Communications Systems, Inc.

FCoE アドレッシング• DCB ファブリック内では MAC アドレスベースで通信するため、旧来の FC のアドレスだけでは通信できない• そのため FCoE では MAC アドレスを動的にアサインする仕組みが必要• Fabric Provided MAC Address (FPMA) によりアドレスを確保• MAC アドレスの上位3バイトは “0x0E, 0xFC, 0x00”• MAC アドレスの下位3バイトは FID (FC fabric 内のアドレス)

NIC の MAC とFCoE HBA のSession MAC は別

CNAの
FCアドレス空間への写像
050201CNA
FID : 050201
session MAC : 0E:FC:00:05:02:01© 2011 Brocade Communications Systems, Inc.

FCストレージのFCoEアドレス空間への写像
0E:FC:00:05:01:01

FCF

FCストレージ

FCドメイン
ナンバ : 5

FID : 050101

FIP の手順
Host

FCF

Multicast(FIP),MAC(host),capability
Unicast(FIP advertisement),MAC(FCF),
Priority, switch name, fabric name,capability

ENode は FCF, DCB
属性を認識する
FLOGI (FIP),MAC(host),
FC header,
Proposed MAC
ENode は与えられた
MAC を使用(FIP完了)

LS_ACC (FIP),MAC(host), MAC(FCF),
FC header, approved MAC
FIP 完了後は Ethertype = FCoE で通信可能

必要があればさらにFDISC を行う

LS_ACC (FIP),MAC(host’), MAC(FCF),
FC header, approved MAC

version 1.0.1© 2011 Brocade Communications Systems, Inc.

© 2011 Brocade Communications Systems, Inc.

FC PRLIFC PLOGI
End-to-End login

DCB ポートの動作

FC PLOGI
Name server 登録等

FIP FLOGIDCBポート初期化FIP Discovery

DCB Port Active

10GbE ポート初期化

DCBX exchange

アクティブ状態

リンク初期化

Character / WordSynchronization

Light / Signaling

Power On Self Test

電源オン

DCB/FCoE のリンク初期化の流れ

FCoE ポートの動作

FCoE 初期化 FC 初期化
I/O 開始FCoE の事例

© 2011 Brocade Communications Systems, Inc. TED FCoE セミナー

19

RDMA over Converged Ethernet (ロッキー)• 詳細は Mellanox の津村さんに!
• TLV 形式は？
• EtherType は？
• そもそもどうやって RDMA Verb を発見するの？
Application
RDS

MPI

SocketSCSISDPRDMA Verbs

RoCE

FCP

iWARP

iSCSI

TCP

TCP

IP

IPDCB
© 2011 Brocade Communications Systems, Inc.

FCoE

課題、注意点、その他© 2011 Brocade Communications Systems, Inc.

FCoE と ECMP の関係
Spanning Tree の問題点
STP による
L2構成
SW1

Blockport
SW2
SW3

FIP
FLOGI
SW4SW5• Link Failure が起こった場合、上の Path(SW1/SW2/SW3/FCF)にnon-disruptive に切り替わるか？

FCF
DataFlow• そもそもマルチパスドライバからみてマルチパスになっていないため、冗長パスとして設定すらできない• だから初めから Multi-Path が可能なトポロジが必要
STP による
L2構成
SW1

SW2

SW3

再度FLOGIが必要
SW4

FCF

SW5
LinkFailure© 2011 Brocade Communications Systems, Inc.

DCB only スイッチ
DCB + FCF スイッチ

FCoE 環境でのカスケードの危険性
FCoE Keep-Alive のスケーラビリティとマルチホップ FCoE
仮想サーバ

DCB only SWと FCoE SWの混在
物理サーバ

FCoE
Keep-alive

lossless
Ethernetlossless
Ethernetlossless
Ethernet

FCF

FCF

FCF

負荷

FCF:FCoEに対応したスイッチ
Lossless Ethernet:単にDCB対応しただけのスイッチ

仮想サーバ
FCoE SW による構成

物理サーバ
FCF

FCF

すべてのスイッチにFCoE forwarder がないとネットワークを拡張できない© 2011 Brocade Communications Systems, Inc.

マルチプロトコルサポートと ECMP
• Ethernet に IB/FC を統合するとすると、ルーティングプロトコ
ルは何を使用する？
ルーティングプロトコル
TRILL/SPB

IS-IS

InfiniBand

SubnetManager の実装次第(MINHOP/UPDN等)

Fibre Channel

Fabric Shortest Path First

Ethernet
ECMP

IB/FC

• 実は標準上は未解決© 2011 Brocade Communications Systems, Inc.

まとめ

© 2011 Brocade Communications Systems, Inc.

Everything over Ethernet• Ethernet によるデータセンタ内インタコネクトの集約の前提条件• DCB• TRILL• XoE のメリット• 共通 : LAN/SAN/IPC が1本のワイヤに統合できるため、TCOを削減可能• FCoE : 従来の FC 基盤が活かせる• RoCE : Ethernet でも IB と同じことができる• ただし同じ性能というわけではない• 注意点• とりわけ FCoE には multi-path やLink Level Service にまつわる注意点が多いので、接続性のサポートは要確認© 2011 Brocade Communications Systems, Inc.

Thank You© 2011 Brocade Communications Systems, Inc.