(57)【特許請求の範囲】
【請求項１】
サービスネットワークと、
レイヤ2ネットワークの複数のエッジノードを介して前記サービスネットワークに結合された複数の異なる物理的位置にある複数のレイヤ2ネットワークとを備え、
前記エッジノードは、前記レイヤ2ネットワークにわたる複数のホストの複数のインターネットプロトコル(IP)アドレスを維持するように構成され、
前記レイヤ2ネットワークの各々における前記ホストの前記IPアドレスは、他のレイヤ2ネットワークによって、前記ホストの同じレイヤ2ネットワーク内の前記エッジノードの各々の媒体アクセス制御(MAC)アドレスにマップされ、
前記エッジノードは、他のレイヤ2ネットワークに属するIPアドレスを有する前記ホストの前記MACアドレスを認識しておらず、
前記エッジノードは、非IPアプリケーションを実行する複数のホストのMACアドレスを維持するように構成され、
前記エッジノードは、すべての前記レイヤ2ネットワーク内の前記ホストの前記IPアドレスを備える複数のローカルIPアドレス情報テーブルを備え、
前記エッジノードは、前記ローカルIPアドレス情報テーブルに変更があるとき、更新したアドレス情報を前記他のエッジノードのピアへ送信する、ことを特徴とする装置。
【請求項２】
前記サービスネットワークは、レイヤ3ネットワーク、レイヤ2.5ネットワーク、および、レイヤ2ネットワークのうち1つである、請求項1に記載の装置。
【請求項３】
前記エッジノードは、レイヤ2ゲートウェイであり、前記ホストは、複数のアプリケーション、サーバおよび/または仮想マシンを備え、前記レイヤ2ネットワークは、異なるデータセンタ(DC)に位置することが可能である、請求項1に記載の装置。
【請求項４】
前記レイヤ2ネットワーク内の前記ホストは、他のレイヤ2ネットワーク内の前記ホストの前記MACアドレスを認識していない、請求項1に記載の装置。
【請求項５】
前記エッジノードは、前記エッジノードの同じレイヤ2ネットワーク内のローカルホストのみのため、前記レイヤ2ネットワーク内の複数の非IPアプリケーションのため、または、両方のために、複数のMACアドレスを備える複数のMACアドレス転送テーブルを備える、請求項1に記載の装置。
【請求項６】
前記レイヤ2ネットワーク内の複数のスイッチは、前記エッジノードのためのデリゲートとして動作し、前記スイッチは、IPアドレスの複数の異なるサブセットを、対応するエッジノードから受信し維持する、請求項1に記載の装置。
【請求項７】
前記レイヤ2ネットワーク内の複数のスイッチは、アドレス解決プロトコル(ARP)プロキシとして動作し、前記ARPプロキシは、複数のARPリクエストおよびレスポンスを、前記スイッチと同じレイヤ2ネットワーク内の前記ホストと交換する、請求項1に記載の装置。
【請求項８】
レイヤ2ネットワークにおいてエッジノード中で使用するためのネットワークコンポーネントであって、
前記ネットワークコンポーネントは、
複数の外部レイヤ2ネットワーク内の、複数のホストのための複数のインターネットプロトコル(IP)アドレスを受信するように構成された受信器であって、前記エッジノードのローカルレイヤ2ネットワーク及び前記外部レイヤ2ネットワークは、複数の物理的位置に位置するとともに、サービスネットワークを介して相互接続される、受信器と、
前記外部レイヤ2ネットワーク内の前記ホストの前記IPアドレスを、複数のエッジノードの複数の媒体アクセス制御(MAC)アドレスにマップするように構成された論理回路であって、ホストの各IPアドレスは、ホストと同じレイヤ2ネットワークに属するエッジノードのMACアドレスにマップされる、論理回路と、
前記外部レイヤ2ネットワークへ、前記ローカルレイヤ2ネットワーク内の複数のホストのためのIPアドレスを送信するように構成された送信器と
を備え、
前記エッジノードは、他のレイヤ2ネットワークに属するIPアドレスを有する前記ホストの前記MACアドレスを認識しておらず、
前記エッジノードは、非IPアプリケーションを実行する複数のホストのMACアドレスを維持するように構成され、
前記エッジノードは、すべての前記レイヤ2ネットワーク内の前記ホストの前記IPアドレスを備える複数のローカルIPアドレス情報テーブルを備え、
前記エッジノードは、前記ローカルIPアドレス情報テーブルに変更があるとき、更新したアドレス情報を前記他のエッジノードのピアへ送信する、ネットワークコンポーネント。
【請求項９】
単一のデータセンタ(DC)ロケーション内の複数の仮想ローカルエリアネットワーク(VLAN)内の前記ホストの前記IPアドレスは、外部ゲートウェイの前記MACアドレスのうち同じものにマップされる、請求項８に記載のネットワークコンポーネント。
【請求項１０】
前記ホストは、前記DCロケーション内の前記VLANのうち1つにおける複数の仮想プライベートグループ(VPG)またはクローズドユーザグループに関連付けられる、請求項９に記載のネットワークコンポーネント。
【請求項１１】
前記ローカルレイヤ2ネットワーク内の複数のホストのためのIPアドレスは、周期的に、または、前記前記ローカルレイヤ2ネットワーク内のホストもしくは前記ローカルレイヤ2ネットワーク内のホストの前記IPアドレスに変更が発生するとき、送信されて、前記外部レイヤ2ネットワーク内のアドレス情報が更新される、請求項８に記載のネットワークコンポーネント。
【請求項１２】
第2のDCロケーション内の第2のホスト向けである、第1のデータセンタ(DC)ロケーション内の第1のホストからのフレームをエッジノードによって受信するステップと、
前記フレーム内の前記第2のホストのための宛先アドレス(DA)を、前記第2のDCロケーション内のレイヤ2ゲートウェイ(L2GW)の媒体アクセス制御(MAC)アドレスにマップするステップと、
MAC-in-MACについての電気電子技術者協会(IEEE)802.1ah規格をサポートする外側MACヘッダを追加して、前記L2GWの前記MACアドレスを示す内部フレームを得るステップと、
前記内部フレームを前記第2のDCロケーションへ、前記第2のDCロケーションに結合されたサービスインスタンスを介して送信するステップとを備え、
前記エッジノードは、他のレイヤ2ネットワークに属するIPアドレスを有する前記ホストの前記MACアドレスを認識しておらず、
前記エッジノードは、非IPアプリケーションを実行する複数のホストのMACアドレスを維持するように構成され、
前記エッジノードは、すべての前記レイヤ2ネットワーク内の前記ホストの前記IPアドレスを備える複数のローカルIPアドレス情報テーブルを備え、
前記エッジノードは、前記ローカルIPアドレス情報テーブルに変更があるとき、更新したアドレス情報を前記他のエッジノードのピアへ送信する方法。
【請求項１３】
前記フレームは、前記第1のDCロケーション内のローカルL2GWのためのMAC DA、前記第1のホストのためのMACソースアドレス(SA)、前記第2のホストのためのインターネットプロトコル(IP)DA、および、前記第1のホストのためのIP SAを備え、前記外側MACヘッダは、前記L2GWのためのMAC DA、前記ローカルL2GWのためのMAC SA、および、前記内部フレームがMACアドレス変換を必要とすることを示すイーサタイプを備え、前記内部フレームは、前記外側MACヘッダ、前記ローカルL2GWのための前記MAC DA、および、前記第1のホストの前記MAC SAを備える、請求項１２に記載の方法。
【請求項１４】
前記第2のホストは、非インターネットプロトコル(IP)アプリケーションであり、前記フレームは、前記第1のDCロケーション内のローカルL2GWのためのMAC DA、および、前記第1のホストのためのMACソースアドレス(SA)を備え、前記外側MACヘッダは、前記L2GWのためのMAC DA、前記ローカルL2GWのためのMAC SA、および、前記内部フレームがMAC-in-MACのためのものであることを示すイーサタイプを備え、前記内部フレームは、前記外側MACヘッダ、前記第2のホストのためのMAC DA、および、前記第1のホストの前記MAC SAを備
える、請求項１２に記載の方法。
【請求項１５】
前記第2のホストは、以前のDCロケーションから前記第2のDCロケーションへ移動しており、前記フレームは、前記第1のDCロケーション内のローカルL2GWのためのMAC DA、前記第1のホストのためのMACソースアドレス(SA)、前記第2のホストのためのインターネットプロトコル(IP)DA、および、前記第1のホストのためのIP SAを備え、前記外側MACヘッダは、前記L2GWのためのMAC DA、前記ローカルL2GWのためのMAC SA、および、前記内部フレームがMACアドレス変換を必要とすることを示すイーサタイプを備え、前記内部フレームは、前記外側MACヘッダ、前記以前のDCロケーションから学習された前記第2のホストのためのMAC DA、および、前記第1のホストの前記MAC SAを備える、請求項１２に記載の方法。
【請求項１６】
別のDCロケーション内の外部ホストのMACアドレスを得るための、アドレス解決プロトコル(ARP)リクエストを、前記第1のDCロケーション内のローカルホストから受信するステップと、
前記外部ホストのインターネットプロトコル(IP)アドレスが、前記第1のDCロケーション内のローカルL2GWのIPアドレス情報テーブル内で検出される場合、前記外部ホストに代わって、前記ローカルL2GWの前記MACアドレスを示すARPリプライを、前記ローカルホストへ返すステップとをさらに備える、請求項１２に記載の方法。
【請求項１７】
ホストから更新を得るために、アドレス解決プロトコル(ARP)メッセージを前記ホストへ送信するステップと、
ARPリプライが前記ホストから受信される場合、前記IPアドレス情報テーブル内の前記ホストのエントリを更新するステップとをさらに備える、請求項１６に記載の方法。
【請求項１８】
IPアドレス情報テーブルから、複数のホストのための複数のインターネットプロトコル(IP)アドレスを、アドレス解決プロトコル(ARP)プロキシとしての機能を果たす複数のデリゲートスイッチへプッシュするステップと、
前記ホストのための更新されたIPアドレスの統合されたリストを、前記デリゲートスイッチから受信するステップとをさらに備える、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００２】
連邦政府による資金提供を受けた研究開発についての記載
該当なし。
【０００３】
マイクロフィッシュ付録の参照
該当なし。
【背景技術】
【０００４】
現代の通信およびデータネットワークは、ネットワークを通じてデータをトランスポートするノードからなる。ノードには、ネットワークを通じて個々のデータパケットまたはフレームをトランスポートする、ルータ、スイッチ、ブリッジ、または、それらの組み合わせが含まれうる。いくつかのネットワークは、中間ノードにおける事前構成された経路を使用することなく、ネットワーク中であるノードから別のノードへとデータフレームを転送するデータサービスを提供することがある。他のネットワークは、事前構成あるいは事前確立されたパスに沿って、ネットワーク中であるノードから別のノードへとデータフレームを転送することがある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MAC-in-MACについての電気電子技術者協会(IEEE)802.1ah規格
【非特許文献２】Internet Engineering Task Force (IETF) Request for Comments (RFC) 826
【非特許文献３】IEEE 802.1q
【非特許文献４】IEEE 802.1aq
【非特許文献５】IEEE P802.1ah/D4.2規格
【非特許文献６】IETFドラフトdraft-ietf-trill-rbridge-protol-12-txt
【非特許文献７】PRESTO 08において発行された、A. Greenberg他による「Towards a Next Generation Data Center Architecture: Scalability and Commoditization」という名称の論文
【発明の概要】
【課題を解決するための手段】
【０００６】
一実施形態では、本開示は、サービスネットワークと、レイヤ2ネットワークの複数のエッジノードを介してサービスネットワークに結合された複数の異なる物理的位置にある複数のレイヤ2ネットワークとを備え、エッジノードは、レイヤ2ネットワークにわたる複数のホストの複数のインターネットプロトコル(IP)アドレスを維持するように構成され、レイヤ2ネットワークの各々におけるホストのIPアドレスは、他のレイヤ2ネットワークによって、ホストの同じレイヤ2ネットワーク内のエッジノードの各々の媒体アクセス制御(MAC)アドレスにマップされる、装置を含む。
【０００７】
もう1つの実施形態では、本開示は、複数の物理的位置に位置し、サービスを介して相互接続された複数の外部レイヤ2ネットワーク内の、複数のホストのための複数のIPアドレスを受信するように構成された受信器と、外部レイヤ2ネットワーク内のホストのIPアドレスを、同じ外部レイヤ2ネットワーク内の複数の対応するゲートウェイの複数のMACアドレスにマップするように構成された論理回路と、外部レイヤ2ネットワークへ、サービスを介して外部レイヤ2ネットワークに結合されたローカルレイヤ2ネットワーク内の複数のローカルホストのための複数のIPアドレスを送信するように構成された送信器とを備える、ネットワークコンポーネントを含む。
【０００８】
さらにもう1つの実施形態では、本開示は、第2のDCロケーション内の第2のホスト向けである、第1のデータセンタ(DC)ロケーション内の第1のホストからのフレームを受信するステップと、フレーム内の第2のホストのための宛先アドレス(DA)を、第2のDCロケーション内のレイヤ2ゲートウェイ(L2GW)のMACアドレスにマップするステップと、MAC-in-MACについての電気電子技術者協会(IEEE)802.1ah規格をサポートする外側MACヘッダを追加して、L2GWのMACアドレスを示す内部フレームを得るステップと、内部フレームを第2のDCロケーションへ、第2のDCロケーションに結合されたサービスインスタンスを介して送信するステップとを備える方法を含む。
【０００９】
これらおよび他の特徴は、以下の詳細な説明が添付の図面および特許請求の範囲と併せて解釈されることにより、より明らかに理解されよう。
【００１０】
本開示のより完全な理解のために、添付の図面および詳細な説明に関連して解釈される、以下の簡単な説明がここで参照され、同様の参照番号は同様の部分を表す。
【図面の簡単な説明】
【００１１】
【図１】仮想プライベートローカルエリアネットワーク(LAN)サービス(VPLS)相互接続LANの一実施形態の概略図である。
【図２】仮想レイヤ2ネットワークの一実施形態の概略図である。
【図３】境界制御機構の一実施形態の概略図である。
【図４】データフレーム転送方式の一実施形態の概略図である。
【図５】データフレーム転送方式の別の実施形態の概略図である。
【図６】データフレーム転送方式の別の実施形態の概略図である。
【図７】相互接続レイヤ2ドメインの一実施形態の概略図である。
【図８】複数のアドレスドメイン上のレイヤ2拡張の一実施形態の概略図である。
【図９】複数のアドレスドメイン上の擬似レイヤ2ネットワークの一実施形態の概略図である。
【図１０】ドメインアドレス制限機構の一実施形態の概略図である。
【図１１】データフレーム転送方式の別の実施形態の概略図である。
【図１２】データフレーム転送方式の別の実施形態の概略図である。
【図１３】データフレーム転送方式の別の実施形態の概略図である。
【図１４】データフレーム転送方式の別の実施形態の概略図である。
【図１５】ブロードキャスト方式の一実施形態の概略図である。
【図１６】ブロードキャスト方式の別の実施形態の概略図である。
【図１７】相互接続ネットワーク区域の一実施形態の概略図である。
【図１８】相互接続ネットワーク区域の別の実施形態の概略図である。
【図１９】ARPプロキシ方式の一実施形態の概略図である。
【図２０】データフレーム転送方式の別の実施形態の概略図である。
【図２１】ARPプロキシ方式の別の実施形態の概略図である。
【図２２】物理サーバの一実施形態の概略図である。
【図２３】フェイルオーバー方式の一実施形態の概略図である。
【図２４】非対称ネットワークアドレスカプセル化方式の一実施形態の概略図である。
【図２５】ARP処理方式の一実施形態の概略図である。
【図２６】拡張ARPペイロードの一実施形態の概略図である。
【図２７】別のデータフレーム転送方式の一実施形態の概略図である。
【図２８】強化ARP処理方法の一実施形態のプロトコル図である。
【図２９】拡張アドレス解決方法の一実施形態のプロトコル図である。
【図３０】ネットワークコンポーネントユニットの一実施形態の概略図である。
【図３１】汎用コンピュータシステムの一実施形態の概略図である。
【発明を実施するための形態】
【００１２】
1つまたは複数の実施形態の例示的実装が以下に提供されるが、開示されたシステムおよび/または方法は、現在知られているか、または存在しているかどうかにかかわらず、任意の数の技術を使用して実装可能であることを、最初に理解されたい。本開示は、本明細書に例示かつ記載された例示的設計および実装を含む、以下に例示される例示的実装、図面および技術に決して限定されるべきではないが、添付の特許請求の範囲の均等物の全範囲と共に、添付の特許請求の範囲の範囲内で修正可能である。
【００１３】
現代のデータネットワークには、クラウドサービス、および、レイヤ2とも呼ばれるデータリンクレイヤにおいてアプリケーションをサポートするVMが含まれることがあり、複数のロケーションに跨る必要がありうる。そのようなネットワークは、DC内など、サーバ(またはVM)のクラスタを備えることがあり、これらのサーバは、複数のロケーションに跨り、既に展開されたアプリケーションをサポートするためにレイヤ2レベルで通信し、こうして、例えば、何百万ドルというコストを節約しなければならない。サーバのクラスタ間のレイヤ2通信は、負荷バランシング、データベースクラスタリング、仮想サーバ障害回復、ネットワークレイヤ(レイヤ3)の下での透過的な動作、サブネットを複数のロケーションにわたって広げること、および冗長性を含む。レイヤ2通信はまた、アプリケーション間のキープアライブ機構をも含む。いくつかのアプリケーションは、複数のロケーションにおいて通信するために同じIPアドレスを必要とし、あるサーバはアクティブであってもよく、別のサーバはスタンバイであってもよい。(異なるロケーション内の)アクティブおよびスタンバイサーバは、キープアライブメッセージを互いの間で交換することができ、この交換にはレイヤ2キープアライブ機構が必要となりうる。
【００１４】
図1は、VPLS相互接続ローカルエリアネットワーク(LAN)100の一実施形態を例示する。VPLS相互接続LAN 100は、複数のDCロケーション、例えば、物理的位置にわたるレイヤ2ネットワークを接続して、統合された、またはフラットなレイヤ2ネットワークを確立するために提案された、スケーラブルな機構である。VPLS相互接続LAN 100は、VPLS 110、および、エッジルータなど、複数のエッジノード112を介してVPLS 110に結合されうる、複数のLAN 120を備えてもよい。各LAN 120は、対応するエッジノード112に結合された複数のレイヤ2スイッチ122、対応するレイヤ2スイッチに結合された複数のアクセススイッチ124、対応するアクセススイッチ124に結合された複数のVM 126を備えてもよい。VPLS相互接続LAN 100のコンポーネントは、図1に示すように配置されうる。
【００１５】
VPLS 110は、異なるロケーションまたはDCにわたってLAN 120を接続するように構成される任意のネットワークであってもよい。例えば、VPLS 110は、異なるDCにわたるLAN 120を相互接続するために、レイヤ3ネットワークを備えてもよい。レイヤ2スイッチ122は、開放型システム間相互接続(OSI)モデルデータリンクレイヤにおいて通信するように構成されうる。データリンクプロトコルの例には、LANのためのイーサネット（登録商標）、ポイントツーポイントプロトコル(PPP)、ハイレベルデータリンク制御(HDLC)、および、ポイントツーポイント接続のための高度データ通信制御プロトコル(ADCCP)が含まれる。アクセススイッチ124は、レイヤ2スイッチ122とVM 126の間でデータを転送するように構成されうる。VM 126は、システムプラットフォーム、例えば、オペレーティングシステム(OS)の提供、および/または、プログラムもしくはアプリケーションを実行する仮想マシンの処理を行う、システム仮想マシンを備えてもよい。各LAN 120内のVM 126は、複数のプロセッサ、中央処理装置(CPU)またはコンピュータシステム上で分散されうる。LAN 120内の複数のVM 126はまた、ディスク空き容量、メモリ、プロセッサ、および/または、他のコンピューティングリソースなど、同じシステムリソースを共有することができる。VM 126は、シェルフ上に配置可能であり、例えば、アクセススイッチ124を介して、対応するLAN 120に結合されうる。
【００１６】
VPLS相互接続LAN 100のいくつかの態様は、非実用的または望ましくない実装の問題をもたらすことがある。一態様では、VPLS 110は、マルチプロトコルラベルスイッチング(MPLS)をサポートする広域ネットワーク(WAN)の実装を必要とすることがある。しかし、China Telecomなど、いくつかのオペレータは、WANを介したMPLSをサポートせず、したがって、VPLS相互接続LAN 100の実装が困難であることがある。さらに、例えば、複数のLAN 120にわたるVM 126のための、ホストリンクレイヤアドレスを解決するために、参照により本明細書に組み込まれている、Internet Engineering Task Force (IETF) Request for Comments (RFC) 826に記載されたARPなど、ARPが必要となりうる。ARPは、リクエストをすべての相互接続LAN 120にフラッディングし、したがって、かなりの量のシステムリソース(例えば、帯域幅)を使い果たすことがある。このようなARPフラッディング機構は、LAN 120および/またはVM 126の数が増すにつれて、スケーラビリティの問題を欠点として有することがある。VPLS相互接続LAN 100はまた、メッシュ擬似ワイヤ(PW)をセットアップして、LAN 120に接続することもあり、このセットアップには、トンネルの構成および状態維持が必要となりうる。いくつかのシナリオでは、VPLS 110は、ボーダーゲートウェイプロトコル(BGP)を使用して、LAN 120を発見し、LAN 120毎にメッシュPWを構築することがある。
【００１７】
光トランスポート仮想化(OTV)は、複数のロケーションまたはDCにわたるレイヤ2ネットワークを接続して、フラットなレイヤ2ネットワークを確立するために提案された、もう1つのスケーラブルな機構である。OTVは、Ciscoによって提案された、レイヤ2通信のIPカプセル化に依存する方法である。OTVは、中間システム間(IS-IS)ルーティングプロトコルを使用して、各ロケーション(例えば、DC)内の、他のロケーションへのMAC到達可能性を配布することができる。OTV方式は、いくつかの非実用的または望ましくない態様を有することもある。一態様では、OTVは、プロバイダコアIPネットワークによって、比較的多数のマルチキャストグループを維持することを必要とすることがある。各LANは別個のオーバーレイトポロジを有することがあるので、サービスプロバイダIPネットワークによって維持される比較的大量のオーバーレイトポロジがあることがあり、コアネットワークに負担をかけることがある。OTVはまた、エッジノードがインターネットグループ管理プロトコル(IGMP)を使用して、IPドメイン内の異なるマルチキャストグループに加入することを必要とすることもある。各エッジノードが複数の仮想LAN(VLAN)に結合される場合、エッジノードは、複数のIGMPグループに参加する必要がありうる。
【００１８】
OTVでは、各ロケーションにおけるゲートウェイなど、エッジデバイスは、互いから1ホップ離れるIPホストであることがあり、到達可能性情報を交換するために、エッジデバイス間でリンク状態プロトコルを実装する必要がないことがある。しかし、リンク状態はまた、ピアを認証するために使用されることもあり、この認証は、ピアがIGMPバージョン3(IGMPv3)レポートを送信することによってVLANに加入する場合、OTVにおいて必要とされうる。別法として、OTVは、BGP認証方法を使用することがある。しかし、BGP認証タイミングは、IS-IS認証タイミングとは異なることがある。例えば、BGPは、数秒の性能に合わせて調整されうるが、IS-ISは、1秒未満の性能に合わせて調整されうる。さらに、IS-ISプロトコルは、OTVシステム内の各ロケーションにおいて、かなり多数、例えば、何万ものホストおよびVMに対処するために適していないことがある。OTVはまた、何万ものクローズドユーザグループをサポートするためには不適当であることもある。
【００１９】
本明細書で開示されるものは、複数の異なるロケーションにおける複数のレイヤ2ネットワークを接続して、フラットまたは単一のレイヤ2ネットワークを得るための、スケーラブルな機構を提供するためのシステムおよび方法である。このスケーラブルな機構は、複数のロケーションにわたるフラットなレイヤ2ネットワークを得るための態様または課題のいくつかを解決することができる。このスケーラブルな機構は、アプリケーションのためのスケーラブルなアドレス解決をサポートすること、および、ネットワークスイッチがこれらのロケーションにわたる全部または複数のホストに関連付けられた複数のアドレスを維持することを可能にすることによって、これらのロケーションにわたるトポロジ発見を容易にすることができる。このスケーラブルな機構はまた、異なるロケーションにわたるトラフィックの転送、および、例えば、未知のホストアドレスのためのトラフィックのブロードキャストを容易にし、マルチキャストグループをサポートすることもできる。
【００２０】
これらの方法は、比較的大きいフラットなレイヤ2を複数のロケーション上でスケールするための、境界制御機構を含む。したがって、アプリケーション、サーバおよび/またはVMは、レイヤ3、レイヤ2.5またはレイヤ2ネットワークなど、別のネットワークによって相互接続された複数のレイヤ2ネットワークを備える、仮想レイヤ2ネットワークを認識することができる。レイヤ2ネットワークは、異なるかまたは別個の物理的位置に位置してもよい。プロトコルから独立したアドレス解決機構もまた使用することができ、複数のロケーション上の、比較的大きい仮想レイヤ2ネットワーク、および/または、かなり多数のレイヤ2ネットワークに対処するために適している可能性がある。
【００２１】
図2は、異なるDCまたは物理的位置にわたる仮想レイヤ2ネットワーク200の一実施形態を例示する。仮想レイヤ2ネットワーク200は、複数のロケーション、例えば、地理的なロケーションまたはDCにわたるレイヤ2ネットワークを接続して、統合された、またはフラットなレイヤ2ネットワークを確立するための、スケーラブルな機構でありうる。仮想レイヤ2ネットワーク200は、サービスネットワーク210、および、エッジルータなど、複数のエッジノード212を介してサービスネットワーク210に結合されうる、複数のレイヤ2ネットワーク220を備えてもよい。各レイヤ2ネットワーク220は、対応するエッジノード212に結合された複数のL2GW 222、および、L2GW 222に結合されうる複数の中間スイッチ224を備えてもよい。仮想レイヤ2ネットワーク200のコンポーネントは、図2に示すように配置されうる。中間スイッチ224はまた、複数のホストおよび/またはVM(図示せず)にも結合されうる。
【００２２】
サービスネットワーク210は、サービスプロバイダネットワークなど、レイヤ2ネットワーク220を相互接続するために確立された任意のネットワークであってもよい。例えば、サービスネットワーク210は、仮想プライベートネットワーク(VPN)など、レイヤ2、レイヤ2.5またはレイヤ3ネットワークであってもよい。サービスネットワーク210は、L2GW 222のすべてのアドレス、例えば、MACアドレスを認識することができる。L2GW 222は、各DCロケーション内の境界ノードであってもよく、DCロケーション内の内部で通信するためにレイヤ2インターフェースを有することができる。L2GW 222は、それらの対応するMACアドレスを使用して、例えば、中間スイッチ224を介して、L2GW 222の同じレイヤ2ネットワーク220内の同じロケーション内、および、他のレイヤ2ネットワーク220内の、ホストおよび/またはVMと通信することができる。しかし、L2GW 222および中間スイッチ224は、他のレイヤ2ネットワーク220内のホスト/VMのMACアドレスを認識することはできない。その代わりに、ホスト/VMのMACアドレスは、他のレイヤ2ネットワーク220内のL2GW 222において、例えば、ネットワークアドレス変換(NAT)テーブルまたはMACアドレス変換(MAT)テーブルを使用して、後述のように変換されうる。
【００２３】
一実施形態では、各L2GW 222は、L2GW 222の同じレイヤ2ネットワーク220内のすべてのホスト/VMのアドレスを、ローカルIPアドレス情報テーブル(ローカル-IPAddrTable)内で維持することができる。L2GW 222はまた、後述のように、プロキシARP機能を実装するように構成されうる。加えて、L2GW 222は、MAC転送テーブルを維持することができ、MAC転送テーブルは、非IPアプリケーションのためのMACアドレスを備えてもよい。MACアドレスは、同じロケーション、例えば、同じレイヤ2ネットワーク220内のホスト/VMおよび中間スイッチ224のMACアドレスを備えてもよい。
【００２４】
L2GW 222は、他のロケーション(例えば、他のレイヤ2ネットワーク220)内のそのピア(例えば、他のL2GW 222)に、そのロケーション内のローカルホストのすべてのIPアドレスを知らせてもよいが、ローカルに維持されたMACアドレス(非IPアプリケーションのためのもの)は知らせなくてもよい。したがって、異なるロケーションにわたるL2GW 222は、すべての他のロケーションのホストIPアドレスを得ることができる。よって、各L2GW 222は、あるロケーションに属するIPアドレスの各グループを、同じロケーションに属する対応するL2GW 222のMACアドレスにマップすることができる。L2GW 222はまた、そのローカル-IPAddrTable内に変更があるとき、アドレス情報をピアへ再送して、他のピア内でその情報を更新することができる。これにより、インクリメントする方法による、アドレス情報の更新、および、各L2GW 222内のマッピングを可能にすることができる。
【００２５】
図3は、境界制御機構300の一実施形態を例示する。境界制御機構300は、複数のロケーションまたはDCにわたるフラットまたは仮想レイヤ2ネットワークを確立するためのスケーラブルな機構でありうる。仮想レイヤ2ネットワークは、サービスネットワーク310、および、エッジルータなど、複数のエッジノード312を介してサービスネットワーク310に結合されうる、複数のレイヤ2ネットワーク320を備えてもよい。各レイヤ2ネットワーク320は、対応するエッジノード312に結合された複数のL2GW 322、および、L2GW 322に結合されうる複数の中間スイッチ324を備えてもよい。中間スイッチ324はまた、ホスト326、例えば、VMにも結合されうる。仮想レイヤ2ネットワークのコンポーネントは、図2に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００２６】
境界制御機構300に基づいて、各L2GW 322は、すべてのロケーション、例えば、レイヤ2ネットワーク320内のホストのIPアドレスを維持することができる。IPアドレスはまた、異なるドメイン、例えば、複数の物理的位置にわたることがあり、かつ、IP/MPLSネットワークによって結合されうる、レイヤ2ドメイン内のホストに属することができる。各L2GW 322はまた、他のロケーション内のピアL2GW 322のMACアドレスを認識することができる。しかし、L2GW 322は、他のロケーション内のホストのMACアドレスを維持することはできず、これにより、L2GW 322間で交換(かつ格納)されるデータのサイズをかなり縮小することができる。L2GW 322において維持されたIPアドレスは、同じロケーションの対応するL2GW 322のMACアドレスにマップされうる。具体的には、各ロケーションまたはレイヤ2ネットワーク300に属するホストIPアドレスの各セットは、そのロケーション内のL2GW 322のMACアドレスにマップされうる。しかし、L2GW 322は、異なるロケーションにわたって、非IPアプリケーションを実行するノードのための複数のMACアドレスを交換することができる。
【００２７】
仮想レイヤ2ネットワークの異なるロケーションにわたるアドレス解決をサポートするために、ARPリクエストが、第1のホスト326(ホストA)から、第1のロケーションまたはレイヤ2ネットワーク320内の対応するローカルL2GW 322へ送信されうる。ホストAは、第2のロケーションまたはレイヤ2ネットワーク320内の第2のホスト326(ホストB)のMACアドレスを得るために、ARPリクエストを送信することができる。ローカルL2GW 322がホストBのためのエントリ、例えば、ホストBのIPアドレスを有する場合、ローカルL2GW 322は、それ自体のMACアドレスをホストAへ送信することによって、ARPリクエストに応答することができる。ローカルL2GW 322がホストBのためのエントリを維持または格納しない場合、ローカルL2GW 322は、ホストBが存在しないと仮定することができる。例えば、L2GW 322は、それらのピアを、それらのローカルホストIPアドレスにより、定期的または周期的に更新することができる。この場合、いくつかのL2GW 322は、他のロケーション内で新たに構成されたホストのIPアドレスのための更新を受信していない可能性がある。
【００２８】
Table 1(表1)は、境界制御機構300による、ホストアドレスの、対応するL2GWのMACアドレスへのマッピングの一例を例示する。複数のL2GW MACアドレス(例えば、L2GW1 MACおよびL2GW2 MAC)は、複数の対応するホストアドレスにマップされうる。各L2GW MACアドレスは、同じロケーションまたはDCに関連付けられうる複数のVLAN(例えば、VLAN#、VLAN-x、...)内の複数のホストIP(またはMAC)アドレスにマップされうる。各VLANはまた、ホストの複数の仮想プライベートグループ(VPG)(またはクローズドユーザグループ)を備えてもよい。VPGは、レイヤ2ドメインに属し、かつ、レイヤ2を介して互いに通信することができる、ホストおよび/またはVMのクラスタであってもよい。VPG内のホストはまた、その中で確立されたマルチキャストグループを有することもできる。VPG内のホスト/VMは、複数の物理的位置にわたってもよい。
【００２９】
例えば、VLAN#は、G-x1、G-x2、...を含む、複数のVPG内の複数のホストを備えてもよい。同様に、VLAN-xは、複数のVPG(G-xj、...を含む)内の複数のホストを備えてもよく、VLAN-x1は、複数のVPG(G-j1、G-j2、...を含む)内の複数のホストを備えてもよい。IPアプリケーションでは、VLAN#およびVLAN-xの場合など、各VLANの各VPG内のホストIPアドレスは、同じロケーション内の対応するL2GW MACアドレスにマップされうる。非IPアプリケーションでは、VLAN-x1の場合など、各VLANの各VPG内のホストMACアドレスは、同じロケーション内の対応するL2GW MACアドレスにマップされうる。
【００３０】
【表１】
0005617137.tif 000002
【００３１】
図4は、複数のロケーションまたはDCにわたる仮想レイヤ2ネットワーク内で使用されうる、データフレーム転送方式400の一実施形態を例示する。仮想レイヤ2ネットワークは、サービスネットワーク410、および、エッジルータなど、複数のエッジノード412を介してサービスネットワーク410に結合されうる、複数のレイヤ2ネットワーク420を備えてもよい。各レイヤ2ネットワーク420は、対応するエッジノード412に結合された複数のL2GW 422、および、L2GW 422に結合されうる複数の中間スイッチ424を備えてもよい。中間スイッチ424はまた、ホスト426、例えば、VMにも結合されうる。仮想レイヤ2ネットワークのコンポーネントは、図4に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００３２】
データフレーム転送方式400に基づいて、L2GW 422は、参照により本明細書に組み込まれている、MAC-in-MACについての電気電子技術者協会(IEEE)802.1ah規格をサポートし、イーサタイプフィールドを使用して、内部フレームがMACアドレス変換を必要とすることを示すことができる。例えば、第1のL2GW 422(GW1)は、フレーム440、例えば、イーサネット（登録商標）フレームを、第1のロケーション(Loc 1)内の第1のホスト426(ホストA)から受信することができる。フレーム440は、第2のロケーション(Loc 2)内の第2のホスト426(ホストB)向けでありうる。フレーム440は、GW1のためのMAC宛先アドレス(MAC-DA)442(L2GW-Loc1)、ホストAのためのMACソースアドレス(MAC-SA)444(AのMAC)、ホストBのためのIP宛先アドレス(IP-DA)446(B)、ホストAのためのIPソースアドレス(IP-SA)448(A)、および、ペイロードを備えてもよい。GW1は次いで、外側MACヘッダをフレーム440に追加して、内部フレーム460を得ることができる。外側MACヘッダは、GW2のためのMAC-DA 462(L2GW-Loc2)、GW1のためのMAC-SA 464(L2GW-Loc1)、および、内部フレーム460がMACアドレス変換を必要とすることを示すイーサタイプ466を備えてもよい。内部フレーム460はまた、GW1のためのMAC-DA 468(L2GW-Loc1)およびホストAのためのMAC-SA 470(AのMAC)をも備えてもよい。内部フレーム460は次いで、サービスネットワーク410内でGW2へ転送されてもよく、GW2は、外側MACヘッダを処理して、フレームのMACアドレスを変換することができる。したがって、GW2は、第2のフレーム480を得ることができ、第2のフレーム480は、ホストBのためのMAC-DA 482(BのMAC)、ホストAのためのMAC-SA 484(AのMAC)、ホストBのためのIP-DA 486(B)、ホストAのためのIP-SA 488(A)、および、ペイロードを備えてもよい。第2のフレーム480は次いで、Loc 2内のホストBへ転送されうる。
【００３３】
データフレーム転送方式400は、外側IPヘッダのカプセル化を必要とするCiscoのOTV方式よりも実装が簡単でありうる。加えて、多数のイーサネット（登録商標）チップは、IEEE 802.1ahをサポートする。802.1ahで指定されるものなど、サービスインスタンスタグ(I-TAG)を使用して、異なるVPG間で区別可能である。したがって、I-TAGフィールドをまたデータフレーム転送方式400内でも使用して、例えば、サービスネットワーク410内で、プロバイダドメインの複数のVPGの間で分離可能である。GW2は、MATを使用して上記のMAC変換方式を行うことができ、MATは、パブリックIPをプライベートIPに変換するためのNATの使用に類似する可能性がある。伝送制御プロトコル(TCP)セッションに基づくNAT方式とは異なり、MAT方式は、内部IPアドレスを使用してMACアドレスを見つけることに基づくことができる。
【００３４】
図5は、非IPアプリケーションのための別のデータフレーム転送方式500の一実施形態を例示する。データフレーム転送方式500は、非IPホスト、すなわち、IPアドレスの代わりに非IPアプリケーションを実装して、仮想レイヤ2ネットワーク内の異なるロケーション内のホスト間でフレームを転送するホストの、MACアドレスを使用することができる。仮想レイヤ2ネットワークは、サービスネットワーク510、および、エッジルータなど、複数のエッジノード512を介してサービスネットワーク510に結合されうる、複数のレイヤ2ネットワーク520を備えてもよい。各レイヤ2ネットワーク520は、対応するエッジノード512に結合された複数のL2GW 522、および、L2GW 522に結合されうる複数の中間スイッチ524を備えてもよい。中間スイッチ524はまた、ホスト526、例えば、VMにも結合されうる。仮想レイヤ2ネットワークのコンポーネントは、図5に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００３５】
データフレーム転送方式500に基づいて、L2GW 522は、MAC-in-MACについてのIEEE 802.1ahをサポートすることができる。例えば、第1のL2GW 522(GW1)は、フレーム540、例えば、イーサネット（登録商標）フレームを、第1のロケーション(Loc 1)内の第1のホスト526(ホストA)から受信することができる。フレーム540は、第2のロケーション(Loc 2)内の第2のホスト526(ホストB)向けであるか、またはそれ宛てにされうる。フレーム540は、GW1のためのMAC-DA 542(L2GW-Loc1)、ホストAのためのMAC-SA 544(AのMAC)、および、ペイロードを備えてもよい。GW1は次いで、外側MACヘッダをフレーム540に追加して、内部フレーム560を得ることができる。外側MACヘッダは、GW2のためのMAC-DA 562(L2GW-Loc2)、GW1のためのMAC-SA 564(L2GW-Loc1)、および、内部フレーム560がMAC-in-MACフレームであることを示すイーサタイプ566を備えてもよい。内部フィールド560はまた、ホストBのためのMAC-DA 568(BのMAC)、および、ホストAのためのMAC-SA 570(AのMAC)をも備えてもよい。内部フレーム560は次いで、サービスネットワーク510内でGW2へ転送されてもよく、GW2は、内部フレーム560を処理して、第2のフレーム580を得ることができる。第2のフレーム580は、ホストBのためのMAC-DA 582(BのMAC)、および、ホストAのためのMAC-SA 584(AのMAC)、および、ペイロードを備えてもよい。第2のフレーム580は次いで、Loc 2内のホストBへ転送されうる。
【００３６】
データフレーム転送方式500は、外側IPヘッダのカプセル化を必要とするCiscoのOTV方式よりも実装が簡単でありうる。加えて、多数のイーサネット（登録商標）チップは、IEEE 802.1ahをサポートする。802.1ahに記載されるものなど、I-TAGを使用して、異なるVPG間で区別可能である。したがって、I-TAGフィールドをまたデータフレーム転送方式500内でも使用して、例えば、サービスネットワーク510内で、プロバイダドメインの複数のVPGの間で分離可能である。GW2は、MAC変換方式を行うことなく、上述のように、第2のフレーム580を処理することができる。
【００３７】
図6は、複数のロケーションにわたる仮想レイヤ2ネットワーク内で使用されうる、別のデータフレーム転送方式600の一実施形態を例示する。データフレーム転送方式600を使用して、仮想レイヤ2ネットワーク内で以前のロケーションから新しいロケーションへ移動するホストからフレームを転送し、第2のホストのための同じ学習されたMACアドレスを維持することができる。仮想レイヤ2ネットワークは、サービスネットワーク610、および、エッジルータなど、複数のエッジノード612を介してサービスネットワーク610に結合されうる、複数のレイヤ2ネットワーク620を備えてもよい。各レイヤ2ネットワーク620は、対応するエッジノード612に結合された複数のL2GW 622、および、L2GW 622に結合されうる複数の中間スイッチ624を備えてもよい。中間スイッチ624はまた、ホスト626、例えば、VMにも結合されうる。仮想レイヤ2ネットワークのコンポーネントは、図6に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００３８】
第1のホスト626(ホストA)が以前のロケーション(Loc 1)から新しいロケーション(Loc 3)へ移動するとき、ホストAはなお、第2のホスト626(ホストB)のための同じ学習されたMACアドレスを使用することができる。データフレーム転送方式600によれば、Loc 3のL2GW 622(GW3)は、802.1ah MAC-in-MACをサポートし、イーサタイプフィールドを使用して、内部フレームがMACアドレス変換を必要とすることを示すことができる。GW3は、データフレーム転送方式400に類似したデータフレーム転送方式を実装して、外側MACヘッダ内のGW2のMACアドレスを使用して、データをLoc 2の第2のL2GW 622(GW2)へ送信することができる。したがって、GW2は、外側MACヘッダをカプセル化解除し、(データフレーム転送方式400について)上述したように、MACアドレス変換を行うことができる。
【００３９】
例えば、GW3は、フレーム640、例えば、イーサネット（登録商標）フレームを、Loc 3へ移動した後のホストAから受信することができる。フレーム640は、Loc 2内のホストB向けでありうる。フレーム640は、Loc 1の以前のL2GW 622(GW1)のためのMAC-DA 642(L2GW-Loc1)、ホストAのためのMAC-SA 644(AのMAC)、ホストBのためのIP-DA 646(B)、ホストAのためのIP-SA 648(A)、および、ペイロードを備えてもよい。GW3は次いで、外側MACヘッダをフレーム640に追加して、内部フレーム660を得ることができる。外側MACヘッダは、GW2のためのMAC-DA 662(L2GW-Loc2)、GW1のためのMAC-SA 664(L2GW-Loc1)、および、内部フレーム660がMACアドレス変換を必要とすることを示すイーサタイプ666を備えてもよい。内部フレーム660はまた、ホストBのためのMAC-DA 668(BのMAC)、および、ホストAのためのMAC-SA 670(AのMAC)をも備えてもよい。内部フレーム660は次いで、サービスネットワーク610内でGW2へ転送されてもよく、GW2は、外側MACヘッダを処理して、フレームのMACアドレスを変換することができる。したがって、GW2は、第2のフレーム680を得ることができ、第2のフレーム680は、ホストBのためのMAC-DA 682(BのMAC)、ホストAのためのMAC-SA 684(AのMAC)、および、ペイロードを備えてもよい。第2のフレーム680は次いで、Loc 2内のホストBへ転送されうる。
【００４０】
さらに、ホストBは、Loc 2から別のロケーション、例えば、Loc 4(図示せず)へ移動することができる。GW2が、ホストBがLoc 2からLoc 4へ移動したことを学習した場合、GW2は、Loc 4内の別のL2GW 622(GW4)のMACアドレスを、上述のように、外側MACヘッダ内のMAC-DAとして使用することができる。GW2が、ホストBがLoc 2からLoc 4へ移動したことを学習しなかった場合、そのフレームは、外側MACヘッダなしに、GW2によって転送されうる。したがって、そのフレームは、例えば、サービスネットワーク610内で失われることがある。ホストBがその新しいロケーションをGW2またはLoc 2にアナウンスした後、GW2によってそのフレームが再送されるまで、そのフレームは一時的に失われることがある。
【００４１】
図7は、上記の仮想レイヤ2ネットワークに類似の境界制御機構を実装することができる、相互接続レイヤ2ドメイン700の一実施形態を例示する。相互接続レイヤ2ドメイン700は、複数の境界またはエッジノード712に結合された複数のL2GW 722を備えてもよい。エッジノード、例えば、エッジルータは、サービスネットワーク、例えば、レイヤ3ネットワークに属することができる。相互接続レイヤ2ドメイン700はまた、L2GW 722に結合された複数の中間スイッチ724、および、中間スイッチ724に結合された複数のVM 726をも備えてもよい。L2GW 722、中間スイッチ724およびVM 726は、複数のレイヤ2(L2)アドレスドメインに対応するサブセットに分割されうる。相互接続レイヤ2ドメイン700のコンポーネントは、図7に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００４２】
各L2アドレスドメインは、境界制御機構300など、境界制御機構を使用することができ、各L2アドレスドメイン内の中間スイッチ724およびVM 726は、ローカルMACアドレスを認識することができるが、他のL2アドレスドメイン内のIPホスト、サーバおよび/またはVM 726のためのMACアドレスを認識していないことがある。しかし、ホスト、サーバおよび/またはVM 726は、異なるL2アドレスドメインを認識することなく、単一のフラットなレイヤ2ネットワーク内のように、互いに通信することができる。L2アドレスドメインは、境界またはエッジノード712を介して互いに相互接続されてもよく、境界またはエッジノード712は、コアネットワークまたはサービスプロバイダネットワーク(図示せず)を介して相互接続されてもよい。L2アドレスドメインは、1つのDCサイト内、または、複数の地理的なサイトに位置してもよい。複数のL2アドレスドメインにわたる相互接続レイヤ2ドメイン700のアーキテクチャはまた、本明細書で、複数のアドレスドメイン上のレイヤ2拡張、複数のアドレスドメイン上の擬似レイヤ2ネットワーク、または、擬似レイヤ2ネットワークと呼ばれることもある。
【００４３】
図8は、複数のアドレスドメイン上のレイヤ2拡張800の一実施形態を例示する。レイヤ2拡張800は、複数の境界またはエッジノード812に結合された複数のL2GW 822を備えてもよく、複数の境界またはエッジノード812は、サービスプロバイダまたはコアネットワーク(図示せず)に属することができる。レイヤ2拡張800はまた、L2GW 822に結合された複数の中間スイッチ824、および、中間スイッチ824に結合された複数のホスト/サーバ/VM 826をも備えてもよい。中間スイッチ824およびホスト/サーバ/VM 826は、複数のL2アドレスドメインに分離または配置されうる。例えば、L2アドレスドメインのうち1つは、図8で破線の円によって示される。L2GW 822、中間スイッチ824、および、ホスト/サーバ/VM 826は、1つまたは複数のDCロケーションにおけるレイヤ2ネットワークに対応することができる。レイヤ2拡張800のコンポーネントは、図8に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００４４】
図9は、複数のロケーション上の擬似レイヤ2ネットワーク900の一実施形態の概略図である。擬似レイヤ2ネットワーク900は、複数のロケーション、例えば、地理的なロケーションまたはDCにわたるレイヤ2アドレスドメインを接続して、統合された、またはフラットなレイヤ2ネットワークを確立するための機構でありうる。擬似レイヤ2ネットワーク900は、サービスプロバイダまたはコアネットワーク910、および、エッジルータなど、複数のエッジノード912を介してサービスプロバイダまたはコアネットワーク910に結合されうる、複数のレイヤ2ネットワークドメイン920を備えてもよい。各レイヤ2ネットワークドメイン920は、異なるDCサイトまたはロケーションに位置することができ、対応するエッジノード912に結合された複数のL2GW 922、および、対応するL2GW 922に結合された複数の中間スイッチ924を備えてもよい。中間スイッチ924はまた、複数のホスト/サーバ/VM(図示せず)にも結合されうる。擬似レイヤ2ネットワーク900のコンポーネントは、図9に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００４５】
図10は、ドメインアドレス制限機構1000の一実施形態を例示する。ドメインアドレス制限機構1000を、複数のアドレスドメイン上の擬似レイヤ2ネットワーク内で使用して、異なるL2アドレスドメイン間のアドレス解決に対処することができる。アドレスドメイン上の擬似レイヤ2ネットワークは、サービスプロバイダまたはコアネットワーク1010、および、複数のエッジノード1012を介してサービスプロバイダまたはコアネットワーク1010に結合されうる、複数のレイヤ2ネットワークドメイン1020を備えてもよい。レイヤ2ネットワークドメイン1020は、同じかまたは異なるDCサイトに位置することができ、対応するエッジノード1012に結合された複数のL2GW 1022、および、対応するL2GW 1022に結合された複数の中間スイッチ1024を備えてもよい。中間スイッチ1024はまた、複数のホスト/サーバ/VM 1026にも結合されうる。擬似レイヤ2ネットワークのコンポーネントは、図10に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００４６】
ドメインアドレス制限機構1000に基づいて、あるレイヤ2ネットワークドメイン1020内のL2GW 1022のMACアドレスは、他のレイヤ2ネットワークドメイン1020内の(例えば、IPアプリケーションを実行する)ホストの全部または複数のIPアドレスのためのプロキシとして使用されうる。第1のオプション(オプション1)では、レイヤ2ネットワークドメイン1020内のローカルL2GW 1022のためのローカルMACアドレスが、他のレイヤ2ネットワークドメイン1020内のホストのIPアドレスのためのプロキシとして使用されうる。このシナリオでは、ローカルホストのIPアドレスのみが、同じローカルレイヤ2ネットワークドメイン1020内の中間スイッチ1024およびホスト/サーバ/VM 1026によって学習されうる。他のレイヤ2ネットワークドメイン1020内の外部L2GW 1022のMACアドレスを、ローカルレイヤ2ネットワークドメイン1020にエクスポーズすることはできない。例えば、ローカルL2GW 1022が、ローカルL2GW 1022向けでないか、またはそのターゲットにされない入力データフレームを終端することができない場合、オプション1が使用されうる。
【００４７】
別法として、第2のオプション(オプション2)では、ローカルレイヤ2ネットワークドメイン1020内のローカルL2GW 1022のMACアドレス、および、他のレイヤ2ネットワークドメイン1020内の外部L2GW 1022のMACアドレスは、各レイヤ2ネットワークドメイン1020内で学習されうる。このオプションでは、例えば、ホストが外部レイヤ2ネットワークドメイン内の外部ホストと通信することを意図し、外部ホストのアドレスをリクエストするとき、外部レイヤ2ネットワークドメイン1020に対応する外部L2GW 1022のMACアドレスを、ローカルレイヤ2ネットワークドメイン1020内のローカルホストリクエストに応答して返すことができる。オプション2は、場合によっては、オプション1に勝るいくつかの利点を有することができる。
【００４８】
ドメインアドレス制限機構1000によれば、各L2GW 1022は、例えば、リバースARP方式または他の方法を使用して、L2GW 1022の同じローカルレイヤ2ネットワークドメイン1020内のすべてのホストアドレスを認識することができる。各L2GW 1022はまた、他のレイヤ2アドレスドメイン1020内の他のL2GW 1022にホストIPアドレスを知らせることもでき、ホストIPアドレスを、ローカルレイヤ2アドレスドメイン内の1つまたは複数のVLANまたはVLAN識別子(VID)に関連付けることができる。
【００４９】
異なるアドレスドメインにわたってアドレスを解決するために、ARPリクエストが、第1のアドレスドメイン(ドメイン1)内で、第1のホスト1026(ホストA)から対応するローカルL2GW 1022へ送信されうる。ホストAは、第2のアドレスドメイン(ドメイン2)内の第2のホスト1026(ホストB)のMACアドレスを得るために、ARPリクエストを送信することができる。ローカルL2GW 1022が、ホストBのためのエントリ、例えば、ホストBのIPアドレスを有する場合、ローカルL2GW 1022は、それ自体のMACアドレス(オプション1)、または、ドメイン2内のホストBに関連付けられた第2のL2GW 1022のMACアドレス(オプション2)を、ホストAへ送信することによって、ARPリクエストに応答することができる。あるアドレスドメイン、例えば、ドメイン1内で送信されたARPリクエストを、別のアドレスドメイン、例えば、ドメイン2へ(ローカルL2GW 1022によって)転送することはできない。ローカルL2GW 1022が、ホストBのためのVIDおよび/またはIPアドレスのためのエントリを備えていない場合、ローカルL2GW 1022は、ホストBが存在しないと仮定することができ、アドレスレスポンスをホストAへ送信することはできない。例えば、L2GW 1022は、それらのローカルホストIPアドレスを、定期的または周期的にそれらのピアL2GW 1022へプッシュすることができる。したがって、いくつかのL2GW 1022は、他のロケーション内で新たに構成されたホストのIPアドレスを受信していない可能性がある。
【００５０】
図11は、複数のアドレスドメイン上の擬似レイヤ2ネットワーク間で、メッセージまたはフレームを転送するために使用されうる、データフレーム転送方式1100の一実施形態を例示する。アドレスドメイン上の擬似レイヤ2ネットワークは、サービスプロバイダまたはコアネットワーク1110、および、複数のエッジノード1112を介してサービスプロバイダまたはコアネットワーク1110に結合されうる、複数のレイヤ2ネットワークドメイン1120を備えてもよい。レイヤ2ネットワークドメイン1120は、1つまたは複数のDCサイトまたはロケーションに位置することができ、対応するエッジノード1112に結合された複数のL2GW 1122、および、対応するL2GW 1122に結合された複数の中間スイッチ1124を備えてもよい。中間スイッチ1124はまた、複数のホスト/サーバ/VM 1126にも結合されうる。擬似レイヤ2ネットワークのコンポーネントは、図11に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００５１】
データフレーム転送方式1100に基づいて、第1のL2GW 1122(GW1)は、第1のフレーム1140、例えば、イーサネット（登録商標）フレームを、第1のアドレスドメイン1120(ドメイン1)内の第1のホスト1126(ホストA)から受信することができる。第1のフレーム1140は、第2のアドレスドメイン1120(ドメイン2)内の第2のホスト1126(ホストB)向けでありうる。第1のフレーム1140は、L2GW 1122のためのMAC-DA 1142(GW)を備えてもよい。ホストAは、ホストBのためのARPリクエストに対して返すものとして、GW1からのARPレスポンス内でGWのMACアドレスを得ることができる。GWは、(オプション1によれば)ドメイン1内のGW1に、または、(オプション2によれば)ドメイン2内の第2のL2GW 1122(GW2)に対応することができる。第1のフレーム1140はまた、ホストAのためのMAC-SA 1144(AのMAC)、ホストBのためのIP-DA 1146(B)、ホストAのためのIP-SA 1148(A)、および、ペイロードをも備えてもよい。
【００５２】
オプション1に基づくと、GW1は、第1のフレーム1140を受信し、(例えば、ホストBのためのIP-DA 1146によって示されるような)ホストBのVID/宛先IPアドレスをルックアップし、第1のフレーム1140内のGWのためのMAC-DA 1142を、内部フレーム1160内のGW2のためのMAC-DA 1162で置き換えることができる。GW1はまた、第1のフレーム1140内のホストAのためのMAC-SA 1144(AのMAC)を、内部フレーム1160内のGW1のためのMAC-SA 1164で置き換えることもできる。内部フレーム1160はまた、ホストBのためのIP-DA 1166(B)、ホストAのためのIP-SA 1168(A)、および、ペイロードをも備えてもよい。GW1は、内部フレーム1160をドメイン2へ、サービスプロバイダまたはコアネットワーク1110を介して送信することができる。オプション2に基づくと、GW1は、GW2または任意の他の外部L2GW 1122向けのすべてのデータフレームを、例えば、アクセスリストに基づいてフィルタリングして取り除き、データフレームのソースアドレス(ホストAのためのMAC-SA 1144、すなわちAのMAC)を、GW1自体のMACアドレスで置き換え、次いで、宛先MACに基づいてデータフレームを転送することができる。
【００５３】
GW2は、内部フレーム1160を受信し、内部フレーム1160を処理して、フレームのMACアドレスを変換することができる。オプション1に基づくと、GW2は、内部フレーム1160を受信し、(例えば、ホストBのためのIP-DA 1166によって示されるような)ホストBのVID/宛先IPアドレスをルックアップし、内部フレーム1160内のGW2のためのMAC-DA 1162を、第2のフレーム1180内のホストBのためのMAC-DA 1182(BのMAC)で置き換えることができる。GW2はまた、内部フレーム1160内のGW1のためのMAC-SA 1164を、第2のフレーム1180内のGW2のためのMAC-SA 1184で置き換えることもできる。第2のフレーム1180はまた、ホストBのためのIP-DA 1186(B)、ホストAのためのIP-SA 1188(A)、および、ペイロードをも備えてもよい。GW2は次いで、第2のフレーム1180を宛先ホストBへ送信することができる。オプション2に基づくと、GW2は、(例えば、ホストBのためのIP-DA 1166によって示されるような)ホストBのVID/宛先IPアドレスをルックアップするのみで、GW2のためのMAC-DA 1162を、第2のフレーム1180内のホストBのためのMAC-DA 1182(BのMAC)で置き換えることができる。しかし、GW2は、GW1のためのMAC-SA 1164を保持することができる。
【００５４】
上述のように、GW2は、内部フレーム1160内のホストBのためのIP-DA 1166を使用して、MACアドレス変換を行い、第2のフレーム1180内の対応するホストBのためのMAC-DA 1182(BのMAC)を見つけることができる。このMAC変換ステップは、例えば、パブリックIPアドレスをプライベートIPアドレスに変換するために、NAT方式とほぼ同量の作業を必要とすることがある。データフレーム転送方式1100におけるMACアドレス変換は、ホストIPアドレスを使用して、対応するMACアドレスを見つけることに基づくことができるが、NAT方式は、TCPセッションに基づく。
【００５５】
図12は、複数のアドレスドメイン上の擬似レイヤ2ネットワーク間で、メッセージまたはフレームを転送するために使用されうる、別のデータフレーム転送方式1200の一実施形態を例示する。具体的には、擬似レイヤ2ネットワークは、IP/MPLSネットワークを介して相互接続されうる。アドレスドメイン上の擬似レイヤ2ネットワークは、IP/MPLSネットワーク1210、および、複数のエッジノード1212を介してIP/MPLSネットワーク1210に結合されうる、複数のレイヤ2ネットワークドメイン1220を備えてもよい。IP/MPLSネットワーク1210は、アドレスドメイン、例えば、レイヤ2ネットワークドメイン1220間の、インタードメインをサポートするために、IPサービスを提供することができる。レイヤ2ネットワークドメイン1220は、1つまたは複数のDCサイトまたはロケーションに位置することができ、対応するエッジノード1212に結合された複数のL2GW 1222、および、対応するL2GW 1222に結合された複数の中間スイッチ1224を備えてもよい。中間スイッチ1224はまた、複数のホスト/サーバ/VM 1226にも結合されうる。擬似レイヤ2ネットワークのコンポーネントは、図12に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００５６】
データフレーム転送方式1200に基づいて、第1のL2GW 1222(GW1)は、第1のフレーム1240、例えば、イーサネット（登録商標）フレームを、第1のアドレスドメイン(ドメイン1)内の第1のホスト1226(ホストA)から受信することができる。第1のフレーム1240は、第2のアドレスドメイン(ドメイン2)内の第2のホスト1226(ホストB)向けでありうる。第1のフレーム1240は、L2GW 1222のためのMAC-DA 1242(GW)を備えてもよい。ホストAは、ホストBのためのARPリクエストに対して返すものとして、GW1からのARPレスポンス内でGWのMACアドレスを得ることができる。GWは、(オプション1によれば)ドメイン1内のGW1に、または、(オプション2によれば)ドメイン2内の第2のL2GW 1222(すなわちGW2)に対応することができる。第1のフレーム1240はまた、ホストAのためのMAC-SA 1244(AのMAC)、ホストBのためのIP-DA 1246(B)、ホストAのためのIP-SA 1248(A)、および、ペイロードをも備えてもよい。
【００５７】
GW1は、第1のフレーム1240を受信し、2つのオプションのうち1つに基づいて、このフレームを処理することができる。第1のオプションでは、GW1は、第1のフレーム1240を受信し、IPヘッダを追加して、内部フレーム1250を得ることができる。IPヘッダは、GW2のためのIP-DA 1251、および、GW1のためのIP-SA 1252を備えてもよい。GW1はまた、データフレーム転送方式1100と同様に、第1のフレーム1240を処理して、内部フレーム1250内で、GW2のためのMAC-DA 1253、GW1のためのMAC-SA 1254、ホストBのためのIP-DA 1256(B)、および、ホストAのためのIP-SA 1257(A)を得ることができる。GW1は、内部フレーム1250をGW2へ、IP/MPLSネットワーク1210を介して送信することができる。GW2は、内部フレーム1250を受信し、データフレーム転送方式1100と同様に、内部フレーム1250を処理して、ホストBのためのMAC-DA 1282(BのMAC)、(オプション1によれば)GW1または(オプション2によれば)GW2のためのMAC-SA 1284、ホストBのためのIP-DA 1286(B)、ホストAのためのIP-SA 1288(A)、および、ペイロードを備える、第2のフレーム1280を得ることができる。GW2は次いで、第2のフレーム1280をホストBへ転送することができる。
【００５８】
第2のオプションでは、GW1は、第1のフレーム1240を受信し、第1のフレーム1240内のGWのためのMAC-DA 1242を、内部フレーム1260内のGW2のためのIP-DA 1262で置き換えることができる。GW1はまた、第1のフレーム1240内のホストAのためのMAC-SA 1244(AのMAC)を、内部フレーム1260内のGW1のためのIP-SA 1264で置き換えることもできる。内部フレーム1260はまた、ホストBのためのIP-DA 1266(B)、ホストAのためのIP-SA 1268(A)、および、ペイロードをも備えてもよい。GW1は、内部フレーム1260をGW2へ、IP/MPLSネットワーク1210を介して送信することができる。GW2は、内部フレーム1260を受信し、内部フレーム1260内のGW2のためのIP-DA 1262を、第2のフレーム1280内のホストBのためのMAC-DA 1282(BのMAC)で置き換えることができる。GW2はまた、内部フレーム1260内のGW1のためのIP-SA 1264を、第2のフレーム1280内の(オプション1によれば)GW2または(オプション2によれば)GW1のためのMAC-SA 1284で置き換えることもできる。第2のフレーム1280はまた、ホストBのためのIP-DA 1286(B)、ホストAのためのIP-SA 1288(A)、および、ペイロードをも備えてもよい。GW2は次いで、第2のフレーム1280をホストBへ転送することができる。
【００５９】
複数のドメインにわたる上記の擬似レイヤ2拡張またはネットワークでは、各L2GWは、L2GWの対応するアドレスドメイン内の各VLAN内のすべてのホストのIP-MACマッピングのために構成されうる。各L2GWはまた、対応するアドレスドメイン内の各VLAN内のすべてのホストのIPアドレスを、他のアドレスドメイン内の他のL2GWへ、定期的または周期的に送信することもできる。したがって、アドレスドメイン内のL2GWは、擬似レイヤ2ネットワークのすべてのアドレスドメインについて、各VLAN下のホストのIPアドレスを得ることができる。各アドレスドメイン内のホストのMACアドレスを、ローカルL2GWによって、他のアドレスドメインのL2GWへ送信することはできず、L2GW間で交換されるデータのサイズをかなり縮小することができる。しかし、例えば、非IPアプリケーションの数が比較的少ない場合、異なるアドレスドメインのL2GWは、それらの間で、非IPアプリケーションに対応するMACアドレスを交換することができる。BGPまたは類似の方法を使用して、複数のアドレスドメインにわたるL2GW間で、更新を含む、アドレス情報を交換することができる。
【００６０】
Table 2(表2)は、ホストアドレスの、擬似レイヤ2ネットワーク内の対応するL2GWのMACアドレスへのマッピングの一例を例示する。複数のL2GW MACアドレス(例えば、GW-A MACおよびGW-B MAC)は、複数の対応するホストアドレスにマップされうる。各L2GW MACアドレスは、同じアドレスドメイン内でありうる、複数のVLAN(例えば、VID-1、VID-2、VID-n、...)内の複数のホストIP(またはMAC)アドレスにマップされうる。
【００６１】
【表２】
0005617137.tif 000003
【００６２】
上記の擬似レイヤ2拡張またはネットワーク方式は、アドレスドメインのMACアドレスが、別のアドレスドメイン内のあらゆるスイッチ/サーバ/VMによって学習されることを、制限することができる。これらの方式はまた、複数のロケーション内でかなり大きいレイヤ2ネットワークを接続するために、スケーラブルな機構を提供することもできる。複数のアドレスドメインにわたる比較的大きいレイヤ2ネットワークでは、これらの方式は、擬似レイヤ2ネットワーク内で任意のスイッチによって学習されうるMACアドレスの数を限定することができ、各スイッチは、そのスイッチのローカルアドレスドメインのMACアドレスのみを学習することができる。この方式はまた、複数のアドレスドメインにわたるスケーラブルなアドレス解決を使用して、複数のアドレスドメインにわたる到達可能性発見を提供することもできる。加えて、これらの方式は、アドレスドメイン間の転送、および、未知のアドレスのためのブロードキャストを容易にし、マルチキャストグループをサポートすることができる。
【００６３】
図13は、複数のアドレスドメインおよびロケーション上の擬似レイヤ2ネットワーク間で、メッセージまたはフレームを転送するために使用されうる、別のデータフレーム転送方式1300の一実施形態を例示する。データフレーム転送方式1300は、上記のオプション1に基づくことができ、擬似レイヤ2ネットワーク内で以前のロケーションから新しいロケーションへ移動するホストからフレームを転送するために使用可能であり、第2のホストのための同じ学習されたMACアドレスを維持する。擬似レイヤ2ネットワークは、サービスプロバイダまたはコアネットワーク1310、および、複数のエッジノード1312を介してサービスプロバイダまたはコアネットワーク1310に結合されうる、複数のレイヤ2ネットワークドメイン1320を備えてもよい。レイヤ2ネットワークドメイン1320は、複数のDCサイトまたはロケーションに位置することができ、対応するエッジノード1312に結合された複数のL2GW 1322、および、対応するL2GW 1322に結合された複数の中間スイッチ1324を備えてもよい。中間スイッチ1324はまた、複数のホスト/サーバ/VM 1326にも結合されうる。擬似レイヤ2ネットワークのコンポーネントは、図13に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００６４】
データフレーム転送方式1300に基づいて、GW3は、第1のフレーム1340、例えば、イーサネット（登録商標）フレームを、Loc 1からLoc 3へ移動した後の第1のホスト1326(ホストA)から受信することができる。フレーム1340は、Loc 2内の第2のホスト1326(ホストB)向けでありうる。第1のフレーム1340は、Loc 1内のGW1のためのMAC-DA 1342、ホストAのためのMAC-SA 1344(AのMAC)、ホストBのためのIP-DA 1346(B)、ホストAのためのIP-SA 1348(A)、および、ペイロードを備えてもよい。GW3は、例えば、データフレーム転送方式1100と同様に、第1のフレーム1340を処理し、第1のフレーム1340内のホストAのためのMAC-SA 1344(AのMAC)を、第1の内部フレーム1350内のGW3のためのMAC-SA 1354で置き換えることができる。第1の内部フレーム1350はまた、GW1のためのMAC-DA 1352、ホストBのためのIP-DA 1356(B)、ホストAのためのIP-SA 1358(A)、および、ペイロードをも備えてもよい。GW3は、第1の内部フレーム1350をLoc 1へ、サービスプロバイダまたはコアネットワーク1310を介して送信することができる。
【００６５】
GW1は、第1の内部フレーム1350を受信し、(例えば、ホストBのためのIP-DA 1356によって示されるような)ホストBのVID/宛先IPアドレスをルックアップし、第1の内部フレーム1350内のGW1のためのMAC-DA 1352を、第2の内部フレーム1360内のGW2のためのMAC-DA 1362で置き換えることができる。第2の内部フレーム1360はまた、GW3のためのMAC-SA 1364、ホストBのためのIP-DA 1366(B)、ホストAのためのIP-SA 1368(A)、および、ペイロードをも備えてもよい。GW1は、第2の内部フレーム1360をLoc 2へ、サービスプロバイダまたはコアネットワーク1310を介して送信することができる。
【００６６】
GW2は、第2の内部フレーム1360を受信し、第2の内部フレーム1360を処理して、そのフレームのMACアドレスを変換することができる。GW2は、第2の内部フレーム1360を受信し、(例えば、ホストBのためのIP-DA 1366によって示されるような)ホストBのVID/宛先IPアドレスをルックアップし、第2の内部フレーム1360内のGW2のためのMAC-DA 1362を、第2のフレーム1380内のホストBのためのMAC-DA 1382(BのMAC)で置き換えることができる。GW2はまた、第2の内部フレーム1360内のGW3のためのMAC-DA 1364を、GW2のためのMAC-SA 1384で置き換えることもできる。GW2は次いで、第2のフレーム1380を宛先ホストBへ送信することができる。
【００６７】
さらに、ホストBは、Loc 2から別のロケーション、例えば、Loc 4(図示せず)へ移動することができる。GW2が、ホストBがLoc 2からLoc 4へ移動したことを学習した場合、GW2は、更新を、そのピア(他のロケーション内の他のL2GW 1322)へ送信することができる。Loc 4内のL2GW 1322(GW4)が、ホストBがそのドメインに追加されることを学習するとき、GW4もまたそのピアを更新することができる。したがって、各L2GW 1322は、ホストBについてのアドレス情報を更新していることが可能である。L2GW 1322が、ホストBがLoc 2からLoc 4へ移動したことを学習しなかった場合、L2GW 1322はなお、ホストB向けのフレームをローカルホストからLoc 2へ送信することができる。さらに、GW2は、そのフレームをLoc 2内で受信し転送することがあり、ホストBがLoc 2から移動しているので、そのフレームは失われる。ホストBがその新しいロケーションをL2GW 1322にアナウンスした後、L2GW 1322によってそのフレームが再送されるまで、そのフレームは一時的に失われることがある。
【００６８】
図14は、複数のアドレスドメインおよびロケーション上の擬似レイヤ2ネットワーク間で、メッセージまたはフレームを転送するために使用されうる、別のデータフレーム転送方式1400の一実施形態を例示する。データフレーム転送方式1400は、上記のオプション2に基づくことができ、擬似レイヤ2ネットワーク内で以前のロケーションから新しいロケーションへ移動するホストからフレームを転送するために使用可能であり、第2のホストのための同じ学習されたMACアドレスを維持する。擬似レイヤ2ネットワークは、サービスプロバイダまたはコアネットワーク1410、および、複数のエッジノード1412を介してサービスプロバイダまたはコアネットワーク1410に結合されうる、複数のレイヤ2ネットワークドメイン1420を備えてもよい。レイヤ2ネットワークドメイン1420は、複数のDCサイトまたはロケーションに位置することができ、対応するエッジノード1412に結合された複数のL2GW 1422、および、対応するL2GW 1422に結合された複数の中間スイッチ1424を備えてもよい。中間スイッチ1424はまた、複数のホスト/サーバ/VM 1426にも結合されうる。擬似レイヤ2ネットワークのコンポーネントは、図14に示すように配置することができ、仮想レイヤ2ネットワーク200の対応するコンポーネントに類似する可能性がある。
【００６９】
データフレーム転送方式1400に基づいて、GW3は、第1のフレーム1440、例えば、イーサネット（登録商標）フレームを、Loc 1からLoc 3へ移動した後の第1のホスト1426(ホストA)から受信することができる。第1のフレーム1440は、Loc 2内の第2のホスト1426(ホストB)向けでありうる。第1のフレーム1440は、Loc 2内のGW2のためのMAC-DA 1442、ホストAのためのMAC-SA 1444(AのMAC)、ホストBのためのIP-DA 1446(B)、ホストAのためのIP-SA 1448(A)、および、ペイロードを備えてもよい。GW3は、例えば、データフレーム転送方式1100と同様に、第1のフレーム1440を処理し、第1のフレーム1440内のホストAのためのMAC-SA 1444(AのMAC)を、内部フレーム1460内のGW3のためのMAC-SA 1464で置き換えることができる。内部フレーム1460はまた、GW2のためのMAC-DA 1462、ホストBのためのIP-DA 1466(B)、ホストAのためのIP-SA 1468(A)、および、ペイロードをも備えてもよい。GW3は、内部フレーム1460をLoc 2へ、サービスプロバイダまたはコアネットワーク1410を介して送信することができる。
【００７０】
GW2は、内部フレーム1460を受信し、内部フレーム1460を処理して、そのフレームのMACアドレスを変換することができる。GW2は、内部フレーム1460を受信し、(例えば、ホストBのためのIP-DA 1466によって示されるような)ホストBのVID/宛先IPアドレスをルックアップし、内部フレーム1460内のGW2のためのMAC-DA 1462を、第2のフレーム1480内のホストBのためのMAC-DA 1482(BのMAC)で置き換えることができる。第2のフレーム1480はまた、GW3のためのMAC-SA 1484をも備えてもよい。GW2は次いで、第2のフレーム1480を宛先ホストBへ送信することができる。
【００７１】
さらに、ホストBは、Loc 2から別のロケーション、例えば、Loc 4(図示せず)へ移動することができる。GW2が、ホストBがLoc 2からLoc 4へ移動したことを学習した場合、GW2は、更新を、そのピア(他のロケーション内の他のL2GW 1422)へ送信することができる。Loc 4内のL2GW 1422(GW4)が、ホストBがそのドメインに追加されることを学習するとき、GW4もまたそのピアを更新することができる。したがって、各L2GW 1422は、ホストBについてのアドレス情報を更新していることが可能である。L2GW 1422が、ホストBがLoc 2からLoc 4へ移動したことを学習しなかった場合、L2GW 1422はなお、ホストB向けのフレームをローカルホストからLoc 2へ送信することができる。さらに、GW2は、そのフレームをLoc 2内で受信し転送することがあり、ホストBがLoc 2から移動しているので、そのフレームは失われる。ホストBがその新しいロケーションをL2GW 1422にアナウンスした後、L2GW 1422によってそのフレームが再送されるまで、そのフレームは一時的に失われることがある。
【００７２】
上記の擬似レイヤ2拡張またはネットワークは、各アドレスドメイン内のアドレス解決をサポートすることができ、L2GWがそれらのドメイン/ロケーション内のすべてのホストのIPアドレスにより現在更新された状態を保つための機構を使用することができる。アドレス解決およびIPアドレス更新は、2つのシナリオのうち1つにおいて実装されうる。第1のシナリオは、ホストまたはVMがネットワークに追加されると、または、ネットワークへ移動した後、無償(gratuitous)ARPメッセージを送信するように構成されるときに対応する。第2のシナリオは、ネットワークに追加されるか、または、ネットワークへ移動したホストまたはVMがARPアナウンスメントを送信しないときに対応する。これら2つのシナリオは、上記の仮想レイヤ2ネットワークにおいて記載されたように対処されうる。
【００７３】
上記の仮想レイヤ2ネットワーク、および、同様に、擬似レイヤ2ネットワークは、各ロケーション/ドメイン内のアドレス解決、および、各L2GWがそのロケーション/ドメイン内のそのローカルホストのIPアドレスにより現在更新された状態を保つための機構をサポートすることができる。一方のシナリオでは、ホストまたはVMがネットワークに追加されるとき、ホストまたはVMは、無償ARPメッセージなど、ARPアナウンスメントをそのレイヤ2ネットワークまたはローカルエリアへ送信することができる。もう一方のシナリオでは、ネットワークに追加されたホストまたはVMは、ARPアナウンスメントを送信することはできない。
【００７４】
第1のシナリオでは、レイヤ2ネットワークまたはロケーション/ドメイン内の新しいVMは、無償ARPメッセージをL2GWへ送信することができる。L2GWが無償ARPメッセージを受信するとき、L2GWは、そのローカルIPAddrTableを更新することができるが、無償ARPメッセージを他のロケーション/ドメインまたはレイヤ2ネットワークへ転送することはできない。加えて、L2GWは、IPAddrTable内のエントリ毎にタイマを使用して、ロケーション/ドメインからホストをシャットダウンまたは除去する場合に対処することができる。あるエントリのタイマがまさに切れようとしている場合、L2GWは、ARPを(例えば、ユニキャストを介して)そのエントリのホストへ送信することができる。ARPをブロードキャストする代わりに、ARPをユニキャストメッセージとして送信することにより、ホストおよびL2GWのローカルレイヤ2ドメインのフラッディングを回避することができる。ホストが第1のロケーションから第2のロケーションへ移動するとき、L2GWは、第1のロケーションおよび/または第2のロケーションから更新メッセージを受信することができる。L2GWが、ホストが第1のロケーションおよび第2のロケーションの両方に存在することを検出する場合、L2GWは、ホストが第1のロケーション内にもはや存在しないことを検証するために、第1のロケーション内でローカルARPメッセージを送信することができる。ホストがもはや第1のロケーション内に存在しないと決定すると、例えば、ARPメッセージに対するレスポンスが検出されない場合、L2GWは、それに応じて、そのローカルIPAddrTableを更新することができる。L2GWが、それ自体のロケーションのためのARPメッセージのためのレスポンスを受信する場合、BGPのMACマルチホーミング機構が使用されうる。
【００７５】
第2のシナリオでは、あるロケーション内の新しいホストは、ARPアナウンスメントを送信することはできない。この場合、(例えば、ホストにおける)あるアプリケーションが、あるIPホストのためのMACアドレスを解決する必要があるとき、そのアプリケーションは、そのロケーション内でブロードキャストされうるARPリクエストを送出することができる。ARPリクエストは、例えば、プロキシARP機能を実装することによって、L2GW(または、トップオブラック(ToR)スイッチ)によってインターセプトされうる。比較的大きいDCでは、L2GWは、すべてのARPリクエストを処理することができるとは限らないことがある。その代わりに、複数のL2GWデリゲート(例えば、ToRスイッチ)は、ARPアナウンスメントをインターセプトすることができる。L2GWは、他のロケーションから学習されるIPアドレス(例えば、IPアドレスの要約)を、その対応するデリゲート(ToRスイッチ)へプッシュダウンすることができる。デリゲートは次いで、ホストまたはローカルサーバからのARPリクエストをインターセプトすることができる。ホストまたはサーバからのARPリクエスト内のIPアドレスが、L2GWのIPAddrTable内に存在する場合、L2GWは、ブロードキャストされたARPリクエストをそれ以上転送することなく、L2GWのMACアドレスと共にARPレスポンスをホストまたはサーバへ返すことができる。非IPアプリケーション、例えば、IPなしで直接イーサネット（登録商標）を介して実行するアプリケーションでは、アプリケーションは、データを送信するとき、MACアドレスをDAとして使用することができる。非IPアプリケーションは、データフレームの送信に先立って、ARPメッセージを送信することはできない。データフレームは、未知のフラッディングまたは多重MAC登録プロトコル(Multiple MAC registration Protocol)(MMRP)を使用して、転送されうる。
【００７６】
1つのシナリオでは、(例えば、ホスト上の)アプリケーションは、ターゲットのIPアドレスのためのMACアドレスを得るために、あるロケーション内で相互接続レイヤ2ネットワークのうち1つに加入すると、無償ARPメッセージを送信することができる。L2GWまたはそのデリゲート(例えば、ToRスイッチ)がARPリクエストを受信し、そのIPホストテーブルをチェックすることができるときである。IPアドレスがテーブル内で見つかる場合、L2GWは、ARPリプライをアプリケーションへ送信することができる。ターゲットのIPアドレスが別のロケーション内のIPホストに対応する場合、L2GWは、そのMACアドレスをリプライ内で送信することができる。IPアドレスが見つからない場合、リプライをL2GWから送信することはできず、L2GWは、すべてのロケーション内のホストの現在のまたは最後に更新されたIPアドレスを維持することができる。比較的大きいDCでは、複数のL2GWが、例えば、同じロケーション内で使用されてもよく、各L2GWは、VLANのサブセットに対処することができる。したがって、各L2GWは、対応するVLAN内のホストのIPアドレスを備えるIPアドレスのサブセットを維持する必要がありうる。
【００７７】
例えば、何万ものVMを備える、かなり大きいDCの場合、単一のノードがすべてのARPリクエストおよび/または無償ARPメッセージに対処することは困難であることがある。この場合、いくつかの方式を考えることができる。例えば、複数のノードまたはL2GWが、上述のように、あるDC内のVLANの異なるサブセットに対処するために使用されうる。加えて、または別法として、複数のデリゲートが、各ロケーション内のL2GWのために割り当てられてもよい。例えば、複数のToRスイッチまたはアクセススイッチが使用されうる。各L2GWのデリゲートは、その対応するダウンリンク上、または、ポートバインディングプロトコルの形式において、無償ARPメッセージをインターセプトすることを担うことができる。デリゲートは、統合されたアドレスリスト(AddressList)をそれらのL2GWへ送信することができる。L2GWはまた、その学習されたIPアドレスリストを他のロケーションからそのデリゲートへプッシュダウンすることもできる。あるロケーション内にVLANの異なるサブセットを担う複数のL2GWがある場合、デリゲートは、対応するL2GWに関連付けられたVLAN内のAddressListの各々を備える、複数の統合されたメッセージを送信する必要がありうる。
【００７８】
CiscoのOTV方式と比較すると、上記の仮想レイヤ2ネットワークを使用することで、各ロケーション内の中間スイッチ上の転送テーブルのサイズをかなり縮小することができる。例えば、大多数のホストがIPアプリケーションを実行すると仮定すると、あるロケーション内のスイッチは、他のロケーション内のIPホストのMACアドレスを学習する必要がないことがある。この方式はまた、L2GW間で交換されるアドレス情報のサイズをかなり縮小することもできる。例えば、何千ものVMを備えることがあるサブネットは、L2GW MACアドレスにマップされうる。仮想レイヤ2ネットワークの階層的なレイヤ2方式は、802.1ah規格を使用することができ、802.1ah規格は、市販のイーサネット（登録商標）チップセットによってサポートされることがあるが、Ciscoの方式は、独自のIPカプセル化を使用する。両方式は、ピアロケーションゲートウェイデバイス(L2GW)アドレスを、外側宛先アドレスとして使用することができる。階層的なレイヤ2方式はまた、アドレス変換を使用することもでき、アドレス変換は、現在のIPゲートウェイによってサポートされることがある。しかし、階層的なレイヤ2方式は、IPアドレス変換の代わりに、MACアドレス変換を使用することができる。MACアドレス変換には、何万ものアドレスのためのアドレス変換を行うことができる、キャリアグレードNAT実装が必要となることがある。
【００７９】
一実施形態では、VLANは、複数のロケーションにわたることがある。したがって、マルチキャストグループもまた、複数のロケーションにわたることがある。具体的には、マルチキャストグループは、仮想レイヤ2ネットワーク内のロケーションのサブセットにわたることがある。例えば、仮想レイヤ2ネットワーク内に約10箇所のロケーションがある場合、マルチキャストグループは、それらの10箇所のロケーションのうち3箇所のみにわたることがある。1つのサービスインスタンス内のマルチキャストグループは、ネットワークアドミニストレータシステム(NMS)によって構成されてもよく、または、MMRPを使用して、レイヤ2内で自動的に確立されてもよい。L2GWは802.1ahをサポートするので、L2GWは、クライアントマルチキャストグループをコアネットワーク内の適切なマルチキャストグループにマップするために、内蔵のコンポーネントを有することができる。最悪の場合のシナリオでは、L2GWは、マルチキャストデータフレームを、サービスインスタンスのすべてのロケーションへ複製することがある。例えば、Microsoft調査データによれば、4つのトラフィックにつき約1つが、異なるロケーションへ行くことがある。したがって、L2GWによる複製は、複雑な機構をプロバイダコア内で実装するよりも、簡単でありうる。
【００８０】
仮想レイヤ2ネットワークは、ARPリクエストおよび/または動的ホスト構成プロトコル(DHCP)リクエストのためなど、ブロードキャストトラフィックをサポートすることができる。ブロードキャストトラフィックは、各ロケーション内で、ToRスイッチなど、複数のARPデリゲートを作成することによってサポートされうる。ブロードキャストトラフィックはまた、サーバからのすべてのIPホストの現在の更新を維持するために、新しいコンポーネントをデリゲートのためのポートバインディングプロトコルに追加することによっても、サポートされうる。加えて、L2GWは、他のロケーションから、すべての学習されたホストIPアドレスを、周期的または定期的にプッシュダウンすることができる。
【００８１】
場合によっては、L2GWは、未知のDAを受信することができる。L2GWは、そのロケーション内のすべてのホスト(またはアプリケーション)の現在の更新を保ち、周期的または定期的にそのアドレス情報をすべてのピア(他のロケーション内の他のL2GW)へプッシュすることができる。L2GWが、未知のDAを備えるフレームを受信する場合、L2GWは、そのフレームを他のロケーションへブロードキャストすることができる。ネットワークに対する攻撃を回避するために、受信された未知のDAをL2GWが転送またはブロードキャストすることができる最大回数に、制限が課せられてもよい。L2GWは、未知のアドレスのための中間スイッチアドレスを、そのアドレスを他のロケーションへ送信する前に誤ることを回避するために、別のロケーション内の中間スイッチのアドレスを学習するように構成されうる。各DCロケーション内に何万ものVMがあることがあるが、ToRまたはアクセススイッチ、エンドオブローまたは集約スイッチ、および/または、コアスイッチの数など、各DC内のスイッチの数は制限されうる。L2GWは、ロケーション内のすべての中間スイッチのMACアドレスを前もって、例えば、各スイッチからのブリッジプロトコルデータユニット(BPDU)を介して、学習することができる。管理システム、または、オペレーション、管理およびメンテナンス(OAM)メッセージを除いて、メッセージを中間スイッチへ直接送信することはできない。NMS/OAMメッセージを受信することを予期するか、またはそのように構成される中間スイッチは、自律的メッセージをNMSまたはMMRPアナウンスメントへ送信することによって、ロケーション内の他のスイッチがそのMACアドレスを学習できるようにすることができる。
【００８２】
いくつかの実施形態では、L2GWは、アドレス情報を交換するために、例えば、IS-ISの代わりにBGPを使用することができる。複数のオプションが、レイヤ2(L2)通信を制御するために使用されうる。例えば、転送オプションには、レイヤ2がMACおよびMACにより転送するのみであること、レイヤ2がMPLSを介して転送すること、および、レイヤ2がレイヤ3ネットワーク内で転送することが含まれうる。レイヤ2制御プレーンのオプションには、レイヤ2 IS-ISメッシュ制御、レイヤ2.5 MPLS静的制御、ラベル配布プロトコル(LDP)、内部ゲートウェイプロトコル(IGP)コンストレイントベースドショーテストパスファースト(Constraint-based Shortest Path First)(CSPF)を使用したリソース予約プロトコル(RSVP)-トラフィックエンジニアリング(TE)、および、BGP発見が含まれうる。一意性のために必要とされるVLAN-MACマッピング、および、ネットワークブリッジドVLAN(例えば、VLAN-4K)がDCにとって小さすぎる可能性があるかどうかなど、いくつかのVLANマッピングの問題もまた考慮されうる。Table 3(表3)は、レイヤ2制御プレーンのために使用されうる、複数の制御プレーンオプションを例示する。これらのオプションは、IEEE 802.1ah、IEEE 802.1qおよびIEEE 802.1aqに基づくことができ、そのすべては参照により本明細書に組み込まれている。Table 4(表4)は、Table 3(表3)における制御プレーンオプションの利点および不利な点(善し悪し)のいくつかを例示する。
【００８３】
【表３】
0005617137.tif 000004
【００８４】
【表４】
0005617137.tif 000005
【００８５】
CiscoのOTVと、仮想レイヤ2ネットワーク内でサポートされうるBGPの間には、複数の違いがありうる。例えば、OTVの基本態様には、OTVマルチキャストグループ、MT-IS-ISを必要とすることがあるOTV IS-IS使用、および、OTV転送が含まれうる。加えて、BGPは、DCマルチキャストグループのためなど、BGP-MACマッピングおよびIPオーバーレイをサポートすることができる。BGP-MACマッピングはまた、MT-BGPを使用することもできる。さらに、IBGPは、MT-IS-IS、および、ピアトポロジ(例えば、ラベルスイッチパス検証(Label Switched Path Verification)(LSVP))のためのIS-ISの使用によってサポートされうる。
【００８６】
上記の仮想レイヤ2ネットワークでは、1つのレイヤ2ネットワーク(またはDC)内のアプリケーションの数は、例えば、経時的に、かなり増すことがある。したがって、かなり大きいレイヤ2ネットワークに関連する問題を回避するために、ある機構が必要とされうる。これらの問題には、サーバ/ホストおよびそれらのアプリケーションの予測不可能な動きが含まれうる。例えば、サーバ/ホストは、異なるベンダに対応することがあり、一部は、ARPメッセージを送信するように構成されることがあり、他のものは、ブロードキャストメッセージを送信するように構成されることがある。さらに、典型的なより低コストのレイヤ2スイッチは、ブロードキャストデータフレームをブロックするための高度な機能を有していないことがあり、または、フラッディングおよびブロードキャストを制限するためにポリシーを実装していないことがある。ホストまたはアプリケーションはまた、ターゲットIPマッピングへのMACアドレスを頻繁に、例えば、約数分で、古くさせることがある。ホストはまた、ホストが(アクティブからスタンバイへの)切り替えを行うとき、または、ホストがソフトウェアグリッチを有するときなど、無償ARPメッセージを頻繁に送出することもある。場合によっては、レイヤ2ネットワークコンポーネントは、ブロードキャストをより少数のノードにとどめるために、より小さいサブグループに分割される。
【００８７】
図15は、上記の仮想レイヤ2ネットワークまたは擬似レイヤ2ネットワークの一部でありうる、レイヤ2ネットワーク/ドメイン、例えば、VLAN内で使用されうる、典型的なブロードキャスト方式1500の一実施形態を例示する。レイヤ2ネットワーク/ドメインまたはVLANは、ポッド1530内、例えば、DC内に位置する複数のアクセススイッチ(AS)1522を備えてもよい。VLANはまた、AS 1522に結合された複数のクローズドユーザグループ(CUG)1535をも備えてもよい。各CUG 1535は、AS 1522に結合された複数のエンドオブロー(EoR)スイッチ1524、EoRスイッチ1524に結合された複数のToRスイッチ1537、および、ToRスイッチ1537に結合された複数のサーバ/VM 1539を備えてもよい。AS 1522は、仮想レイヤ2ネットワークまたは擬似レイヤ2ネットワークの他のレイヤ2ネットワーク/ドメインに対応することがある、他のDC内の複数のポッド(図示せず)に結合されうる。レイヤ2ネットワーク/ドメインまたはポッド1530のコンポーネントは、図15に示すように配置されうる。
【００８８】
典型的なブロードキャスト方式1500は、ブロードキャストスケーラビリティの問題を欠点として有することがある。例えば、未知のDAを有するフレームは、ポッド1530内で、VLAN内のすべてのエンドシステムへフラッディングされることがある。例えば、未知のDAを有するフレームは、図15で破線の矢印によって示されるように、CUG l535内でAS 1522内の全部または複数のサーバ/VM 1539へフラッディングされることがある。未知のアドレスを有するフレームはまた、ポッド1530と同じサービスに関連付けられうる、コア内の複数の他のポッド(他のDC内)へ、AS 1522を介して、反対方向にフラッディングされることもある。これらのフレームはさらに、他のポッド内の複数のVMへフラッディングされることがあり、何千ものVMに達することがある。未知のDAのためのそのようなブロードキャスト方式は、例えば、多数のDCを備える、比較的大きいネットワーク内で効率的でないことがある。
【００８９】
図16は、上記の仮想レイヤ2ネットワークまたは擬似レイヤ2ネットワークの一部でありうる、レイヤ2ネットワーク/ドメイン、例えば、VLAN内で使用されうる、別のブロードキャスト方式1600の一実施形態を例示する。ブロードキャスト方式1600は、ブロードキャスト方式1500よりも制御され、よって、よりスケーラブルかつ効率的でありうる。レイヤ2ネットワーク/ドメインまたはVLANは、ポッド1630内、例えば、DC内に位置する複数のAS 1622を備えてもよい。VLANはまた、AS 1622に結合された複数のCUG 1635をも備えてもよい。各CUG 1635は、AS 1622に結合された複数のEoRスイッチ1624、EoRスイッチ1624に結合された複数のToRスイッチ1637、および、ToRスイッチ1637に結合された複数のサーバ/VM 1639を備えてもよい。AS 1622は、仮想レイヤ2ネットワークまたは擬似レイヤ2ネットワークの他のレイヤ2ネットワーク/ドメインに対応することがある、他のDC内の複数のポッド(図示せず)に結合されうる。レイヤ2ネットワーク/ドメインまたはポッド1630のコンポーネントは、図16に示すように配置されうる。
【００９０】
ブロードキャスト方式1600のブロードキャスト範囲を制御または限定するため、未知のDAを有するフレームは、ポッド1630内で単一のルートへ、例えば、ブロードキャストサーバとして指定されうる1つのサーバ/VM 1639へ、または、AS 1622へフラッディングされるのみであってもよい。これらのフレームは、ルーテッドマルチポイント(RMP)VLAN構成、例えば、ブロードキャストサーバがルートにされるRMP VLANのためのプッシュVLANタグを使用して、ルートへフラッディングされうる。しかし、フラッディングされたフレームを、例えば、ブロードキャストサーバではない、すべての他のサーバへ転送することはできず、これにより、リンクリソースおよび無関係のフレームのサーバ処理を節約することができる。加えて、転送されたフレームを、コアへ、例えば、他のポッドまたはDCへ転送することはできない。
【００９１】
いくつかの実施形態では、ブロードキャストサーバは、プロキシARPサーバ、DHCPサーバ、ならびに/または、例えば、効率、スケーラビリティおよび/もしくは安全性を向上させるための他の特定の機能サーバをホストすることができる。例えば、ブロードキャストサーバは、選択されたブロードキャストサービスのみを可能にするDCにおいて、安全性を提供するように構成されうる。知られているサービスが選択されない場合、未知のDAを有するデータフレームは、第1またはオリジナルのVLAN上のブロードキャストサーバからフラッディングされうる。ブロードキャスト方式1600は、カスタマアプリケーションがレイヤ2ブロードキャストを使用することが可能にされる場合に対処するために使用されうる。データ速度リミッタもまた、ブロードキャストストームから保護する、例えば、かなりのブロードキャストトラフィックを回避するために使用されうる。
【００９２】
上述のように、サーバ仮想化をDC内に導入するとき、DC内のホストの数は、例えば、経時的に、かなり増すことがある。サーバ仮想化を使用すると、本来は1つのエンドステーションをホストすることができる各物理サーバが、何百ものエンドステーションまたはVMをホストすることが可能となりうる。VMは、サーバ間で柔軟に追加、削除および/または移動可能であり、これらのサーバの性能および利用を向上させることができる。この機能を、クラウドコンピューティングサービスのためのビルディングブロックとして使用して、例えば、クライアントにより制御された仮想サブネットおよび仮想ホストを提供することができる。クラウドコンピューティングサービスによって提供されたクライアント制御仮想サブネットは、クライアントがそれら自体のサブネットを、対応するIPアドレスおよびポリシーにより定義できるようにすることができる。
【００９３】
仮想ホストの急成長は、ネットワークおよびサーバにかなりの影響を与えることがある。例えば、1つの結果として生じる問題は、ARP IPバージョン4(IPv4)リクエストなど、頻繁なARPリクエスト、または、ホストからのND IPバージョン6(IPv6)リクエストなど、近隣探索(ND)リクエストへの対処でありうる。DC内のホストは、約数分で古くなりうるキャッシュまたはエントリのために、そのようなリクエストを頻繁に送出することがある。異なるMACアドレスを有することがある、DC内の何万ものホストの場合、毎秒のARPまたはNDメッセージまたはリクエストの量は、毎秒約1,000から10,000リクエストを超える量に達することがある。このリクエストの速度または頻度は、かなりの計算的負担をホストにかけることがある。DC内のかなり多数の仮想ホストに関連するもう1つの問題は、1つのVLAN内の既存の重複したIPアドレスであることがあり、ARPまたはND方式が適切に機能しないように影響を及ぼすことがある。いくつかの負荷バランシング技術はまた、同じアプリケーションをサービスする複数のホストが、同じIPアドレスであるが異なるMACアドレスを有するものを使用することを必要とすることもある。いくつかのクラウドコンピューティングサービスは、ユーザが、IPアドレスを有する自分のサブネット、および、サブネット間で自己定義されたポリシーを使用できるようにすることがある。したがって、使用可能なVLANの最大数は、いくつかのシステムでは約4095でありうるが、何十万ものクライアントサブネットが存在する可能性があるので、クライアント毎にVLANを指定することは可能でないことがある。このシナリオでは、最後は1つのVLANに行く、異なるクライアントサブネット内の重複したIPアドレスが存在する可能性がある。
【００９４】
一実施形態では、スケーラブルなアドレス解決機構が、VMおよび/またはエンドステーションなど、かなりの数のホストを含む単一のVLANを備えることがある、かなり大きいレイヤ2ネットワーク内で使用されうる。加えて、重複したIPアドレスを有するVLAN内の適切なアドレス解決のための、ある機構が説明される。この機構は、ARP IPv4アドレスおよびND IPv6アドレスの両方に使用されうる。
【００９５】
図17は、ブリッジドレイヤ2ネットワーク、例えば、イーサネット（登録商標）内の、相互接続ネットワーク区域1700の一実施形態を例示する。ブリッジドレイヤ2ネットワークは、コア区域1710内の複数のコアブリッジ1712を備えてもよく、コア区域1710は、複数の区域1720に結合されうる。レイヤ2ブリッジドネットワークはまた、コア区域1710および区域1720の一部でありうる複数のDBB 1722をも備えてもよく、したがって、コア区域1710および区域1720を相互接続することができる。各区域1720もまた、対応するDBB 1722に結合された複数の中間スイッチ1724、および、対応する中間スイッチ1724に結合された複数のエンドステーション1726、例えば、サーバ/VMを備えてもよい。相互接続ネットワーク区域1700のコンポーネントは、図17に示すように配置されうる。
【００９６】
図18は、相互接続ネットワーク区域1700と同様に構成されうる、相互接続ネットワーク区域1800の別の実施形態を例示する。相互接続ネットワーク区域1800は、コア区域1810内で、複数のコアブリッジ1812および複数のDBB 1822(例えば、ToRスイッチ)または区域バウンダリスイッチを備えてもよい。相互接続ネットワーク区域1800はまた、複数の区域1820内で、複数の中間スイッチ1824および複数のエンドステーション1826、例えば、サーバ/VMをも備えてもよい。区域1820もまた、区域1820をコア区域1810に結合したDBB 1822を備えてもよい。相互接続ネットワーク区域1800のコンポーネントは、図18に示すように配置されうる。VLANは、図18で太い実線によって示されるように、相互接続ネットワーク区域1800内で確立されうる。VLANは、VIDに関連付けられてもよく、コア区域1810内のコアブリッジ1812の1つ、区域1820内のDBB 1822のサブセットと、区域1820内の中間スイッチ1824のサブセットおよびサーバ/VM 1826の間で確立されうる。
【００９７】
区域1820内のDBB 1822は、区域1820内のエンドステーション1826毎に<MAC,VID>の対を認識して、維持することができる。このアドレス情報は、エンドステーション1826によって対応する区域1820内の対応するDBB 1822へ、エッジ仮想ブリッジング(Edge Virtual Bridging)(EVB)仮想ステーションインターフェース(Virtual Station Interface)(VSI)発見および構成プロトコル(VDP)を介して通信されうる。DBB 1822はまた、この情報を他のDBB 1822に、例えば、MMRPを介して登録することもできる。別法として、アドレス情報は、エンドステーション1826によってそれらのDBB 1822へ、無償ARPメッセージを使用して、または、構成メッセージをNMSから送信することによって通信されてもよい。
【００９８】
一実施形態では、スケーラブルなアドレス解決機構は、相互接続ネットワーク区域1800内で比較的多数のホストを備えるVLANをサポートするために実装されうる。具体的には、1つの区域1820内のDBB 1822のMACアドレス、および、VLANのVIDが、他の区域1820からの、その区域のホストアドレスを求めるARPリクエストに対するレスポンスとして使用されうる。場合によっては、DSが個々のエンドステーション1826またはホストのための比較的多数のメッセージに対処することができないことがあるとき、DSは、区域1820内のエンドステーション1826のための要約されたアドレス情報を得るように構成されうる。そのような場合、区域1820内のDBB 1822は、区域ホストのためのすべての無償ARPメッセージを終端するか、または、その区域1820から送信されたすべての無償ARPメッセージをスヌープし、その代わりに、例えば、DSのためのホストアドレス情報を要約する、無償グループアナウンスメントを送出することができる。DBBは、それ自体の無償ARPアナウンスメントを送信して、その区域1820内のすべてのホストIPアドレスを他の区域1820へアナウンスすることができる。
【００９９】
さらに、区域1820内でDBB 1822は、それ自体のMACアドレスを他の区域1820へ、例えば、コア区域1810内のコアブリッジ1812を介して送信することによって、ARPプロキシとしての機能を果たすことができる。コアブリッジ1812は、区域1820内のDBB 1822のMACアドレスのみを認識することはできるが、中間スイッチ1824およびエンドステーション1826またはホストのMACアドレスを認識することはできず、これにより、この方式がよりスケーラブルになる。例えば、第1の区域1820内の第1のエンドステーション1826が第2の区域1820内の第2のエンドステーション1826のアドレスを求めるARPリクエストを送信するとき、第2の区域1820のDBB 1822のMACアドレスが、第1のエンドステーション1826への応答において返されうる。
【０１００】
図19は、例えば、相互接続ネットワーク区域1800のための、レイヤ2ブリッジドネットワーク内で使用されうる、ARPプロキシ方式1900の一実施形態を例示する。レイヤ2ブリッジドネットワークは、コア区域1910、コア区域1910に結合された複数のDBB 1922または区域バウンダリスイッチ、および、それらの区域内の対応するDBB 1922に結合された複数のエンドステーション1926(例えば、VM)を備えてもよい。レイヤ2ブリッジドネットワークはまた、例えば、コア区域1910を介してDBB 1922に結合されうる、DS 1940をも備えてもよい。DBB 1922およびエンドステーション1926は、レイヤ2ブリッジドネットワーク内で確立され、かつ、VIDに関連付けられた、VLANに属することができる。レイヤ2ブリッジドネットワークのコンポーネントは、図19に示すように配置されうる。
【０１０１】
ARPプロキシ方式1900に基づいて、第1のDBB 1922(DBB X)は、そのローカル区域内の第1のエンドステーション1926からのARPリクエストをインターセプトすることができる。このARPリクエストは、別の区域内の第2のエンドステーション1926のためのMACアドレスを求めるものであってもよい。このARPリクエストは、第2のエンドステーション1926のIP DA(10.1.0.2)、および、第1のエンドステーション1926のIPソースアドレス(SA)(10.1.0.1)およびMAC SA(A)を備えてもよい。第1のエンドステーション1926は、VM ARPテーブル1960内で他のエンドステーション1926のIPアドレスを維持することができる。DBB Xは、DSクエリを送信して、DS 1940から、第2のエンドステーション1926のためのMACアドレスを得ることができる。DSクエリは、第2のエンドステーション1926のIPアドレス(10.1.0.2)、および、第1のエンドステーション1926のIP SA(10.1.0.1)およびMAC SA(A)を備えてもよい。DS 1940は、DSアドレステーブル1950内で、エンドステーション1926(ホスト)のIPアドレス、MACアドレス、および、関連付けられたDBB 1922またはロケーションについての情報を維持することができる。
【０１０２】
DS 1940は次いで、DSアドレステーブル1950に示されるように、他の区域内の第2のエンドステーション1926のIPアドレス(10.1.0.2)、および、第2のエンドステーション1926に関連付けられた第2のDBB 1922(DBB Y)のMACアドレス(Y)を備える、DSレスポンスをDBB Xに返すことができる。さらに、DBB Xは、第1のエンドステーション1926のIP DA(10.1.0.1)およびMAC DA(A)、第2のエンドステーション1926のIP SA(10.1.0.2)、ならびに、DBB YのMACアドレス(Y)を備える、ARPレスポンスを第1のエンドステーション1926へ送信することができる。第1のエンドステーション1926は次いで、VM ARPテーブル1960内で、DBB YのMACアドレス(Y)を第2のエンドステーション1926のIPアドレス(10.1.0.2)に関連付けることができる。第1のエンドステーション1926は、DBB YのMACアドレスをDAとして使用して、第2のエンドステーション1926向けであるフレームを転送することができる。
【０１０３】
ARPプロキシ方式1900では、DBB 1922は、区域内のホストのMACおよびIPアドレスなしに、区域内の他のDBB 1922のMACアドレスを維持するだけでよいことがある。DBB 1922に送信されたデータフレーム内のDAは、上述のように、DBB MACアドレスのみに対応するので、DBB 1922は、他のアドレスを認識している必要がなくてもよく、これにより、この方式がよりスケーラブルになる。
【０１０４】
図20は、例えば、相互接続ネットワーク区域1800のための、レイヤ2ブリッジドネットワーク内で使用されうる、データフレーム転送方式2000の一実施形態を例示する。レイヤ2ブリッジドネットワークは、コア区域2010、コア区域2010に結合された複数の区域2020内の複数のDBB 2022または区域バウンダリスイッチ、および、それらの区域2020内の対応するDBB 2022に結合された複数の中間スイッチ2024およびエンドステーション2026(例えば、VM)を備えてもよい。区域2020にわたるDBB 2022、中間スイッチ2024、およびエンドステーション2026のうちいくつかは、レイヤ2ブリッジドネットワーク内で確立され、かつ、VIDに関連付けられた、VLANに属することができる。レイヤ2ブリッジドネットワークのコンポーネントは、図20に示すように配置されうる。
【０１０５】
データフレーム転送方式2000は、DBB 2022におけるMATに基づくことができ、このMATは、IP NATに類似する可能性がある。MATは、内部IP DAおよびARPテーブルを使用して、対応するMAC DAを見つけることを備えてもよい。例えば、第1のDBB 2022(DBB1)は、フレーム2040、例えば、イーサネット（登録商標）フレームを、第1の区域(区域1)内の第1のエンドステーション2026(ホストA)から受信することができる。フレーム2040は、第2の区域(区域2)内の第2のエンドステーション2026(ホストB)向けでありうる。フレーム2040は、区域2(DBB2)内の第2のDBBのためのMAC-DA 2042、ホストAのためのMAC-SA 2044(AのMAC)、ホストBのためのIP-DA 2046(B)、ホストAのためのIP-SA 2048(A)、および、ペイロードを備えてもよい。DBB1は、フレーム2040を区域2へ、コア区域2010を介して転送することができる。区域2内の第2のDBB 2022(DBB2)は、フレーム2040を受信し、フレーム2040内のDBB2のためのMAC-DA 2042(DBB2)を、第2のフレーム2080内のホストBのためのMAC-DA 2082(BのMAC)で置き換えることができる。DBB2は、BのMACを、ホストBのためのIP-DA 2046(B)、および、そのARPテーブル内の対応するエントリに基づいて決定することができる。第2のフレームはまた、ホストAのためのMAC-SA 2084(AのMAC)、ホストBのためのIP-DA 2086(B)、ホストAのためのIP-SA 2088(A)、および、ペイロードをも備えてもよい。DBB2は、第2のフレーム2080を区域2内のホストBへ送信することができる。区域2において受信されたフレーム内のSAは変更されないので、データフレーム転送方式2000は、ネットワーク内で実装されたDHCPに影響を及ぼすことはできない。
【０１０６】
上記のネットワークでは、コア区域のコアブリッジまたはスイッチ、例えば、コア区域1810内のコアブリッジ1812は、区域内のホストのMACおよびIPアドレスなしに、区域内のDBBのMACアドレスを維持するだけでよいことがある。コア区域を通じて転送されたデータフレーム内のDAは、上述のように、DBB MACアドレスのみに対応することができるので、コアブリッジは、他のアドレスを認識している必要がなくてもよい。DBBのMACアドレスは、コアブリッジの転送データベース(FDB)内で維持されうる。コアブリッジまたはスイッチは、すべてのDBBのトポロジを、リンク状態ベースのプロトコルを介して学習することができる。例えば、DBBは、例えば、IEEE 802.1aq、多数リンクの透過的相互接続(Transparent Interconnect of Lots of Links)(TRILL)またはIPベースのコアを使用して、リンク状態アドバタイズメント(LSA)を送出することができる。スパニングツリープロトコル(STP)がコアブリッジ間で使用される場合、MACアドレス学習は、コアブリッジで使用不可能にされることがある。この場合、DBBは、それら自体をコアブリッジに登録することができる。
【０１０７】
一実施形態では、DSが使用されない場合、DBBは、上述のように、ARPプロキシとして動作することができる。無償ARPメッセージがエンドステーションによって送信されて、それら自体のMACアドレスがアナウンスされうる。無償グループアナウンスメントもまた、DBBによって送信されて、それら自体のMACアドレス、および、それらのローカル区域内のすべてのホストのためのIPアドレスがアナウンスされうる。無償グループアナウンスメントは、MACおよびIPアドレスを他の区域内の他のDBBにアナウンスするために使用されうる。アナウンスされたMACアドレスおよびIPアドレスは、他のDBB内で、ホストIP DAに従って、受信されたフレーム内のDBB MAC DAを変換するために使用されうる。無償グループARPがDBBによって送信されて、そのDBBに関連付けられた各VLANのためのホストIPアドレスのサブセットがアナウンスされうる。無償グループARPは、ホストIPアドレスのサブセットの、DBBのための複数のVLANへのマッピングを備えてもよい。
【０１０８】
Table 5(表5)は、ホストIPアドレスの、相互接続された区域内の対応するDBB MACアドレスへのマッピングの一例を例示する。このマッピングがDBBによって無償グループARPにおいて送信されて、そのDBBに関連付けられた各VLANのためのそのホストIPアドレスがアナウンスされうる。DBB MACアドレス(DBB-MAC)は、複数の対応するホストIPアドレスにマップされうる。各DBB MACアドレスは、同じまたは異なる区域内でありうる、複数のVLAN(例えば、VID-1、VID-2、VID-n、...)内の複数のホストIPアドレスにマップされうる。
【０１０９】
【表５】
0005617137.tif 000006
【０１１０】
場合によっては、相互接続された区域内の複数のホストは、同じIPアドレスを有することができ、同じVLAN(またはVID)に関連付けられうる。例えば、クラウドコンピューティングサービスの仮想サブネットは、クライアントがそれら自体のプライベートIPアドレスを命名できるようにすることができる。クラウドコンピューティングサービスによって提供される仮想サブネットの数は、可能にされたVLANの総数(例えば、約4095個のVLAN)を大幅に超えることがある。したがって、複数の仮想ホスト(例えば、VMまたは仮想エンドステーション)は、同じIPアドレスを有するが、異なるMACアドレスを有することが可能にされうる。他の場合では、複数のエンドステーションは、同じIPアドレスであるが、異なるMACアドレスを使用して、同じアプリケーションをサービスすることができる。
【０１１１】
一実施形態では、例えば、同じ(重複した)IPアドレスを使用する異なるホストの間で区別するために、DBBに、本明細書ではデリゲートMACアドレスと呼ばれる、複数のMACアドレスが割り当てられてもよい。DBBをまた、複数のVLANに関連付けることもできる。さらに、DBB上の各VLANを、例えば、VLAN内のホストの異なるサブセットを備える、複数のサブネットまたは仮想サブネットに関連付けることができる。仮想サブネットを、複数のサブネットIDに関連付けることができる。ホストのための重複したIPアドレスの数が、VLANの仮想サブネットの数よりもかなり少ない場合、DBBのためのデリゲートMACアドレスの数もまた、かなり少なくなりうる。
【０１１２】
図21は、レイヤ2ブリッジドネットワーク内で相互接続ネットワーク区域のために使用されうる、ARPプロキシ方式2100の一実施形態を例示する。レイヤ2ブリッジドネットワークは、コア区域2110、コア区域2110に結合された複数のDBB 2122または区域バウンダリスイッチ、および、それらの区域内の対応するDBB 2122に結合された複数のエンドステーション2126(例えば、VM)を備えてもよい。レイヤ2ブリッジドネットワークはまた、例えば、コア区域2110を介してDBB 2122に結合されうる、DS 2140をも備えてもよい。DBB 2122およびエンドステーション2126は、レイヤ2ブリッジドネットワーク内で確立されたVLANに属することができる。レイヤ2ブリッジドネットワークのコンポーネントは、図21に示すように配置されうる。
【０１１３】
ARPプロキシ方式2100に基づいて、第1のDBB 2122(DBB X)は、そのローカル区域内の第1のエンドステーション2126からのARPリクエストをインターセプトすることができる。このARPリクエストは、別の区域内の第2のエンドステーション2126のためのMACアドレスを求めるものであってもよい。このARPリクエストは、第2のエンドステーション2126のIP DA(10.1.0.2)、および、第1のエンドステーション2126のIP SA(10.1.0.1)およびMAC SA(A)を備えてもよい。第1のエンドステーション2126は、VM ARPテーブル2160内で他のエンドステーション2126のIPアドレスを維持することができる。DBB Xは次いで、DSクエリを転送して、DS 2140から、第2のエンドステーション2126のためのMACアドレスを得ることができる。DSクエリは、第2のエンドステーション2126のIPアドレス(10.1.0.2)、ならびに、第1のエンドステーション2126のIP SA(10.1.0.1)およびMAC SA(A)を備えてもよい。DS 2140は、DSアドレステーブル2150内で、エンドステーション2126のIPアドレス、MACアドレス、VLAN IDまたはVID、カスタマ(仮想サブネット)ID、および、関連付けられたDBB 2122またはロケーションについての情報を維持することができる。
【０１１４】
DS 2140は、DSクエリ内のMAC SA(A)を使用して、どのカスタマ(仮想サブネット)IDがリクエスト側のVM(第1のエンドステーション2126)に属するかを決定することができる。例えば、DSアドレステーブル2150によれば、カスタマID、JoeがMAC SA(A)に対応する。DS 2140は次いで、第2のエンドステーション2126のIPアドレス(10.1.0.2)、および、第1のエンドステーション2126のカスタマID(Joe)に関連付けられた 第2のDBB2122(DBB Y)のデリゲートMACアドレス(Y1)を備える、DSレスポンスをDBB Xに返すことができる。さらに、DBB Xは、第1のエンドステーション2126のIP DA(10.1.0.1)およびMAC DA(A)、第2のエンドステーション2126のIP SA(10.1.0.2)、ならびに、DBB YのデリゲートMACアドレス(Y1)を備える、ARPレスポンスを第1のエンドステーション2126へ送信することができる。第1のエンドステーション2126は次いで、VM ARPテーブル2160内で、DBB YのデリゲートMACアドレス(Y1)を第2のエンドステーション2126のIPアドレス(10.1.0.2)に関連付けることができる。第1のエンドステーション2126は、DBB YのデリゲートMACアドレスをDAとして使用して、第2のエンドステーション2126向けであるフレームを転送することができる。
【０１１５】
別の区域内の第3のエンドステーション2126もまた、第2のエンドステーション2126のためのARPリクエストを、第3のエンドステーションの区域内の対応するローカルDBB 2122(DBB Z)へ送信することができる。DBB Zは次いで、上述のようにDS 2140と通信し、それに応じて、DSアドレステーブル2150内の、第3のエンドステーション2126のIP DA(10.1.0.3)およびMAC DA、第2のエンドステーション2126のIP SA(10.1.0.2)、ならびに、第3のエンドステーション2126のカスタマID、Bobに関連付けられたDBB YのデリゲートMACアドレス(Y2)を備える、ARPレスポンスを第3のエンドステーション2126に返すことができる。第3のエンドステーション2126は次いで、第3のエンドステーション2126のVM ARPテーブル2170内で、DBB YのデリゲートMACアドレス(Y2)を、第2のエンドステーション2126のIPアドレス(10.1.0.2)に関連付けることができる。第3のエンドステーション2126は、このDBB YのデリゲートMACアドレスをDAとして使用して、第2のエンドステーション2126向けであるフレームを転送することができる。
【０１１６】
Table 6(表6)は、重複したホストIPアドレスの、相互接続された区域内のVLAN内の対応するデリゲートDBB MACアドレスへのマッピングの一例を例示する。重複したホストアドレスは、複数のホストによって、1つの所期のアプリケーションまたはホストのために使用されうる。デリゲートDBB MACアドレスは、同じアプリケーションを使用する(あるいは、同じホストと通信する)異なるホストのために割り当てられてもよい。VLAN毎に、ホストIPアドレスが、例えば、VLANの異なるサブネットに関連付けられた、複数のホストのための複数のデリゲートDBB MACアドレス(MAC-12、MAC-13、MAC-14、...)にマップされうる。デリゲートDBB MACアドレスをまた、ベース(オリジナル)DBB MACアドレス(MAC-11)に関連付けることもできる。同じIPのためのベースおよびデリゲートDBB MACアドレスは、異なるVLANでは異なることがある。VLANがデリゲートアドレスを有していないとき、DBBベースアドレスがVLANのために使用されうる。1つのVLAN内に約10個の重複したIPアドレスがある場合、Table 6(表6)の約10個の列(10個のMACアドレス)が使用されうる。
【０１１７】
【表６】
0005617137.tif 000007
【０１１８】
Table 7(表7)は、ホストIPアドレスの、例えば、複数のサブネットのための複数のデリゲートMACアドレスへのマッピングの一例を例示する。このマッピングがDBBによって無償グループARPにおいて送信されて、そのDBBに関連付けられた各VLANのためのそのホストIPアドレスがアナウンスされうる。各デリゲートMACアドレス(DBB-MAC1、DBB-MAC2、...)は、サブネット内の複数の対応するホストIPアドレスにマップされうる。各デリゲートDBB MACアドレスを、ホストIPアドレスのためのカスタマまたは仮想サブネットIDに関連付けることができる。各デリゲートDBB MACアドレスのためのホストIPアドレスはまた、複数のVLAN(VID-1、VID-2、VID-n、...)に対応することもできる。各サブネット内のホストIPアドレスは、異なることがある。重複したホストIPアドレスを、同じVLANに関連付けることができるが、異なるカスタマIDに関連付けることができ、異なるデリゲートDBB MACアドレスにマップすることができる。
【０１１９】
【表７】
0005617137.tif 000008
【０１２０】
図22は、レイヤ2ブリッジドネットワーク内の相互接続ネットワーク区域のために使用されうる、フェイルオーバー方式2200の一実施形態を例示する。フェイルオーバー方式2200は、相互接続された区域内のDBB(例えば、ToRスイッチ)のいずれかが故障する場合に使用されうる。レイヤ2ブリッジドネットワークは、コア区域2210内の、複数のコアブリッジ2212および複数のDBB 2222または区域バウンダリスイッチ、ならびに、複数の区域2220を備えてもよい。区域2220は、DBB 2222、複数の中間スイッチ2224、および、複数のエンドステーション2226、例えば、サーバ/VMを備えてもよい。レイヤ2ブリッジドネットワークはまた、例えば、コア区域2210を介して、DBB 2222に結合されうる、DS(図示せず)をも備えてもよい。DBB 2222、中間スイッチ2224、および、エンドステーション2226のうちいくつかは、レイヤ2ブリッジドネットワーク内で確立されたVLANに属することができる。レイヤ2ブリッジドネットワークのコンポーネントは、図22に示すように配置されうる。
【０１２１】
アクティブDBB 2222がVLAN内で故障するとき、VLANは、1つまたは複数のスタンバイDBB 2222を使用して確立されうる。スタンバイDBB 2222は、VLANに属する中間スイッチ2224のうち少なくともいくつかとの、および、場合によっては新しいコアブリッジ2212とのアクティブな接続を確立することができる。これは、図22で破線によって示される。したがって、VLANのエンドステーション2226へのパスが失われることはなく、これにより、エンドステーション2226がVLANを介して通信することが可能になる。VLAN内のDBB 2222が故障するとき、例えば、明示的メッセージをDSへ送信すること、または、キープアライブ方法を使用することによって、DSに障害が通知されうる。したがって、DBBは、DSアドレステーブルのエントリ内のVLAN内の故障したDBB、および、場合によっては他のオリジナルのDBB 2222のアドレス情報を、スタンバイであって、次いで、故障した他のオリジナルのDBB 2222を置き換えるために使用された、新しいDBB 2222の情報で置き換えることができる。置き換えられた、故障したオリジナルのDBBは、図22で円によって示される。故障したDBB 2222を検出すると、置換DBBは、LSAをDSまたはコア区域2210へ送信して、すべてのデリゲートアドレスを含む、故障したDBBのアドレスが、置換DBB 2222によって到達可能であることを示すことができる。
【０１２２】
サーバ仮想化により、物理サーバは、より多くのVM、例えば、数十から数百もの仮想エンドステーションまたはVMをホストすることができる。これは、DC内の仮想ホストの数がかなり増す結果となりうる。例えば、約50,000個のサーバを有する比較的大きいDCでは、それぞれ最大約128個のVMをサポートすることができ、DC内のVMの総数は、約50,000×128、すなわち、約6,400,000個のVMに等しくなりうる。このような大きいサーバプールにわたるリソースの動的割り振りを達成するために、イーサネット（登録商標）ベースのレイヤ2ネットワークがDC内で使用されうる。潜在的にかなりの数の仮想ホストを有するこのような大きいレイヤ2ネットワークは、基礎をなすイーサネット（登録商標）技術に新しい課題を課すことがある。例えば、1つの問題は、フラットなMACアドレス空間によるMAC転送テーブルスケーラビリティでありうる。もう1つの問題は、ARPおよび他のブロードキャストトラフィックによって引き起こされるブロードキャストストームへの対処でありうる。
【０１２３】
ネットワークのコア内で、本明細書ではFDBとも呼ばれる、MAC転送テーブルのサイズを縮小するための1つの手法は、例えば、IEEE 802.1ahおよびTRILLに従って、ネットワークアドレスカプセル化を使用することでありうる。802.1ahおよびTRILLのネットワークアドレスカプセル化は、IEEE P802.1ah/D4.2規格およびIETFドラフトdraft-ietf-trill-rbridge-protol-12-txtにそれぞれ記載されており、その両方が参照により本明細書に組み込まれている。ネットワークアドレスカプセル化では、コアスイッチ内のFDBエントリの数は、VMの数とは関係なく、ネットワーク内の(エッジおよびコアを含む)スイッチの総数まで減らすことができる。例えば、1つのエッジスイッチにつき約20個のサーバがあれば、約50,000個のサーバのネットワーク内のエッジスイッチの数は、約50,000/20、すなわち、約2,500に等しくなりうる。しかし、データパスMACアドレス学習では、エッジスイッチ(例えば、DC内のToRスイッチ)のFDBサイズは、ネットワークアドレスカプセル化が使用されないときとほぼ同じであることがあり、かなり大きくなりうる。
【０１２４】
ToRスイッチにおける選択的MAC学習でさえ、FDBサイズはなお、かなり大きくなりうる。例えば、あるToRスイッチが約40個のダウンストリームポートを有する場合、一対のToRスイッチでは、最大約40個のデュアルホームドサーバがそれらのToRスイッチに接続されることがある。あるサーバが最大約128個のVMをサポートする場合、正常な動作中、例えば、TORスイッチがほぼ同数のVMに対処するとき、あるToRスイッチでは、約128×40/2、すなわち、約2,560個のVMがそのToRスイッチに接続されることがある。1つのToRスイッチが故障する場合、VMの数は、約5,120まで増すことがある。各VMが平均して約10個のリモートVMと同時に通信する場合、ToRスイッチFDBサイズ(例えば、エントリの数)は、少なくとも約2,560(ローカルVM)+2,560×10(リモートVM)+2,500(ToRスイッチ)、すなわち、約30,660エントリに比例することがあり、障害シナリオではさらに倍増されうる。
【０１２５】
802.1ahおよびTRILLにおけるネットワークアドレスカプセル化は、対称でありうる。具体的には、エッジスイッチなど、同じスイッチが、アドレスカプセル化を行うことができる。802.1ahおよびTRILLにおける対称ネットワークアドレスカプセル化に関する問題は、エッジスイッチが、ローカルVMと通信するリモートVMを追跡する必要があることである。リモートVMの数は、大幅に変わることがある。参照により本明細書に組み込まれている、PRESTO 08において発行された、A. Greenberg他による「Towards a Next Generation Data Center Architecture: Scalability and Commoditization」という名称の論文において提案された1つの解決法は、ネットワークアドレスカプセル化手順をVMの内部に移動させ、よって、スイッチFDBサイズをその最小まで縮小することであり、ネットワーク内のローカルVMの数およびエッジスイッチの数の和に等しく(例えば、上記の例では、約2,560+2,500、すなわち、約5,060エントリに等しく)なりうる。この手法の欠点は、ゲストオペレーションシステム(OS)プロトコルスタックの変更である。
【０１２６】
その代わりに、ネットワークアドレスカプセル化を物理サーバ(例えば、ハイパーバイザの内部)の仮想スイッチへ移動させることにより、さらに後述するように、エッジスイッチFDBサイズを縮小し、ゲストOSプロトコルスタックの変更を回避することができる。このようなネットワークアドレスカプセル化は、本明細書では、非対称ネットワークアドレスカプセル化と呼ばれ、その理由は、アドレスカプセル化解除がなお、エッジスイッチ内の他のところで行われるからである。非対称ネットワークアドレスカプセル化のこの機構は、中間/エッジスイッチまたはルータのFDB内で維持されるアドレスの量を減らすことができる。
【０１２７】
非対称ネットワークアドレスカプセル化方式は、上記の異なるネットワーク実施形態内など、エッジおよびコアスイッチを備えるレイヤ2ネットワーク内で実装されうる。例えば、エッジスイッチは、DC内のToRスイッチに対応することができる。各エッジスイッチには、固有のIDが割り当てられてもよく、固有のIDは、MACアドレス(802.1ahにおけるように)、約16ビットのニックネーム(TRILLにおけるように)、またはIPアドレスであってもよい。ネットワークは、入口エッジスイッチから出口エッジスイッチへ、フレームのヘッダにおいて搬送される宛先エッジスイッチIDに基づいて、フレームを転送するように構成されうる。フレームは、ネットワーク内部で、任意のトランスポート技術を使用して転送されうる。非対称ネットワークアドレスカプセル化方式は、MAC-in-MACとも呼ばれる、802.1ahにおけるアドレスカプセル化方式に類似する可能性がある。MAC学習は、ネットワーク内で使用不可能にされることがあるが、ポートに面するエッジスイッチサーバにおいて可能にされうる。サーバ、エンドステーションおよびホストという用語は、本明細書で交換可能に使用されうる。仮想サーバ、VM、仮想エンドステーションおよび仮想ホストという用語もまた、本明細書で交換可能に使用されうる。
【０１２８】
MAC-in-MACでは、2つのタイプのMACアドレスがあり、すなわち、ネットワークアドレスまたはバックボーンMAC(B-MAC)アドレスとも呼ばれる、エッジスイッチに割り当てられたMACアドレス、および、カスタマMAC(C-MAC)アドレスとも呼ばれる、VMによって使用されるMACアドレスである。図23は、典型的な物理サーバ2300の一実施形態を例示し、DC内のデュアルホームドサーバであってもよい。物理サーバ2300は、仮想スイッチ2310、複数のVM 2340、および、複数の物理ネットワークインターフェースカード(pNIC)2350を備えてもよい。仮想スイッチ2310は、ARPプロキシ2330およびFDB 2320を備えてもよく、FDB 2320は、ローカルFDB 2322およびリモートFDB 2324を備えてもよい。仮想スイッチ2310は、物理サーバ2300のハイパーバイザ内部に位置してもよい。仮想スイッチ2310は、VM 2340の複数の対応する仮想ネットワークインターフェースカード(NIC)2342、および、仮想スイッチ2310の複数の対応する仮想スイッチポート2312を介して、VMに結合されうる。仮想スイッチ2310はまた、仮想スイッチ2310の複数の対応する仮想スイッチトランクポート2314を介して、pNIC 2350にも結合されうる。pNIC 2350は、仮想スイッチ2310のためのアップリンクまたはトランクとしての機能を果たすことができる。物理サーバ2300は、物理サーバ2300の対応するpNIC 2350を介して、複数のエッジスイッチ2360に結合されうる。したがって、エッジスイッチ2360は、物理サーバ2300のコンポーネント(pNIC 2350および仮想スイッチ2310)を介して、VM 2340に結合されうる。物理サーバ2300のコンポーネントは、図23に示すように配置されうる。
【０１２９】
負荷バランシングのため、トラフィックは、トラフィックの仮想ポートIDまたはVMソースC-MACアドレスに基づいて、トランク(pNIC 2350)に分配されうる。各VM 2340は、一意に割り当てられたC-MACアドレスを有する仮想NIC 2342を有することができる。VM 2340は、正常な動作中に、トラフィックをエッジスイッチ2360へ送信することができる。例えば、第1のVM 2340(VM1)は、ネットワーク内の他の物理サーバ内の外部VM(図示せず)向けの複数のフレームを、対応する第1のエッジスイッチ2360(エッジスイッチX)を介して送信することができる。第2のエッジスイッチ2360(エッジスイッチR)は、エッジスイッチXのためのバックアップであってもよい。エッジスイッチXが障害(例えば、対応するpNIC 2350が故障する、pNIC 2350とエッジスイッチXの間のリンクが故障する、または、エッジスイッチXが故障する)のために到達不可能になるとき、仮想スイッチ2310は次いで、フレームをエッジスイッチRへ送信することができる。
【０１３０】
FDB 2320では、ローカルFDB 2322は、ローカルVM(VM 2340)に対応することができ、複数のC-MAC宛先アドレス(C-MAC DA)、複数のVLAN ID、および、複数の関連付けられた仮想スイッチポートIDを備えてもよい。C-MAC DAおよびVLAN IDは、ローカルFDB 2322をルックアップして、対応する仮想スイッチポートIDを得るために使用されうる。リモートFDB 2324は、外部VM(他の物理サーバ内)に対応することができ、複数のB-MAC宛先アドレス(B-MAC DA)、および、B-MAC DAに関連付けられた複数のC-MAC DAを備えてもよい。C-MAC DAは、ローカルVMによってリモートFDB 2324をルックアップして、対応するB-MAC DAを得るために使用されうる。リモートFDB 2324は、後述のように、ARPプロキシ2330によってポピュレートされうる。
【０１３１】
対称アドレスカプセル化に基づいて、VM 2340からのイーサネット（登録商標）フレームは、タグなしであってもタグ付きであってもよい。フレームがタグなしである場合、対応する仮想スイッチポート2312に割り当てられたVLAN IDが使用されうる。VM 2340からエッジスイッチ2360へのアップストリーム方向では、仮想スイッチ2310は、イーサネット（登録商標）フレームをVM 2340から受信した後、以下のステップを行うことができる。
ステップ1:ローカルFDB 2322のテーブルルックアップにおけるC-MAC DAおよびVLAN IDを使用する。マッチが見つかる場合、フレームを、マッチされたFDBエントリ内で(仮想スイッチポートIDによって)指定される仮想スイッチポート2312へ転送する。そうでなければ、ステップ2へ進む。
ステップ2:リモートFDB 2324のテーブルルックアップにおけるC-MAC DAを使用する。マッチが見つかる場合、MAC-in-MACカプセル化ベースの非対称ネットワークアドレスカプセル化(後述)を行い、フレームを、フレーム内のC-MAC SAに関連付けられる仮想スイッチトランクポート2314へ転送する。そうでなければ、ステップ3へ進む。
ステップ3:フレームを廃棄し、強化ARPリクエストをネットワーク内のARPサーバ(図示せず)へ送信する。
【０１３２】
図24は、物理サーバ内で使用されうる非対称ネットワークアドレスカプセル化方式2400の一実施形態を例示する。非対称ネットワークアドレスカプセル化方式2400に基づいて、VM 2402は、アップストリーム方向で、ネットワーク内の別の物理サーバ内の別の外部またはリモートVM(図示せず)向けのフレームを送信することができる。フレームは、リモートVMのC-MAC DA(B)2410、VM 2402のC-MAC SA(A)2412、VM 2402のVLANのためのC-VLAN ID 2414、データまたはペイロード2416、および、フレームチェックシーケンス(FCS)2418を備えてもよい。VM 2402は、フレームを仮想スイッチ2404へ送信することができる。
【０１３３】
仮想スイッチ2404(同じ物理サーバ内)は、フレームをVM 2402から受信することができる。仮想スイッチ2404は、フレームを処理し、ヘッダをフレームに追加して、MAC-in-MACフレームを得ることができる。ヘッダは、B-MAC DA(Y)2420、B-MAC SA(0)2422、B-VLAN ID 2424、および、インスタンスサービスID(I-SID)2426を備えてもよい。B-MACアドレス(Y)を、エッジスイッチ2406内のC-MAC DA(B)2410に関連付けることができる。B-MACアドレス(Y)は、C-MACアドレス(B)を有するリモートVMのロケーションを示すことができる。B-MAC SA 2422は、仮想スイッチ2404によってゼロに設定されうる。B-VLAN ID 2424は、C-VLAN ID 2414に設定されうる。I-SID 2426はオプショナルであってもよく、イーサネット（登録商標）フレームがC-MAC DA(B)のみに送信される場合、ヘッダ内で使用されないことがある。仮想スイッチ2404は次いで、MAC-in-MACフレームをエッジスイッチ2406へ送信することができる。
【０１３４】
エッジスイッチ2406(物理サーバに結合された)は、MAC-in-MACフレームを仮想スイッチ2404から受信することができる。エッジスイッチ2406は、MAC-in-MACフレームのヘッダを処理して、MAC-in-MACフレーム内の新しいヘッダを得ることができる。新しいヘッダは、B-MAC DA(Y)2440、B-MAC SA(X)2442、B-VLAN ID 2444、および、I-SID 2446を備えてもよい。B-MAC SA(X)2442は、エッジスイッチ2406のB-MACアドレス(X)に設定されうる。B-VLAN ID 2444は、必要に応じて、ネットワーク内のVLANにマッチするように変更されうる。ヘッダの残りのフィールドが変更されることはない。エッジスイッチ2406は次いで、ネットワークコア2408、例えば、コアネットワークまたはネットワークコア区域を介して、B-MAC DA(Y)2442および場合によってはB-VLAN ID 2444に基づいて、新しいMAC-in-MACフレームを転送することができる。
【０１３５】
ダウンストリーム方向では、エッジスイッチ2406は、ネットワークコア2408からMAC-in-MACフレームを受信し、フレームカプセル化解除を行うことができる。MAC-in-MACフレームは、リモートVMからVM 2402へ送信されたヘッダおよびオリジナルフレームを備えてもよい。ヘッダは、エッジスイッチ2406のためのB-MAC DA(X)2460、リモートVMおよびエッジスイッチ2406に対応するB-MAC SA(Y)2462、リモートVMのVLANのB-VLAN ID 2464、および、I-SID 2466を備えてもよい。リモートVMのためのオリジナルフレームは、VM 2402のためのC-MAC DA(A)2470、リモートVMのC-MAC SA(B)2472、VM 2402に関連付けられたC-VLAN ID 2474、データまたはペイロード2476、および、FCS 2478を備えてもよい。エッジスイッチ2406は、ヘッダをMAC-in-MACフレームから除去し、残りのオリジナルフレームを仮想スイッチ2404へ転送することができる。エッジスイッチ2406は、C-MAC DA(A)2470およびC-VLAN ID 2474を使用して、その転送テーブルをルックアップして、送出スイッチポートIDを得て、オリジナルフレームを、対応するスイッチポートに面するか、または対応するスイッチポートに結合された物理サーバへと転送することができる。さらに、仮想スイッチ2404は、オリジナルフレームをVM 2402へ転送することができる。仮想スイッチ2404は、C-MAC DA(A)2470およびC-VLAN ID 2474に基づいて、オリジナルフレームをVM 2402へ転送することができる。
【０１３６】
エッジスイッチ2406内の転送テーブルは、ローカルFDBおよびリモートFDBを含むことがある。ローカルFDBは、ローカルVMのためのフレームを転送するために使用することができ、MAC学習を介してポピュレートし、受信されたフレーム内のC-MAC DAおよびC-VLAN IDによってインデックス付けすることができる。リモートFDBは、フレームをリモートVMへ転送するために使用することができ、ルーティングプロトコルまたは集中制御/管理プレーンによってポピュレートし、受信されたフレーム内のB-MAC DA、および、場合によってはB-VLAN IDによってインデックス付けすることができる。
【０１３７】
非対称アドレスカプセル化方式2400では、MAC-in-MACカプセル化は、仮想スイッチ2404において行われてもよいが、MAC-in-MACカプセル化解除は、エッジスイッチ2406において行われてもよい。したがって、エッジスイッチ内のFDBサイズは、かなり縮小可能であり、例えば、メガDC内の、かなり大きいレイヤ2ネットワークにとってさえ、より管理可能になりうる。仮想スイッチ2404内のリモートFDBサイズは、ローカルVM、例えば、VM 2402と通信するリモートVMの数によって決まることがある。例えば、仮想スイッチが約128個のローカルVMをサポートし、各ローカルVMが平均して約10個のリモートVMと同時に通信する場合、リモートFDBは、約128×10、すなわち、約1,280エントリを備えてもよい。
【０１３８】
図25は、物理サーバ2300内で使用されうるARP処理方式2500の一実施形態を例示する。ARP処理方式2500に基づいて、VM 2502は、リモートVMのためのARPリクエストをブロードキャストすることができる。ARPリクエストは、ブロードキャストメッセージを示すC-MAC DA(BC)2510、VM 2502のC-MAC SA(A)2512、VM 2502のVLANのためのC-VLAN ID 2514、ARPペイロード2516、および、FCS 2518を備えてもよい。
【０１３９】
仮想スイッチ2504(同じ物理サーバ内)は、ローカルVMからのすべてのARPメッセージをインターセプトするように構成されてもよく、リモートVMのためのARPリクエストをインターセプトすることができる。仮想スイッチ2504内のARPプロキシは、ARPリクエストを処理し、ヘッダをフレームに追加して、ユニキャスト拡張ARP(ERAP)メッセージを得ることができる。フレームは、例えば、非対称ネットワークアドレスカプセル化方式2400と同様に、MAC-in-MACを使用してカプセル化されうる。ヘッダは、B-MAC DA 2520、B-MAC SA(0)2522、B-VLAN ID 2524、および、I-SID 2526を備えてもよい。B-MAC DA 2520を、ネットワーク内のARPサーバ2508に関連付けることができる。B-VLAN ID 2524は、C-VLAN ID 2514に設定されうる。I-SID 2526はオプショナルであってもよく、使用されないことがある。EARPメッセージもまた、C-MAC DA(Z)2528、C-MAC SA(A)2530、C-VLAN ID 2532、EARPペイロード2534、および、FCS 2536を備えてもよい。ARPプロキシは、受信されたフレーム内のC-MAC DA(BC)2510およびARPペイロード2516を、EARPメッセージ内で、リモートVMのためのC-MAC DA(Z)2528、および、EARPペイロード2534で、それぞれ置き換えることができる。仮想スイッチ2504は次いで、EARPメッセージをエッジスイッチ2506へ送信することができる。
【０１４０】
エッジスイッチ2506は、EARPメッセージ内のヘッダを処理して、新しいヘッダを得ることができる。新しいヘッダは、B-MAC DA(Y)2540、B-MAC SA(X)2542、B-VLAN ID 2544およびI-SID 2546を備えてもよい。B-MAC SA(X)2542は、エッジスイッチ2506のB-MACアドレス(X)に設定されうる。B-VLAN ID 2544は、必要に応じて、ネットワーク内のVLANにマッチするように変更されうる。ヘッダの残りのフィールドが変更されることはない。エッジスイッチ2506は次いで、新しいEARPメッセージを、ネットワーク内のARPサーバ2508へ転送することができる。
【０１４１】
ARPサーバ2508は、受信されたEARPメッセージを処理し、EARPリプライをエッジスイッチ2506へ返すことができる。EARPリプライは、ヘッダおよびARPフレームを備えてもよい。ヘッダは、エッジスイッチ2506のためのB-MAC DA(X)2560、ARPサーバ2508のB-MAC SA 2562、B-VLAN ID 2564、および、I-SID 2566を備えてもよい。ARPフレームは、VM 2502のためのC-MAC DA(A)2568、リクエストされたリモートVMのためのC-MAC SA(Z)2570、C-VLAN ID 2572、EARPペイロード2574、および、FCS 2576を備えてもよい。エッジスイッチ2506は、ヘッダを除去することによって、EARPメッセージをカプセル化解除し、次いで、ARPフレームを仮想スイッチ2504へ転送することができる。仮想スイッチ2504は、ARPフレームを処理し、VM 2502に従って、ARPリプライを送信することができる。ARPリプライは、VM 2502のためのC-MAC DA(A)2590、リモートVMのロケーションに関連付けられたC-MAC SA(B)2592、C-VLAN ID 2594、ARPペイロード2596、および、FCS 2598を備えてもよい。
【０１４２】
仮想スイッチ2504内のARPプロキシはまた、EARPメッセージを使用して、エッジスイッチ2506内のリモートFDBをポピュレートすることもできる。ARPプロキシは、FDBテーブル内のエントリを、リモートC-MACおよびリモートスイッチB-MACの対によりポピュレートすることができ、この対を、EARPペイロード2574内で見つけることができる。C-MACおよびリモートスイッチB-MACを、EARPペイロード2574内の送信元ハードウェアアドレス(SHA)フィールドおよび送信元ロケーションアドレス(SLA)フィールドにおいて、それぞれ見つけることができる。
【０１４３】
仮想スイッチ2504を備える物理サーバ内のハイパーバイザはまた、ARP処理方式2500と類似の方法で、VM、例えば、ローカルVM 2502またはリモートVMを、ARPサーバ2508に登録することもできる。この場合、仮想スイッチ2504は、すべてのターゲットフィールドに等しいすべての送信元フィールドと共に、ユニキャストEARPフレームをARPサーバ2508へ送信することができる。VMを登録するためのもう1つの方法は、参照により全体として再現されるかのように本明細書に組み込まれている、Y. Xiong他による「A MAC Address Delegation Scheme for Scalable Ethernet Networks with Duplicated Host IP Addresses」という名称の米国仮特許出願第61/389,747号に記載されている。この方式は、重複したIPアドレスのシナリオに対処することができる。
【０１４４】
図26は、EARPペイロード2574など、ARP処理方式2500で使用されうるEARPペイロード2600の一実施形態を例示する。EARPペイロード2600は、ハードウェアタイプ(HTYPE)2610、プロトコルタイプ(PTYPE)2612、ハードウェアアドレス長(HLEN)2614、プロトコルアドレス長(PLEN)2616、動作フィールド(OPER)2618、SHA 2620、送信元プロトコルアドレス(SPA)2622、ターゲットハードウェアアドレス(THA)2624、および、ターゲットプロトコルアドレス(TPA)2626を備えてもよく、これらは典型的なARPメッセージの要素でありうる。加えて、EARPペイロード2600は、SLA 2628およびターゲットロケーションアドレス(TLA)2630を備えてもよい。図26はまた、EARPペイロード2600内の各フィールドのためのビットオフセットをも示し、EARPペイロード2600はまた、各フィールドのサイズをもビットで示す。
【０１４５】
ARPサーバ(例えば、ARPサーバ2508)を使用すること、および、ネットワーク内のMAC学習を使用不可能にすることに関する1つの問題は、VMが、そのエッジスイッチ、または、ARPサーバをエッジスイッチに接続するリンクの障害により、到達不可能になる場合である。この場合、仮想スイッチが、VMのための新しいかまたは置換エッジスイッチの新しいロケーションを知るには、いくらかの時間がかかることがある。例えば、物理サーバ2300内のエッジスイッチXが到達不可能になる場合、仮想スイッチ2310は、フレームをVM1からエッジスイッチRへ転送することができ、エッジスイッチRは、VM1のための新しいロケーションになりうる。
【０１４６】
VMの新しいロケーションについて、仮想スイッチ2310内のリモートFDBを更新するための時間を短縮するために、無償EARPメッセージが使用されうる。仮想スイッチ2310は最初に、ブロードキャストアドレス(BC)に設定されたB-MAC DAを含めて、無償EARPメッセージを、MAC-in-MACカプセル化フレームにおいて、エッジスイッチRへ送信することができる。無償EARPメッセージ内で、SHA(例えば、SHA 2620)はTHA(例えば、THA 2624)に等しく設定されてもよく、SPA(例えば、SPA 2622)はTPA(例えば、TPA 2626)に等しく設定されてもよく、SLA(例えば、SLA 2628)はTLA(例えば、TLA 2630)に等しく設定されてもよい。エッジスイッチRは次いで、例えば、配布ツリーを介して、無償EARPメッセージを、ネットワーク内の複数または全部の他のエッジスイッチへ送信することができる。エッジスイッチが無償EARPメッセージを受信するとき、エッジスイッチは、そのメッセージをカプセル化解除し、ポートに面する、エッジスイッチのサーバへ、そのメッセージを送出することができる。仮想スイッチが次いで、無償EARPメッセージを受信するとき、SHAがリモートFDB内に既に存在する場合、仮想スイッチは、そのリモートFDBを更新することができる。ネットワーク内のARPサーバは、同じように、影響を受けたVMの新しいロケーションを更新することができる。
【０１４７】
上記の非対称ネットワークアドレスカプセル化方式は、一実施形態におけるMAC-in-MACカプセル化を使用することができる。別法として、この方式は、他のカプセル化方法へと拡張されうる。エッジスイッチが約16ビットのニックネームによって識別されるネットワーク内で、TRILLがサポートかつ使用される場合、TRILLカプセル化が非対称ネットワークアドレスカプセル化方式において使用されうる。別法として、エッジスイッチがIPアドレスによって識別される場合、IP-in-IPカプセル化が使用されうる。さらに、ネットワークアドレスカプセル化は、仮想スイッチレベルで行われてもよく、ネットワークアドレスカプセル化解除は、エッジスイッチレベルで行われてもよい。一般に、ネットワークアドレスカプセル化方式は、カプセル化およびカプセル化解除が異なるレベルまたはコンポーネントにおいて保たれる限り、任意のレベルまたはネットワークコンポーネントのうち任意のものにおいて適用可能である。
【０１４８】
相互接続ネットワーク区域1800内など、区域に分割されるブリッジドネットワークでは、DBBは、複数の区域に参加するブリッジであってもよい。DBBのアドレスを各区域内のVMのC-MACアドレスと区別するために、DBBのアドレスは、本明細書ではネットワークアドレスと呼ばれることがある。上記の非対称アドレスカプセル化方式を使用して、ネットワークアドレスのカプセル化は、ホストにより近いスイッチ、または、仮想ホストにより近い仮想スイッチにおいて行われてもよい。例えば、中間スイッチ1824、例えば、ToRスイッチは、ネットワークアドレスカプセル化を行うことができる。中間スイッチ1824は、ホストのサブセットから来る、かつ、ターゲットDBBアドレスを備えるデータフレームを、カプセル化することができる。しかし、中間スイッチ1824は、ネットワーク側、例えば、コア区域1810内のDBB 1822から入ってくるデータフレームを改変することはできない。ターゲットDBB 1822は、中間スイッチ1824の1レベル上であり、ネットワーク側(コア区域1810)からのデータフレームをカプセル化解除し、カプセル化解除されたデータフレームを、その区域内のホストに向けて転送することができる。
【０１４９】
一実施形態では、物理サーバ(例えば、エンドステーション1826)内部の仮想スイッチは、ネットワークアドレスカプセル化を行うことができるが、ターゲットDBB 1822は、ネットワークアドレスカプセル化解除を行うことができる。この場合、カプセル化解除を行うDBB 1822は、カプセル化を行う仮想スイッチ(エンドステーション1826内)の2レベル上でありうる。
【０１５０】
DBB 1822(例えば、コア区域1810)に結合されたブリッジドネットワークは、IPベースであってもよい。DBBを相互接続するコアネットワーク(または区域)は、L3仮想プライベートネットワーク(VPN)、L2 VPN、または、標準IPネットワークであってもよい。そのようなシナリオでは、DBBは、IPまたはMPLSヘッダでありうる、適切なターゲットDBBアドレスと共に、そのローカル区域からのMACデータフレームをカプセル化することができる。
【０１５１】
図27は、相互接続ネットワーク区域1800に対してなど、レイヤ2ブリッジドネットワーク内で使用されうる、データフレーム転送方式2700の一実施形態を例示する。データフレーム転送方式2700はまた、上記の非対称ネットワークアドレスカプセル化方式をも実装することができる。レイヤ2ブリッジドネットワークは、コア区域2710、コア区域2710に結合された複数の区域2720内の複数のDBB 2722または区域バウンダリスイッチ、ならびに、それらの区域2720内の対応するDBB 2722に結合された複数の中間またはエッジスイッチ2724および物理サーバ2726を備えてもよい。物理サーバ2726は、複数のVMおよび仮想スイッチ(図示せず)を備えてもよい。区域2720中のDBB 2722、中間/エッジスイッチ2724、および、物理サーバ2726のうちいくつかは、レイヤ2ブリッジドネットワーク内で確立され、かつ、VLAN IDに関連付けられた、VLANに属することができる。レイヤ2ブリッジドネットワークのコンポーネントは、図27に示すように配置されうる。
【０１５２】
非対称ネットワークアドレスカプセル化方式によれば、中間/エッジスイッチ2724は、フレーム2740、例えば、イーサネット（登録商標）フレームを、第1の区域(区域1)内の物理サーバ2726内の第1のVM(ホストA)から受信することができる。フレーム2740は、第2の区域(区域2)内の第2の物理サーバ2726内の第2のVM(ホストB)向けでありうる。フレーム2740は、区域2内の第2のDBBのためのB-MAC DA 2742(DBB2)、ホストAのためのB-MAC SA 2744(ToR A)、ホストBのためのC-MAC DA 2746(B)、ホストAのためのC-MAC SA 2748(A)、ホストAのためのIP-SA 2750(A)、ホストBのためのIP-DA 2752(B)、および、ペイロードを備えてもよい。中間/エッジスイッチ2724は、フレーム2740を区域1内の第1のDBB 2722(DBB1)へ転送することができる。DBB1は、フレーム2740を受信し処理して、内部フレーム2760を得ることができる。内部フレーム2760は、DBB2のためのB-MAC DA 2762、DBB1のためのB-MAC SA 2764、ホストBのためのC-MAC DA 2766(B)、ホストAのためのC-MAC SA 2768(A)、ホストAのためのIP-SA 2770(A)、ホストBのためのIP-DA 2772(B)、および、ペイロードを備えてもよい。DBB1は次いで、コア区域2710を介して、内部フレーム2760を区域2へ転送することができる。
【０１５３】
区域2内のDBB2は、内部フレーム2760を受信しカプセル化解除して、第2のフレーム2780を得ることができる。DBB2は、DBB2のためのB-MAC DA 2762およびB-MAC SA 2764を内部フレーム2760から除去して、第2のフレーム2780を得ることができる。したがって、第2のフレーム2780は、ホストBのためのC-MAC DA 2782(B)、ホストAのためのC-MAC SA 2784(A)、ホストAのためのIP-SA 2786(A)、ホストBのためのIP-DA 2788(B)、および、ペイロードを備えてもよい。DBB2は、第2のフレーム2780を区域2内のホストBへ送信することができる。
【０１５４】
データフレーム転送方式2700では、中間/エッジスイッチ2724は、中間/エッジスイッチ2724に結合されたローカル物理サーバ2726から受信されたフレームに対して、MAC-in-MAC機能を行うことはできない。別の実施形態では、第1のフレーム2740のカプセル化手順は、中間/エッジスイッチ2724の代わりに、物理サーバ2726内の仮想スイッチによって行われてもよく、これにより、第1のフレーム2740を処理せずに、物理サーバ2726から対応するDBB 2722へ転送することができる。
【０１５５】
図28は、相互接続ネットワーク区域1800に対してなど、レイヤ2ブリッジドネットワーク内で使用されうる、強化ARP処理方法2800の一実施形態を例示する。強化ARP処理方法2800は、ステップ2801で開始することができ、そこで、ローカルホスト2810は、第1のブリッジ2820、例えば、ローカルDBBを介して、ARPリクエストをローカルロケーション2830へ送信することができる。ローカルロケーション2830は、ローカルホスト2810と同じロケーションまたは区域に対応することができる。ARPリクエストは、リモートホスト2860に関連付けられたMACアドレスを得るために送信されうる。ローカルホスト2810には、IPアドレスIPAおよびMACアドレスAを割り当てることができる。リモートホスト2860には、IPアドレスIPBおよびMACアドレスBを割り当てることができる。ARPリクエストは、ローカルホスト2810のためのSA MACアドレスAおよびSA IPアドレスIPAを備えてもよい。ARPリクエストはまた、リモートホスト2860のための、ゼロに設定されたDA MACアドレス、および、DA IPアドレスIPBをも備えてもよい。ローカルロケーション2830は、ARPリクエストをネットワーク内のARPサーバ2840へ転送することができる。
【０１５６】
ステップ2802で、ARPサーバ2840は、EARPレスポンスを第1のブリッジ2820へ送信することができる。EARPレスポンスは、ローカルホスト2810のためのSA MACアドレスAおよびSA IPアドレスIPA、リモートホスト2860のためのDA MACアドレスBおよびDA IPアドレスIPB、ならびに、リモートホスト2860のリモートロケーション2850内の第2のブリッジのためのMACアドレスを備えてもよい。ステップ2803で、第1のブリッジ2820は、EARPレスポンスを処理/カプセル化解除し、ARPレスポンスをローカルホスト2810へ送信することができる。ARPレスポンスは、ローカルホスト2810のためのMACアドレスAおよびIPアドレスIPA、ならびに、リモートホスト2860のためのMACアドレスBおよびIPアドレスIPBを備えてもよい。したがって、ローカルホスト2810は、リモートホスト2860のMACアドレスBを承知するようになりうる。第1のブリッジ2820はまた、(ローカルテーブル内で)リモートロケーション2850内のリモートブリッジのMACアドレスYを、リモートホスト2860のIPアドレスIPBに関連付けることもできる。第1のブリッジ2820は、リモートホスト2860のMACアドレスBを格納する必要がなくてもよい。
【０１５７】
ステップ2804で、ローカルホスト2810は、リモートホスト2860向けのデータフレームを、第1のブリッジ2820へ送信することができる。データフレームは、ローカルホスト2810のSA MACアドレスおよびSA IPアドレス、ならびに、リモートホスト2860のDA MACアドレスおよびDA IPアドレスを備えてもよい。ステップ2805で、第1のブリッジ2820は、データフレームを受信し、処理/カプセル化して、内部フレームを得ることができる。内部フレームは、第1のブリッジ2820のSA MACアドレスX、リモートブリッジのDA MACアドレスY、リモートホスト2860のDA MACアドレスBおよびDA IPアドレスIPB、ならびに、ローカルホスト2810のSA MACアドレスAおよびSA IPアドレスIPAを備えてもよい。ステップ2806で、リモートロケーション2850内のリモートブリッジは、内部フレームを受信し、内部フレームを処理/カプセル化解除して、第1のブリッジ2820のSA MACアドレスX、および、リモートブリッジのDA MACアドレスYを除去することによって、第2のフレームを得ることができる。したがって、第2のフレームは、ローカルホスト2810から送信された最初のフレームに類似する可能性がある。リモートブリッジは次いで、第2のフレームをリモートホスト2860へ送信することができる。方法2800は次いで、終了することができる。
【０１５８】
強化ARP処理方法2800では、コアネットワークは、トポロジ発見のために802.1aqまたはTRILLを使用することができる。コアネットワークがトポロジ発見のために802.1aqを使用する場合、第1のブリッジ2820は、ローカルホスト2810から送信されたフレームをカプセル化することはできず、フレームを処理せずにリモートロケーション2850へ転送することができる。さらに、コアネットワークを通じて転送されたフレームは、第2のロケーション2850内でのみ、かつ、フレーム内で示されたアウトバウンドポートが学習されていなかったときにのみ、フラッディングされうる。
【０１５９】
一実施形態では、拡張アドレス解決方式が、区域ゲートウェイ、または、TRILLエッジノード、MAC-in-MACエッジノード、もしくは、任意の他のタイプのオーバーレイネットワークエッジノードでありうる、ゲートウェイノードによって、実装されうる。拡張アドレス解決方式は、ARPプロキシ方式1900など、レイヤ2ブリッジドネットワーク内の複数の区域内のDBBによって実装されたARPプロキシ方式に基づくことができる。例えば、複数の物理サーバおよび/またはVMに結合されうる中間/エッジスイッチ2724は、上記のARPプロキシ方式に類似した、拡張アドレス解決方式を実装することができる。ゲートウェイノードは、ARPプロキシ方式においてDSサーバを使用して、ターゲット宛先(例えば、ホスト)と出口エッジノードの間のマッピングを解決することができる。出口エッジノードは、ターゲット区域ゲートウェイ、TRILL出口ノード、MAC-in-MACエッジノード、または、任意の他のタイプのオーバーレイネットワークエッジノードであってもよい。DSからのリプライもまた、上述のようなEARPリプライであってもよい。
【０１６０】
拡張アドレス解決方式は、かなりの数のホストを有するDCネットワークをスケールするために使用されうる。オーバーレイネットワーク(例えば、ブリッジドネットワーク)は、MAC-in-MAC、TRILL、または、他のタイプのレイヤ3もしくはレイヤ2オーバーイーサネット（登録商標）ネットワークであってもよい。オーバーレイネットワークエッジは、アクセススイッチ(もしくはToRスイッチ)または集約スイッチ(もしくはEoRスイッチ)など、ネットワークスイッチであってもよい。オーバーレイネットワークエッジはまた、サーバ内の仮想スイッチにも対応することができる。拡張アドレス解決方式を使用するための、オーバーレイネットワークのための2つのシナリオがありうる。第1のシナリオは、TRILLまたはMAC-in-MACネットワークのためのものなど、対称方式に対応する。このシナリオでは、オーバーレイエッジノードは、カプセル化およびカプセル化解除部分を共に行うことができる。第2のシナリオは、非対称方式に対応し、オーバーレイネットワークが上記の非対称ネットワークアドレスカプセル化方式を実装することができる。
【０１６１】
図29は、オーバーレイネットワーク内で実装されうる、拡張アドレス解決方法2900の一実施形態を例示する。拡張アドレス解決方法2900は、ステップ2901で開始することができ、そこで、第1のVM 2910(VM A)は、第2のVM 2980(VM B)にアドレス指定されたフレームまたはパケットを、第1のハイパーバイザ(HV)2920(HV A)へ送信することができる。VM AおよびVM Bは、異なる区域内のエンドホストでありうる。VM Aは、第1の区域内のHV Aに結合されてもよく、VM Bは、第2の区域内の第2のHV 2970(HV B)に結合されうる。HVは、オーバーレイネットワークアドレスヘッダをデータフレームまたはパケット上にカプセル化または追加するように構成された、オーバーレイネットワークノードでありうる。対称方式のシナリオでは、HVは、DBB、TRILLエッジノード、または、MAC-in-MACエッジノードでありうる。非対称方式のシナリオでは、HVは、ハイパーバイザ内の仮想スイッチ、または、アクセススイッチでありうる。
【０１６２】
ステップ2902で、対称方式の場合、HV Aは、VM B IPアドレスからVM B MACアドレスおよびHV B MACアドレスの対へのマッピングを検索するために、アドレス解決(AR)リクエストをARPサーバ2930へ送信することができる。ARPサーバは、DS 1940など、DSサーバを備えるか、またはDSサーバに対応してもよい。非対称方式では、このマッピングは、VM B IPアドレスからVM B MACアドレスおよび第2のDBB 2960(DBB B)MACアドレスの対へのものとなりうる。DBB Bは、VM Bの同じ区域内のリモートDBBでありうる。
【０１６３】
HV Aはまた、ローカルVMから(ブロードキャストされた)ARPリクエストをインターセプトし、それらのARPリクエストをDSサーバへ転送するようにも構成されうる。HV Aは次いで、DSサーバからのEARPリプライを検索し、ターゲットアドレスとターゲットゲートウェイアドレスの間のマッピング(EARPリプライによって示されるような)をキャッシュすることができる。ターゲットゲートウェイアドレスはまた、本明細書では、ターゲットロケーションアドレスと呼ばれることもある。別の実施形態では、HV AによってARPリクエストをインターセプトする代わりに、DSサーバは、定期的もしくは周期的に、または、VMが区域間で移動または移行するとき、統合されたマッピング情報をHV Aへ送信することができる。統合されたマッピング情報は、上記の仮想レイヤ2ネットワーク内のL2GWと交換された同じ情報を備えてもよい。例えば、統合されたマッピング情報は、上述のように、無償グループアナウンスメントとしてフォーマットされうる。
【０１６４】
ステップ2903で、対称方式の場合、HV Aは、(SA: VM A MAC、DA: VM B MAC)を備える内部アドレスヘッダ、および、(SA: HV A MAC、DA: HV B MAC)を備える外側ヘッダを作成することができる。非対称方式では、外側ヘッダは、(SA: HV A MAC、DA: DBB B MAC)を備えてもよい。HV Aは、内部ヘッダおよび外側ヘッダを、VM Aから受信されたフレームに追加し、結果として生じるフレームを、同じ区域内のHV Aに結合されたブリッジ2940へ送信することができる。その区域内で、HV B MACまたはDBB B MACでありうる外側ヘッダのDAを知ることはできない。
【０１６５】
ステップ2904で、フレームは、その区域内で、ブリッジ2940から第1のDBB 2950(DBB A)へ転送されうる。DBB Aで、DA HV B MACまたはDBB B MACは知られる可能性があり、その理由は、コアが、経路指定された転送(例えば、802.1aq SPBMまたはTRILL)上で動作中であることがあり、学習がコア内で使用不可能にされうるからである。ステップ2905で、DBB Aは、フレームをDBB Bへ転送することができる。
【０１６６】
ステップ2906で、対称方式の場合、DBB Bは、フレームをHV Bへ転送することができ、その理由は、DBBがルーティングサブシステムからすべてのHVアドレスを知ることができるからである。非対称方式では、DBBは、(DA: DBB MAC)を備える外側ヘッダを削除し、フレームを残りのヘッダ内のVM B MACへ転送することができ、その理由は、その区域のローカルのアドレスが、その区域内で登録され、知られうるからである。
【０１６７】
ステップ2907で、対称方式の場合、HV Bは、フレームを受信し、(DA: HV B MAC)を備える外側ヘッダを除去し、結果として生じるフレームを、残りのヘッダ内のVM B MACへ転送することができ、その理由は、そのサーバのローカルのアドレスが、HV Bに知られるからである。加えて、HV Bは、VM A MAC(残りのヘッダ内のSA)からHV A MAC(除去されたヘッダ内のSA)へのマッピングを学習することができ、このマッピングが続いてVM BからVM Aへのリプライフレーム内で使用されうる。非対称方式では、フレームをVM Bへ転送することに加えて、HV Bは、ARPメッセージをARP(またはDS)サーバ2930へ送信して、VM A MAC(残りのヘッダ内のSA)からDBB A MACへのマッピングを検索することができ、このマッピングが続いてVM BからVM Aへのリプライフレーム内で使用されうる。
【０１６８】
VM Bは次いで、VM A(IP宛先アドレス)にアドレス指定されたフレームを送信することができる。ステップ2908で、対称方式の場合、HV Bは、(SA: VM B MAC、DA: VM A MAC)を備える内部アドレスヘッダ、および、(SA: HV B MAC、DA: HV A MAC)を備える外側ヘッダを、フレームに対して作成することができる。HV Bは、予め受信されたメッセージまたはARレスポンスから、VM A IPからVM A MACへのマッピングおよびVM A MACからHV A MACへのマッピングを維持することができる。非対称方式では、外側ヘッダは、(SA: HV B MAC、DA: DBB A MAC)を備えてもよい。HV Bは、予め受信されたARレスポンスから、VM A MACからDBB A MACへのマッピングを維持することができる。別法として、HV Bは、必要なときに、ARPメッセージをARP(またはDS)サーバへ送信して、マッピングを検索することができる。フレームは次いで、上記のステップで記載されたものと同じ方法で、(例えば、反対方向に)VM BからVM Aへ転送されうる。方法2900は次いで、終了することができる。
【０１６９】
図30は、ネットワークコンポーネントユニット3000の一実施形態を例示し、このユニットは、ネットワークを通じてパケットを送信/受信する、任意のデバイスでありうる。例えば、ネットワークコンポーネントユニット3000は、仮想/擬似レイヤ2ネットワーク内の異なるロケーション/ドメインにわたるL2GWに位置してもよい。ネットワークコンポーネントユニット3000は、他のネットワークコンポーネントからパケット、オブジェクトまたはTLVを受信するための1つまたは複数の入口ポートまたはユニット3010、どのネットワークコンポーネントへパケットを送信するべきであるかを決定するための論理回路3020、および、フレームを他のネットワークコンポーネントへ送信するための1つまたは複数の出口ポートまたはユニット3030を備えてもよい。
【０１７０】
上記のネットワークコンポーネントは、課せられた必要な作業負荷に対処するために十分な処理能力、メモリリソース、およびネットワークスループット能力を有する、コンピュータシステムまたはネットワークコンポーネントなど、任意の汎用ネットワークコンポーネント上で実装されうる。図31は、本明細書に開示されたコンポーネントの1つまたは複数の実施形態を実装するために適した、典型的な汎用コンピュータシステム3100を例示する。汎用コンピュータシステム3100は、2次ストレージ3104、読み出し専用メモリ(ROM)3106、ランダムアクセスメモリ(RAM)3108を含む、メモリデバイス、入出力(I/O)デバイス3110、および、ネットワーク接続性デバイス3112と通信する、プロセッサ3102(CPUと呼ばれることがある)を含む。プロセッサ3102は、1つまたは複数のCPUチップとして実装されてもよく、または、1つまたは複数の特定用途向け集積回路(ASIC)の一部であってもよい。
【０１７１】
2次ストレージ3104は典型的には、1つまたは複数のディスクドライブまたはテープドライブからなり、RAM 3108がすべての作業用データを保持するために十分大きくない場合、データの不揮発性ストレージのために、かつ、オーバーフローデータストレージデバイスとして使用される。2次ストレージ3104は、プログラムが実行のために選択されるとき、RAM 3108にロードされるそのようなプログラムを格納するために使用されうる。ROM 3106は、プログラム実行中に読み出される命令、および、おそらくデータを格納するために使用される。ROM 3106は、典型的には、2次ストレージ3104のより大きいメモリ容量に対して、小さいメモリ容量を有する不揮発性メモリデバイスである。RAM 3108は、揮発性データを格納するため、かつ、おそらく命令を格納するために使用される。ROM 3106およびRAM 3108の両方へのアクセスは典型的には、2次ストレージ3104へのアクセスよりも速い。
【０１７２】
少なくとも1つの実施形態が開示され、当業者によってなされる、実施形態および/または実施形態の特徴の変形形態、組み合わせおよび/または修正は、本開示の範囲内である。実施形態の特徴の組み合わせ、統合および/または省略の結果生じる代替実施形態もまた、本開示の範囲内である。数値範囲または限定が明示的に述べられる場合、そのような明示的な範囲または限定は、明示的に述べられる範囲または限定内に入る同様の大きさの反復の範囲または限定を含むことを理解されたい(例えば、約1から約10までには、2、3、4などが含まれ、0.10より大きいには、0.11、0.12、0.13などが含まれる。)。例えば、下限Rlおよび上限Ruを有する数値範囲が開示されるときは常に、その範囲内に入る任意の数が具体的に開示される。特に、範囲内の以下の数が具体的に開示され、すなわち、R=Rl+k*(Ru-Rl)であり、ただし、kは、1%ずつインクリメントする、1%から100%までの範囲の変数であり、すなわち、kは、1%、2%、3%、4%、7%、...、70%、71%、72%、...、96%、97%、98%、99%または100%である。また、上記で定義されるような2つのR数によって定義される任意の数値範囲もまた、具体的に開示される。ある請求項の任意の要素に対する「オプショナルに」という用語の使用は、その要素が必要とされること、または別法として、その要素が必要とされないことを意味し、両方の代替物はその請求項の範囲内である。備える(comprises)、含む(includes)、および、有する(having)など、より広い用語の使用は、からなる(consisting of)、から本質的になる(consisting essentially of)、および、から実質的になる(comprised substantially of)など、より狭い用語のサポートを提供することを理解されたい。したがって、保護の範囲は、上記で述べられた説明によって限定されるのではなく、以下の特許請求の範囲によって定義され、その範囲は、特許請求の範囲の主題のすべての均等物を含む。どの請求項も、さらなる開示として本明細書に組み込まれ、特許請求の範囲は、本開示の実施形態である。本開示における引用文献の考察は、特に、本出願の優先日の後の公開日を有するいかなる引用文献についても、その引用文献が従来技術であると認めるものではない。本開示で引用されたすべての特許、特許出願および公報の開示は、それらが本開示に対する補足の例示的、手順的または他の詳細を提供する範囲内において、参照により本明細書に組み込まれている。
【０１７３】
いくつかの実施形態が本開示において提供されたが、開示されたシステムおよび方法が、本開示の精神または範囲から逸脱することなく、多数の他の特定の形式において実施されうることを理解されたい。本例は、例示的であって制限的ではないと見なされるべきであり、その意図は、本明細書で与えられた詳細に限定されるものではない。例えば、様々な要素またはコンポーネントは、別のシステムにおいて組み合わせもしくは統合されてもよく、または、ある特徴が省略されてもよく、もしくは実装されなくてもよい。
【０１７４】
加えて、様々な実施形態において個別または別個として記載および例示された技術、システム、サブシステムおよび方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術または方法と、組み合わせまたは統合されうる。互いに結合もしくは直接結合され、または互いに通信するとして図示または論じられた他の項目は、電気的か、機械的か、別の方法かにかかわらず、あるインターフェース、デバイスまたは中間コンポーネントを通じて、間接的に結合され、または通信中でありうる。変更、代用および改変の他の例は、当業者によって確かめることができ、本明細書に開示された精神および範囲から逸脱することなく、行うことができる。
【符号の説明】
【０１７５】
100  VPLS相互接続ローカルエリアネットワーク(LAN)
110  VPLS
112、212、312、412、512、612、912、1012、1112、1212、1312、1412  エッジノード
120  LAN
122  レイヤ2スイッチ
124、1522、1622  アクセススイッチ(AS)
126、726、2340、2402、2502  VM
【図１】
0005617137.tif 000009
【図２】
0005617137.tif 000010
【図１５】
0005617137.tif 000011
【図１６】
0005617137.tif 000012
【図１７】
0005617137.tif 000013
【図１８】
0005617137.tif 000014
【図２２】
0005617137.tif 000015
【図３】
0005617137.tif 000016
【図４】
0005617137.tif 000017
【図５】
0005617137.tif 000018
【図６】
0005617137.tif 000019
【図７】
0005617137.tif 000020
【図８】
0005617137.tif 000021
【図９】
0005617137.tif 000022
【図１０】
0005617137.tif 000023
【図１１】
0005617137.tif 000024
【図１２】
0005617137.tif 000025
【図１３】
0005617137.tif 000026
【図１４】
0005617137.tif 000027
【図１９】
0005617137.tif 000028
【図２０】
0005617137.tif 000029
【図２１】
0005617137.tif 000030
【図２３】
0005617137.tif 000031
【図２４】
0005617137.tif 000032
【図２５】
0005617137.tif 000033
【図２６】
0005617137.tif 000034
【図２７】
0005617137.tif 000035
【図２８】
0005617137.tif 000036
【図２９】
0005617137.tif 000037
【図３０】
0005617137.tif 000038
【図３１】
0005617137.tif 000039