(57)【特許請求の範囲】
【請求項１】
イーサネットＬＡＮの各々が、１つまたは複数のそれぞれの顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）によって相互接続するＩＰネットワーク（Ｎ）に接続されている、相互接続するＩＰネットワーク（Ｎ）を通した２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）の間でイーサネットパケットを伝送する方法において、
各顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）が集中型サーバへの複数の制御接続（２１）のうちの１つの制御接続（２１）を維持する、複数の顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）に、これらの制御接続（２１）を介して接続された集中型サーバ（１０）が、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）の顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）の間のイーサネットパケット伝送に関連付けられた制御情報のやり取りを、処理し制御するステップであって、イーサネットＬＡＮのうちの少なくとも１つ（ＬＡＮ１）の顧客エッジデバイス（ＣＥ１）と、少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）との間でやり取りされる制御情報が、制御情報インターフェースを通して、集中型サーバ（１０）に送信され、集中型サーバ（１０）から受信される、処理し制御するステップ
を含むことを特徴とする、方法。
【請求項２】
制御情報が、
イーサネットＬＡＮのネットワークデバイスのイーサネットアドレスの、顧客エッジデバイスのＩＰアドレスへのマッピング、アドレス解決プロトコルに対応したホストアドレス解決情報、イーサネットＬＡＮおよび／またはＶＬＡＮタグの範囲に関する情報、イーサネットＬＡＮ内部のマルチキャストグループのメンバーシップ情報、フィルタリングポリシー、ファイヤーウォールルール、オーバーレイトポロジ、顧客エッジデバイス間のパス特性に関する情報、２つ以上のイーサネットＬＡＮを含むオーバーレイネットワークに参加するデバイスのためのブートストラッピングおよび構成情報
の１つまたは複数に関連することを特徴とする、請求項１に記載の方法。
【請求項３】
顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）の１つまたは複数が、制御情報を集中型サーバ（１０）に報告するステップと、
集中型サーバ（１０）が、受信された制御情報を管理するステップ、および、処理された制御情報を、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第１のイーサネットＬＡＮ（ＬＡＮ１）に関連付けられた第１の顧客エッジデバイス（ＣＥ１）を含む顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）の１つまたは複数に配布するステップと、
第１の顧客エッジデバイス（ＣＥ１）が、第１のイーサネットＬＡＮ（ＬＡＮ１）の第１のネットワークデバイス（Ａ）から、相互接続するＩＰネットワーク（Ｎ）を通り、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第２のイーサネットＬＡＮ（ＬＡＮ２）の第２のネットワークデバイス（Ｂ）まで、イーサネットデータトラフィックの伝送を制御するための受信された制御情報を使用するステップと
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項４】
２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第１のイーサネットＬＡＮ（ＬＡＮ１）の第１のネットワークデバイス（Ａ）が、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第２のイーサネットＬＡＮ（ＬＡＮ２）の第２のネットワークデバイス（Ｂ）のイーサネットアドレス宛のイーサネットパケット（２０）を送信するステップと、
第１のイーサネットＬＡＮ（ＬＡＮ１）に関連付けられた第１の顧客エッジデバイス（ＣＥ１）が、イーサネットパケット（２０）を受信するステップ、および、第２のネットワークデバイス（Ｂ）のイーサネットアドレスの、第２のイーサネットＬＡＮ（ＬＡＮ２）に関連付けられた顧客エッジデバイス（ＣＥ２）のＩＰアドレスへのマッピングを、第１の顧客エッジデバイス（ＣＥ１）によって管理される転送テーブル（３１）が含むかどうかを検査するステップと、
転送テーブル（３１）が前記マッピングを含まない場合に、第１の顧客エッジデバイス（ＣＥ１）が、アドレス解決要求を集中型サーバ（１０）に送信するステップ、および、アドレス解決要求に応答して、集中型サーバ（１０）から前記マッピングを指定する回答メッセージを受信するステップと、
第１の顧客エッジデバイス（ＣＥ１）が、マッピングに従って、第２の顧客エッジデバイス（ＣＥ２）の宛先アドレスを含むカプセル化ヘッダを有するイーサネットパケット（２０）をカプセル化するステップと、
カプセル化されたイーサネットパケット（２８）を、相互接続するＩＰネットワーク（Ｎ）を介して、第２の顧客エッジデバイス（ＣＥ２）に送信するステップと、
第２の顧客エッジデバイス（ＣＥ２）が、第２のイーサネットＬＡＮ（ＬＡＮ２）内での第２のネットワークデバイス（Ｂ）への配信のために、受信されたカプセル化されたイーサネットパケット（２８）のカプセル化を解除するステップと
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項５】
２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第１のイーサネットＬＡＮ（ＬＡＮ１）に関連付けられた第１の顧客エッジデバイス（ＣＥ１）が、第１のイーサネットＬＡＮ（ＬＡＮ１）の第１のネットワークデバイス（Ａ）によって送信されたアドレス解決要求をインターセプトするステップ、および、アドレス解決要求に関連付けられたアドレスマッピングが知られていない場合に、第１の顧客エッジデバイス（ＣＥ１）から集中型サーバ（１０）に、対応するルックアップ要求を送信するステップと、
ルックアップ要求の受信後に、集中型サーバ（１０）が、ルックアップ要求を、第１の顧客エッジデバイス（ＣＥ１）を除くすべての他の顧客エッジデバイス（ＣＥ２、ＣＥ３）に転送するステップと、
ルックアップ要求の受信後に、他の顧客エッジデバイス（ＣＥ２、ＣＥ３）が、それぞれのイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のネットワークデバイス（Ｂ）の中でルックアップ要求を配布するステップと、
他の顧客エッジデバイス（ＣＥ２、ＣＥ３）が、それぞれのイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のネットワークデバイス（Ｂ）からルックアップ回答を受信するステップ、および、ルックアップ回答を集中型サーバ（１０）に転送するステップと、
集中型サーバ（１０）が、受信されたルックアップ回答を管理し処理するステップ、および、ルックアップ回答を、ルックアップ要求を開始した第１の顧客エッジデバイス（ＣＥ１）に送信するステップと、
第１の顧客エッジデバイス（ＣＥ１）が、ルックアップ回答を、アドレス解決要求を開始した第１のネットワークデバイス（Ａ）に送信するステップと
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項６】
集中型サーバ（１０）が、集中型サーバ（１０）によって第１の顧客エッジデバイス（ＣＥ１）に送信されたルックアップ回答を、集中型サーバ（１０）からのアドレスの学習のために、他の顧客エッジデバイス（ＣＥ２、ＣＥ３）にもまた公表するステップ
をさらに含むことを特徴とする、請求項５に記載の方法。
【請求項７】
顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）のうちの少なくとも１つが、パス特性を測定するステップ、および、測定されたパス特性を集中型サーバ（１０）に送信するステップと、
集中型サーバ（１０）が、受信されたパス特性に基づいて、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）の間の通信に関するトポロジ特性を確立するステップと、
集中型サーバ（１０）が、確立されたトポロジ特性を顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）に公表するステップと、
顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）のうちの少なくとも１つが、ルーティング決定においてこの情報を利用するステップと
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項８】
相互接続するＩＰネットワーク（Ｎ）が少なくとも３つのイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）に接続し、それにより、方法が、
公表されたトポロジ特性を根拠に、少なくとも３つのイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第１のイーサネットＬＡＮと第２のイーサネットＬＡＮとの間で進行中のデータトラフィック伝送を、少なくとも３つのイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの第３のイーサネットＬＡＮ（ＬＡＮ３）の第３の顧客エッジデバイス（ＣＥ３）を介して、ルーティングするステップ
をさらに含むことを特徴とする、請求項７に記載の方法。
【請求項９】
制御接続（２１）を介してそれぞれの顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）に集中型サーバ（１０）を接続するための２つ以上のインターフェース（８１、８２）を含む、２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）および相互接続するＩＰネットワーク（Ｎ）を有するオーバーレイネットワークの集中型サーバ（１０）であって、各顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）が、集中型サーバへのこれらの制御接続（２１）のうちの１つの制御接続（２１）を維持し、顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）の各々が、１つまたは複数の関連したイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）を相互接続するＩＰネットワーク（Ｎ）に接続する、集中型サーバ（１０）において、
集中型サーバ（１０）が、制御情報インターフェースを通して、イーサネットＬＡＮのうちの少なくとも１つ（ＬＡＮ１）の顧客エッジデバイス（ＣＥ１）と、少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）との間でやり取りされる制御情報をイーサネットＬＡＮのうちの少なくとも１つ（ＬＡＮ１）の顧客エッジデバイス（ＣＥ１）から受信し、前記制御情報を少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）に送信するように構成されており、制御情報が、相互接続するＩＰネットワーク（Ｎ）を通した２つ以上のイーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの２つ以上の間のイーサネットパケットの伝送に関連付けられていることを特徴とする、
集中型サーバ（１０）。
【請求項１０】
イーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの１つのネットワークデバイスのイーサネットアドレスの、そのネットワークデバイスが関連付けられたそれぞれのイーサネットＬＡＮ（ＬＡＮ２）の顧客エッジデバイスのＩＰアドレスへの、少なくとも１つのマッピングを含むデータベース（８５）
をさらに含むことを特徴とする、請求項９に記載の集中型サーバ（１０）。
【請求項１１】
集中型サーバ（１０）におけるデータベース（８５）が、イーサネットＬＡＮ（ＬＡＮ１、ＬＡＮ２、ＬＡＮ３）のうちの１つのネットワークデバイスのイーサネットアドレスの、そのネットワークデバイスのＩＰアドレスへの、少なくとも１つのアドレスマッピングをさらに含み、それにより、集中型サーバが、アドレス解決プロトコルのブロードキャストなしに、イーサネットアドレスルックアップ照会に答えることができることを特徴とする、
請求項１０に記載の集中型サーバ（１０）。
【請求項１２】
ネットワーク管理システムまたはクラウドコンピューティング管理システムへのインターフェース（８３）
をさらに含むことを特徴とする、請求項９に記載の集中型サーバ（１０）。
【請求項１３】
１つまたは複数のイーサネットＬＡＮ（ＬＡＮ１）に関連付けられた顧客エッジデバイス（ＣＥ１）であって、
イーサネットＬＡＮ（ＬＡＮ１）への少なくとも１つのイーサネットインターフェースと、
相互接続するＩＰネットワーク（Ｎ）を介して、イーサネットＬＡＮ（ＬＡＮ１）と少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）との間でイーサネットパケットを伝送するために、イーサネットＬＡＮ（ＬＡＮ１）を少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）に相互接続する、相互接続するＩＰネットワーク（Ｎ）への少なくとも１つのデータトラフィックインターフェースと、
複数の制御接続（２１）のうちの１つの制御接続（２１）を介したイーサネットパケット伝送に関連付けられた制御情報のやり取りのための、集中型サーバ（１０）への制御情報インターフェースであって、制御情報が、複数の制御接続（２１）のうちのその制御接続（２１）を介した制御情報インターフェースを通して、集中型サーバ（１０）に送信され、および集中型サーバ（１０）から受信され、各顧客エッジデバイス（ＣＥ１、ＣＥ２、ＣＥ３）が、集中型サーバへのこれらの制御接続（２１）のうちの１つの制御接続（２１）を維持する、制御情報インターフェースと
を含む、顧客エッジデバイス（ＣＥ１）において、
制御情報の前記やり取りが、顧客エッジデバイス（ＣＥ１）と、少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）との間にあり、イーサネットＬＡＮのうちの少なくとも１つ（ＬＡＮ１）の顧客エッジデバイス（ＣＥ１）と、少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）との間でやり取りされる制御情報が、制御情報インターフェースを通して、集中型サーバ（１０）に送信され、集中型サーバ（１０）から受信されることを特徴とする、
顧客エッジデバイス（ＣＥ１）。
【請求項１４】
少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のうちの１つのネットワークデバイスのイーサネットアドレスの、そのネットワークデバイスが関連付けられた少なくとも１つのさらなるイーサネットＬＡＮ（ＬＡＮ２、ＬＡＮ３）のそれぞれの顧客エッジデバイス（ＣＥ２、ＣＥ３）のＩＰアドレスへの、少なくとも１つのマッピングを含む転送テーブル（３１）
をさらに含むことを特徴とする、請求項１３に記載の顧客エッジデバイス（ＣＥ１）。
【請求項１５】
顧客エッジデバイス（ＣＥ１）が、パス特性を測定するように構成されたパス計測ユニット（２６）をさらに含むこと、および顧客エッジデバイス（ＣＥ１）が、測定されたパス特性を集中型サーバ（１０）に送信するように構成されていることを特徴とする、請求項１３に記載の顧客エッジデバイス（ＣＥ１）。
【請求項１６】
顧客エッジデバイス（ＣＥ１）が、イーサネットＬＡＮ（ＬＡＮ１）のネットワークデバイス（Ａ）によって送信されたアドレス解決プロトコル要求をインターセプトし、アドレス解決プロトコル要求においてアドレス指定された宛先ネットワークデバイス（Ｂ）のＩＰアドレスとイーサネットアドレスとのアドレスマッピングを知らない場合に、対応するルックアップ要求を集中型サーバ（１０）に送信するように構成され、アドレスマッピングがサーバ（１０）から一度取り出されると、ネットワークデバイス（Ａ）に回答を送信するように構成された、アドレス解決プロキシ（２５）
をさらに含むことを特徴とする、請求項１３に記載の顧客エッジデバイス（ＣＥ１）。
【請求項１７】
アドレス解決プロキシ（２５）が、宛先ネットワークデバイス（Ｂ）のＩＰアドレスとイーサネットアドレスとのアドレスマッピングを集中型サーバ（１０）から学習し、アドレスマッピングがそのＡＲＰテーブルから既に知られている場合には、ネットワークデバイス（Ａ）からのインターセプトされたアドレス解決プロトコル要求に直接回答することを特徴とする、
請求項１６に記載の顧客エッジデバイス（ＣＥ１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相互接続するＩＰネットワークを通した２つ以上のイーサネット（登録商標）ＬＡＮの間でイーサネットパケットを伝送する方法、集中型サーバ、および顧客エッジデバイスに関する（ＬＡＮ＝ローカルエリアネットワーク、ＩＰ＝インターネットプロトコル）。
【背景技術】
【０００２】
クラウドコンピューティングサービスは、一般に、大規模なイーサネットネットワークにより内部的に実現されるデータセンタにおいてホストされている。これらのデータセンタを非集中化する、すなわち、より小さく地理的に分散された、より多数のデータセンタにおいてサービスをホストする、一定の傾向が存在する。
【０００３】
図１は、先行技術で知られている、ワイドエリアネットワーク（ＷＡＮ）上でのデータセンタ相互接続の一般的なシナリオを示し、ここで、データセンタＬＡＮ１、ＬＡＮ２、ＬＡＮ３は、一般に、仮想ローカルエリアネットワーク（＝ＶＬＡＮ）および／または固有のアドレス指定スキームと組み合わせた、フラットなイーサネットネットワークまたはイーサネット／ＩＰネットワークを使用する。その異なる地理的位置のために、分散されたデータセンタサイトＬＡＮ１、ＬＡＮ２、ＬＡＮ３は、光リンク、マルチプロトコルラベルスイッチング（＝ＭＰＬＳ）パス、またはＩＰレベルでの接続性を提供するネットワークなどの、ワイドエリアネットワーク技術によって相互接続される必要がある。
【０００４】
各データセンタサイトＬＡＮ１、ＬＡＮ２、ＬＡＮ３は、顧客エッジデバイスＣＥによって、相互接続するネットワークＮに接続されている。各データセンタＬＡＮ１、ＬＡＮ２、ＬＡＮ３は、スイッチＳＷを介して、それぞれのデータセンタサイトＬＡＮ１、ＬＡＮ２、ＬＡＮ３の顧客エッジデバイスＣＥに接続されたサーバファーム３０を含む。ＩＰ／ＭＰＬＳに基づいたトランスポートネットワークであってよい相互接続するネットワークＮは、顧客エッジデバイスＣＥごとに１つの、３つの相互接続されたプロバイダエッジＰＥを含む。顧客エッジデバイスＣＥと、それに関連付けられたプロバイダエッジＰＥとの接続は、ユーザネットワークインターフェースＵＮＩを介してよい。第１のプロバイダエッジＰＥと第２のプロバイダエッジＰＥとの接続は、ネットワーク間インターフェースＮＮＩを介してよい。わかりやすさのために、図１は、１つのイーサネットＬＡＮが１つのＣＥに結び付けられていると想定する。あるいは、いくつかのイーサネットＬＡＮが、たとえば、ＣＥへの異なる複数のイーサネットインターフェースを使用して、顧客エッジデバイスに結び付けられていてもよい。
【０００５】
レイヤ１、レイヤ２、またはレイヤ３のリンク上で、イーサネットネットワークＬＡＮ１、ＬＡＮ２、ＬＡＮ３を相互接続できる多くの技術が存在する。これらの共通目的は、すべてのイーサネットネットワークＬＡＮ１、ＬＡＮ２、ＬＡＮ３を透過的に相互接続することである。顧客エッジデバイスは、マルチポイントツーマルチポイントのやり方で、ＷＡＮ上でイーサネットトラフィックをトランスポートする、すなわち、トンネルする。ＷＡＮ上でイーサネットまたはＩＰを透過的にトンネルすることによって、ＷＡＮは、各データセンタにおけるノードに気づかれない。データセンタの観点からは、言うまでもなくＷＡＮにおけるより大きな遅延を別にすれば、顧客エッジデバイスは、標準的なイーサネットスイッチ／ブリッジと同様である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ＩＰネットワーク上での分散されたイーサネットＬＡＮの相互接続に、改善されたソリューションを提供することである。
【課題を解決するための手段】
【０００７】
本発明の目的は、イーサネットＬＡＮの各々が、１つまたは複数のそれぞれの顧客エッジデバイスによって相互接続するＩＰネットワークに接続されている、相互接続するＩＰネットワークを通した２つ以上のイーサネットＬＡＮの間でイーサネットパケットを伝送する方法によって達成され、顧客エッジデバイス間のイーサネットパケット伝送に関連付けられた制御情報のやり取りが、制御接続を介して顧客エッジデバイスの各々に接続された集中型サーバによって、処理され、制御される。本発明のさらなる目的は、２つ以上のイーサネットＬＡＮおよび相互接続するＩＰネットワークを有するオーバーレイネットワークの集中型サーバによって達成され、集中型サーバは、制御接続を介してそれぞれの顧客エッジデバイスに集中型サーバを接続するための２つ以上のインターフェースを含み、顧客エッジデバイスの各々は、１つまたは複数の関連したイーサネットＬＡＮを相互接続するＩＰネットワークに接続し、それにより、集中型サーバが、顧客エッジデバイス間の制御情報やり取りを処理し、制御するように構成されており、やり取りされた制御情報は、相互接続するＩＰネットワークを通した２つ以上のイーサネットＬＡＮのうちの２つ以上の間のイーサネットパケットの伝送に関連付けられている。また、本発明のさらなる目的は、１つまたは複数のイーサネットＬＡＮに関連付けられた顧客エッジデバイスによって達成され、顧客エッジデバイスは、イーサネットＬＡＮへの少なくとも１つのイーサネットインターフェースと、相互接続するＩＰネットワークを介して、イーサネットＬＡＮと少なくとも１つのさらなるイーサネットＬＡＮとの間でイーサネットパケットを伝送するために、イーサネットＬＡＮを少なくとも１つのさらなるイーサネットＬＡＮに相互接続する、相互接続するＩＰネットワークへの少なくとも１つのデータトラフィックインターフェースと、制御接続を介したイーサネットパケット伝送に関連付けられた制御情報のやり取りのための、集中型サーバへの制御情報インターフェースとを含み、ここで、顧客エッジデバイスと、少なくとも１つのさらなるイーサネットＬＡＮのそれぞれの顧客エッジデバイスとの間でやり取りされる制御情報が、制御情報インターフェースを通して集中型サーバに送信され、集中型サーバから受信される。
【０００８】
２つ以上のイーサネットＬＡＮおよび相互接続するＩＰネットワークは、オーバーレイネットワークを形成する。本発明は、ＩＰネットワーク上でイーサネットネットワークを透過的に相互接続するオーバーレイシステム、すなわち、データセンタのために最適化されるイーサネットオーバーＩＰのソリューションを実現する。本説明において、用語「データセンタ」、「データセンタサイト」、および「サイト」は、用語「イーサネットＬＡＮ」と同義で使用される。
【０００９】
本発明は、ＭＰＬＳラベルスイッチドパスなどの、静的なＩＰトンネルも明示的なパス管理も必要としない、単純でスケーラブルなソリューションを提供する。
【００１０】
本発明は、集中型サーバ、すなわち、イーサネットオーバーＩＰシステムがそれと対等になることができる、シングルポイントを提供する。したがって、分散された制御プレーンを使用する知られているアプローチとは異なり、本発明の実施形態は、グローバルポリシーを適用すること、および、データセンタ相互接続ソリューションを、ネットワーク管理、またはクラウドオーケストレーションレイヤなどのクラウドコンピューティング管理のいずれかの、制御および管理システムにつなげることを可能にする。
【００１１】
集中型サーバの使用は、商用オフザシェルフのパーソナルコンピュータ技術が、ＴＣＰ接続上で集中型コントローラといくつかのネットワークデバイスとの間で１秒間におよそ１００，０００のシグナリングメッセージを処理できることを示す、研究結果によってサポートされている。オープンフロー技術との一定の類似点も存在し、この技術もまた、コントローラと呼ばれる、ある集中型サーバを使用する。提案されるシステムにおいて、制御トラフィックの期待される大きさの程度ははるかに小さく、すなわち、集中型サーバは、十分にスケーラブルである。集中型サーバは、論理的には集中型の構成要素であるが、当然ながら、たとえば、復元力を改善するために、分散されたやり方で実現されてよい。集中型サーバの分散された実現はまた、負荷バランシングを使用することができる。
【００１２】
本発明は、ＩＰ接続性が利用可能な場合にのみ、仮想プライベートローカルエリアネットワークサービス（＝ＶＰＬＳ）として知られる、標準化されたマルチベンダのソリューションに対する好都合な代替案、またはそれを補完するものを提供する。ＶＰＬＳは、ＭＰＬＳに基づいている。各データセンタサイトへのＭＰＬＳリンクが利用可能なときにはいつでもＶＰＬＳが適切なソリューションである一方で、より多数の小さなデータセンタが、クラウドコンピューティングの提供、またはたとえば分散されたコンテンツ配信ネットワーク（＝ＣＤＮ）のキャッシュに使用される場合には、この要件は、必ずしも果たされないことになる。その場合、少なくともサイトの一部分は、ＩＰリンクまたは公共のインターネットを介して接続され得るにすぎない。これは、純粋なＭＰＬＳベースのソリューションが、十分ではない場合があることを示唆している。この不足が、本発明によってカバーされる。
【００１３】
さらに、ＭＰＬＳパスの全メッシュのセットアップは、複雑であり、データセンタ相互接続ソリューションの原動力を制限する。ＩＰ上でのＭＰＬＳのトンネリングは、追加的なオーバーヘッドをもたらすことになる。本発明は、上述した不都合を回避する改善されたソリューションを提供する。
【００１４】
本発明は、オーバーレイネットワーク機構と組み合わせて集中型サーバを使用する、ＩＰネットワーク上でイーサネットネットワークを相互接続するための新しい技術を提案する。
【００１５】
本発明の主要な利点のうちの１つは、その単純さである。本発明は、トンネルの複雑なセットアップも、相互接続するネットワークによる固有のサポートも必要としない。本発明は、ネットワークプロバイダの関与さえなしに、任意のＩＰネットワーク上で、データセンタイーサネットネットワークを相互接続することを可能にする。また、イーサネットネットワークに対する潜在的にグローバルなビューを持つ集中型サーバを使用することによって、ポリシーの施行およびインテリジェントなトラフィック分散機構を単純化する。
【００１６】
本発明によって提供されるサービスは、他のＶＰＮソリューションとは異なる（ＶＰＮ＝仮想プライベートネットワーク）。ＩＰｓｅｃＶＰＮと異なり、この発明は、暗号化に重点を置かず、それにより、対応するセキュリティ関連付けを設定する複雑さを回避する（ＩＰｓｅｃ＝インターネットプロトコルセキュリティ）。それでもなお、本発明は、在来的にＩＰｓｅｃの上で実装されてもよい。本発明はまた、明示的なトンネルセットアップを持たないソフトステートのソリューションにすぎないため、Ｌ２ＴＰ／Ｌ２ＴＰｖ３、およびＰＰＴＰなどのトンネリングソリューションとは異なる（Ｌ２ＴＰ＝レイヤ２トンネリングプロトコル；ＰＰＴＰ＝ポイントツーポイントトンネリングプロトコル）。これにより、より少ない構成オーバーヘッドで、多数のデータセンタサイトにスケール変更する能力をもたらす。
【００１７】
本発明は、ＩＰマルチキャストプロトコルまたは拡張されたルーティングプロトコルを使用せず、代わりに、より単純で、集中型の制御および管理を可能にする集中型サーバを使用する。最も顕著には、本発明は、ＩＳ−ＩＳルーティングプロトコルの拡張機能を使用せず、フロー単位ではなく、宛先アドレス単位で動作し、追加的なオーバーレイトポロジ管理機能を提供し、大きなネットワークへのスケール変更をする。
【００１８】
本発明は、独自のルーティングプロトコル拡張機能の代わりに、集中型サーバに依存する。集中型サーバは、いくつかのＩＰマルチキャストグループを必要とするオーバーレイに比べて、実装、配置、および動作がより単純である。集中型サーバはまた、たとえば、ポリシーの動的な構成のために、他の制御および管理システムと非常に容易に結合され得る。
【００１９】
ＶＰＬＳなどの、静的なトンネルまたはラベルスイッチドパスを使用する既存のデータセンタ相互接続ソリューションと比較して、本発明は、エッジデバイスが、最小限の初期構成のみを必要とし、オーバーレイにおけるトラフィックについてソフトステートを維持するだけなので、構成および実装がはるかに単純である。本発明のフレームワークでは、サイトをオーバーレイに加える、およびオーバーレイから取り除くことが容易であるため、頻繁にオンオフされる、多数の極めて分散されたデータセンタサイトにさえ、イーサネット相互接続性が提供され得る。
【００２０】
さらなる効果は、従属請求項によって示される本発明の実施形態によって達成される。
【００２１】
本発明の一実施形態によれば、制御情報は、以下の１つまたは複数に関連する：イーサネットＬＡＮのネットワークデバイスのイーサネットアドレスの、顧客エッジデバイスのＩＰアドレスへのマッピング、イーサネットＬＡＮおよび／またはＶＬＡＮタグの範囲に関する情報、アドレス解決プロトコル（ＡＲＰ）情報、イーサネットＬＡＮ内部のマルチキャストグループのメンバーシップ情報、フィルタリングポリシー、ファイヤーウォールルール、オーバーレイトポロジ、顧客エッジデバイス間のパス特性に関する情報、２つ以上のイーサネットＬＡＮを含むオーバーレイネットワークに参加するデバイスのためのブートストラッピングおよび構成情報。
【００２２】
顧客エッジデバイス間では、ルーティングプロトコル内部で制御情報をトランスポートする代わりに、本発明の方法は、集中型サーバを使用する。各顧客エッジデバイスは、制御接続、好ましくはＴＣＰ接続によって、集中型サーバに接続されており、制御情報をやり取りする（ＴＣＰ＝伝送制御プロトコル）。具体的には、この制御接続は、以下をトランスポートする。
・イーサネットアドレスの、顧客エッジデバイスのＩＰアドレスへのマッピング、
・イーサネットＶＬＡＮの範囲に関する情報、
・アドレス解決プロトコル（ＡＲＰ）情報、
・データセンタネットワークセグメント内部のマルチキャストグループのメンバーシップ情報、
・ファイヤーウォールルールなどのフィルタリングポリシー、
・顧客エッジデバイス間のオーバーレイトポロジおよびパス特性に関する情報、
・オーバーレイに参加するデバイスのためのブートストラッピングおよび構成情報。
【００２３】
顧客エッジデバイスは、情報を集中型サーバに報告し、集中型サーバは次いで、情報を他の顧客エッジデバイスに配布し、好ましくはまた、データセンタネットワーク全体のグローバルなビュー、および異なる複数のイーサネットセグメントにおけるイーサネットデバイス同士の結び付きを維持する。制御接続はまた、データ完全性を保護するために、および好ましくは、オーバーレイに参加する顧客エッジデバイスの認証および権限付与を可能にするために、たとえばトランスポートレイヤセキュリティ（＝ＴＬＳ）を使用して、暗号化されてもよい。
【００２４】
本発明の別の実施形態によれば、方法は、顧客エッジデバイスの１つまたは複数が、制御情報を集中型サーバに報告するステップと、集中型サーバが、受信された制御情報を管理するステップ、および、処理された制御情報を、２つ以上のイーサネットＬＡＮのうちの第１のイーサネットＬＡＮに関連付けられた第１の顧客エッジデバイスを含む顧客エッジデバイスの１つまたは複数に配布するステップと、第１の顧客エッジデバイスが、第１のイーサネットＬＡＮの第１のネットワークデバイスから、相互接続するＩＰネットワークを通り、２つ以上のイーサネットＬＡＮのうちの第２のイーサネットＬＡＮの第２のネットワークデバイスまで、イーサネットデータトラフィックの伝送を制御するための受信された制御情報を使用するステップとをさらに含む。
【００２５】
本発明の別の実施形態によれば、方法は、２つ以上のイーサネットＬＡＮのうちの第１のイーサネットＬＡＮの第１のネットワークデバイスが、２つ以上のイーサネットＬＡＮのうちの第２のイーサネットＬＡＮの第２のネットワークデバイスのイーサネットアドレス宛のイーサネットパケットを送信するステップと、第１のイーサネットＬＡＮに関連付けられた第１の顧客エッジデバイスが、イーサネットパケットを受信するステップ、および、第２のネットワークデバイスのイーサネットアドレスの、第２のイーサネットＬＡＮに関連付けられた顧客エッジデバイスのＩＰアドレスへのマッピングを、第１の顧客エッジデバイスによって管理される転送テーブルが含むかどうかを検査するステップと、転送テーブルが前記マッピングを含まない場合に、第１の顧客エッジデバイスが、アドレス解決要求を集中型サーバに送信するステップ、および、アドレス解決要求に応答して、集中型サーバから前記マッピングを指定する回答メッセージを受信するステップと、第１の顧客エッジデバイスが、マッピングに従って、第２の顧客エッジデバイスの宛先アドレスを含むＩＰパケット内部にカプセル化ヘッダを有するイーサネットパケットをカプセル化するステップと、カプセル化されたイーサネットパケットを、相互接続するＩＰネットワークを介して、第２の顧客エッジデバイスに送信するステップと、第２の顧客エッジデバイスが、第２のイーサネットＬＡＮ内での第２のネットワークデバイスへの配信のために、受信されたイーサネットパケットのカプセル化を解除するステップとをさらに含む。顧客エッジデバイスは、解決され得ない宛先イーサネットアドレスを有するパケットをドロップするべきである。
【００２６】
カプセル化ヘッダは、少なくともＩＰヘッダを含む。加えて、さらなるシムレイヤが、カプセル化のために、最も顕著には、ユーザデータグラムプロトコル（ＵＤＰ）または汎用ルーティングカプセル化（ＧＲＥ）、あるいはその両方のために、使用されてもよい。
【００２７】
顧客エッジデバイスは、ＩＰネットワーク上のイーサネットパケットを、ＩＰパケット、たとえばＵＤＰパケットの中にそれらをカプセル化することによって、明示的なトンネルのセットアップを必要とせずに、トンネルする（ＵＤＰ＝ユーザデータグラムプロトコル）。宛先顧客エッジデバイスのＩＰアドレスは、ＩＰアドレスがまだローカルに知られていない場合、集中型サーバから学習される。イーサネットパケットは次いで、ＩＰネットワーク上で宛先顧客エッジデバイスへとトランスポートされ、そこでカプセル化が解除され、最終的に、宛先データセンタＬＡＮ内部の宛先イーサネットデバイスに配信される。
【００２８】
データプレーンパケットのＵＤＰカプセル化および集中型サーバへのＴＣＰベースの制御接続は、ＩＰマルチキャストプロトコルまたはルーティングプロトコルなどの他のプロトコルがブロックされる環境において機能する。本発明によるアーキテクチャの他の利点は以下を含む：
・自動構成：本発明の方法を設定し、構成することは非常に単純である。新しいデータセンタサイトを加えるには、主に、新しいデータセンタの顧客エッジデバイスにおいて、集中型サーバのアドレスの構成を必要とする。エッジデバイスは次いで、集中型サーバに接続し、集中型サーバからオーバーレイに関するさらなる必要な情報を取得する。
・単純なポリシー施行による極めて動的な仮想ネットワークの実現：集中型サーバは、オーバーレイネットワークの状態を追跡することができるので、たとえば、仮想マシンの移動性により生じた変化、およびポリシーの施行に迅速に反応することができる。集中型サーバはまた、固有のルーティングスキームを施行することができる。
・柔軟なオーバーレイトポロジ管理：本発明の方法による性能測定により、たとえば、マルチホップルーティングによる、データセンタサイト間の最適化されたトラフィック分散が可能である。
・接触の中心点：集中型サーバは、ネットワークのグローバルなビューを有するので、他のネットワーク制御および管理システムまたはクラウド制御および管理システムに、容易に接続され得る。
・アドレス解決メッセージのブロードキャストストームの緩和：サーバおよび顧客エッジデバイスの両方において、好ましく使用されるアドレス解決情報のキャッシングにより、イーサネットブロードキャストの必要性、およびその結果として生じる問題を削減する。
【００２９】
一実施形態において、方法は、第１のネットワークデバイスが、対応するイーサネットアドレスに対する、第２のイーサネットＬＡＮに位置する第２のネットワークデバイスのＩＰアドレスを解決しようとする場合、２つ以上のイーサネットＬＡＮのうちの第１のイーサネットＬＡＮに関連付けられた第１の顧客エッジデバイスが、第１のイーサネットＬＡＮの第１のネットワークデバイスによって送信されたアドレス解決要求（ＡＲＰ）をインターセプトするステップ、第２のネットワークデバイスのＩＰアドレスの、第２のデバイスのイーサネットアドレスへのアドレスマッピングが知られていない場合に、要求をブロックするステップ、および、第１の顧客エッジデバイスから集中型サーバに、対応するルックアップ要求を送信するステップと、ルックアップ要求の受信後に、集中型サーバが、ルックアップ要求を、第１の顧客エッジデバイスを除くすべての他の顧客エッジデバイスに転送するステップと、ルックアップ要求の受信後に、他の顧客エッジデバイスが、それぞれのイーサネットＬＡＮのネットワークデバイスの中でルックアップ要求を配布するステップと、他の顧客エッジデバイスが、それぞれのイーサネットＬＡＮのネットワークデバイスからルックアップ回答を受信するステップ、および、ルックアップ回答を集中型サーバに転送するステップと、集中型サーバが、受信されたルックアップ回答を管理し処理するステップ、および、ルックアップ回答を、ルックアップ要求を開始した第１の顧客エッジデバイスに送信するステップと、第１の顧客エッジデバイスが、ルックアップ回答を、アドレス解決要求を開始した第１のネットワークデバイスに送信するステップとをさらに含む。
【００３０】
本発明の別の実施形態によれば、方法は、集中型サーバが、集中型サーバによって第１の顧客エッジデバイスに送信されたルックアップ回答を、集中型サーバからのアドレスの学習のために、他の顧客エッジデバイスにもまた公表するステップをさらに含み、すなわち、それにより、他の顧客エッジデバイスは、集中型サーバからアドレスを学習し、ＡＲＰプロキシと同様に、ＡＲＰテーブルの中に、または顧客エッジデバイスの転送テーブルの中にアドレスを記憶することができる。
【００３１】
本発明の別の実施形態によれば、方法は、顧客エッジデバイスのうちの少なくとも１つが、パス特性を測定するステップ、および、測定されたパス特性を集中型サーバに送信するステップと、集中型サーバが、受信されたパス特性に基づいて、２つ以上のイーサネットＬＡＮの間の通信に関するトポロジ特性を確立するステップと、集中型サーバが、確立されたトポロジ特性を顧客エッジデバイスに公表するステップと、顧客エッジデバイスのうちの少なくとも１つが、ルーティング決定においてこの情報を利用するステップとをさらに含む。
【００３２】
本発明の別の実施形態によれば、相互接続するＩＰネットワークが少なくとも３つのイーサネットＬＡＮに接続する場合に、方法は、公表されたトポロジ特性を根拠に、少なくとも３つのイーサネットＬＡＮのうちの第１のイーサネットＬＡＮと第２のイーサネットＬＡＮとの間で進行中の通信を、少なくとも３つのイーサネットＬＡＮのうちの第３のイーサネットＬＡＮの第３の顧客エッジデバイスを介して、ルーティングするステップをさらに含む。
【００３３】
集中型サーバによって確立されたトポロジ情報を使用して、顧客エッジデバイスはまた、より高度化された転送およびトラフィック工学の機構を使用することができる。具体的には、本発明の実施形態は、オーバーレイにおけるマルチホップ転送が、２つのデータセンタサイト間で輻輳したリンクからトラフィックを遠ざけることを可能にする。実際には、ほとんどのケースにおいて、２つのホップで十分であろう。本発明は、ＩＰマルチキャストを使用しない。代わりに、任意のマルチキャストトラフィックまたはブロードキャストトラフィックが、顧客エッジデバイスにおいて複製され、ＵＤＰデータグラムにおいて各顧客エッジデバイスへとポイントツーポイントで転送される。ＶＰＬＳにおけるそのようなパケットの扱いに似たこの設計は、ＩＰマルチキャストをサポートしないネットワークにおける問題を回避する。
【００３４】
最も顕著には、マルチホップ転送の使用により、代替のパスがあれば、２つのデータセンタサイト間で潜在的に輻輳したリンクをバイパスすることが可能になる。集中型サーバにおけるネットワークのグローバルなビュー、ならびに顧客エッジデバイスへのパス特性測定の配布が、よりよい負荷バランシングを可能にし、またサイトがマルチホームサイトであれば、インテリジェントなルーティングを可能にする。以下で図６に示されるように、オーバーレイの中に輻輳していない代替のパスがある場合、本発明は、顧客エッジデバイス間でポイントツーポイント転送のみを使用するソリューションと比較して、データセンタサイト間で著しく大きなスループットを達成する。
【００３５】
本発明の別の実施形態によれば、集中型サーバは、データベースをさらに含み、データベースは、イーサネットＬＡＮのうちの１つのネットワークデバイスのイーサネットアドレスの、そのネットワークデバイスが関連付けられたそれぞれのイーサネットＬＡＮの顧客エッジデバイスのＩＰアドレスへの、少なくとも１つのマッピングを含む。
【００３６】
本発明の別の実施形態によれば、集中型サーバのデータベースは、イーサネットＬＡＮのうちの１つのネットワークデバイスのイーサネットアドレスの、その対応するＩＰアドレスへの、少なくとも１つのアドレスマッピングをさらに含み、それにより、集中型サーバは、アドレス解決プロトコルのブロードキャストなしに、イーサネットアドレスルックアップ照会に答えることができる。
【００３７】
本発明の別の実施形態によれば、集中型サーバは、たとえば、ポリシーを提供する、またはオーバーレイを監視するネットワーク管理システムまたはクラウドコンピューティング管理システムへの、インターフェースをさらに含む。
【００３８】
本発明の別の実施形態によれば、顧客エッジデバイスは、転送テーブルをさらに含み、転送テーブルは、少なくとも１つのさらなるイーサネットＬＡＮのうちの１つのネットワークデバイスのイーサネットアドレスの、そのネットワークデバイスが関連付けられた少なくとも１つのさらなるイーサネットＬＡＮのそれぞれの顧客エッジデバイスのＩＰアドレスへの、少なくとも１つのマッピングを含む。
【００３９】
本発明の別の実施形態によれば、顧客エッジデバイスは、パス特性を測定するように構成されたパス計測ユニットをさらに含み、顧客エッジデバイスは、測定されたパス特性を集中型サーバに送信するように構成されている。
【００４０】
本発明の別の実施形態によれば、顧客エッジデバイスは、アドレス解決プロキシをさらに含み、アドレス解決プロキシは、ＡＲＰ要求においてアドレス指定された宛先ネットワークデバイスのＩＰアドレスとイーサネットアドレスとのアドレスマッピングに関連した情報を受信するために、イーサネットＬＡＮのネットワークデバイスによって送信されたアドレス解決要求（ＡＲＰ）を解析するように構成されている。アドレスマッピングがまだ顧客エッジデバイスによって知られていない場合、要求はブロックされ、対応するルックアップ要求が、制御接続上で集中型サーバに送信される。アドレスマッピングが顧客エッジデバイスのＡＲＰテーブルから既に知られている場合、対応するＡＲＰ回答が、ネットワークデバイスへと送り返される。どちらのケースにおいても、オーバーレイ上でのＡＲＰメッセージのトランスポートが回避され得る。
【００４１】
好ましい実施形態によれば、アドレス解決プロキシは、宛先ネットワークデバイスのＩＰアドレスおよびイーサネットアドレスのアドレスマッピングを集中型サーバから学習し、アドレスマッピングが既に知られている場合には、ネットワークデバイスからのインターセプトされたアドレス解決プロトコル要求に直接回答する。アドレス解決プロキシはまた、他の手段によって、たとえば、進行中のトラフィックを監視することによって、または追加のＡＲＰルックアップによって、アドレスマッピングを学習することもできる。
【００４２】
本発明のこれらの、ならびにさらなる特徴および効果は、添付の図面と併せて、例示的な実施形態の以下の詳細な説明を読むことによって、よりよく認識されるであろう。
【図面の簡単な説明】
【００４３】
【図１】先行技術で知られている、ワイドエリアネットワーク（ＷＡＮ）上でのデータセンタ相互接続の一般的なシナリオを示す。
【図２】本発明によるオーバーレイネットワークのアーキテクチャの図である。
【図３】ＩＰ上のイーサネットＬＡＮの間でのイーサネットパケットのトンネリングを示す図である。
【図４】集中型サーバを介したイーサネットアドレス解決の図である。
【図５】オーバーレイトポロジ情報および性能測定を収集し、配布する図である。
【図６】異なる複数のイーサネットＬＡＮの間のオーバーレイにおけるマルチホップルーティングの図である。
【図７】顧客エッジデバイスの基本アーキテクチャの図である。
【図８】集中型サーバの基本アーキテクチャの図である。
【発明を実施するための形態】
【００４４】
図２は、本発明の一実施形態によるオーバーレイネットワークを示す。オーバーレイネットワークは、３つのイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３と、相互接続するネットワークＮとを含む。イーサネットＬＡＮの１つまたは複数は、それぞれの顧客エッジデバイス、たとえば、ＣＥ１、ＣＥ２、ＣＥ３によって、相互接続するネットワークＮに接続されていてよい。各イーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３は、サーバファーム３０を含み、サーバファーム３０は、イーサネットスイッチＳＷを介して、それぞれのイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３の顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３に接続されている。相互接続するネットワークＮは、インターネットなどのＩＰネットワークであってよい。顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３は、データトラフィックパケットの伝送のために、ネットワークリンク２２を介して相互接続されている。図３に関連してより詳細に説明されるように、第１のイーサネットＬＡＮ、ＬＡＮ１から発信されるイーサネットパケットは、イーサネットオーバーＩＰカプセル化２３の形式で、相互接続するネットワークＮを通るネットワークリンク２２を介して、第２のイーサネットＬＡＮ、ＬＡＮ２に伝送される。
【００４５】
オーバーレイネットワークの重要なコンポーネントは、集中型サーバ１０であり、集中型サーバ１０は、イーサネットオーバーＩＰ伝送モードで、相互接続するネットワークを通したイーサネットＬＡＮの間のイーサネットパケットの伝送に関連付けられた、制御プレーンメッセージのやり取りを扱う。したがって、先行技術とは異なり、ルーティングプロトコルの変更などは必要とされない。以下で詳述されるように、本発明は、顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３において、いくつかの追加的な機能を必要とするのみである。集中型サーバ１０は、高性能パーソナルコンピュータなどのスタンドアローンデバイスであってもよいし、または、図２で点線の箱型によって示されるように、顧客エッジデバイスの１つに一体化されてもよく、この場合の集中型サーバ１０は、オーバーレイのための一種のマスターデバイスである。どちらの選択肢を実現しても、同じサービスを提供することができる。各顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３は、集中型サーバ１０に対して、制御接続２１（好ましくは、伝送制御プロトコル（＝ＴＣＰ）またはトランスポートレイヤセキュリティ（＝ＴＬＳ）接続）を維持する。各ＣＥへのこれらの接続上では、イーサネットアドレスのサイトへのマッピング、オーバーレイトポロジ、特定のポリシーなどを含む、オーバーレイに関する情報がやり取りされる。
【００４６】
図３は、図２のオーバーレイネットワークにおける、ＩＰ上のイーサネットＬＡＮの間でイーサネットパケットをトンネルするプロセス、すなわち、データプレーンの動作を示す。３つのイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第１のイーサネットＬＡＮ、ＬＡＮ１の第１のネットワークデバイスＡが、イーサネットパケット２０を送信する。イーサネットパケット２０は、宛先アドレスとして、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第２のイーサネットＬＡＮ、ＬＡＮ２の第２のネットワークデバイスＢのイーサネットアドレス、送信元アドレスとして、第１のネットワークデバイスＡのイーサネットアドレス、およびペイロードを含む。第１のイーサネットＬＡＮ、ＬＡＮ１に関連付けられた顧客エッジデバイスＣＥ１は、イーサネットパケット２０を受信し、第１の顧客エッジデバイスＣＥ１によって管理される転送テーブル３１から、第２のネットワークデバイスＢのイーサネットアドレスの、第２のイーサネットＬＡＮ、ＬＡＮ２に関連付けられた顧客エッジデバイスＣＥ２のＩＰアドレスへのマッピングを決定する。第１の顧客エッジデバイスＣＥ１は、イーサネットパケット２０をＩＰヘッダ２４でカプセル化し、ＩＰヘッダ２４は、送信元顧客エッジデバイスＣＥ１のＩＰアドレスと、宛先顧客エッジデバイスＣＥ２のＩＰアドレスと、選択されたカプセル化プロトコルによるさらなるヘッダフィールドとを含む。送信元顧客エッジデバイスＣＥ１は、カプセル化ヘッダ２４でカプセル化されたイーサネットパケット２８を、相互接続するＩＰネットワークＮを通るネットワークリンク２２を介して、宛先顧客エッジデバイスＣＥ２に送信する。第２の顧客エッジデバイスＣＥ２は、第２のイーサネットＬＡＮ、ＬＡＮ２内での第２のネットワークデバイスＢへの配信のために、受信されたイーサネットパケット２０のカプセル化を解除する。結果として、イーサネットＬＡＮにおけるホストＡとＢとの間で、エンドツーエンド移送２７が達成される。
【００４７】
他のサイトに位置することが知られているすべてのイーサネットアドレスについて、イーサネットパケットは、追加的なヘッダを使用して、ＩＰカプセル化パケット、たとえば、ＵＤＰパケットの中にカプセル化され、次いで、ＩＰを介して、宛先イーサネットＬＡＮにおける顧客エッジデバイスのＩＰアドレスに送信される。このデータプレーンの動作は、他のトンネルソリューションと同様である。
【００４８】
図４は、図２のオーバーレイネットワークにおける、集中型サーバ１０を介したイーサネットアドレス解決、すなわち、制御プレーンの機能を示す。新たなデータ接続４０が、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第１のイーサネットＬＡＮ、ＬＡＮ１の第１のネットワークデバイスＡから、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第２のイーサネットＬＡＮ、ＬＡＮ２の第２のネットワークデバイスＢへと、確立されることになる。アドレスマッピングがＣＥ１においてまだローカルに知られていないと想定して、第１のイーサネットＬＡＮ、ＬＡＮ１に関連付けられた第１の顧客エッジデバイスＣＥ１は、第１のネットワークデバイスＡによって送信されたアドレス解決要求４１をブロックし、第１の顧客エッジデバイスＣＥ１からの対応するルックアップ要求４２を、集中型サーバ１０に送信する。ルックアップ要求４２の受信後、集中型サーバ１０は、ルックアップ要求を、送信元顧客エッジデバイス、すなわち第１の顧客エッジデバイスＣＥ１を除く、すべての他の顧客エッジデバイスＣＥ２、ＣＥ３に転送する（４３）。図２には示されていないが、アドレスマッピングが既にそのＡＲＰテーブルにおいて知られている場合、代替としてサーバ１０はまた、直接ルックアップ要求に応答することができる。転送されたルックアップ要求４３の受信後、他の顧客エッジデバイスＣＥ２、ＣＥ３は、それぞれのイーサネットＬＡＮ、ＬＡＮ２、ＬＡＮ３のネットワークデバイスの中で、ＡＲＰルックアップとしてのルックアップ要求４４を配布する。宛先ネットワークデバイスＢが位置するイーサネットＬＡＮ、ＬＡＮ２に関連付けられた他の顧客エッジデバイスＣＥ２は、宛先ネットワークデバイスＢから対応するルックアップ回答を受信し、ルックアップ回答４６を集中型サーバ１０に転送する。集中型サーバ１０は、受信されたルックアップ回答４６を管理および処理し、ルックアップ要求４２を開始した第１の顧客エッジデバイスＣＥ１に、ルックアップ回答４７を送信する。第１の顧客エッジデバイスＣＥ１は、アドレス解決要求４０を開始した第１のネットワークデバイスＡに、ルックアップ回答４９を送信する。
【００４９】
さらに、集中型サーバ１０は、集中型サーバ１０によって第１の顧客エッジデバイスＣＥ１に送信されたルックアップ回答４７を、集中型サーバ１０からのアドレスの学習のために、第３の顧客エッジデバイスＣＥ３にもまた公表する（４８）。この情報をＡＲＰテーブルに記憶することによって、他の顧客エッジデバイスは、今後、サーバと対話せずに、アドレスルックアップ照会に答え、パケットをカプセル化し、パケットをその宛先へと転送することができる。
【００５０】
顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３は、宛先アドレスが知られている場合、イーサネットパケットをオーバーレイに転送するのみである。顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３は、集中型サーバ１０からアドレスを学習する。集中型サーバ１０からの学習は、先行技術システムと比較して、重要な差別化要因の１つである。本発明は、確立されたマルチキャストツリーも、ルーティングプロトコル拡張機能も必要としない。アドレス学習は、以下のように扱われる：
・顧客エッジデバイスが、ＷＡＮインターフェースへのＡＲＰメッセージの転送をブロックする。
・ＡＲＰルックアップが、集中型サーバ１０を介して、対応するプロトコルによって扱われる。
・ＡＲＰ応答が、アドレスをすべての顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３に公表する集中型サーバ１０を介して、送り返される。
・顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３は、制御プレーンを介して学習されたルックアップに回答するために、ＡＲＰプロキシ２５を組み込むことができる。これは、対応するアドレスマッピングを含むＡＲＰテーブルと、たとえばエイジングアウト機構によりこれらのエントリを更新して取り除く機構とを必要とする。
【００５１】
図５は、図２のオーバーレイネットワークにおける、性能およびオーバーレイ測定、測定データの収集、パス特性の公表、ならびにオーバーレイトポロジ情報の配布を示す。
【００５２】
第１のデータ接続５０ＡＢが、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第１のイーサネットＬＡＮ、ＬＡＮ１の第１のネットワークデバイスＡから、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第２のイーサネットＬＡＮ、ＬＡＮ２の第２のネットワークデバイスＢへと確立される。第２のデータ接続５０ＡＣが、第１のネットワークデバイスＡから、第２のイーサネットＬＡＮ、ＬＡＮ２の第３のネットワークデバイスＣへと確立される。第３のデータ接続５０ＡＤが、第１のネットワークデバイスＡから、２つ以上のイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３のうちの第３のイーサネットＬＡＮ、ＬＡＮ３の第４のネットワークデバイスＤへと確立される。
【００５３】
顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３のパス計測ユニット２６は、たとえば、パケット損失、オプションでパケット遅延もまた測定することによって、すべての知られている他の顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３から、データ伝送パス５０ＡＢ、５０ＡＣ、５０ＡＤのパス特性を測定し（５１）、測定されたパス特性を、たとえば、パス特性報告の形式で、集中型サーバ１０に送信する（５２）。集中型サーバ１０は、受信されたパス特性に基づいて、３つのイーサネットＬＡＮ、ＬＡＮ１、ＬＡＮ２、ＬＡＮ３の間のデータ伝送、すなわち通信に関するトポロジ特性を確立する。集中型サーバ１０は、確立されたトポロジ特性を、顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３に公表する（５３）。顧客エッジデバイスＣＥ１、ＣＥ２、ＣＥ３のうちの少なくとも１つが、続くルーティング決定においてこの情報を利用する。
【００５４】
方法は、以下で説明されるように、最適化されたオーバーレイルーティングを可能にするために、集中型サーバ１０を使用して、すべてのパス５０ＡＢ、５０ＡＣ、５０ＡＤについての遅延および負荷情報を配布する。この測定は、以下の技法を使用する：
・少なくとも１つの顧客エッジデバイスが、すべての知られている他の顧客エッジデバイスから、パスの性能、すなわち、パケットをカプセル化するときのインターフェーススループットを測定する。大部分を占めるＴＣＰトラフィックを想定して、スループットは、利用可能なパス帯域幅の下限であることに留意されたい。
・顧客エッジデバイスはまた、ＩＣＭＰｐｉｎｇメッセージまたは他のプローブメッセージを、すべての知られている他の顧客エッジデバイスに送信することができる（ＩＣＭＰ＝インターネット制御メッセージプロトコル）。
・顧客エッジデバイスは、宛先顧客エッジごとのパス特性を、集中型サーバに定期的に報告する。
・集中型サーバは、オーバーレイトポロジマップを維持する、すなわち、すべてのオーバーレイパス上での利用可能な帯域幅、遅延、および損失を記憶する。
・集中型サーバは、トポロジ特性をすべての顧客エッジデバイスに公表する。顧客エッジデバイスは、マルチホームサイトでの、および／またはマルチホームサイトに向けた、マルチホップルーティングのために、またはやはり負荷バランシングのために、この情報を使用することができる。
【００５５】
図６は、図５のオーバーレイネットワークにおける、異なる複数のイーサネットＬＡＮの間の、オーバーレイにおけるマルチホップルーティングを示す。
【００５６】
３つの進行中データ伝送パス６０ＡＢ、６０ＡＣ、６０ＡＤのうち、２つのパス６０ＡＢ、６０ＡＣ、すなわち、第１のイーサネットＬＡＮ、ＬＡＮ１におけるネットワークデバイスＡと、第２のイーサネットＬＡＮ、ＬＡＮ２の第２のネットワークデバイスＢとの間の第１のパス６０ＡＢ、および、第１のイーサネットＬＡＮ、ＬＡＮ１におけるネットワークデバイスＡと、第２のイーサネットＬＡＮ、ＬＡＮ２の第３のネットワークデバイスＣとの間の第２のパス６０ＡＣが、相互接続するネットワークＮにおいて輻輳を起こしている（６１）。パス測定から、たとえば、ＩＣＭＰｐｉｎｇから、第１のイーサネットＬＡＮ、ＬＡＮ１を相互接続するネットワークＮに接続する顧客エッジデバイスＣＥ１のパス計測ユニット２６を用いて、顧客エッジデバイスＣＥ１は、これらの輻輳したパス６０ＡＢ、６０ＡＣ上で伝送されるイーサネットパケットの損失および／または遅延を認識する（６２）。あるいは、問題はまた、ＣＥ２によって認識されてもよい。制御接続を介して顧客エッジデバイスＣＥ１から集中型サーバ１０に送信された、輻輳を報告する対応する制御メッセージによりトリガされて、集中型サーバ１０は、オーバーレイネットワークのその確立されたトポロジ特性に基づいて、第３のイーサネットＬＡＮ、ＬＡＮ３の第３の顧客エッジデバイスＣＥ３と、第２のイーサネットＬＡＮ、ＬＡＮ２の第２の顧客エッジデバイスＣＥ２との間のパスにおいて、ネットワークデバイスＡの間の第３の進行中データ伝送パス６０ＡＤが、輻輳していないことを公表する（６３）。
【００５７】
結果として、第１のイーサネットＬＡＮ、ＬＡＮ１の第１の顧客エッジデバイスＣＥ１は、輻輳したデータ伝送パス６０ＡＢ、６０ＡＣからのデータトラフィックの少なくとも一部、すなわち、輻輳したデータ伝送パス６０ＡＢからのデータトラフィックを、第３の顧客エッジデバイスＣＥ３に送信する（６４）。続いて、第３の顧客エッジデバイスＣＥ３は、最終宛先の宛先アドレスへのパケットを、第２の顧客エッジデバイスＣＥ２に転送する（６５）。これは、受信されたイーサネットパケットのカプセル化を解除し、パケットを新しい宛先アドレスで再びカプセル化することによって達成されてよい。このように、ネットワークデバイスＡとＢとの間のデータトラフィックが、第２の顧客エッジデバイスＣＥ２を介して、再ルーティングされる（６６）。
【００５８】
本発明の実施形態は、オーバーレイマルチホップルーティングを達成する。そのようなオーバーレイルーティングは、先行技術のデータセンタ相互接続ソリューションでは考えられていない。サイト間でのオーバーレイにおけるマルチホップルーティングは、オーバーレイに結び付けられた３つ以上のサイトがある場合、直接パス上での輻輳または最適ではないＩＰルーティングを避けて行うことができる。この好ましくは三者間の再ルーティングは、より大きな遅延をもたらすことがあるものの、全体的なスループットを改善するためになお有益であり得る。しかしながら、根本的な課題は、ループ防止である。ＥＣＯにおけるオーバーレイルーティングは、以下のように実現される：
・方法は、複雑なループを回避するために、オーバーレイにおいて２つの転送ホップのみをサポートする。
・２ホップトンネルの第１のホップが、トンネルヘッダの中で、たとえば、ビットフラグによってマークされ、ビットが設定されると、第１の顧客エッジデバイスがパケットのカプセル化を解除し、再びパケットをカプセル化する。いかなるヘッダビットも必要としない代替のソリューションは、カプセル化する顧客エッジデバイスが、単に２つの入れ子トンネルを使用することである。
・第１のホップは、パケットを送信元サイトに決して転送し戻さない。
【００５９】
図７は、顧客エッジデバイスＣＥの一実施形態を示す。顧客エッジデバイスＣＥは、集中型サーバにＴＣＰ接続するための第１のインターフェース７１と、好ましくはデータセンタの形式でのイーサネットＬＡＮへの少なくとも１つの第２のインターフェース７２と、相互接続するＩＰネットワーク、すなわちオーバーレイへの少なくとも１つの第３のインターフェース７３とを含む。顧客エッジデバイスＣＥは、オーバーレイネットワークの集中型サーバとの制御メッセージやり取りのために使用されるプロトコルを管理するためのプロトコルエンジン７４を含む。顧客エッジデバイスＣＥは、転送テーブル３１と、ＡＲＰプロキシ２５と、パスメータユニット２６と、イーサネットスイッチングユニット７８と、カプセル化ユニット７９とを含み、カプセル化ユニット７９は、ＩＰパケットの中にイーサネットパケットをカプセル化し、ＷＡＮ上のトランスポートに必要であれば、さらなるシムプロトコルを加える。転送テーブル３１は、宛先のイーサネットアドレスを含む第１のセクション３１１のエントリと、ローカルインターフェースを含む第２のセクション３１２のエントリと、ターゲット顧客エッジデバイスのＩＰアドレスを含む第３のセクション３１３のエントリとの間の、マッピングを含む。転送テーブル３１、プロトコルエンジン７４、ＡＲＰプロキシ２５、およびパスメータユニット２６は、顧客エッジデバイスＣＥの低速パス部７０１に位置しており、一方、イーサネットスイッチングユニット７８およびカプセル化ユニット７９は、顧客エッジデバイスＣＥの高速パス部７０２に位置している。
【００６０】
図７は、顧客エッジデバイスの主要なおよび追加的な機能性コンポーネントを示し、顧客エッジデバイスは、典型的にはルータであるものの、１つまたは複数の内部ネットワークインターフェースに対するイーサネットスイッチ／ブリッジとしての役割を果たす。好ましくは、重要な機能は以下である：
・ＩＰの中にイーサネットパケットをカプセル化する／カプセル化を解除すること、好ましくはＵＤＰの上に追加的なヘッダを加えること
・宛先顧客エッジデバイスのＩＰアドレスによる、リモートノードのための転送データベースの拡張
・イーサネットアドレスおよびＡＲＰプロキシの制御プレーン学習
・パケットフィルタリング、および知られていない宛先イーサネットアドレスに対するイーサネットパケットのドロッピング
・パス特性測定機能およびオーバーレイルーティング機能
・ＴＣＰ接続上の集中型サーバとの通信
【００６１】
図８は、集中型サーバ１０の一実施形態を示す。集中型サーバ１０は、第１の顧客エッジデバイスＣＥ１にＴＣＰ接続するための少なくとも第１のインターフェース８１と、第２の顧客エッジデバイスＣＥ２にＴＣＰ接続するための第２のインターフェース８２とを含む。集中型サーバ１０は、ネットワーク管理システムまたはクラウドコンピューティング管理システムへの第３のインターフェース８３をさらに含んでもよい。集中型サーバ１０は、グローバルポリシーおよび決定ロジック８４と、イーサネットアドレスを顧客エッジデバイスＣＥ１、ＣＥ２のＩＰアドレスにマッピングするデータベース８５と、オーバーレイトポロジおよびパス特性を含むデータベース８６と、サーバ機能ユニット８７と、オーバーレイネットワークの顧客エッジデバイスＣＥ１、ＣＥ２と制御メッセージをやり取りするために使用されるプロトコルを管理するための、第１のプロトコルエンジン８８および第２のプロトコルエンジン８９とをさらに含む。
【００６２】
図８は、集中型サーバの主要なおよび追加的な機能を示す。集中型サーバは、一方で、集中型制御およびポリシー決定のポイントであり、他方で、オーバーレイにおける個々の顧客エッジデバイスからの情報を配布するミラーリングサーバである。その機能は、以下のように要約されてよい：
・イーサネットアドレスおよびサイトへのそのマッピング、ＶＬＡＮタグの範囲、新しいサイトの参加、トポロジおよびパス特性などを含む情報を、すべての顧客エッジデバイスの間で配布すること。
・オーバーレイに結び付けられたＬＡＮにおけるホストのイーサネットアドレスとＩＰアドレスとのマッピングの集中型キャッシング、およびその情報をＣＥデバイスのＡＲＰプロキシに配布すること。
・ポリシーの集中型構成。
・好ましくは、クラウド管理システムへの外部インターフェース。
【図１】
0006009553.tif 000002
【図２】
0006009553.tif 000003
【図３】
0006009553.tif 000004
【図４】
0006009553.tif 000005
【図５】
0006009553.tif 000006
【図６】
0006009553.tif 000007
【図７】
0006009553.tif 000008
【図８】
0006009553.tif 000009