(57)【要約】ネットワークタペストリを用いて、ネットワーク構造にわたってグローバル仮想ネットワークを介して装置を接続するためのシステム及び方法が開示される。ネットワークシステムは、第１のバックボーン交換サーバと通信する第１のアクセスポイントサーバと、第２のバックボーン交換サーバと通信する第２のアクセスポイントサーバと、ネットワークタペストリとを含み、前記ネットワークタペストリは、第１のアクセスポイントサーバ及び第２のアクセスポイントサーバを接続する第１の通信パスと、第１のバックボーン交換サーバ及び第２のバックボーン交換サーバを接続する第２の通信パスとを含む。
2018517372.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク構造に亘ってグローバル仮想ネットワーク（GVN）を介して装置を接続するシステムにおいて、
第１のバックボーン交換サーバと通信する第１のアクセスポイントサーバと、
第２のバックボーン交換サーバと通信する第２のアクセスポイントサーバと、
前記第１のアクセスポイントサーバ及び前記第２のアクセスポイントサーバを接続する第１の通信パスと、前記第１のバックボーン交換サーバ及び前記第２のバックボーン交換サーバを接続する第２の通信パスとを含むネットワークタペストリと、
を含むシステム。
【請求項２】
請求項１に記載のシステムにおいて、前記第１の通信パスは、インターネット上のIPである、システム。
【請求項３】
請求項１に記載のシステムにおいて、前記第２の通信パスはインフィニバンドである、システム。
【請求項４】
請求項１に記載のシステムにおいて、前記第１の通信パスはインターネット上のIPであり、前記第２の通信パスはインフィニバンドである、システム。
【請求項５】
請求項１に記載のシステムにおいて、更に、
前記第１のバックボーン交換サーバと通信する第１の並行ファイルストレージと、
前記第２のバックボーン交換サーバと通信する第２の並行ファイルストレージとを含み、
前記第１のバックボーン交換サーバは、前記第１の通信パスを使用すること無く前記第２の通信パスを使用して、前記第２の並行ファイルストレージへ直接書き込み可能である、システム。
【請求項６】
請求項５に記載のシステムにおいて、前記第１の通信パスは、インターネット上のIPである、システム。
【請求項７】
請求項５に記載のシステムにおいて、前記第２の通信パスはダークファイバである、システム。
【請求項８】
請求項５に記載のシステムにおいて、前記第１の通信パスは、インターネット上のIPであり、前記第２の通信パスはダークファイバである、システム。
【請求項９】
請求項５に記載のシステムにおいて、前記第１のバックボーン交換サーバは、リモート直接メモリアクセス（RDMA）プロトコルを使用して前記第２の並行ファイルストレージへ書き込む、システム。
【請求項１０】
請求項１に記載のシステムにおいて、更に、
前記第１のアクセスポイントサーバと前記第１のバックボーン交換サーバとの間の前記通信パスにある第１のファイアウォールを含み、
前記ファイアウォールは前記第１のバックボーン交換サーバを、前記第１の通信パス上に存在する脅威から隔離する、システム。
【請求項１１】
請求項１０に記載のシステムにおいて、更に、
前記第２のアクセスポイントサーバと前記第２のバックボーン交換サーバとの間の前記通信パスにある第２のファイアウォールを含み、
前記第２のファイアウォールは前記第２のバックボーン交換サーバを、前記第１の通信パス上に存在する脅威から隔離する、システム。
【請求項１２】
請求項１に記載のシステムにおいて、更に、
前記第１のアクセスポイントサーバと通信するエンドポイント装置と、
前記第２のアクセスポイントサーバと通信するホストサーバと、を含むシステム。
【請求項１３】
請求項１２に記載のシステムにおいて、更に、前記エンドポイント装置と前記ホストサーバとの間の通信プロトコルは、インフィニバンド、RDMA、IPv4及びIPv6のいずれか１つである、システム。
【請求項１４】
請求項１３に記載のシステムにおいて、前記通信プロトコルは、前記エンドポイント装置と前記第１のアクセスポイントサーバとの間で異なるプロトコルにおいてカプセル化される、システム。
【請求項１５】
請求項１３に記載のシステムにおいて、前記通信プロトコルは、前記第２のアクセスポイントサーバと前記ホストサーバとの間で異なるプロトコルにおいてカプセル化される、システム。
【請求項１６】
請求項１３に記載のシステムにおいて、前記通信プロトコルは更に、前記第１のバックボーン交換サーバと前記第２のバックボーン交換サーバとの間で異なるプロトコルにおいてカプセル化される、システム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、米国仮特許出願第62/174,394号（2015年6月11日出願）の優先権を主張するものであり、当該出願の開示全体をここに参照のために取り込む。
【技術分野】
【０００２】
本開示は概してネットワークに関連し、特に、より大きなネットワークタペストリへ統合された様々なネットワーク構造に亘るグローバル仮想ネットワークを通るトラフィックの流れに関する。
【背景技術】
【０００３】
「ネットワーク」の第１の配置は、大きな中央コンピュータコアを有するトポロジ（例えばメインフレームと、当該メインフレームと同一施設内で当該メインフレームへ直接接続されたスレーブ端末）からなる。このようにメインフレーム及び端末が示されることで分散物理アクセスが可能になるという特定の利点がある。しかし、過去には、全てのユーザはコアの近傍にある必要があった。距離に亘るネットワーク通信が改善するにつれ、スレーブ端末はメインフレームからより遠いリモート地域に位置可能となった。今日、このタイプのトポロジは、中央サーバ及びそれに接続するシンクライアント装置として示されてよい。
【０００４】
ついで、電力及びストレージはパーソナルコンピュータ（PC）にシフトした。このローカルCPU、RAM及びストレージは、演算がPC内に含まれることを可能にした。今日、この振り子は揺り戻している。パーソナルコンピュータの登場は、有線ネットワーク技術の発展を加速させた。次いでラップトップ（ポータブルコンピュータ）は無線ネットワークに対して勢いをつけた。その後、携帯電話、スマートフォン、タブレット、ファブレット及び他のタイプのモバイル且つ無線装置は、有線及び無線のネットワークインフラストラクチャにおける改善に勢いをつけた。
【０００５】
携帯電話及びラストワンマイルでの改善されたインターネット接続はサービスの激増に拍車をかけた。そこではホストクライアントは、クラウド内のサーバを介してデータを格納、アクセス及び検索する。モノのインターネット（IoT）は、ますます多くの装置が接続されることを意味する。これらの多くは、LAN、PAN、ピコネット等において接続される。これらの装置の大部分は、アップストリーム接続を有するだけでなく、インターネット上で検出される必要がある。
【０００６】
インターネットへ接続される装置の回線要件は様々である。理想の接続性未満でも寛容なものがある。ここでは、他の装置は、適切に機能するために低いレイテンシ、ゼロパケット損失及び高い帯域幅についての絶対的要件を有する。装置の激増が続くと、多くの数の装置は、解決を必要とする問題を提示する。これらの問題は、これら全ての装置をどのように信頼して接続するか、これら全ての装置をどのように効率的に検出するか、及び、それらとビッグデータ集合点と間の膨大なデータ量をどのように伝送するかを含む。
【０００７】
インターネットは互いに接続された装置を含み、これらはネットワークを構成する。これらのネットワークを接続することで、ネットワークのネットワークが構成される。ネットワークが進化するにつれて、コアプロトコル及びネットワークタイプは発達を続ける。それらは、ネットワークタイプがネットワーク構造として示されるまで拡張する。共通のネットワーク構造は、イーサネット標準、ファイバチャネル、インフィニバンド、並びに様々な他のネットワークプロトコル及びタイプの上位で、標準プロトコル（例えばIPv4及びIPv6）により構築される。
【０００８】
ネットワーク構造は、シングルホーンとして定義される１対１の関係で他のネットワークへピアリングされる１つの主体の管理のもとでのネットワークとして、又は、マルチホーンピアリングによる１対多のネットワーク関係として、画定されてよい。ネットワーク構造はまた、エンドツーエンドからのネットワークプロトコルタイプの規模及び範囲を画定してよい。イーサネットはネットワークのタイプを画定するが、更に、イーサネット上のインターネットプロトコル（Internet  Protocol  over  Ethernet）によって分類されてよく、また、IPのバージョン（例えばインターネットプロトコルのバージョン４を表すIPv4、又は、インターネットプロトコルのバージョン６を表すIPv6、又は他のネットワークタイプ）によって分類されてよい。インターネットプロトコル（IP）の上位には、トランスミッションコントロールプロトコル（TCP）及びユーザデータグラムプロトコル（UDP）等のプロトコルが確立される。TCP／IPは冗長であり、送信データ対UDP（これは、一層のフロー制御と組み合わされた厳重なエラーチェックを有さない）の信頼性のために、多数の内蔵されたエラーチェック及び対処を有する。これにより、UDPはTCPよりも、（例えば音声又は動画キャスティング等の）データストリーミングにつき一層適切である。このとき、失われたパケットは消費者の体験へ、非常に不利な影響を与えない。
【０００９】
イーサネットの上位に確立された異なるプロトコル及びIPバージョンに加え、イーサネット自体は異なる種類（例えばイーサネット、ギガビットイーサネット（１、１０、４０、１００ギガビットで利用可能））を有する。回線伝送能力技術が向上するにつれて、その他のバージョンも導入されることが期待されている。
【００１０】
インフィニバンド（IB）はイーサネットの代替物である。IBは異なる物理NICポート、回線及びプラグを使用する。IBはIPと類似しつつも異なる方法で動作する。
【００１１】
様々なコンピューティングデバイスやそれらのドライバに接続し、それらが対話可能であり又は少なくとも互いにデータ送信可能となるようにするために、イーサネットは現在、最も流行するプロトコルである。多くのノードをハイパフォーマンス（高性能）コンピューティング（HPC）の環境に接続するために、インフィニバンド（IB）は好ましい選択肢である。IBは、ネットワーク認証をバイパスする、ノード間のネイティブのリモート直接メモリアクセス（RDMA）を可能にし、また、ホスト装置の処理及びオペレーティングシステム（O／S）を向上させる。ここでは、RDMAストレージ装置（又はその他）が互いに接続される。このことは、並行ファイルシステム（PFS）のホスティングを容易にし、多くの装置にとって同時且つ迅速なアクセスを提供する。
【００１２】
更なる範囲を画定するために、各ネットワークベースのプロトコル（例えばイーサネット又はインフィニバンド）及びそれに続くそれらの上位で稼働するネットワークプロトコルは、構造物として画定されてよい。構造間の相互接続ポイントにて、相互接続を成功させるためには、技術（例えばネットワークアドレス変換（NAT）又は同等の方法）が必要である。１つのネットワークプロトコル（例えばIPv4）をカプセル化して、そのパケットが「ラッパー」プロトコル（例えばインフィニバンド上のIP（IPoIB））を介して他のプロトコル（例えばIB）上で稼働するようにしてよい。もしユーザが並行ファイルシステム（PFS）の様々な分散ノードを、いくつかの非IBセグメント（例えばイーサネット）を含むネットワーク上で接続したい場合、ラッパー（例えばコンバージドイーサネット上のRDMA（RoCE）等）が使用可能である。
【００１３】
RoCEはRDMAアクセスを可能にするが、それは少々逆効果である。というのも、ベース（基礎）となるイーサネットネットワークは、IBの本当の利点をサポートしないので、ネイティブのIB上のRDMAと比較してパフォーマンスの遅れを提示するからである。
【００１４】
異なるタイプのクライアント及びそれらのユーザは、今日のインターネットを使用するために、様々な期待や要求を持つ。これらの期待はまた、これら様々なユーザの各々にとってのサービス品質（QoS）要件を画定する。QoSスペクトルにおいて最も過酷な端部では、クライアントとユーザとが、１００％の信頼性及び可用性と共に、最低レイテンシでの最高帯域幅によって特徴づけられる高品質の回線を要求する。例は次の通りである。
【００１５】
ハイパフォーマンスコンピューティング（HPC）−最も過酷な状況の１つはHPCである。ここではデータは巨大で、グローバルに点在する位置に亘って分散され、可能な最低のレイテンシでの１００％の無損失送信を要求する。並行ファイルシステム（PFS）はしばしば、UPCと共に使用される。これによりクライアントはローカル及び遠隔位置の両方から、中央又は分散データストアへアクセスする。
【００１６】
金融業界−取引を実行するための金融業界による伝統的な通信ニーズは、サイズの観点でいえば、比較的小さなパケットを使用する。しかし要求される帯域幅は、１００％の信頼性を有し、絶対的に最低な可能レイテンシを有して、混雑してはならない。これはナノ秒での問題であり、損失はありえない。ラウンドトリップ（RTT）は重要である。というのも、トランザクションメッセージは通過するだけでなく、送信が成功したことの確認及び承認が、可能な限り速く返信される必要があるからである。
【００１７】
マスメディア−高解像度のライブ動画ストリームは、スポーツイベント、ニュース放送及び他の目的に及び、高い帯域幅及び低いレイテンシを要求する。
【００１８】
QoS要件スペクトルの他端では、クライアント及びユーザが、所定程度のパケット損失に耐えるアプリケーションを駆動する。このときレイテンシ及び／又は帯域幅要件は遂行不可欠（mission  critical）ではない。例は次の通りである。
【００１９】
音声ストリーミング−インターネットラジオ等に対する帯域幅ニーズはあまり多くない。小さな周期ロスはほとんど問題ではなく、瞬間的な雑音ビットを提示するだけである。
【００２０】
RSSテキストストリーム−これらは非常に小さな帯域幅を要求するが、無損失の送信を要求する。ほとんどの場合、レイテンシは実質的に重要な要素ではない。
【００２１】
データバックアップ（営業時間外）−これは、良好で十分な帯域幅とレイテンシとを要求し、データが送信及び確認されることを要求する。しかし、高級な回線を過剰に消費することは正当化されない。
【００２２】
音声通話−双方向の音声は、低い帯域幅を消費する。損失ビットは回線上で、瞬間的な雑音ビットを提示する。
【００２３】
Ｅメール送受信−これは多くの帯域幅を要求せず、「良好で十分な」レイテンシを要求して、メッセージが通過することを可能にする。高容量のサーバ及び業務用メッセージは、良好なQoSを必要とする。
【００２４】
最低のQoS要件の要求において、帯域幅可用性及びレイテンシは上昇又は下降する。しかし、ユーザはこの変動に寛容である。というのもユーザは、より良いサービスだからといって、多くのお金を払いたくないからである。
【００２５】
これらの両端の中間はメインストリーム（本流）であり、クライアント及びユーザは様々なレベルのQoS期待及び要求を有する。メインストリーム内では、低レベルから高レベルまでの期待の範囲内でグラニュラリティが存在する。例は次の通りである。
【００２６】
メインストリームのハイエンド−これは銀行、企業及び様々な他のタイプの組織を含み、これらはオフィス間のWAN接続及び／又は中央に位置するアプリケーションを要求する。ここでは、多くの分散された「シンクライアント」が、より大きな中央システムへ接続する。
【００２７】
メインストリームの中間−消費者及びSMEクライアントへサービスを提供する、IDC／CDN等におけるクラウドサーバ。
【００２８】
メインストリームのローエンド−予算を意識したホームユーザ。
【００２９】
要するに、QoQ要求はしばしば、どのタイプのネットワークが採用されるかの判定を駆り立てる。予算上の制約は、購入される「回線」の品質基準に影響する要因である。
【００３０】
イーサネットはネットワーク技術の組合せであり、最も広く使用されるネットワークタイプである。これは、オフィス、データセンタ及び他の装置クラスタ内のローカルエリアネットワークから、グローバルインターネットに亘ってグローバルなバックボーンへ展開される。
【００３１】
イーサネットは支配的なネットワークタイプとなった。この広範な使用は、LANにおいて且つより広いインターネットに亘って行われている。というのもそれは、グローバルに実装及び展開するのに比較的容易な基準だったからである。より多くの装置がプロトコル又はネットワークタイプを使用するにつれて、ネットワーク効果は重要である。というのもそれは、互換性及び他の理由で類似の技術を採用する決定を容易にするからである。
【００３２】
データセンタでは、集中コンピューティング、ストレージ、処理及び他の動作が、ラックに搭載された様々なサーバ上で行われる。ここでは、イーサネットより速い伝送が、これらのサーバを共に接続するためにバックチャネルで要求され、それらはデータを共有する。
【００３３】
ファイバチャネル及びインフィニバンド（IB）は２つのそのような技術であり、非常に低いレイテンシと高容量の帯域幅とを提供する。IBによる無損失で並行の伝送は、リモート直接メモリアクセス（RDMA）の使用を可能にするという強力な利点を提供し、また、グローバルに点在する並行ファイルシステム（PFS）を展開及び使用するための機会を提供する。IBの制限事項は、メートル単位で測定される比較的短い距離でしか展開可能でないことであった。次いで、これは数キロメートルへ拡張された。最近まで、IBの「長距離」リンクは、専用回線上を超高速のIBを介してデータセンタを互いに接続する、都市内又は２つの近い地下鉄エリア間内に限定されていた。今日の技術は、IBが距離に亘って拡張されることを可能にし、ダークファイバ回線上の２つの装置間を２万キロメートルまで通過することを可能にする。例えばBay  Microsystems及びObsidian  Researchによって開発された物理層での革新は、様々な利点（例えばIBの低いレイテンシ及び遠隔地域間のダークファイバを介した長距離RDMA能力）を提供する。
【００３４】
LANからインターネットを介したLANへのイーサネットインターネットは、TCP／IP、UDP／IP及びIPv4又はIPv6アドレス指定プロトコルを使用する。ラストワンマイル接続は、LANを、POPを介してISPのネットワークへ、そしてインターネットへリンクさせることを示す。
【００３５】
イーサネットは蓄積交換（store  &  forward）モデルを有する。ここではパケットが受信され、審査される。次いでパケットは、ペイロードが完全に受信及び審査された後に伝送される。コンピュータ／ルータ／ネットワーク装置内でイーサネットトラフィックのパケットを処理するレイテンシは、約１００マイクロ秒（μs）である。
【００３６】
インフィニバンド（IB）−イーサネットと比較して極端に低いレイテンシ。これはまた、TCP／IP又はUDP／IPよりも非常に冗長である。これは、ダークファイバ接続の上位で駆動する。ダークファイバ上のイーサネットと比較して、これは比較的速い。もしネイティブのIB／IB上のRDMAが使用されれば、レイテンシは、イーサネットのための双方向のRTTとしてではなく、効果的な送信のための片方向のものとして測定される。負荷がかかったIB帯域幅は、理論的なBW最大値の９０％から９６％に到達し、実際の有線速度に近づく。IB特性は、パケットのヘッダを受信するスイッチングを通り、伝送判定のためのロジックを使用して、パケットペイロードを前方へ運ぶ。IBは伝統的にデータセンタ内で使用されている。しかし、IBを長距離に拡張する技術のおかげで、IBは進化し、非常にグローバルな伝送手段になった。これらの新しい技術により、IBは、２万キロメートルまで、ダークファイバ上の非常に長い距離へ到達する。
【００３７】
IB上のリモート直接メモリアクセス（RDMA）はゼロコピーネットワーキングを使用する。ここではパケットはIB  NICを介して直接送信可能である。これは、CPU負荷を低減し、レイテンシを１パケットあたり１マイクロ秒（μs）まで落とす。
【００３８】
並行ファイルシステム（PFS）は分散されたファイル及びフォルダを、様々な装置に亘って提供する。このとき、RDMAが使用される。距離に亘ってIBと組み合わされたとき、PFSクラスタは、遠隔位置と遠隔ファイルストアとの間の双方向で、ほぼ有線速度にて、高速ファイルアクセスを提供する。
【００３９】
信頼性は、ネットワークタイプ同士を比較するときに非常に重要である。ネットワークタイプ、ネットワークプロトコル及び物理パスに影響する主な要素は時間及び距離である。レイテンシはデータが一方向に流れるときの測定時間、又は、２点間の特定距離上のラウンドトリップタイム（RTT）である。
【００４０】
演算において、ネットワーキングについての主な測定時間はミリ秒（ms）であり、処理についての主な測定時間はマイクロ秒（μs）又はナノ秒（ｎｓ）である。したがって、時間のティックのグラニュラリティは、分数又は少数のどちらかで測定される。それは例えば、１ミリ秒の２０分の１、１０分の１、又は１００分の１毎である。
【表１】
2018517372.tif 000003
【００４１】
ティックのグラニュラリティがどの程度細かいかは、処理力装置及び他の要因によって判定される。レイテンシの測定値は、展開的にはミリ秒で測定され、ネットワークタイプ、プロトコル、距離、ネットワーク負荷、混雑及び他の要素によって影響される。
【表２】
2018517372.tif 000004
【００４２】
表２は、真空中での光の速さを、光ファイバのガラスコアの内部での光の速さと比較する。これは、ファイバ効率の物理的な制限を示しており、ファイバを介して達成される理論上の最善の速さについての基準線を確立する。光ファイバケーブルの屈折率は僅かに変化するが、平均は次の通りである。すなわち、平均は約２０３から２０４ｍ/μｓ対光の速さ２９９．７９２ｍ／μｓであり、効率は６８．０５％である。
【００４３】
利用可能なIPv4のIPアドレスの最大値は、３２ビットのIPアドレスによって制限される。IPv4アドレスの実際の最大値は4,294,967,296（２の３２乗）である。この合計値において、約588,514,304もの予約済みアドレスが存在し、残りのたった3,706,452,992が利用可能なパブリックアドレスである。インターネットプロトコルのバージョン４（IPv4）は広く展開されているが、それは自身の成功の犠牲者でもある。というのも、利用可能なIPv4のIPアドレスの数はほとんど完全に使い尽くされているからである。LAN内の装置のためのNATing等の技術は、この問題に対処する。しかし、この問題は未解決であり、割り当てられていないIPv4アドレスはほとんどない。
【００４４】
IPv4アドレスのアドレス指定システムは枯渇に達した。ここでは、同時に利用可能なIPv4のIPアドレスはほとんどないかゼロである。より多くのものが必要とされている。IPv6アドレスが、見たところ枯渇しなさそうな供給量を提供する。IPv6のIPアドレスは、１２８ビットである。したがって、利用可能なIPアドレスの数は巨大であり、約３４０澗（340,282,366,920,938,463,463,374,607,431,768,211,456）のIPv6アドレスが利用可能である。IPv6のもとでの利用可能なIPアドレスの数は、IPv4アドレスの可用性に比べると、仮想的には制限されていない。しかし、技術は遅く、グローバルのもとでロールアウトされ、その展開の実用性は制限される。
【００４５】
多くの遺産的なネットワークは、IPv4アドレスのみに対処可能な装置で確立されており、難問を提示する。IPv6はその核心において、利用可能なIPアドレスの十分な供給量と思われる量を有する。しかし、IPv6は、多くの要因によって一般には展開されていない。要因の１つは、IPv4だけに対処しIPv4及びIPv6の両方に対処しない遺産的な機器に、CAPEX投資が行われていることである。遺産的なシステムが置換され更新されてIPv4とIPv6の両方に適応するまで、IPv4アドレス制約は存在する。
【００４６】
イーサネットプロトコルは比較的高いレイテンシ、乏しい効率、及び、長距離での低い使用率（インフィニバンドと比較して、回線容量に関して２５％よりも効率が低い）を有する。問題は拡大し、データの長距離送信は、IPベースのネットワークプロトコルのパフォーマンス欠陥と、一様でないピアリングポイントでのそれに続く帯域幅遅延積（BDP）の反響と、プロトコルのネイティブ機能に固有の他の欠陥と、によって否定的に影響を受ける。
【００４７】
インターネット接続はISP回線上で公的に共有され、したがって、専用回線（例えばMPLS又はDDN等）ほど信頼できない。負荷がかかり且つ長距離でのイーサネット帯域幅（BW）は、理論上のBW最大値に対し低い割合まで落ちる。
【００４８】
距離に亘って、異なるネットワーク構造に亘って、及びネットワーク端において、複数のネットワーク境界にまたがるピアリングに関する周知の接続問題が存在する。これらの問題及び困難は、グローバル仮想ネットワーク（GVN）によって対処され、米国仮特許出願62/108,987に記載される。それらの内容は参照によって組み入れられる。
【００４９】
TCP／IPは冗長であり、確認を要求する蓄積交換（store  &  forward）モデルを使用する。これは、非同等のセグメント間でのインターネットホップを通る混雑遅延及びボトルネックを生じやすい。その結果は、混雑又は他の要因による、高レイテンシ及び／又はパケット損失である。TCP／IPパケットが失われ又は伝送されないとき、送信者は再送を試みて伝送を確実にする。これは、RAM及びプロセッサの使用を含むハードウェアリソースに対し、大きな要求である。これに対する結果として、より多くのハードウェアは（インフィニバンドが対処する同等のトラフィック量と比較して、）大きなトラフィック量のプッシュを要求され、費用及び物理空間要件を増大させる。更にこれはハイレベルの電力消費につながる。UDP／IPは一方向であり、受信者が承認パケットを送信者へ送信することを要求しない。これはTCP／IPに対して重要な速度的な利点をもたらす。しかし、このような速度のトレードオフ（tradeoff）としては、信頼性に影響するネットワーク混雑又は他の要因が生じているときに、もしパケットが送信中に失われれば、受信者又は送信者の一方はその損失を発見できないことである。
【００５０】
ダークファイバ上のインフィニバンド（IB）は利点を有するが、排他的なポイントツーポイントファイバの両端に専用の高価な機器を要求する。各端に高価なHW装置の備え付けを要求することに加えて、増大する、毎月の比較的高い費用がダークファイバにつき要求される。もしこの回線が切断され又は失敗しても、自動的なフェイルオーバは存在ない。それはまた、IBだけのネットワークなので、費用がかさむIBカードを、この施設を使用するネットワーク内の各装置に備え付けることを要求する。備え付け及びその後の増大する操作の両方に対する技術的な能力もまた要求される。したがって、IB上のRDMAを十分に利用する統合能力が要求される。このことは、事前及び稼働中の両方において、機器及び人員の両方への投資を要求する。
【００５１】
もしユーザがグローバルなインフィニバンドのみのネットワークを確立するのであれば、ハードウェア及び統合試行に対し巨大なCAPEX投資が要求される。ポイントからマルチポイントへのトポロジ統合のために、技術職員はアーキテクチャを設定してそれを勤務中に監視及び維持し続けることを求められる。IBのマルチホーンのバックボーンからラストワンマイルへの利点は好ましいが、ハードウェアのエンドポイント装置のための初期費用と、各ポイントとポイントツーポイントトポロジとの間のダークファイバに対する定期的な費用による高いランニングコストとは、費用的且つ技術的な障害を提示する。これは、巨大で資金が潤沢な組織だけが克服可能である。
【００５２】
今日、組織は柔軟性を有して多くのタイプのネットワーク（IPv4、IPv6、インフィニバンド、ファイバチャネル及び他のネットワークタイプ）を、直接制御下のLAN内及びWAN内で展開する。もしそれらが距離に亘ってエンドツーエンドのネットワーク構造を有することを希望すれば、現在の解決策では、それらは専用回線を適切に設け、中間装置に投資してこれらのWAN接続に給電しなければならない。
【００５３】
要約すれば、TCP／IPは冗長性コストに対する信頼性を提供し、その結果、より遅い。それは、パケットが送信され、承認のために返信されることを要求する。したがって、ラウンドトリップタイム（RTT）のレイテンシが測定される。当該レイテンシは、パケットがその宛先ANDに承認のために到達してそのソースに返信されるのに要する時間である。UDP／IPは承認が返信されることを要求しない。しかし、UDPは、TCPほどエラー及び損失に寛容ではない。フロー制御がなくても、UDPはTCPほどの混雑問題を生じない。しかし、それは依然、IPプロトコルの非効率性に悩まされる。したがって、もしUDPパケットが失われれば、送信者も受信者も知ることができない。IBは並行伝送によりレイテンシが非常に低いという利点を有する。しかし、それは広く展開され、自身のハードウェアNIC、ケーブル、ルータ、及び他の操作すべき装置を要求する。IP及びIBはプラグアンドプレイと両立しない。IB上をIPを送信するために、それはインフィニバンド上のIP（IPoIB）としてカプセル化される必要がある。というのも、それはIBプロトコルにとってネイティブでないからである。IBは多くの利点を有するが、比較的高価である。
【発明の概要】
【００５４】
ネットワークタペストリを用いて、ネットワーク構造にわたってグローバル仮想ネットワークを経由して装置を接続するためのシステム及び方法が開示される。一実施形態では、ネットワークシステムは、第１のバックボーン交換サーバと通信する第１のアクセスポイントサーバと、第２のバックボーン交換サーバと通信する第２のアクセスポイントサーバと、前記第１のアクセスポイントサーバ及び前記第２のアクセスポイントサーバを接続する第１の通信パスと、前記第１のバックボーン交換サーバ及び前記第２のバックボーン交換サーバを接続する第２の通信パスとを含むネットワークタペストリとを含むシステム。
【００５５】
一実施形態では、前記第１の通信パスは、インターネット上のIPである。他の実施形態では、前記第２の通信パスはダークファイバ上のインフィニバンドである、システム。
【００５６】
他の実施形態では、ネットワークシステムは、前記第１のバックボーン交換サーバと通信する第１の並行ファイルストレージと、前記第２のバックボーン交換サーバと通信する第２の並行ファイルストレージとを含み、前記第１のバックボーン交換サーバは、前記第１の通信パスを使用すること無く前記第２の通信パスを使用して、前記第２の並行ファイルストレージへ直接書き込み可能である。
【００５７】
追加の実施形態では、ネットワークシステムは、前記第１のアクセスポイントサーバと前記第１のバックボーン交換サーバとの間の前記通信パスにある第１のファイアウォールを含み、前記ファイアウォールは前記第１のバックボーン交換サーバを、前記第１の通信パス上に存在する脅威から隔離する。他の実施形態では、ネットワークシステムは、前記第２のアクセスポイントサーバと前記第２のバックボーン交換サーバとの間の前記通信パスにある第２のファイアウォールを含み、前記第２のファイアウォールは前記第２のバックボーン交換サーバを、前記第１の通信パス上に存在する脅威から隔離する。
【００５８】
他の実施形態では、ネットワークシステムは、前記第１のアクセスポイントサーバと通信するエンドポイント装置と、前記第２のアクセスポイントサーバと通信するホストサーバと、を含む。前記エンドポイント装置と前記ホストサーバとの間の通信プロトコルは、インフィニバンド、RDMA、IPv4、IPv6及びその他のいずれか１つであってよい。前記通信プロトコルは、前記エンドポイント装置と前記第１のアクセスポイントサーバとの間で異なるプロトコルにおいてカプセル化されてよい。前記通信プロトコルは、前記第２のアクセスポイントサーバと前記ホストサーバとの間で異なるプロトコルにおいてカプセル化されてよい。前記通信プロトコルは更に、前記第１のバックボーン交換サーバと前記第２のバックボーン交換サーバとの間で異なるプロトコルにおいてカプセル化されてよい。
【００５９】
本開示の一層の理解を容易にするために、添付する図面が参照される。ここでは、類似の要素は類似の番号又は参照符号により参照される。これらの図面は、本開示を限定するものとして解釈してはならない。当該図面は例示のみを意図したものである。
【図面の簡単な説明】
【００６０】
【図１】シーケンシャルなチェーンネットワークパスのベースロジックを示す。
【図２】フェイルオーバを有するマルチリンクセグメントのトポロジを示す。
【図３】グローバル仮想ネットワークのグローバルノードトポロジを示す。
【図４】ネットワーク構造又はその構造内のセグメントの特徴を画定及び開示するフレームワークを示す。
【図５】グローバルノード及びパフォーマンスゾーンを示す。
【図６】グローバルノード及びパフォーマンスゾーンを示す。
【図７】連結されたハブ及びスポーク構成に配置されるグローバル仮想ネットワークの単純なネットワークトポロジを示す。
【図８】連結されたハブ及びスポーク構成に配置されるグローバル仮想ネットワークの単純なネットワークトポロジを示す。
【図９】インターネットロングホール及びセグメントによって接続される２つの地域における、ホップ及びネットワークセグメントを示す。
【図１０】２つのLAN間のGVNトンネルを示す。
【図１１】様々な異なるネットワークセグメントをエンドツーエンドパスに連結する処理を示す。
【図１２】２つのネットワークセグメント間のホップを介したボトルネックにおける潜在的問題を示す。
【図１３】接続セグメントについての帯域幅遅延積（BDP）を算出する式を示す。
【図１４】様々なネットワーク構造を全体的なネットワークタペストリへ連結する処理を示す。
【図１５】グローバル仮想ネットワーク（GVN）におけるアドバンストスマートルーティング（ASR）を補強するアルゴリズムのロジックを示す。
【図１６】実際の使用と比較した回線伝送容量に関する合計の潜在的帯域幅を示す。
【図１７】アクセスポイントサーバ（SRV_AP）及びそれ以降に接続されるエンドポイント装置（EPD）を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。
【図１８】アクセスポイントサーバ（SRV_AP）及びそれ以降に接続されるエンドポイント装置（EPD）を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。
【図１９】複数トンネルのそれぞれを介して複数のアクセスサーバ（SRV_AP）へ接続するエンドポイント装置（EPD）のトポロジを示す。
【図２０】グローバル仮想ネットワーク（GVN）を介して互いに接続される２つのエンドポイント装置（EPD）を連結することによって確立されるワイドエリアネットワーク（WAN）を簡略化したものを示す。
【図２１】２つのLANを、WANを介して接続する単純なネットワークトポロジを示す。
【図２２】IPとインフィニバンドとのレイテンシを比較したものである。
【図２３】アクセスポイントサーバ（SRV_AP）及びそれ以降に接続されるエンドポイント装置（EPD）を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。
【図２４】乗客が空港でチェックインからターミナルゲートエリアまで歩く時又は鉄道に乗るときに通る可能な道を示す。
【図２５】グローバル仮想ネットワーク（GVN）のようなネットワークにおいて動作する様々な装置の物理的な裏板の可能な構成を示す。
【図２６】グローバル仮想ネットワーク（GVN）を通る２つのタイプのネットワークパスを示す。
【図２７】２つのアクセスポイントサーバ（SRV_AP）間の異なる４つのネットワークパスを示す。
【図２８】複数のエンドポイント装置（EPD）が、地域におけるアクセスポイントサーバ（SRV_AP）へどのように接続するかを示す。
【図２９】グローバル仮想ネットワーク（GVN）における様々な装置間のリンクの論理的構築を示す。
【図３０】グローバル仮想ネットワーク（GVN）における様々な装置間のリンクの論理的構築物を示す。
【図３１】バックボーン交換サーバ（SRV_BBX）及びオープンジョーのAPIシーケンスを含む、GVN内の装置の例示的トポロジを示す。
【図３２】GVNにおけるGVN装置とSRV_CNTRLとの間の一連のAPIコールを示す。
【図３３】GVN内の装置及び中央制御サーバ（SRV_CNTRL）間の情報フローを示す。
【図３４】装置を様々なインターネットデータセンタ（IDC）へ配置する処理を示す。
【図３５】GVNの３つの層及びそれらがどのように相互作用するかを示す。
【図３６】ベース接続構造及びトンネル内の構造を示す。
【図３７】ネットワークタペストリへと構成されたグローバル仮想ネットワーク（GVN）の異なるネットワーク構造を、論理的且つ仮想的に示す。
【図３８】中間におけるファイバ上のインフィニバンド内の一端におけるイーサネット構造のベース接続と、他端におけるイーサネット又はインフィニバンドのベース構造とを示す。
【図３９】２つのネットワークパスと、GVNの層１でのベースネットワーク接続と、GVNの層３でのトンネルとを示す。
【図４０】複数地域にわたる、グローバル仮想ネットワーク（GVN）内の装置間の複数トンネルを示す。
【図４１】並行トンネルテストを実行してレイテンシ、帯域幅、パケット損失及び他の測定値を測定するフレームワークを示す。
【図４２】並行して、パスの接続性につき一連のテストを実行するアルゴリズムを示す。
【図４３】ネットワークオプションを開示するために使用される図である。
【図４４】ネットワークオプションを開示するために使用される図である。
【図４５】テストの実行及び、問題が検出された場合に実行される救済的アクションのために使用されるアルゴリズムのフローチャートである。
【図４６】同一地域におけるエンドポイント装置（EPD）からインターネットへのパスを示すグローバル仮想ネットワーク（GVN）を通るトポロジを示す。
【図４７】エンドツーエンドの、地域を超えるネットワークパスを示す。
【図４８】ベースネットワーク接続の第１の層のオーバーザトップ（OTT1)としてGVNがどのように構築されるかを示す。
【図４９】GVNの可能なトポロジを示す。ここでは、トラフィックは、地域間の長距離伝送につき１より多いオプションを有する。
【図５０】SRV_AP間の地域をまたぐトラフィックパスを示す。
【図５１】パス情報がどのように収集、保存及び使用されて、トラフィックがGVNを介して通るべき最善パスを判定するかを開示するアルゴリズムのフローチャートを示す。
【図５２】グローバル仮想ネットワーク（GVN）のトポロジがどのように活用されてエンドツーエンドのネイティブRDMAを提供するかを示す。
【図５３】グローバルに分散した並行ファイルシステム（PFS）が３つの並行ファイルシステム（PFS）のストレージノードの１つへのアクセスを許可して、非ネイティブのネットワーク構造のオーバーザトップ（OTT）でのGVNタペストリを介するネイティブRDMAアクセスをシームレスに許可するかを示す。
【図５４】グローバルに分散した並行ファイルシステム（PFS）が３つの並行ファイルシステム（PFS）のストレージノードの１つへのアクセスを許可して、非ネイティブのネットワーク構造のオーバーザトップ（OTT）でのGVNタペストリを介するネイティブRDMAアクセスをシームレスに許可するかを示す。
【図５５】GVNを介して接続される装置が、様々な地域における並行ファイルシステム（PFS）装置への直接RDMAアクセスをどのように有するかを示す。
【図５６】ファイルが分散並行ファイルシステムにおいてどのように格納され、分類され及びアクセスされるかを示す。
【図５７】GVN内の各装置上のグローバルファイルマネージャ（GFN）の動作と、中央制御サーバ（SRV_CNTRL）上の中央グローバルファイルマネージャ（CGFN）の動作とを示す。
【図５８】地理的宛先メカニズムを示す。ここでは、モジュールが装置（エンドポイント装置（EPD）、アクセスポイントサーバ（SRV_AP）、中央制御サーバ（SRV_CNTRL）、及びバックボーン交換サーバ（SRV_BBX））にわたって分散される。
【図５９】GVN内の地理的宛先メカニズムを示す。
【図６０】GVN内の地理的宛先メカニズムを示す。
【図６１】２つのLANをワイドエリアネットワーク（WAN）へ橋渡しする処理を示す。
【図６２】ある地域におけるアクセスポイントサーバ（SRV_AP）に接続されたエンドポイント装置（EPD）と、他の地域におけるアクセスポイントサーバ（SRV_AP）へ接続された他のEPDとの間のファイル転送のための複数のパスオプションを示す。
【図６３】IBBパスの完全な隔離を示す。これにより内部通信は完全で安全なパス上で行われる。
【図６４】地域Aと地域Bとの相互間における、長距離を介した、シーケンシャルで線形のポイントツーポイント接続のトポロジを示す。
【図６５】エンドポイント装置（EPD）上の物理的及び仮想的インタフェースの論理的構成と、それらがEPDを超えて装置へそれぞれ接続されることとを示す。
【図６６】グローバル仮想ネットワーク（GVN）のレベル１の層と、その上に構築されレベル１と統合されたレベル３の層とを開示する概念モデルを示す。
【図６７】GVNのIPモデルのレベル１を、スタックされたオーバーザトップの組織における、GVNのレベル３のIPモデルと比較して示す。
【図６８】ベースインターネット層と第１のオーバーザトップ層（OTT1）と第２のオーバーザトップ層（OTT2）とを示す。
【図６９】ネットワークタペストリを利用するための、GVN内のいくつかの例示的装置のシステム構成図である。
【発明を実施するための形態】
【００６１】
本書で使用される省略形は次のものを含む。
省略形：元形
API：アプリケーションプログラミングインターフェース
ASR：アドバンストスマートルーティング
BW：帯域幅
CAPEX：資本支出
CDA：コンテンツデリバリエージェント
CPA：コンテンツプルエージェント
CPU：中央制御装置
DMA：直接メモリアクセス
EIP：出入口ポイント
EPD：エンドポイント装置
Geo-D：地理的宛先
GFM：グローバルファイルマネージャ
HFS：階層ファイルシステム
HPC：ハイパフォーマンスコンピューティング
IAB：インターネットソサイエティのインターネットアーキテクチャ委員会
IB：インフィニバンド
IETF：インターネット技術タスクフォース
IOPS：毎秒入出力操作
IoT：モノのインターネット
IPv4：インターネットプロトコルバージョン４
IPv6：インターネットプロトコルバージョン６
ISP：インターネットサービスプロバイダ
MPLS：マルチプロトコルラベルスイッチング
NAPIM：ニュートラルAPIメカニズム
NetTap：ネットワークタペストリ
OTT：オーバーザトップ
OTT1：第１のOTT
OTT2：第２のOTT
PEDP：ポータブルエンドポイント装置
PFS：並行ファイルシステム
RAM：ランダムアクセスメモリ
RDMA：リモート直接メモリアクセス
RFB：リモートフェッチボット
SFS：セキュアファイルストレージ
SNO：セキュアネットワーク最適化
SRV_AP：アクセスポイントサーバ
SRV_BBX：バックボーン交換サーバ
SRV_CNTRL：中央サーバ
Tapestry：ネットワークタペストリ
TCP/IP：送信制御プロトコル／インターネットプロトコル
UDP/IP：ユーザデータグラムプロトコル／インターネットプロトコル
μs：マイクロ秒
【００６２】
ネットワークタペストリは、１以上のネットワーク構造を連結したものである。それは、グローバル仮想ネットワーク（GVN）の層３内又は層３のオーバーザトップで、様々な構造を共に自動的に接続し、それらをエンドツーエンドのシームレスなネットワークへ互いに並行に統合する技術である。それ自体はベースインターネット又はファイバのオーバーザトップである。このように効果的に構造を連結することは、長距離ネットワークパスの中間（ITM）における様々なネットワークセグメントを結合することとしてみなされる。グローバル仮想ネットワーク（GVN）並びに一般的なGVN及びその動作によって、問題及び課題は対処される。米国仮特許出願第62/089,113号を参照されたい。
【００６３】
ISPによって提供されるローカルなインターネット接続は、そのネットワーク内の最善の接続のために設計される。これにより、ローカルにホストされ、ローカルにCDNが施されたサイトは、最善の動作を行う。それらは良好である。というのも、それらは閉鎖的だが、同一地域内の一当事者又は少数当事者による制御下の１つのネットワーク上にあり、外部的な地域ピアリング端がない強力なピアリング関係にあるからである。
【００６４】
SRV_APを広く覆うGVNは、EPD又はPEPDへ、クライアントの既存のネットワーク接続のオーバーザトップにて、GVNへの「ローカル」なアクセスポイントを提供する。これは、それらのISPの接続ポイント（最も一般的には、存在点（POP））を介して供給され、グローバルインターネット上の全てのポイントへ拡張する。GVNはLANから、最も近いSRV_APへ、そして共有されたハイパフォーマンスネットワークリンクへオーバーザトップ（OTT）を利用する。このとき、集合ポイントは、長距離によって分離され宛先の集合ポイントへとフックされる様々な地域をリンクする。消費モデルは、低コスト機器を介してエントリと、高容量ファイバの断片的及び割合的使用についての使用モデルに対する支払とに対する低い障壁をもたらす。GVNは容易に展開及び動作可能であり、アドバンストスマートルーティング（ASR）を含んでよい。エンドツーエンドのネットワークは、自動的に接続を作成するよう構成され、必要に応じて、変化する状況に対する自動調整を実行するよう構成される。
【００６５】
GVNによって提供されるネットワークタペストリの利点は、エンドツーエンドの解決策を提供することで実現される。当該解決策は、最も効果的な、セキュアネットワーク最適化（SNO）サービスを自動化された方法で提供する。ネットワークタペストリは、インストール、構成及び使用が容易である。ネットワークタペストリはコストの節約をもたらす。というのも、専用回線は必要でなく、帯域幅モデル又は消費モデルが使用可能であり、エントリに対する障壁は低く、発展的な接続特性に対するアクセスが提供されるからである。当該接続特性は、ほとんどのクライアントにとって利用不可能又は入手不可能である。
【００６６】
図面は、次のセクションにまとめられる。
【００６７】
単純なネットワークトポロジ：これらの図面は単純なネットワークを示す。冗長性を有するものもあれば、そうでないものもある。
【００６８】
距離又はその他の要因に関連する、グローバルネットワーク、ノード及びパフォーマンス：これらの図面は、ネットワークに対する影響を示し、近接割合についてのパフォーマンスを定義する。
【００６９】
GVN−トポロジ及び特性について：これらの図面は、グローバル仮想ネットワーク（GVN）内の装置のハブ及びスポークトポロジを単純且つ導入的に開示し、エンドツーエンドのパフォーマンスの向上及び最適化を示す。
【００７０】
パスの特徴−ホップ、セグメント、及び構造の連結点での問題：これらの図面は、ネットワーク装置におけるホップ間のセグメント、ピアリングポイント、GVNはどのようにベースパスのオーバーザトップであるか、典型的なパスはどのようにセグメント（セグメントの各々は異なる仕様を有する）を含むか、帯域幅遅延積の影響、ネットワーク条件についての他の内容、を示す。
【００７１】
例示的トポロジ及びオプションのGVN概要：これらの図面は、GVNの多少の例示的トポロジと、それが様々な構造をどのように接続するかと、提供されるその後のベースルーティングオプションとを示す。
【００７２】
インフィニバンドネットワークをタペストリ内の構造としてどのように設定するかの説明：これらの図面は２つのLAN間で単純なIB  WANをどのように確立するかを示す。それは更に、長距離の構造上のIBが物理層にてどのようにGVNへ統合されるかを示す。
【００７３】
タペストリトポロジ−Eth上のIPを、IP上のIB及びIBのネイティブ構造と共にタペストリへ混合する：これらの図面は、様々なネットワーク構造をGVNへ統合するロジックを示す。この図面は、接続、フェイルオーバ、負荷分散、リソース共有、装置間通信及び統合の他の観点を含む。
【００７４】
パフォーマンスの統合のために、装置間でAPI情報を交換：これらの図面は、APIロジックと装置間リンクとを開示する。
【００７５】
GVNの３つの層と、層３が層１での条件にどのように適合して内部構造を拡張するか：これらの図面は、GVNの論理層を示し、これらが様々なタイプのネットワークセグメントに亘ってどのように管理されてエンドツーエンドのネットワーク構造を拡張するかを示す。
【００７６】
構造及びタペストリの範囲でのASR：これらの図面は、ベース接続層（GVN  L1）及びOTT内部パス層（GVN  L3）の両方でのアドバンストスマートルーティング（ASR）を示す。図４７は更に、トラフィックがGVNを流れるための既知のオプションとしての、異なるネットワークセグメントタイプの論理的マッピングを示す。
【００７７】
2018517372.tif 000005
【００７８】
2018517372.tif 000006
【００７９】
GVN−地理的宛先−リモート地域からローカル地域への高速伝送：これらの図面は、IB構造をGVN内のIP構造へ統合することが、GVNの地理的宛先メカニズムの動作を向上可能であることを示す。
【００８０】
適用されるタペストリ−例−WAN：これらの図面は、様々な構造がどのように共に組立てられて、LAN間のハイパフォーマンスなWAN接続を伝送するかを示す。
【００８１】
タペストリロジック：これらの図面は、ネットワークタペストリの論理的、物理的及び他の属性を示す。
【００８２】
システム図−タペストリ：これらの図面は、GVNネットワークタペストリ層、モジュール及び要素の、論理構造及び組織を示す。
【００８３】
本発明は様々なネットワーク構造をネットワークタペストリへ自動的に組立てる。これは、グローバル仮想ネットワーク（GVN）のコンポーネントであってよい。当該コンポーネントは、オーバーザトップ（OTT）サービスを、接続されたクライアントへ提供し、低コストのハードウェアを正当に提供する役割を果たし、今日のISPによってクライアントへ提供される既存のインターネット接続の上位にてサービスの使用料を支払う役割を果たす。
【００８４】
単純なネットワークトポロジ
図１は、シーケンシャルなチェーンネットワークパスのベースロジックを示す。SRV1-Aはパス1-P0を介してSRV1-Bに接続する。SRV1-Bはパス1-P2を介してSRV1-Cと接続する。SRV1-AとSRV1-Cとの間の接続は、パスセグメント1-P0及び1-P2を介してSRV1-Bを通過しなければならない。SRV1-AとSRV1-Cとの間には直接リンクはない。したがって、もしSRV1-Bがダウンし又は使用不可能となれば、冗長性は存在しない。冗長性がないので、SRV1-AがSRV1-Cに接続する方法はない。
【００８５】
図２は、フェイルオーバを有するマルチリンクセグメントのトポロジを示す。このトポロジは、距離、位置又は任意の他の要素にかかわらず、各ペア間の直接通信のためのサーバ間複数リンクを示す。図１のように、SRV2-AとSRV2-Cとの間には、SRV2-Bを介するパスを有するシーケンシャルチェーンネットワークパスがある。
【００８６】
SRV2-AとSRV2-Cとの間には直接通信セグメント2-P4がある。したがって、この接続は中間サーバSRV2-Bによって遅延することはない。このことは、冗長性及び動作の容易性をもたらす。このことは、１つのSRVから他のSRVへの異なるルーティングオプションを提供する。これは、QoS、速度及び他の要素を比較するために使用可能である。
【００８７】
したがって、SRV2-AとSRV2-Cとの間のSRV2-Bを通過する例示的な接続のベースロジックと、SRV2-AとSRV2-Cとの間の直接接続のベースロジックとは、冗長性を提供する。もし１つのサーバがダウンしても、他の２つは依然として互いに通信可能である。もし２つのサーバ間で１つのパスがダウンしても、２つのパスセグメントとサーバとを介してトラフィックは通過できる。
【００８８】
グローバルネットワーク、ノード、並びに、距離及び他の要素に関するパフォーマンス
図３は、グローバル仮想ネットワークについてのグローバルノードトポロジを示す。この図は、北米、南米、欧州及びアジアにおける、少々の例示的グローバルノード及び他の対応するサービスエリア間のバックボーン接続を示す。
【００８９】
右下の凡例枠内に示すように、ここでのネットワークの観点での各ゾーンの中心がグローバルノードである。各グローバルノードの周りには２つのリングがあり、これはノードの中心からの半径距離に基づいた、接続品質ゾーンのタイプを示す。これは簡略化目的のみで示される。というのも、多くの要因が、それらのゾーンの大きさ及び形を決めるからである。しかし、２つのゾーンは互いに異なる。というのも、最も狭いゾーンがハイパフォーマンスゾーンであり、他のゾーンが最適サービスエリアである。
【００９０】
グローバルノードは、長距離のハイパフォーマンスネットワークリンクを介して互いに接続される。
【００９１】
クエリを行うクライアント、サーバ又は他のタイプの装置がグローバルノードから離れるほどレイテンシは高くなる。いくつかのポイント（装置が最適サービスエリアに位置するときのポイント）では非常に距離が長いので、QoS低減が生じる。
【００９２】
最適サービスエリア外に位置する装置は、乏しいQoSを体験することが予想される。
【００９３】
例示的に示す地理的エリアは、米国カリフォルニア州サンノゼのSJC3-02、米国ニューヨーク州ニューヨークのJFK3-08、オランダ国アムステルダムのAMS3-12、日本国東京のNRT3-22、中国特別行政区香港のHKG3-28、ブラジル国リオデジャネイロのGIG3-30である。
【００９４】
世界中にはグローバルノードが配置される場所が他にも多くある。グローバルノードは重要だが、簡略化の目的で、そのうち少しだけが例示される。
【００９５】
また、各グローバルノード間にはパス（例えば、JFK3-08とAMS3-12との間のパスセグメント3-P0812）が示される。実際、２点間には、海底ケーブル、地上ケーブル、及び他のタイプの通信線又はリンクを示す多くのパスオプションが存在する。これらは例を簡略化するためのものである。回線速度又はワイヤスピードでの距離が短いほど、ポイント間レイテンシは低く、情報伝送は速い。
【００９６】
図４は、ネットワーク構造又はその構造内のセグメントの特徴を画定及び記載するフレームワークを示す。これは、装置ネットワークスタック4-100と、バックホールへのネットワーク回線及びリンク4-200との両方を示す。
【００９７】
装置4-100内では、物理的特徴4-110はコンセント、ネットワークプラグ及びケーブル、回線の物理現象の利点及び不利点、ネットワークインタフェース（NIC）又はその他を示す。データリンク4-120は、回線上のデータの特徴（ビット毎バイト、フレームサイズ、パラメータ及びその他）を示す。ネットワーク4-130は、プロトコルと、ラッパーと、パケット、フレーム又はその他の特徴と、その他の要素とを示す。伝送4-140は、フロー制御、エラー訂正コード（ECC）、又は伝送エラー訂正（FEC）、アルゴリズム、選択的圧縮、最大伝送単位（MTU）、アドレス指定、ピアリング、アイデンティティ、セキュリティ、及び他の要素が定義及び構成される位置を示す。
【００９８】
バックホールへのネットワーク回線及びリンク4-200は、サブネットワーク4-210からコアネットワーク4-220又はバックホールへのネットワークリンクの物理属性及び動作属性を定義する。これはまた、アップリンク、バックホールへのラストワンマイルと称され、又は、様々な他の名称で参照されてよい。この回線の潜在能力を定義する特徴はまた、パフォーマンス（例えば帯域幅（BW）、レイテンシ、ジッタ、及び他の要素）を測定する基準として使用されてよい。図５は、グローバルノード及びパフォーマンスゾーンを示す。
【００９９】
図５は、グローバルノード5-10を示すと共に、サービスレベルの質を示す様々なリングを示す。ハイパフォーマンスゾーン5-20は5-D00の半径を有し、クライアントとグローバルノードとの間の最善の「ラストワンマイル」接続を示す。次の品質レベルは、最適サービスエリア5-30である。中心からの半径は、5-D00と5-D02との合計であり、次のサービスレベルを示す。準最適機能5-40のリンク内ではネットワークは依然機能するが、より狭いゾーンと比較すると、準最適である。
【０１００】
半径5-D10は、グローバルノード5-10に対し中間的な近傍（例えば同一のデータセンタ内の共同位置）の距離を示す。
【０１０１】
図６は、グローバルノード及びパフォーマンスゾーンを示す。この例示的実施形態は図５に基づき、グローバルノード及びパフォーマンスゾーンを単純に示すものである。6-20は5-20に対応する。6-30は5-30に対応する。6-40は5-40に対応する。ここでは５番目のリング6-50が存在する。ここでは、ネットワークは、センタ6-10に接続されたときに機能してもよいし、機能しなくてもよい。
【０１０２】
QoSは、発信元の中心点から様々な装置への距離及び回線品質に基づく。レイテンシ及び帯域幅問題は、宛先が発信元から遠いほどに生じ、重大である。これらの距離を定量化しクライアント装置の関連距離を理解することは、予想QoSの理解を提供する。
【０１０３】
GVNについて−トポロジ及び特徴
図７は、連結されたハブ及びスポーク構成に配置されたグローバル仮想ネットワークの単純なネットワークトポロジを示す。
【０１０４】
２つの地域（地域AのRGN-A  7-000と地域BのRGN-B  7-020）の各々に、２つのハブ及びスポーク群が示される。各ハブは、RGN-A  7-000においてエンドポイント装置（EPD）（例えば7-102から7-112まで）を示し、RGN-B  7-020においてEPD7-122から7-132までを示す。これらは、アクセスポイントサーバ（SRV_AP）（例えばRGN-A7-000の7-302、7-306又は7-308と、SRV_AP7-322、7-326又は7-328）に接続可能である。エンドポイント装置（EPD）7-302から7-132までは、１以上の複数共同トンネルを通って１以上の複数SRV_APサーバに接続する。
【０１０５】
各地域内のSRV_APは、RGN-A7-000におけるローカルの、対応するバックボーン交換サーバ（SRV_BBX）7-500と、RGN-B7-020における7-520とへ接続される。SRV_BBX7-500と7-520との間の接続パス7-P510は、ファイバ上の高速バックボーン接続又は他のネットワークセグメントを介する。リンクされたSRV_BBXはグローバル接続を提供する。SRV_BBXは、地域内の、１以上の負荷分散されたハイパフォーマンスサーバであり、グローバルリンクとして機能する。
【０１０６】
図８は、連結されたハブ及びスポーク構成に配置されるグローバル仮想ネットワークの単純なネットワークトポロジを示す。
【０１０７】
この例示的実施形態は、図７に基づいておりそれと同様であるが、ハブ及びスポークトポロジモデルに対する追加スポークとして複数の出入口ポイント（EIP）8-400、8-410、8-420及び8-430を各地域に追加的に有する。ここでは、オープンインターネットからのパス及びオープンインターネットへのパスが含まれる。
【０１０８】
この例示的実施形態には、その地域内の全ての装置にサービスを提供する中央制御サーバ（SRV_CNTRL）は示されない。また、SRV_CNTRLは１以上の複数のマスターサーバであってよい。
【０１０９】
このトポロジは、リモート地域におけるEIPへのEPDを提供する。これは、GVNを通してルーティングされる。あるいは、EPDから同一地域のEPDであってよいし、EPDから他の地域のEPDであってよいし、他の多くの可能な構成であってよい。これらの接続は、GVNを通して安全化され、最適化される。
【０１１０】
このトポロジは、様々なネットワークから集合ポイントへのオーバーザトップ（OTT）のGVN層を提供する。これによりトラフィックは、様々なネットワーク構造上で、統一されたネットワークタペストリを介して流れる。
【０１１１】
パスの特徴−ホップ、セグメント、構造の連結点での問題
図９は、インターネット長距離セグメントによって接続される２つの地域におけるホップ及びネットワークセグメントを示す。この図は、ホップ9-H010、9-H020、9-H030及び9-H040を視覚的に示し、２つの地域におけるホップ間セグメント9-P1000、9-P1020、9-P3040及び9-P4000を更に示す。これらはインターネット長距離ネットワークセグメント9-2030又は地域ホップ間のセグメントのチェーンによって接続される。パスP2030は、長距離にわたりインターネットに沿った多くのホップを示す。この図は正しい縮尺ではない。もし連結セグメントと異なる場合、これらのセグメントの各々は異なる仕様を有してよく、個々の構造として考慮されてよい。
【０１１２】
図１０は、２つのLAN間のGVNトンネルを示す。この図で開示される様々な要素は次の通りである。
【表３】
2018517372.tif 000007
【０１１３】
例えばEPD0  10-D0上の10-TH02は、LAN間のトンネルの内部にある内部ホップであり、また、LAN0  10-TH00とLAN2  10-TH10との間のGVNのL3内のパスでもある。
【０１１４】
10-EH00から10-EH32までのセグメントを含むパスは、GVN  L1におけるネットワークのベースパスである。この図は、グローバル仮想ネットワークのGVNトンネル（LAN10-TH00からEPD-0  10-00、SRV_AP  AP-0の10-D4、SRV_APのAP-2  10-D6、EPD-2  10-D2及びLAN2の10-TH10まで）を示す。
【０１１５】
EDGE-00  10-B0は、ネットワークアクセス接続のための、LAN0  10-TH00とISP-0  10-FAB0との間の境界点である。
【０１１６】
PP-00は、ISP-0及びISP-2のネットワークの間の、ピアリングが生じるポイントである。PP-02は、ISP-2及びISP-4のネットワークの間の、ピアリングが生じるポイントである。
【０１１７】
EDGE-2  10-B2は、LAN-2  10-TH10の装置とISP-4のネットワークとの間のネットワークアクセス接続についての境界点である。
【０１１８】
いくつかの利点は、SRV_AP-0  10-D4をPP-00に配置することによって実現可能である。これにより、このSRV_APはISP-0及びISP-2の両方と直接ピアリングすることができる。より多くの利点は、SRV_AP-2をPP-2に配置することによって実現可能である。これにより、このSRV_APはISP-2及びISP-4の両方と直接ピアリングすることができる。もしISP-2のネットワークが理想的でなければ、他のルート、回線、ISP又はキャリアを通して、トラフィックをGVNによってISP-2の周囲に代替的にルーティングすることが可能である。
【０１１９】
ニュートラルな第３の層を通る内部ホップ数は、LANからLANまでで６つである。
【０１２０】
ISP間の距離は、正しい縮尺ではない。更に、ISPのネットワーク内にはそれより多いホップが存在してよい。しかし簡素化の目的で、限られた量だけが示される。
【０１２１】
インターネットを通るホップは10-EH00から10-EH32までである。ホップ数は１７である。
【０１２２】
この図はAPホップにおけるトンネルの連結を示すが、これはクライアント装置によって、LAN1とLAN2との間のパス内の単一のトンネルとして視認されてよい。この単一のトンネルは、GVNのニュートラルな第３の装置を示す。この内部で、インターネットを通常通過する全てのトラフィック（TCP、UDP、他のプロトコル、他のトンネル（例えばIPsec、オープンVPN、PPTP又はその他））を稼働させることが可能である。GVNの第３の層によって他の利点が実現される。いくつかは、低いTTLと、ルーティングに対する一層の制御能力とを含み、他の利点も含まれる。
【０１２３】
図１１は、様々な異なるネットワークセグメントをエンドツーエンドパスに連結する処理を示す。この図で示される要素は次のものを含む。
【表４】
2018517372.tif 000008
【０１２４】
例えばクライアント11-000からサーバ11-300まで、トラフィックは、ローカルエリアネットワーク（LAN）11-010を介して、エンドポイント装置（EPD）11-100を経由して、インターネットサービスプロバイダネットワーク11-200、バックボーン11-220、リモート地域にあるインターネット11-250、インターネットデータセンタ（IDC）の存在点（POP）11-320を通り、IDCの内部ネットワーク11-310へ向かい、次いでサーバ11-200へ達する。
【０１２５】
この例に示されるように、完全なエンドツーエンドのパスに関して、各セグメントの特性と、そのセグメントがトラフィックフローにどのように影響するかとを理解することが重要である。内部ネットワーク又はLAN11-N100は、典型的には、内部仕様のために合理的な量の帯域幅（BW）（例えば大きさ10GigEのBW11-B100）を有する。ISPのネットワーク11-N202の帯域幅はまた、40GigEのBW11-B202によって例示されるように、典型的には非常に大きい。それらの２つのネットワークの間で、クライアント位置とISPとの間のラストワンマイル接続11-N200は比較的小さく、100MbpsのBW（11-B200）である。この背後には多くの要素が存在するが、その主なものはコストである。ISPはパイプを特定サイズの帯域幅の近傍へもたらし、次いで通常は、この量を、ラストワンマイル接続の各々につき、多くの異なるユーザと共有する。これらの上流パスは、より大きく広い一般のインターネットへの開始セグメントである。
【０１２６】
バックボーン11-N220はISPを互いに、地域から地域（又はそれ以外）へ接続する。バックボーンは非常に深く高い帯域幅接続（例えば100GigEの11-B220）を提供する。これは、２点間のファイバ要素の伝送容量を示し、及び／又は、スイッチの容量評価若しくは他の要素の大きさを示す。
【０１２７】
この図におけるインターネット11-N250は、二重パイプ（それぞれ40GigEのBW11-B250及び11-B252）によって示される。これは、インターネットにおけるマルチホーン接続の一例である。共に接続されるインターネットのコアでは、他にも多くの太いパイプが存在してよい。
【０１２８】
インターネット11-N250とIDCネットワーク11-N310との間のISPピアリング11-N320は、それぞれ10GigEのマルチホーン接続（11-B320、11-B322及び11-B328）によって示される。これは、そのデータセンタに対する専用のラストワンマイルを示す。IDCについて、より多くの通信リンクが存在してよい。
【０１２９】
内部IDCネットワーク11-N310は典型的には非常に高いBW11-B310を有する。これは、様々な内部ネットワークにわたって分散され、それぞれは特定の速度で評価される（例えば100GigE）。表記「2*100GigE」は、これが100GigEのBWの２倍のネットワークであることを示す。
【０１３０】
図１２は、２つのネットワークセグメント12-100と12-500との間のホップ12-300を介したボトルネックにおける潜在的問題を示す。例えばサーバからクライアントへのファイル提供（12-900）中に、特定のアルゴリズムが、エンドツーエンドの回線伝送容量に基づいて、伝送の帯域幅を管理する。もしトラフィックのバーストが混雑により非常に高い損失を生じるとき、サーバは帯域幅を落とし（throttle  back）、最も効果的な伝送を可能にして損失を最小限にする。これにより、サーバは、パイプの使用に関しては良好で責任のある主体である。しかし、これはまた、非常に積極的な帯域幅管理をもたらし、実際のエンドツーエンドの回線伝送容量を非常に下回るほどに伝送を遅くする。
【０１３１】
サーバがデータ又はファイルのストリームの提供を開始すると、当該サーバは、ネットワークセグメント（例えば11-N220）の高い帯域幅11-BW220と想定される帯域幅に基づいて、毎秒、多くのパケットを出力する。サーバは、この大きいパイプネットワークセグメントへ接続される。
【０１３２】
もしデータストリームが12-300にて制限されれば、損失により、サーバは積極的にストリームを落として伝送を遅くする。失われたパケットを再送する必要性から、サーバは伝送速度を低減して、非常に積極的に、全体処理を遅くする。
【０１３３】
図１３は、様々な接続属性を考慮して、接続セグメント又はパスに対する帯域幅遅延積（BDP）を算出する式を示す。帯域幅13-000はメガバイト毎秒（Mbps）で測定される。グラニュラリティ13-002は秒で測定される。この例での、ビット13-022に対するバイト13-020は８なので、1/8である。レイテンシはRTT（ラウンドトリップタイム）の測定値である。
【０１３４】
BDPの意義は、サーバがデータを出力してボトルネックに当たってから、受信装置が損失を認識して承認パケットを送信サーバへ返信するまでに、どれほどのデータが回線を伝送されるかの測定値の確度を提供することである。
【０１３５】
例示的なトポロジ及びオプションについてのGVN概要
図１４は、様々なネットワーク構造を全体ネットワークタペストリへと連結する処理を開示し、具体的には、様々な周縁位置を連結する様々な接続パスの配置を示す。この実施形態は、様々なタイプのネットワーク構造を大きなネットワークタペストリへと結合可能であることを示す。これらの構造は、米国仮特許出願第62/174,394号に開示されるように、共にシームレスに、グローバル仮想ネットワーク（GVN）、様々な装置、通信パス、及びその他の実施形態のトポロジへと結合される。これは、様々な地理的地域、ゾーン又は領域が、他の様々なタイプのパス上でどのように共にリンクされるかを示す。
【０１３６】
LANゾーン0  14-ZL00は、典型的なローカルエリアネットワーク（LAN）を示す。これは、LANと外部ネットワークGVNのOTT14-202とインターネット14-30との間のエンドポイント装置（EPD）14-100に関する、ファイアウォールの配置を含む。LAN14-04とEPD14-100との間には、ハードウェアのファイアウォールFW14-40がある。他のハードウェア又はソフトウェアFW14-42は、EPD14-100と出入口ポイント（EIP）14-20との間にあり、インターネットから生じる外部の脅威からの保護を行う。
【０１３７】
LANゾーン1  14-ZL10は、トポaロジの観点でLANゾーン0  14-ZL00と類似する。ただし、EPD14-110とLAN14-46との間にファイアウォールが配置されていないという例外がある。インターネットゾーン0  14-ZI00は、14-ZL00に近い地域における例示的なインターネットトポロジを示す。インターネットゾーン1  14-ZI10は、14-ZL10に近い地域における例示的なインターネットトポロジを示す。インターネットゾーン2  14-ZI20は、14-ZD20に近い地域における例示的なインターネットトポロジを示す。インターネットゾーン3  14-ZI30は、14-ZD30に近い地域における例示的なインターネットトポロジを示す。
【０１３８】
インターネットデータセンタゾーン2  14-ZD20は、クラウドをベースとしたファイアウォールCFW14-46のトポロジと配置とを示す。これは、クラウドファイアウォール負荷分散装置の背後にある仮想化されたファイアウォール装置を含む。インターネットデータセンタゾーン3  14-ZD30は、クラウドをベースとしたファイアウォールCFW14-48のトポロジと配置とを示す。これは、クラウドファイアウォール負荷分散装置の背後にある仮想化されたファイアウォール装置を含む。地域又はゾーン14-ZD20内のSRV_BBX14-72は、ダークファイバ14-220上のダークファイバ接続14-P220を介して、他の地域又はソーン14-ZD30内のSRV_BBX14-80に接続可能である。
【０１３９】
SRV_BBX14-72はファイルを、14-P220上のリモート直接メモリアクセス（RDMA）を介して並行ファイルストレージPFS14-82へ、直接書き込み可能である。当該14-P220は、パス14-P82を介してSRV_BBX14-80のスタックをバイパス（迂回）する。
【０１４０】
SRV_BBX14-80はファイルを、14-P220上のリモート直接メモリアクセス（RDMA）を介して並行ファイルストレージPFS14-74へ、直接書き込み可能である。当該14-P220は、パス14-P74を介してSRV_BBX14-72のスタックをバイパス（迂回）する。
【０１４１】
パス14-P210は、IPv4又は任意の種類の標準インターネットプロトコルであってよい。これの上でトラフィックは、パス14-P210を介してSRV_AP14-300とSRV_AP14-310との間を相互に流れる。当該トラフィックは、GVNのオーバーザトップで、トンネル又は他のタイプの通信パスを介して流れる。
【０１４２】
本開示のトポロジはGVNパス内にFW又はトラフィック監視装置を有さない。しかし、これらの装置は、必要に応じてそこに配置されて、データフローを更に安全にすることができる。
【０１４３】
図１５は、グローバル仮想ネットワーク（GVN）内のアドバンストスマートルーティング（ASR）を補強するアルゴリズムのロジックを示す。第１の主なプロセスは、ターゲット地域15-100を同定することであり、このときその対応するサブプロセスは地域15-110を同定し、使用すべき潜在的EIPを同定する（19-120）。これは、後のプロセスをセットアップし、使用すべきターゲット出入口ポイント（EIP）へとホーン（hone）する。
【０１４４】
次の主なプロセス、すなわち、ルートオプションをプロット（15-200）は、サブプロセスのサーバ可用性リスト15-210と順位付けされたルートリスト15-220とを使用し、最適なサーバ（それらが存在しなければ、これによりトンネルを確立する）を判定する。
【０１４５】
次の主なプロセス、すなわち、ネットワークセグメントを審査（15-300）は、サブプロセスのセグメント測定（15-310）及びパスごとのネットワーク統計（15-320）を使用して、要求されるタイプのトラフィックを送信するために使用されるパスの実行可能性を評価する。例えば、最速パスを要求する非常に小さいサイズのデータについては、最短距離及び最低レイテンシが最重要であり、帯域幅の低さは大目に見られる。反対に、先頭ビットの伝送の観点で時間が重要でない巨大なサイズのデータについては、最高帯域幅を提供するパスが最適である。というのも、先頭ビットの伝送は他のパスよりも遅くても、最後のビットの到達は、高い帯域幅によって早く生じることが期待されるからである。
【０１４６】
次の主なプロセス、すなわち、ルート状態をチェック（15-600）は、サブプロセスのルートを比較（15-610）と、テスト：合計パスは完成？（15-620）とを使用して、そのパスを通るデータの伝送可能性を確保する。最後の主なプロセス、すなわち、トラフィックにとっての最善のルートをプロット（15-700）と、そのサブプロセスのサブアルゴリズム：それが最善パス？（15-710）と、このパスはトラフィックタイプにつき最善？（15-720）とが使用されて、エンドツーエンドの最善ルートを判定及び設定する。
【０１４７】
主なプロセスの各々及びサブプロセスは、各タイプのトラフィックが、そのトラフィックタイプに最も適したトンネルによって最も適切に伝送されることを確実にするために使用される。
【０１４８】
図１６は、実際の使用と比較した回線伝送容量に関する合計の潜在的帯域幅を示す。業務時間中に仕事の大部分が労働者の大部分によって行われる例示的なオフィスの場所に基づくと、月曜から金曜がBW消費と直接的な相関を有する。例示される山と谷は、各曜日中の周期を示す。実際の労働は類似するが、ユースケースごとに一意である。
【０１４９】
この図では、左側の縦軸は、パーセンテージで示す帯域幅である。それは0%から120%まで変化する。横軸は１週間７日における各日の２４時間を示す。
【０１５０】
この例は、平日は休日と比べて高いBW使用プロファイルを有するので、平日だけオフィスが稼働していることを示す。他のユースケースは、それら自身の周期プロファイルを有する。いくつかの例では常に全ての帯域幅を使用する。一方、他の例では、BW使用が著しい時間がありつつも他の時間ではBW使用が低い。
【０１５１】
キーポイントとしては、固定の専用回線は高価であり、長い時間活用されていないことである。それほど高価でない回線を使用して専用回線と類似の品質を提供するOTTサービスは、より合理的であり費用対効果がある。更に、帯域幅容量ではなくデータトラフィックの消費に基づくOTTサービスが、最上のアプローチかもしれない。
【０１５２】
所定の電位の帯域幅を提供するサービスでは、週／月における毎日の２４時間において、伝送容量が100%であることが想定される。もし回線が最大限の可能性で常に使用されれば、トラフィックのGB毎の平均費用は低い。機器に対するCAPEXと、維持のためのランニングコストと、ITスタッフ費用とを考慮すると、専用のダークファイバは高価である。もし組織が、その組織が入手可能なBW容量に対し支払うだけであれば、それは山（ピーク）を削り、使用が制限される締め付けの時間を生じさせる。
【０１５３】
回線の実使用に基づいてサービスを提供することで、最大の回線伝送容量が必要に応じて使用される。消費をベースとした使用は、クライアントは使用した分だけ支払えばよいことを確実にする。
【０１５４】
図１７は、アクセスポイントサーバ（SRV_AP）17-300及びそれ以降に接続されるエンドポイント装置（EPD）17-100を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。ラストワンマイルは、EPD17-100が配置されるネットワーク端から、インターネットサービスプロバイダの存在点（POP）までである。当該存在点はインターネットと、SRV_AP17-300への最適接続とへリンクする。セキュアトンネルはラストワンマイルのオーバーザトップ（OTT）上で、EPD17-100とSRV_AP17-300との間のインターネット接続に対し確立される。
【０１５５】
ベースインターネットパスとトンネルを通る接続との両方のサービス品質（QoS）17-102は、様々な状況に対し、絶えずテストされ、分析され、調整されてよい。ベース接続は最適化される。EPDは、１以上のSRV_APに対し複数の接続を確立し、複数のIPアドレス及びポートを使用する。EPDとSRV_APとの間のIPv4インターネットのベースパスは混雑するので、IPv6の代替パスが良い選択肢かもしれない。あるいはいずれかのプロトコルを通る異なるルートは、問題を回避するようにルーティングされてよい。
【０１５６】
SRV_AP17-300からは、他の地域に対する接続が存在してよいし、他のプロトコル又は他のそのようなオプションに対するブリッジが存在してよい。例えばトンネルの内部パス17-P100はIPv6であってよく、これはベースIPv4のネットワークパス17-P100上でカプセル化される。SRV_AP17-300を過ぎると、パス17-P110はIPv4であってよい。したがって、IPv6トンネルコンテンツは依然としてカプセル化されて、SRV_AP17-110への伝送用にIPv4上で稼働してよい。しかし、パス17-112はネイティブIPv6であってよい。このことは、IPv6上でIPv6をカプセル化する必要がないことを意味する。
【０１５７】
カプセル化されて「伝送される」任意のプロトコルは、GVNを通して、仮想的に任意の他のプロトコル又は構造上で稼働されてよい。
【０１５８】
継続的なテストの結果は、格納及びマッピングされ、その構造を通る他のオプションと比較されてよいし、ピアリングすること又は構造の特徴をタペストリへと構成することの理解のために使用されてよい。
【０１５９】
図１８は、アクセスポイントサーバ（SRV_AP）及びそれ以降に接続されるエンドポイント装置（EPD）を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。この図は図１７と類似するが、より多くの要素（例えばローカルエリアネットワーク（LAN）18-100、出入口ポイント（EIP）18-302、存在点（POP）18-012、18-022、IPv4クラウド18-010、及びIPv6クラウド18-020）が付加される。
【０１６０】
LAN18-000はIPv4及びIPv6の両方である。ベースセグメント18-P800と同様である。リモートインターネットセグメントはIPv4のみ（18-P804）か、IPv6のみ（18-P806）である。
【０１６１】
キーポイントとしては、トラフィックがGVNに入る（EIP18-302へ入る）ために、それはIPv4又はIPv6の一方又は他方であってよい。各々はGVNを通って、対応する構造に接続されて、LAN18-000へ出る。アドレス変換及びマッピングはピアリングポイントにおける重大な要素である。
【０１６２】
図１９は、複数トンネル19-P300及び19-P302のそれぞれを介して複数のアクセスサーバ（SRV_AP）19-300及び19-302へ接続するエンドポイント装置（EPD）19-100のトポロジを示す。ローカルエリアネットワーク（LAN）19-110のベース構造は、19-200のベース構造へ接続される。タペストリ19-500は、GVNの構成部分として共に動作する装置の群によって可能になる構造を共に接続する。
【０１６３】
EPD19-100とSRV_AP19-300とSRV_AP19-302との間のトンネルは、TUN100-300及びTUN100-302である。それらは、サーバ可用性と他の要素とに基づいた、EPDと最善の最新アクセスポイントサーバ（SRV_AP）との間の複数のトンネルオプションの一例である。当該他の要素は例えば、宛先、トラフィックタイプ、発信元と宛先との間の様々なベースネットワークセグメントのQoS等である。
【０１６４】
タペストリ19-500は、プロトコルが様々なGVNパスを通して、GVNの出入口ポイント（EIP）における出口又は入口へ伝送される（すなわち、「通過する」）ことを可能にする。
【０１６５】
GVN装置のクラスタ19-600は、様々なGVN装置を示し、物理層にて動作し、GVNを通るルートオプションを提供する。
【０１６６】
他のリンク19-700を経由するGVNグローバルネットワークOTTインターネットは、GVNの層２であり、地理的宛先、DNSサービス、アドバンストスマートルーティング（ASR）、グローバルASR（GASR）、サーバ可用性、トンネルビルダモジュール、テスタ、アナライザ等のモジュールを有する。
【０１６７】
GVN19-800は、構築物として記載され、様々な位置における、様々なEIPポイントに対する、GVNを通る利用可能なネットワークパスに関してクライアントユーザが視認するものである。ここでは様々なプロトコルが利用される。
【０１６８】
図２０は、グローバル仮想ネットワーク（GVN）を介して互いに接続される２つのエンドポイント装置（EPD）を連結することによって確立されるワイドエリアネットワーク（WAN）を簡略化したものを示す。この図は、トンネルTUN0  20-PTO及びTUN2  20-PT2を介してグローバル仮想ネットワーク（GVN）20-300によって互いに２つのエンドポイント装置（EPD）20-100及び20-150をGVNへ接続することによって確立されるワイドエリアネットワーク（WAN）を示す。ここでは示さないが、少なくとも１つのアクセスポイントサーバ（SRV_AP）がこれらのトンネルの各々の他端に存在することと、GVNネットワークパスにおける中間セグメントがより多く存在してよいことが想定される。
【０１６９】
トンネルTUNO20-PT0及びTUN220-PT2がベースネットワークリンクのオーバーザトップ（OTT）である。このベースネットワークリンクは多くのプロトコルのうちの１以上であってよい。
【０１７０】
この図は更に、EPDの両方におけるLAN側にて構造として動作する様々な異なるプロトコルが存在してよいことを示す。当該プロトコルは例えば、イーサネット上のインターネットプロトコル（IP）20-112及び20-162と、インフィニバンド20-118及び20-168と、他のネットワークプロトコル20-116及び20-166である。これらはブリッジ上でGVNを通って並行に駆動してよく、また、タペストリへ共に接続されてよい。
【０１７１】
任意のプロトコルは、様々な中間セグメントのチェーンにおけるネットワークプロトコルの様々なベース構造にかかわらず、GVNを通ってエンドツーエンドに流れてよい。例えば図３０では、パス30-P106から30-P116までを介した距離にわたるIBは、プラグアンドプレイ機能を有する並行ファイルシステム（PFS）へアクセスするためのリモート直接メモリアクセス（RDMA）を可能にする。更に他のオプションは、30-P308を介して他の地域にルーティングすることである。
【０１７２】
１対１の対応についての様々な可能性がある。あるいは、１対その他、１対多、あるいはその他であってよい。EPD20-100又はEPD20-110の観点からは、トンネル内のエンドツーエンドのネットワーク属性は、一端でのLAN間のネットワークタイプについては完全である。
【０１７３】
様々な構造上のグローバル仮想ネットワーク（GVN）のタペストリは、それらの間でシームレス（継ぎ目のない）なWAN回路を形成する。
【０１７４】
図２５は、異なる装置での様々な裏板を示す。LAN内の異なるネットワーク構造を物理的に接続するために、EPDは、インターネット接続のためのETH0と、LANのための３つのETHポートと、LANのための１つのIBポートとを有する。
【０１７５】
タペストリ内の構造として、距離にわたってインフィニバンドを設定する方法
図２１は、WAN21-102を介して距離にわたって２つのLANへ接続する単純なネットワークトポロジを示す。これは、ネイティブのインフィニバンド（IB）又は他のエンドツーエンドのハイパフォーマンスネットワークを使用してよい。
【０１７６】
IB  Dev  A21-200は、LAN21-300と広範なネットワークとの間のイネーブル装置として、エンドポイント装置（EPD）（例えばEPD  A）を示す。IB  Dev  B21-202は、他のLAN21-302に対するイネーブル装置として、エンドポイント装置（EPD）（例えばEPD  B）を示す。セグメント（ダークファイバC21-100）は、切り替え可能な専用回路、ダークファイバの要素、専用回線、又は物理ネットワーク媒体である。
【０１７７】
ダークファイバ上のこの種のポイントツーポイントの接続は、各端で高価な装置を必要とする。当該高価な装置は、高価で必要とされるダークファーバ上で駆動する。当該ダークファイバは両端で備え付けられる必要がある。
【０１７８】
非常に長い距離にわたるインフィニバンドは、Bay  Microsystems等の企業によるハードウェアソリューション又はObsidianネットワークによって可能となり、信頼される。
【０１７９】
長距離にわたるIBは、向上したグローバル伝送においてIPよりも良い。というのもそれは、低いレイテンシと、高い帯域幅伝送とを提供するからである。
【０１８０】
図２２は、IPとIBとのレイテンシを比較すると共にドリルダウンし、リソースの使用及び消費に関して要する時間を審査するものである。それは更に、２つの構造を、短距離、中距離及び長距離にわたるベースプロトコルで比較する。
【０１８１】
HWはハードウェアがネットワーク動作を処理するための所要時間である。これは、CPU、RAM、NIC及び他のコンポーネントによって要する時間を含む。
HW=CPU＋RAM＋NIC＋他のコンポーネント
ただし、
CPU=CPUがネットワーク動作を処理する所要時間
である。時間の大部分は、CPUがネットワーク動作を処理するためのものである。しかし、NIC及びRAMが遅れをもたらすので、処理時間が長くなる。
【０１８２】
ハードウェア時間に加え、ネットワーク動作の所要時間はまた、オペレーティングシステム（OS）と、ハードウェア及び任意のアプリケーションを含むソフトウェアスタックのドライバと、によって必要とされる時間を含む。合計システム時間（SYS）：SYS=アプリケーション|ソフトウェアスタック|O/S＋HW用ドライバ|HW
【０１８３】
例えばGVNのユースケース（例えば地理的宛先メカニズム）ではIBはイーサネットよりも速いが、CPA／RFBによって短距離でファイルを単一の群に組み合わせ、その後、ファイルのリストをサイドチャネルのAPI通信を介して通信し、その群をチェーンキャッシュで伝送し、次いでその群を解除してEPDにおけるCDAにて個別のファイルにするときはそうではない。その理由は、それを行うための所要時間である。しかし中距離から長距離では、レイテンシ低減は、プル、キャッシュ、群の生成、ソース地域から宛先地域への伝送、群内のファイルリストの通信、群の解除、及び宛先での別々のファイルの提供、を行うための追加の試行を保証するのに十分である。
【０１８４】
この分析は、群の生成／群の解除と、このアクションセット／シーケンスのメッセージ機能との両方を含む。IBが使用されるとき、ETHと比較して、CPU処理と、RAM消費と、RAMからSYSそしてNICへの内部コピーとを行うための時間もまた低減される。というのも、IBはゼロコピーであり、アプリケーションによって、NICとの相互間でパケットの直接受け渡しがあるからである。
【０１８５】
2018517372.tif 000009
【０１８６】
アルゴリズムは、基準とプログラマブルな閾値とに関連して、最善の時間を評価するために使用され、いつETHを使用するのが効果的か、又は、いつIBを使用すればより効果的かを指示する。
【０１８７】
要するに、プロトコル使用を考慮して、レイテンシを増加させる様々な要素を認識するだけでなく、強く意識することで、アルゴリズム的な分析は特徴を分析することができる。他の場合は、予想レイテンシ又は他の状況を予想することができる。
【０１８８】
図２３は、アクセスポイントサーバ（SRV_AP）及びそれ以降に接続されるエンドポイント装置（EPD）を含むグローバル仮想ネットワーク（GVN）の単純なトポロジを示す。この図は引き続き、最も基礎的なGVNのトポロジを開示し、図１７に記載のようにSRV_APへ接続するEPDを詳述する。
【０１８９】
それは更に、中間にあるバックボーン交換サーバ（SRV_BBX）のGVNネットワークパスへの追加要素を示す。２つのBBXサーバは、インターネットバックボーン（IBB）23-800上のパスによって互いに接続される。このパスはIP又はIBであってよい。
【０１９０】
図２４は、乗客が空港でチェックイン24-000からターミナルゲートエリア24-900まで歩く時又は鉄道に乗るときに通ることができる道を示す。彼らは24-010にて出発し、パスDAからDFまで移動する。彼らは直接24-100に向かってもよいし、途中でぶらついてもよい。彼らは24-100にて、鉄道に乗る決定をすることができる。もし彼らがそうすれば、パスYes24-P200を介して、彼らは24-200にて鉄道に乗る。それにより彼らは直接的に高速でパス24-P300を介して24-300へ行くことができる。そこで彼らはパス24-P320を介して鉄道から降りる。そこから彼らはDWにおいて歩道に入り、他のパスホップDX、DY及びDZを介して24-090の乗車エリアへ向かう。パス24-090を歩くことを選択した者は、DGにて歩行を開始し、ほとんどの場合ぶらつく。彼らは、道中、様々な他のホップポイント間を歩行し、終了24-090に到達する。鉄道の乗車及び降車には、少しの余分な時間がかかる。しかし、これは鉄道輸送の高速性によって、それ以上に埋め合わされる。鉄道に乗る者は、歩行するよりも疲れや潜在的ストレスが少ない。
【０１９１】
飛行機24-900からターミナル出口24-000へのパスは、開始24-910にて始まり、再び、鉄道利用か歩行かの選択肢を提供する。このとき、鉄道に乗車する選択をした者にとっては、同様のパフォーマンスと時間的な利点がある。これは長距離ポイント間でスリングホップ（slinghop）を使用するか、又は、パケットを拡張インターネットパスに沿って進ませるかの決定と類似する。
【０１９２】
鉄道への乗車及び降車には時間と労力がかかる。鉄道は固定的又は変動的なダイヤで運行する。鉄道の全ての乗客は皆、固定点Aから固定点Bまで乗車する。他方、隣接するパスを歩行する歩行者は止まることがない。
【０１９３】
鉄道により乗客を運ぶことの効率性は、より速く、より直接的であることである。歩行者は間接的なパスを選択し、もしかすると、遅れる又は道に迷うかもしれない。鉄道は同一の既知の運行パスを介して乗客を運ぶ。
【０１９４】
図２５は、グローバル仮想ネットワーク（GVN）のようなネットワークにおいて動作する様々な装置の物理的な裏板（裏板の正面）の可能な構成を示す。裏板は２つのタイプのネットワーク構造物理プラグ（すなわち、イーサネット及びインフィニバンド）を使用する。それはまた、これらのプラグが果たす少しの可能な役割を示す。用途に応じて、それより多くの又は少ない、異なるタイプのプラグが存在してよい。これらは例示目的のみで記載される。
【０１９５】
エンドポイント装置（EPD）25-100の裏板は、４つのRJ45イーサネットポート（すなわち、WANとして動作するETH0  25-110と、３つのLANポートETH125-112、ETH225-114及びETH325-116）を示す。WANポート25-110はパス25-P100を介するベースインターネット接続に対するケーブル接続のためのプラグである。１つのインフィニバンド（IB）ソケットIB0  25-120は、IBケーブルをパス25-P122を介して、LAN25-126内のIBスイッチへ接続するためのものである。それはまた、並行ファイルシステム（PFS）装置25-128又は他の装置へ接続可能である。
【０１９６】
この例示的実施形態は更に、アクセスポイントサーバ（SRV_AP）25-300、スリングノード（SRV_SLN）25-550及びバックボーン交換サーバ（SRV_BBX）25-500のための裏板を示す。それはまた、装置間の接続パス、又は、装置から様々なクラウドそして他の装置（リモートSRV_SLN25-558及びリモートSRV_BBX25-552）へのパスを示す。
【０１９７】
EPD25-100からSRV_AP25-300を介したSRV_BBX25-500へのGVN接続は、インターネット25-000を介したISPのラストワンマイル接続パス25-P000のOTT、及び、インターネットデータセンタ（IDC）パス25-302内のLAN25-032のOTTである。
【０１９８】
本開示のこれらの物理ポート、裏板（裏板の正面）、接続パス及び他の要素は、例示目的のみで示される。SRV_AP25-300上にIBポートが存在しないことは、エンドツーエンドのベースプロトコル間の「エアギャップ」として動作することを示す。ここではIBは、EPD25-100のLAN（例えばLAN25-016）内のクライアントに対し、エンドツーエンドIBのためにイーサネット上でカプセル化されてよい。しかし、もしSRV_APとEPD又は他の装置との間でネイティブIB接続があり且つ必要性があれば、SRV_AP300はIBポートを有してよい。
【０１９９】
図２６は、グローバル仮想ネットワーク（GVN）を通る２つのタイプのネットワークパス（すなわち、イーサネット上のエンドツーエンドのインターネットプロトコル（IP）パスと、一端のIPと中間のインフィニバンド（IB）バックボーンパスとの複合パス）を示す。
【０２００】
これらのパスの両方は、ローカルIPセクションのセグメントとしてインターネット26-000と26-012とを有する。レイテンシ、帯域幅及びこれらのローカルセクション26-000及び26-012の他の特徴は、これらのパスの両方に同等である。IPパスの中間セグメントは、26-P028から26-P056までである。このパスセクションのレイテンシは26-206によって測定される。
【０２０１】
スリングショットメカニズムは、セクション26-420上で伝送面での利点を有する。しかし、段階26-400及び26-440にて、スリングショットの両端には所定量の時間が付加される。どちらがより良いパスかを分析するとき、IBスリングショットパス26-260についての正味のレイテンシは、IPパス6-200と直接比較される必要がある。
【０２０２】
タペストリトポロジ−ETH上のIPを、IP上のIB及びIBネイティブ構造と共にタペストリへ混合する
図２７は、２つのアクセスポイントサーバ（SRV_AP）25-200及び25-202間の異なる４つのネットワークパスを示す。
【０２０３】
イーサネットパス上のIPが２つ（すなわち、エンドツーエンドのIPv4である27-P420から25-P436までと、IPv4及びIPv6セグメントの混合である27-P420から27-P626そして27-P636まで）示される。
【０２０４】
他に記載されるベース接続は、SRV_AP27-200からバックボーン交換サーバ（SRV_BBX）27-500（これはネットワークスリングショットを使用してデータを伝送する）、そしてリモートのSRV_BBX27-510、SRV_AP27-202までである。このとき、相互のスリングショットメカニズムを使用した戻りトラフィックが存在し、共にファイババックボーン上にある。
【０２０５】
TUN27-222は、これらの３つの接続パスのいずれかのベース上に構築されたオーバーザトップ（OTT）トンネルパスである。アルゴリズム的分析が適用されて、どのパス上のどの伝送タイプが最適かを選択可能である。この図は、SRV_APに接続するEPD又は他の装置を開示しない。しかし、それらは、ここで動作可能である。
【０２０６】
図２８は、複数のエンドポイント装置（EPD）が地域内のアクセスポイントサーバ（SRV_AP）にどのように接続可能かを示す。ここでは２つの地域が示される。存在点（POP）28-004及び28-024への出入口ポイント（EIP）は、ローカルインターネット28-002及び28-022を介して各地域の様々な宛先サーバ（又は装置であってよい）と相互作用する。
【０２０７】
ここでは、GVNを通り地域をまたぐ接続パスタイプが２つ示される。OTT28-600からOTT28-650そしてOTT28-610までは、エンドツーエンドの、インターネットプロトコルのオーバーザトップである。
【０２０８】
代替パスはOTT28-600からIBB28-800そしてOTT28-610までである。ここではIBB部分は非OTTパスであり、場合によっては２つのバックボーン交換サーバ（SRV_BBX）28-500及び28-520の間のIBである。
【０２０９】
図２９は、グローバル仮想ネットワーク（GVN）における様々な装置間のリンクの論理的構築物を示す。これはバックボーン交換サーバ（SRV_BBX）29-500及び29-502を示し、それらの各々は、サービス提供先の地域のためのハブとして動作する。SRV_BBXサーバ29-500及び29-502はバックボーンパス29-P500上で互いに接続される。当該バックボーンパスは、ハイパフォーマンスのイーサネット上IP、インフィニバンド（IB）上IP、又は他のそのような技術であってよい。
【０２１０】
各SRV_BBX「ハブ」は、様々なアクセスポイントサーバ（SRV_AP）にサービスを提供する。各エンドポイント装置（EPD）は様々な（１以上の）SRV_APサーバに同時に接続する。これにより冗長性が生じ、また、ルーティングオプションによりトラフィックが最善の接続により時々刻々と進む。
【０２１１】
示される接続パスは、IPイーサネットインターネットのオーバーザトップのトンネル、又は、イーサネット直接リンク上のトンネル、又は、ファイバ上IB、イーサネット上IB（RoCE）、又は他のタイプの接続であってよい。
【０２１２】
SRV_BBX及びSRV_AP装置の配置は、クライアントの位置からの予測される要求に基づき、パイプに関して最善のIDCに位置し、グローバルな場所に接続しつつも相互接続してターゲット地域にサービスを提供する。
【０２１３】
装置はまた、中央制御サーバ（SRV_CNTRL）29-200にパス経由で接続する（例えば29-EP112からEPD25-112まで又はパス29-P218からSRV_AP29-318まで等）。これらのパスにより、装置は、情報伝送のために、API又は代替トラフィックパスを介してSRV_CNTRLへ接続可能である。
【０２１４】
図３０は、グローバル仮想ネットワーク（GVN）における様々な装置間のリンクの論理的構築物を示す。この図は図２９からの続きであり、様々な装置のグローバル仮想ネットワーク（GVN）内での接続を開示する。ここでは、エンドポイント装置（EPD）30-100及び30-110からアクセスポイントサーバ（SRV_AP）30-300に着目する。
【０２１５】
いくつかの意味で、これは図２９に示される図を単純化する。ここではいくつかの要素（例えば、各装置から他の装置まで又はクラウド若しくはその組合せまでの複数の接続パス（例えばGVNクラウド30-200のオーバーザトップのトンネル（TUN）30-T00から30-T02））が追加される。
【０２１６】
GVN及びそのコンポーネント部分はサービスを提供し、クライアント接続を向上し安全にする。複数の位置に同時に存在する複数の「ローカル」、又は、自動システムは制御可能且つ構成可能であり、最適化された接続を提供し、コスト節約を実現してMPLS代替物になるという利益、また、拡張されたハイパフォーマンスの接続（例えばリモート直接メモリアクセス（RDMA）、セキュリティ、及びプライバシー）を、暗号化されたトンネルを介して提供するという利益（又はその他の利益）をもたらす。
【０２１７】
巨大な利益は、様々なネットワーク構造タイプを接続可能な能力（例えばEPD30-100のLAN30-108におけるIB、EPD30-110のLAN30-118におけるIB）である。仮に中間におけるいくつかのベースセグメントがネイティブのIBでなくIPであっても、これはクライアント視点からは、エンドツーエンドのIBである。これは、IP上のIBをカプセル化すること、又は他のIBネイティブ回線を介してルーティングすること（あるいはその他の方法）によって実現される。
【０２１８】
キーポイントとしては、GVNは、様々なネットワーク構造がベース層の様々な他のネットワーク構造のオーバーザトップで動作することを可能にすることである。全体的な効果は、様々な構造をネットワークタペストリへ共に組合せることであり、GVNによって、最高のセキュリティでの最善のパフォーマンスのために可能化され最適化されることである。
【０２１９】
統合されたパフォーマンスのための装置間でのAPI情報交換
図３１はGVN内の装置の例示的トポロジを示す図である。この図は、本開示の実施形態による、セキュリティ及びオープンジョーのAPIシーケンスを有するバックボーン交換サーバ（SRV_BBX）トポロジを含む。この例示的な実施形態は、典型的なグローバル仮想ネットワーク内のデバイスの例示的なトポロジ内のシーケンスにおける、一連のAPIコールを示すものである。
【０２２０】
アクセスポイントサーバSRV_AP31-300から中央制御サーバSRV_CNTRL31-200への最初のAPIコールリクエスト31-A2が、SRV_CNTRL31-200によって受信、パース及び処理される。次いでそれは、更に３つのAPIコールをトリガし、これら全てはSRV_CNTRL31-200によって開始される。通信の種類に応じて、これらは順に行われてよいし、同時に並行処理されてよい。これらの３つの追加コールは、バックボーン交換サーバSRV_BBX31-800へのリクエスト31-A4及びレスポンス31-A6と、他のサーバSRV_BBX31-810へのリクエスト31-A8及びそのレスポンス31-A10と、最後の第３の追加APIコールとして、SRV_AP31-302に対するリクエスト31-A12及びSRV_CNTRL31-200に対するレスポンス31A-14である。３つ全ての「内部」コールが完了すると、最後のレスポンス31-A16がSRV_AP31-300へ、すなわち、最初のリクエスト31-A2を開始したデバイスへ返信される。
【０２２１】
APIリクエスト31-A2及びレスポンス31-A16は、SRV_BBX31-800を伴うその内部コール31-A4から31-A6までと、SRV_BBX31-810を伴う31-A8から31-A10までと、SRV_AP310-302を伴う31-A12から31-A14までとが完了するまで完了することができないという条件を有するオープンジョーのコールとして特徴付けられる。この理由は、SRV_AP31-300が測定及び統合目的又は他の理由で次のアクションを実行可能となる前に、SRV_AP31-300によって情報が要求されるからである。例えばエンドツーエンドのトンネルはSRV_AP31-300からSRV_BBX31-800、SRV_BBX31-810及びSRV_AP31-302へと、パス31-P800から31-P808及び31-P810を介して確立される必要がある場合、これらのデバイス全ては適切な情報及び詳細で構成され又はトリガされる必要がある。このタイプのAPIコールは、31-A2を介してSRV_CNTRL31-200までこれをセットアップするリクエストを示し、次いで当該リクエストは内部の３つのAPIコール（すなわち31A4から31-A6と、31-A4から31-A10と、31-A12から31-A14）を通る。レスポンス31-A16は、SRV_AP31-300が使用する構成及び設定情報の両方や、他のピアデバイスが設定され準備ができたことを示す、SRVCNTRL31-200からの通知を含むことができる。
【０２２２】
図３１は、EIP31-500から31-P500、POP31-600及び31-P600を介してオープンなインターネット31-700へのフローを含む。図３１は、EIP31-502から31-P502、POP31-602、31-P502及びEIP31-502を介してオープンなインターネット31-702へのフローを含む。31-P100はEPD31-100及びSRV_AP31-300を接続する。31-P500はSRV_AP31-300及びEIP31-500を接続する。31-P102はEPD31-102及びSRV_AP31-302を接続する。31-P502はSRV_AP31-302及びEIP31-502を接続する。
【０２２３】
いくつかの実施形態では、31-A4／31-A6と、31-A8／31-A10と、31-A12／31-A14とは、連続性又は順番に関して独立したAPIコールである。他の実施形態では、31-A4／31-A6と、31-A8／31-A10と、31-A12／/31-A14とは並行して実行されてよい。
【０２２４】
セキュリティ要素は本開示で図示されるGVNトポロジ内の様々な位置に配置可能である。例えばファイアウォールFW31-400及びFW31-402は、31-P800及び31-P810に沿って配置されてよい。ファイアウォールFW31-400及びFW31-402は、SRV_BBX31-800及び31-810をインターネット脅威から保護可能であり、安全なバックボーン通信を確実にする。
【０２２５】
セキュアな出入口ポイント（EIP）31-500及び31-502についての情報はまた、この種のAPI交換における要因であってよい。
【０２２６】
図３２は、GVNにおけるGVN装置とSRV_CNTRLとの間の一連のAPIコールを示す。これは、内部APIコールをカプセル化して包含するオープンジョーのAPIコールブックエンドを示す。３つの内部ラウンドトリップ（往復）は、外部ラウンドトリップが無事に完了するために要求される依存関係であり、これにより外部APIコールが完了したものとして構成される。この例示的な実施形態は図３１に基づいており、グローバル仮想ネットワークにおける、GVNデバイスと中央制御サーバSRV_CNTRL32-200との間のAPIコールのセットの異なる外観を提示する。オープンジョーのブックエンドAPI#1（32-A2から32-A16まで）は、内部APIコールAPI#2（31-A4から31-A6まで）と、API#3（31-A8から31-A10）と、API#4（31-A12から31-A14まで）とをカプセル化し包含する。
【０２２７】
３つの内部ラウンドトリップ（往復）は、外部ラウンドトリップが完了したものとして構成されるのに要求される依存関係である。API#1（32-A16）についてのレスポンスは、結果を評価してレスポンスとして返信する前に、内部のAPIコールAPI#2（31-A4から31-A6まで）、API#3（31-A8から31-A10）及びAPI#4（31-A12から31-A14）が完了するのを待つ。その後初めて、オープンジョーのAOIが閉じてレスポンスが送信される。
【０２２８】
このタイプのシーケンスは、SQLステートメントのトランザクションセットに類似する。全てが完了する必要があり、さもなければ何も完了しない。したがって、コールの１つ以上に障害がある場合には、ロールバックが可能である。
【０２２９】
図３３は、本開示の実施形態による、GVN内の装置と中央制御サーバ（SRV_CNTRL）33-200との間の情報フローを示す中央リポジトリはデータベース33-58を含み。ファイルストレージ33-68はSRV_CNTRL33-200へ接続される。いくつかの実施形態では、中央リポジトリはAPI／アクション情報を格納してよい。他の実施形態では、それはトンネル及びルート情報、及び、装置特有のサーバ可用性リスト又はその他を前後関係に沿って生成するために使用されるデータを含んでよい。例えば、中央リポジトリはAPI／アクションの定義と、API／アクションを処理するのに用いられる、API／アクションに関連付けられたスクリプトとを格納してよい。いくつかの実施形態では、中央リポジトリはまた、装置同士のピア関係を格納してよい。このリポジトリはまた、既知のネットワーク構造、それらの現在及び過去のパフォーマンス、並びに、ネットワーク構造の特徴についての情報を格納してよい。これは、類似のネットワーク構造又はその他の分析において有用である。
【０２３０】
33-P100、33-P200、33-P300、33-P202、33-P502、33-P206及び33-P506は、ピアのペアを有するGVN装置間での通信を表し、それゆえ、互いの特権的な関係を表す。EPD33-100、SRV_AP33-300及び他の装置33-502はファイルストレージ33-60、33-62及び33-64と、データベース33-50、33-52及び33-54に接続されてよい。
【０２３１】
SRV_CNTRL33-200から33-P100を介してEPD33-100へ、33-P300を介してSRV_AP33-300へ、又は33-P502を介して他の装置33-P502へと図示されるピアペア通信の循環パターンが存在する。EPD33-100はP200を介してSRV_CNTRL33-200と通信し、33-P202を介してSRV_AP33-300と通信し、33-P502を介して他の装置33-502と通信する。
【０２３２】
いくつかのインスタンスでは、装置間で共有される情報のループが存在する（例えばEPD33-100がSRV_CNTRL33-200から33-P200を介した情報をリクエストする場合、当該情報は33-P100を介してEPD33-100へと返信される）。
【０２３３】
他の実施形態では、装置は他の装置へ関連情報を報告する。例えばSRV_AP33-300は33-P202を介してSRV_CNTRL33-200へ報告し、SRV_CNTRL33-200は33-P100を介してEPD33-100へ又は33-P502を介して他の装置33-502へ情報を送信する。
【０２３４】
更に他の実施形態では、完全なループは必要でなくてよく、例えばEPD33-100等の装置から33-P200を介してSRV_CNTRL33-200へログ情報を送信するときは、この情報を更にその先へ伝送する必要はない。しかし、ログ情報はその後、SRV_CNTRL33-200上のリポジトリから、33-P502を介して、長期ログストレージサーバ8500へ移動される。
【０２３５】
直接リンク33-PT02は、装置EPD33-100とSRV_AP33-300との間にある。直接リンク33-PT08はSRV_AP33-300から他の装置33-502への間にある。直接リンクはSRV_CNTRL33-200による関わりを必要としない、装置間通信を伴う。
【０２３６】
SRV_CNTRL33-200からのプッシュ情報33-208は、33-P208を介して発行されるRSSフィード又は他のタイプの情報であってよい。SRV_CNTRL33-200からのAPIクエリ33-206は、伝統的なAPIトランザクション又はRESTfulAPIコールであってよく、リクエストは33-P206REQを介して生成され、レスポンスは33-P206RESPを介して受信される。プッシュ33-206及びAPIクエリは、ピアペア関係、アクションコード又は定義（例えばアクションコード及び／又は定義は取得されなかった、アクションコード及び／又は定義は古い）、特権状態を共有しないデバイス、及び／又はGVN装置を有する類似のシステムアーキテクチャ、を示すために提示される。
【０２３７】
データ情報はEPD33-100のDB33-50上に、SRV_AP33-300のDB33-52上に、他の装置33-502のDB33-54上に、SRV_CNTRL33-200のDB33-58上に、及びSRV_BBX33-500のDB33-56上に格納される。更に、２つのタイプのファイルストレージが本書で開示される。その２つとはすなわち、HFS（自身の内部アクセスのために装置上にホストされたストレージハードウェアである階層ファイルストレージ）と、PFS（スタンドアロンでありRDMAアクセスを提供する並行ファイルシステム）である。PFS33-510は、RDMA（リモート）アクセスを介した他の位置にある他の装置上のPFSファイルストレージを示す。
【０２３８】
図３４は、装置を様々なインターネットデータセンタ（IDC）へ配置する処理を示す。ここではIDC1  34-002とIDC2  34-004とは同一地域にある。IDC3  34-006は他の地域に位置する。IDC0  34-000は中央サーバ（SRV_CNTRL）34-200の位置を示す。
【０２３９】
34-P500は、国際的又は地域をまたぐリンクによる、グローバルノード間での地域間接続であり、IDC1  34-002をIDC3  34-006と接続する。SRV_CNTRL34-200サーバは複数マスタトポロジであり、様々な装置と通信する時に同等の動作を行う。キーとなる特徴は集合トポロジである。ここでは地域的な群における複数のデータセンタにわたるSRV_AP34-200、34-202、34-210及び34-212が、パス34-P200、34-P202、34-P210及び34-P212を介して共通のSRV_BBXノード34-500へリンクされる。これは他の地域に位置する他のSRV_BBX34-506に接続される。それは、パス34-P220及び34-P222を介する、SRV_AP34-220及び34-222のための長距離伝送集合ポイントである。装置の動作及び協働はAPIパスを介して（例えばSRV_AP34-212からパス34-API-08を介してSRV_CNTRL34-200へ）行われる。
【０２４０】
GVNの３つの層と、L3がどのようにL1での条件に適合して内部構造を拡張するか
図３５は、GVNの３つの層及びそれらがどのように相互作用するかを示す。LAN35-000は内部トンネル35-L300の内部のホップ35-H0からホップ35-H8までのEPDを介して、LAN35-020へ接続する。トンネルセグメント35-P010から35-P016までは、GVNを通るエンドツーエンドの構造を構成する。
【０２４１】
レベル２の論理装置35-L200は、レベル１のネットワーク装置35-L100上の接続性を分析及び調整して、様々な装置を１つの構造へ共に組み立ててGVNに対し最適化させる。構造のピアリングポイント及びレベル１のベース接続は、35-S00、35-S02、35-S04及び35-S06である。35-L200と35-L100との間の相互作用は35-LC0102を介する。35-L300と35-L200との間の相互作用は35-L0203を介する。ベース構造35-S00、35-S02、35-S04及び35-S06の間の接続（seam）はレベル２の35-L200によって管理される。これにより１つの構造のトラフィックは異なる構造上を流れることができる。
【０２４２】
ベースインターネット構造35-100から35-102は、IPv4、IPv6、IB、IPv4／IPv6、又は他のネットワークタイプであってよい。L300を通るパスは、クライアントに対し可視的なGVN層である。L100はエンドツーエンドの様々なネットワークセグメントの物理的なネットワーク層を示す。L200は層であり、ここではタペストリがロジック、統合、アドレスマッピング、ルーティング及び他の技術を介して構築される。
【０２４３】
図３６は、ベース接続構造及びトンネル内（TUN1）36-T00内の構造を示す。トンネルはベース接続のオーバーザトップ（OTT）で駆動する。更なる実施形態では、２つの装置間の通信パスと、エンドポイント装置（EPD）36-100と、アクセスポイントサーバ（SRV_AP）36-200とを示す。
【０２４４】
トンネルは他のベース接続のオーバーザトップ（OTT）である。これらのパスは、利用可能なときのネットワーク構造のタイプ（例えば36-OTT00→ユビキタスなインターネットプロトコルバージョン４（IPv4）である36-OTT02→インターネットプロトコルバージョン６（IPv6）である36-OTT06→インフィニバンド（IB）である36-OTT08→その他のいくつかのネットワークタイプ又は構造の組合せ（例えばネットワークセグメント上のIPv4又はIPv6が可能である構造））を示す。
【０２４５】
TUN1  36-T00は、インターネットのオーバーザトップ（OTT）の２つの装置間に構築されたトンネル（又はブリッジ）を示す。それは、エンドツーエンドの36-OTT00、36-OTT02、36-OTT06又は36-OTT08の１つであってよいし、ネットワークセグメントのチェーンにおける様々な異なる構造の組合せのOTTであってもよい。
【０２４６】
36-P00はトンネル内のIPv4構造である。36-P02はトンネル内のIPv6構造である。36-P04はRoCE又は、IPイーサネット上のカプセル化されたRDMAである。36-P06は、他の類似のプロトコルとしてのIP上のIB（IBoIP）である。36-P08はまた、IPv4、IPv6又はその他等の組合せであってよい。キーポイントは、GVN上のタペストリを介したエンドツーエンド構造が、他の任意の構造上又は様々な他のネットワーク構造のチェーン上にあることである。EPD36-100のLAN又はSRV_AP36-300のクラウドのいずれかに位置する装置は、エンドツーエンドのネットワークを、ベース接続にかかわらず、トンネルを介して駆動される構造として視認する。
【０２４７】
図３７は、レベル３のネットワークタペストリへと構成されたレベル１のグローバル仮想ネットワーク（GVN）における異なるネットワーク構造を、論理的且つ仮想的に示す。この流れはトップで入る１つの構造であってよく、GVNによって組み合わされエンドツーエンドで伝送され、他端で存在する。
【０２４８】
例えばIPv6  37-102は、どのタイプの構造が中間にあるかにかかわらず、パス37-P102を介してネットワークタペストリ37-300に入り、パス37-P112を介してIPv6  37-112へ出る。GVNはそのオーバーザトップで駆動する。
【０２４９】
GVNを通るこれらの様々な構造は、他の構造と共に並行して駆動可能であり、入口ポイント（エントリポイント）と、出口ポイントとを有する。
【０２５０】
図３８は、中間におけるファイバ38-002上のインフィニバンドと、一端のイーサネット構造38-000のベース接続と、他端のイーサネット又はインフィニバンドとを示す。これは更に、EPD38-110、38-120及び38-130と、他端のサーバ38-116及び38-126並びに並行ファイルシステム（PFS）38-136との間の３つのオーバーザトップ（OTT）トンネルを示す。EPD38-110からTUN38-210及びサーバ38-116までは、エンドツーエンドのインフィニバンド（IB）である。EPD38-120からTUN38-220及びサーバ38-126まではエンドツーエンドのIPである。EPD38-130はエンドツーエンドのリモート直接メモリアクセス（RDMA）であり、PFS38-136内の長距離RDMAアクセスを可能にする。
【０２５１】
インターネット上の１つのポイントから他のポイントへのパスは、典型的には１より多いタイプの構造にわたって通過する。GVNは、様々な異なるネットワーク構造をネットワークタペストリへと自動的に分析し組立てる。このことによりクライアント装置は、様々な異なる構造セグメントのオーバーザトップで、選択した、一貫したエンドツーエンド構造の並行セットを並行して有することができる。GVNは、インターネット等のベースネットワーク上の第１のOTT（OTT1で示される）である。第２のOTT（OTT2）構築物はGVNのオーバーザトップで確立される。
【０２５２】
ネットワークタペストリは例えば、EPD38-120からサーバ38-126までの間のIPv6を可能にする。しかし、EPD38-120からSRV_AP38-320までは、ベース接続38-000はIPv4であってよい。というのも、トンネル内のIPv6はカプセル化されるからである。クライアント視点からは、それは発信元からネットワークパスに沿った宛先までの、エンドツーエンドのIPv6である。共に組み立てられたベースネットワークセグメントは、IPv4及びIPv6構造のタペストリを構成する。このとき、潜在的には、IB等の他のプロトコルが共に組み合わされる。
【０２５３】
図３９は、２つのネットワークパスを示す。下方のパスは、GVNの層１でのベースネットワーク接続を示し、他方のパスはGVNの層３でのトンネルを示す。様々なネットワークパ構造タイプをネットワークタペストリへ統合するためには、様々な装置や様々な分散モジュール（例えば通常のインターネット接続のオーバーザトップでSRV_APに接続するEPD／PEPD、アドバンストスマートルーティング（ASR）、地理的宛先、地理的宛先メカニズム要素（例えばチェーンキャッシュ）、逆ジオキャスティング及びその他、データ伝送を向上するために情報交換を向上するNAPIM、グローバルファイルマネージャ（GFN）、その他）がGVNのトポロジへ組織されることを伴う。
【０２５４】
EPDは、テストに基づいてそのEPDのために固有に生成されたサーバ可用性リストと、他のEPDからの現在及び将来の需要を考慮した負荷分散と、サーバ可用性メカニズム39-222によって考慮される他の要素と、を使用することによって、どのSRV_APと接続するかを認識する。
【０２５５】
したがって、各装置（例えばアクセスポイントサーバ（SRV_AP）に接続するEPD）がその役割にしたがって機能するには、そのEPDは、トンネルの構築又は再構築に関して複数の動作を行う必要がある。荒天モードは、困難なネットワーク状況に対処するのに役立つ。EPD装置がホスト及びピアの両方、中間装置、コア連結点に接続するには、他の装置は共有された情報に基づいてアクションを協働する必要がある。
【０２５６】
処理されるデータに基づいて最善のパスタイプを選択するのにキーとなる特徴は、サーバ39-118及びビルダ39-110がトンネルマネージャ39-210及びアドバンストスマートルーティング39-228と協働することである。関連するファイアウォール及びセキュリティ監視39-0140並びに他のモジュール39-160は、層１（39-GVN-1）で動作し、いくつかの支援をテスタ及びビルダに提供する。トラフィック及び帯域幅アナライザ39-258並びに接続分析39-288は、トラフィック及び帯域幅ロガー39-228並びにその他によって使用される情報を提供する。EPDはトンネルテスタ39-322を有する。SRV_AP39-312も同様である。というのも、ネットワークパス分析は双方向に対する洞察を提供する必要があるからである。このアプローチは、ピアリング、ボトルネック、ルーティング又は他の事柄についての問題を検出することに役立つ。当該問題とは、データフローの片方向には生じるが、その逆方向では生じないものであってよい。
【０２５７】
異なるタイプのコンテンツフローを処理するとき、例えばクリック対コンテンツ（画像）提供対動画ストリーム又は巨大データファイルは、そのQoS要件で少々異なる。それらの全ては異なって処理され得る。
【０２５８】
層３の39-GVN-3にて、トンネル又は一連の連結トンネル39-T01から39-T02及び39-T03までを通るパスを構築する動的システムを確立するために、情報は、39-T01を介したEPD39-100とSRV_APとの間の接続と、39-T02を介したEPD39-300とSRV_AP39-302との間の接続と、39-T03を介したEPD39-102とSRV_AP39-302との間の接続を維持するためだけなく、最低の可能レイテンシで、他の改善が提供された状態での最善の帯域幅を維持するためにも使用される。
【０２５９】
向上したセキュリティは、EPDとSRV_APとの間と、他の装置間とで自動構築された複数トンネルによって提供される。このとき、トンネル内トンネルと、起動時の自動化されたセキュアブートと、オンザフライの構成が可能な動的トンネルマネージャと、セットアップと、調整等とが使用される。これらはまた、より良い接続による生産性獲得につながり、最善のセキュアネットワーク最適化と、向上したルーティング等とを提供可能である。他の機能はハートビート周期によって、且つ予定されたメンテナンス時刻及びイベントによってトリガされる。この機能は、テスト、ロギング、接続性分析を含み、自動治癒を有する。様々なタイプのネットワークをネットワークタペストリへ共に組み合わせることを理解することで、ベースインターネット層１（39-GVN-1）において組み合わされた複数構造についての複数プロトコルセットが提供され、トンネル39-GVN-3の内部で任意のエンドツーエンドパスが提供される。テストは、トンネルの両端39-CTN140及び39-CTN240にてLANからGVNへのパフォーマンスを分析し、また、GVN39-CTN340と地域を超えたインターネットのセグメントセクション39-CPT340との間で、パフォーマンス及び適性を比較及び照合する。
【０２６０】
構造及びタペストリ範囲でのASR
図４０は、複数地域にわたる、グローバル仮想ネットワーク（GVN）内の装置間の複数トンネルを示す。この例示的実施形態は更に、GVN39-GVN-3の層３にて、グローバル仮想ネットワーク（GVN）のパス内のトラフィックが利用可能なルーティングオプションを開示する。GVNの構築物は、ベースインターネット構造のオーバーザトップ（OTT）である。各セグメントは層１（39-GVN-1）の物理ネットワークタイプを考慮する。層３（39-GVN-3）のパスは他のネットワークタイプであってよい。このアプローチにより、ネットワークタイプのタペストリと様々な構造プロトコルとは、データサイズとネットワーク状況と他の要素とを考慮して、エンドツーエンドで駆動し、そのデータタイプにつき最適なパスを介してデータを伝送する。
【０２６１】
EPD40-100でのクライアント位置から第１のSRV_AP40-300、SRV_AP40-302又はSRV_AP40-304へのベースインターネット接続上のOTTについての利点は、クライアントがGVNに入る複数のオプションを有し、専用の解決策よりも低いコストで、それらの通常回線を使用可能であることである。EPD40-100は同一のインターネット回線上で接続するが、中間のルーティング要素、混雑、ピアリング、及びパイプ容量等により、TUN40-T00、TUN40-T02及びTUN40-T04は異なるサービス品質（QoS）を提供してよい。したがって、複数のオプションは、代替物を提供することで、全体的なQoSを改善する。これらのTUNはまた、異なるベース構造を提供可能で、その上位では、内部構造がOTTを動作させる。例えば、もし層１（39-GVN-1）のIBの上位であれば、GVNの層３（39-GVN-3）でのネイティブのインフィニバンド（IB）は最も効率的に稼働する。
【０２６２】
GVNはベース接続のオーバーザトップ（OTT）のサービスとして、集合ポイント、バックボーン及びOTTへと、他の構造上で伝送される。このとき、自動化がなされ、複数層が含まれ、アドバンストスマートルーティング（ASR）及びその他の機能により、複数ステップの最善パス分析がなされる。利用可能なオプションが多いほど良い。
【０２６３】
EPD40-100は、ある位置40-MOにあり、SRV_AP（SRV_AP40-300、SRV_AP40-302及びSRV_AP40-304）は地域40-M2にある。SRV_AP（SRV_AP40-310、SRV_AP40-312及びSRV_AP40-314）は地域40-M3にある。
【０２６４】
層３（39-GVN-3）におけるパスの構築物の種類によって、ループのリスクを最小限にすることと、誤った地理的宛先ルーティングやASRリモートリダイレクトバックトラックを防ぐことと、SRV_APと地域との間の破壊されたリンクを認識して対処するためのテストとを実行する必要がある。また他の問題も存在する。
【０２６５】
この図はまた、様々な出入口ポイント（EIP）（40-510、40-512及び40-514）のマッピングを示す。これらは、GVNトラフィックがGVNの向こうでインターネット構造を検出するための宛先であり、トラフィックがこれらの位置からGVNに入って層３（39-GVN-3）を介して他の位置にルーティング（例えばEPD40-100を介してLAN40-000へ）されるための開始点でもあり、GVNを介して利用可能な他の宛先でもある。
【０２６６】
したがってパス選択は、QoS要素、層１（39-GVN-1）の構造タイプ、容量対現在負荷、装置とそのパスオプションとに基づく文脈的なマッピング、他の固定的且つ動的な要素に基づく。
【０２６７】
図４１は、並行トンネルテストを実行してレイテンシ41-100、帯域幅41-110、パケット損失41-120及び他の測定値41-150を測定するフレームワークを示す。これらの処理は、２つの装置間のネットワークセグメントで、装置１（39-GVN-1）のネットワーク構造上で、装置３（39-GVN-3）のGVNパス又はセグメント上で、又は、他のネットワークパス又はセグメント上で、実行可能である。
【０２６８】
テストは順番に又は並行して、連結点41-020から実行されてよい。
【０２６９】
テストの後、他の処理が実行されてリソース41-300をクリーンアップして解放する。テストの最後に、テスト結果をログ（41-320）し、テストを実行する装置によって参照のために又は中央制御サーバ（SRV_AP）による分析のために、関連情報を保存する。この情報は、サーバの文脈的な動的リストを確立するときに使用可能である。これにより装置は、テスト結果とGVNパス構築物のルートオプションのマッピングとを考慮して、構成中のサーバ可用性リストに接続可能である。
【０２７０】
図４２は、並行して、パスの接続性42-010につき一連のテストを実行するアルゴリズムを示す。テストは層３（39-GVN-3）のトンネル上と、ベース接続39-GVN-1上との両方で実行される。現在のトンネルはテストされ（42-110）、例えばEPDとSRV_APとの間で、ベースパスのテストと比較される（42-120）。これら２つのテストの結果を分析することで、ベース接続の健全性とトンネルの健全性とに対する洞察が提供される。もしトンネルの健全性が乏しくてもベース接続が良ければ、救済は単にトンネルを再確立すること、又は、そのAPへのアクセスのためにIPとポートとの異なるセットを使用すること、又は他の救済であってよい。
【０２７１】
トンネルテスト42-110が乏しい結果を返すが代替トンネル42-130が良好な接続を提供する場合、トラフィック負荷は単に、２つのうち良好な方にシフトする。
【０２７２】
いくつかの理由で、最新ユーザのネットワーク使用を監視すること（42-160）は非常に重要である。その理由の１つは、テストでのパフォーマンス測定は、最新のネットワーク負荷を考慮する必要があることである。というのも、テストは回線の帯域幅を共有し、それ故に予想回線容量に対して誤った低いBW測定値を生成するように見えるからである。したがって、もし接続が20MbpsのBWを有してユーザがテスト中にそのBWの15Mbpsを使用するなら、テストは5Mbps以上を生成すると想定するのが合理的である。というのも、それが利用可能な全てだからである。他の理由としては、最新の使用を監視することは、その情報を使用して、テスト用にパラメータを設定することである。これにより、テスト自体は、ネットワークを現在使用するクライアントにとって、QoSを妨げ遅延させ又は干渉しない。
【０２７３】
全ての結果はSRV_CNTRL42-280に共有される。これにより細かいテスト結果が、装置毎、地域毎又はシステム全体等で収集される。これにより、それは分析され将来的に使用可能である。
【０２７４】
図４３は、ネットワークオプションを記述するために使用される図である。A43-100はソースである。トラフィックは理想的なパスタイプ、構造、QoS又は他の基準に基づいて分離される。各パス43-P210、43-P220、43-P230、43-P240及び43-P250のQoSをテスト及びロギングすることで、分析が提供され、他のタイプの良好なパスが存在するかどうかの潜在性がなくなる。
【０２７５】
BレベルのB1  43-210、B2  43-220、B3  43-230、B4  43-240及びB5  43-250は、ベースインターネット接続のOTTの第１の接続である。パス43-P210、43-P220、43-P230、43-P240及び43-P250のパフォーマンスは比較及び照合され、利用可能なパスのセットから最善のパスを判定する。最適な条件に基づいて最善のパスを判定するとき、QoSは構造及びプロトコルタイプを考慮する。
【０２７６】
CレベルのC1  43-302からC15  43-330までは、データタイプ、QoS、現在利用可能な代替接続の関連QoS、及びGVNを通るパスに基づく、長距離接続である。Cレベルは、開始点としてのAレベルに全てが接続するBレベルを経由する。
【０２７７】
図４４は、ネットワークオプションを記述するために使用される図である。この図は引き続き、A、B及びCレベルのルーティングオプションに関し、図４３に示される例示的実施形態を示す。新たな要素は、クライアント100、宛先直前の集合ポイントD44-500、及びサーバ44-800である。これは更に、レベルCから集合ポイントDへの接続パス（例えばC14  44-328からD  44-500への44-CP328）を示す。クライアント100からA44-100への通信パスも存在する。
【０２７８】
この例示的実施形態は、アドバンストスマートルーティング（ASR）にとって利用可能な複数ステップオプションを示すために使用される。当該アドバンストスマートルーティング（ASR）は、トラフィックタイプにとっての最善ルートをプロットし、テストからパス品質（QoS）に基づく最善ルートを考慮するときに使用される。
【０２７９】
他の実施形態（例えば可視的なマッピングを行って、ルートオプションをプロットすること、テストのためのフレームワークとして使用すること、及び他の用途)も存在する。
【０２８０】
図４５は、テストの実行45-100及び、問題が検出された場合に実行される救済アクション45-300のために使用されるアルゴリズムのフローチャートである。このアルゴリズムは開始点45-000及び終了点45-500を有するので、駆動が要求されたときにトリガされる必要がある。というのも、無限ループではないためである。
【０２８１】
実行すべきアクションは、検出されたパケット損失45-P310を処理する方法であってよい。これは、複製コンテンツ45-310のマルチストリーミングを要求する。例えば、ベース接続45-P340に問題がありGVN39-GVN-1の層１での設定45-340を調整する場合、又は、セグメント問題45-P380が存在する場合、救済はプロトコル設定45-390を調整すること等である。
【０２８２】
少なくとも２つの場合には、通知がトリガされてよい。第１に、問題が検出されたが（45-200）同定されていない場合、ロジックはパス45-P300をたどる。もしベース接続が確立されたが問題がわかりにくい場合、支援策が通知されてよい（45-240）。他の通知例は、もし帯域幅使用が容量45-P350以上であれば、管理者はこの状況につき通知を受けてよい（45-350）。通知をトリガするイベントが他にもあってよい。
【０２８３】
もし問題が検出されれば（45-410）、ロギングはテスト45-110と救済アクションとの両方につきなされる。これらのログは、分析及び将来の使用のために中央制御サーバ（SRV_CNTRL）へ複製されてよい。
【０２８４】
図４６は、エンドポイント装置（EPD）から同一地域のインターネット46-000へのパスを示すグローバル仮想ネットワーク（GVN）を通るトポロジを示す。EPD46-100はまた、クライアントのベースインターネット接続のオーバーザトップのトンネルを介して、アクセスポイントサーバ（SRV_AP）46-200へ接続する。この例示的実施形態は更に、SRV_AP46-200を超えて異なる装置（例えばパス46-P700を介して46-700へ、パス46-P702を介してSRV_AP46-702へ、パス46-P500を介してバックボーン交換サーバ（SRV_BBX）46-500へ）パスオプションを示す。
【０２８５】
この例示的実施形態は更に、他の地域におおいて様々な構造をネットワークタペストリへ共に組み合わせる同一の又は異なるプロトコルを開示する。これらの接続の品質もまた測定される。EPD46-100からローカルインターネット46-000への接続品質（QoS）は、QoS  ISP46-802によって測定される。トンネルパフォーマンスは、QoS  TUN  OTT  ISPからGVN46-806によって測定される。GVNを通りSRV_AP46-200を超える接続はQoS  GVN46-808によって測定される。
【０２８６】
GVNを通る様々なパスタイプオプションを介する接続品質の分析は、データタイプに一致する構造タイプ、サイズ、QoS要件及び他の要素に基づいて、トラフィックが通る最善パスを判定するために使用可能である。より多くの構造が理解されて共に組み合わされれば、より様々な構造タイプオプションがタペストリによって採用可能である。
【０２８７】
図４７は、エンドツーエンドの、地域を超えるネットワークパス47-CPT300を示す。それはこのパスを３つの異なるセクション（すなわち、ある地域47-CTP310におけるローカルセクションと、他の地域47-CPT320におけるローカルセクションと、長距離バックホール47-CTP330上でその２つの地域を接続する中間セクション）へ区切る。
【０２８８】
開示される更なる特徴は、このネットワークパス47-CPT300に沿って利用可能な構造である。インターネットプロトコルバージョン４（IPv4）のパス47-400は、47-P402から47-P428までのセグメントによって示される。インターネットプロトコルバージョン６（IPv6）のパス48-600は、47-P612から47-P628までのセグメントによって示される。IPv4とIPv6との組合せパス47-500は、セグメント47-512から47-520までである。スリングホップへの相互スリングショットメカニズムはパス47-800で示される。IPv4パスへ統合され組み合わされるスリングホップは、コンボパス47-900によって示される。
【０２８９】
セグメントの自動マッピング及びセクションオプションの理解によって、最も効率的に様々なネットワーク構造をタペストリへ組み合わせることが可能である。自動テストは全てのルート（レベル１（GVN39-GVN-1）のベースパス上のセグメントとレベル３（GVN39-GVN-3）のGVNタペストリ内のセグメントとを含む）を審査及び評価する。
【０２９０】
１つのタイプのネットワークを、他のタイプのベースネットワークセグメント上でカプセル化又は他の方法によって駆動する方法が存在する。しかしこれらは、インターネット上の複数の異なるセグメントにわたっては一貫しない場合がある。したがって、GVNのレベル２（39-GVN-2）は必要なときに、ネットワークパス構造タイプを変更しなくてはならない。例えばIPv6は47-P402から47-P408まででカプセル化可能であり、次いで、ネイティブのIPv6上を47-P510から47-512、47-520、47-P622を介して47-P628まで、稼働可能である。
【０２９１】
2018517372.tif 000010
【０２９２】
EPD48-100とアクセスポイントサーバ（SRV_AP）48-300との間の多次元のオーバーザトップ構築物は、IPv4とIPv6との複合パスのOTTで構築される。このとき、GVNはそれらの間にIPトンネル48-112を確立し、トンネルを通る接続パスがその48-122のオーバーザトップで確立される。
【０２９３】
このトポロジは更に、LAN端をLAN48-000の端部を超え、EPD48-100を超えて拡張し、LAN拡張物としてクラウド48-322へ入る。このメカニズムはまた、クラウドノードをEPD48-100へプルし、クラウドサービスがAPP又は他のGVN機能を介してホストされるためのローカルノードとして動作する。
【０２９４】
他の利点は、この種のタペストリ構築物によって実現可能である。
【０２９５】
図４９は、GVNの可能なトポロジを示す。ここでは、トラフィックは、地域間の長距離伝送につき１より多いオプションを有する。
【０２９６】
２つのアクセスポイントサーバ（SRV_AP）間のトンネル又は他のタイプのネットワークパスは、ベースインターネット又は長距離若しくは他のタイプのイーサネットのオーバーザトップ（OTT）のIPであってよい。このとき、SRV_AP49-300とSRV_AP49-310との間のパス49-P308が介される。このセグメントはセクションETH49-020によって測定及び分析される。
【０２９７】
それはまた、２つのバックボーン交換サーバ（SRV_BBX）49-500とSRV_BBX49-510との間の、パス49-P500からIBXクラスタ49-038、パス49-P510及びSRV_BBX49-510までを介したパスオプションを示す。このセグメントはセクションIB49-028によって測定及び分析される。
【０２９８】
図５０は、SRV_AP間の、地域をまたぐトラフィックパスを示す。この図は図４９と類似する。ここでは、長距離バックホールのための複数のパスオプション（例えばセクションOTT  IP50-620によって測定されるIPパス50-P620）が示される。他のオプションは、SRV_BBX50-500とSRV_BBX50-510との間での、IBパス50-P500から、BBXクラスタ50-520及びパス50-P510までである。
【０２９９】
この例示的実施形態は更に、地域A  50-608及び地域B  50-618におけるIDC内の複数のSRV_APサーバを示す。当該SRV_APサーバは冗長性、複数パス及び高い可用性の「前線」リソースを提供する。これによりEPDはサーバ可用性リストによって管理される接続オプションを有する。
【０３００】
この実施形態では、SRV_BBX50-500及びSRV_BBX50-510は、それぞれの地域についての集合ポイントとして動作し、また、地域をまたぐグローバルノードでもあり、他の地域のグローバルノード及び装置に対し、向上した接続パスを提供する。
【０３０１】
図５１は、パス情報がどのように収集（51-110）及び保存（51-110）され、テストを実行し、収集されるか（51-120）のアルゴリズムのフローチャートであり、また、トラフィックがGVNを介して通るべき最善パスを判定し、それらの結果をデータベース51-B010において分析及び保存するためにどのように当該パス情報が使用されるかを示すフローチャートでもある。各パスについてのプロトコル及び仕様は、テストされ（51-130）及び保存される（51-136）。このアルゴリズムは、必要に応じて調整を行い（51-120）、接続を改善可能である。それは、ルートが理想的か否かをチェックし（51-220）、もしそうでなければ（51-P250）、新たなルートが確立されテストされる（51-250）。
【０３０２】
もし接続51-300が理想的でなければ、パスチェック及びテストが、パス51-P102を介して再開する。もし状況が理想的であれば（51-P380）、結果はロギングされ（51-380）、次いでパス51-P022を介して51-020にて再開する。それは、次の時間周期まで待機し（51-040）、もし時間になれば（51-P100）、それは再開する（51-100）。
【０３０３】
適用されるタペストリ−例−ファイルマッピング、伝送、PFS装置を介する可用性GVN−Geo-D−リモート地域からローカル地域への高速伝送
図５２は、グローバル仮想ネットワーク（GVN）のトポロジがどのように活用されて、１以上のエンドポイント装置（EPD）52-100及び52-110の位置のローカルエリアネットワーク（LAN）内からエンドツーエンドのネイティブRDMAを提供し、パスを介して、同一又はリモート地域における並行ファイルシステム（PFS）装置52-608へ接続するかを示す。それはGVNタペストリ上のOTT1である。
【０３０４】
IB  OTT2構造構築物上のRDMAは、GVNのOTT1のOTTである構築物上に確立される。
【０３０５】
この図は、RDMA構造の端を拡張する。これによりそれは52-P608を介して、ネイティブRDMA構造52-P638として接続される。端部での認証は、ネットワーク層ではなくアプリケーション層での要素の数に基づいてよい。これらは、装置が検出可能か否か、読み取り及び／又は書き込み及び／又は他の動作が装置上、ドライブ上、フォルダ上、ファイル上等で許可されるか否かをトグルする。
【０３０６】
GVN上の統合ポイントを介した、トラフィックからインフィニバンドサーバ交換ポイント（SRV_BBX）への最大限の通信最適化がなされる。SRV_BBXの並行ファイルシステム（PFS）は、ローカルに且つIBトランスポートを介して、SRV_AP上のファイルマネージャのRDMA可用性を可能にする。
【０３０７】
図５３は、グローバルに分散した並行ファイルシステム（PFS）が３つの並行ファイルシステム（PFS）のストレージノード（53-800、53-802、53-812）の１つへのアクセスをどのように許可して、非ネイティブのネットワーク構造のオーバーザトップ（OTT）でのGVNタペストリを介するネイティブRDMAアクセスをシームレスに許可し、更に、この機能に要求されるハイパフォーマンスコンピューティング（UPC）の原則にこだわるかを示す。パス53-P300はベースインターネット接続であり、このオーバーザトップで53-TUN00は53-P300のOTTを稼働する。パス53-P500はIDC又はIDC間のOTTインターネットのいずれかである。
【０３０８】
他の実施形態では例えば、EPD53-100の裏にあるクライアントのLAN  A53-102における１つのPHSインスタンス53-800は、「クラウド」53-802及び53-812内の他の２つのPFSインスタンスにリンクされる。GVNを通してこれら３つのPFS装置を接続するパスは、、ベースネットワーク接続にかかわらず且つ、GVNを通る他の構築済み構造と並行して、より大きいGVNタペストリ内の構築物構造としてのネイティブRDMAであってよい。
【０３０９】
図５４は、グローバルに分散した並行ファイルシステム（PFS）が３つの並行ファイルシステム（PFS）のストレージノードの１つへのアクセスをどのように許可して、非ネイティブのネットワーク構造のオーバーザトップ（OTT）でのGVNタペストリを介するネイティブRDMAアクセスをシームレスに許可するかを示す。この例示的実施形態は、図５３の続きであり、ブリッジパス54-P600から54-P508としてのRDMAパスオプションの論理的構築物と、グローバル仮想ネットワーク（GVN）内の第２のオーバーザトップ（OTT2）のパスとしてのエンドツーエンドパス54-P610とを示す。
【０３１０】
この例示的実施形態は更に、ネットワークタペストリを適用して、様々な異なるネットワーク構造のオーバーザトップ（OTT）の様々なエンドポイント（OTT）の間のGVNトンネルを介して、ネイティブRDMAを提供する。
【０３１１】
LAN54-000内の装置は、RDMAによってPFSファイルストレージ装置（例えば54-600及び／又は54-610）上に物理的に格納されたファイルにアクセス可能である。このときそれらは、あたかも、ローカルに且つ直接的にPFS装置に接続されたかのようである。地域を介したファイル同期、伝送及び複製はまた、パス54-P510を介する。
【０３１２】
図５５は、図５３及び５４上に基づいており、GVNを介して接続される装置が、様々な地域における並行ファイルシステム（PFS）装置への直接RDMAアクセスをどのように有するかを示す。
【０３１３】
それはまた、各サーバが、それに接続される階層ファイルシステム（HFS）をどのように有するかを示す。例えばアクセスポイントサーバ（SRV_AP）55-300はHFSファイルストレージ装置55-308を含み、バックボーン交換サーバ（SRV_BBX）55-500はHFS55-508を含む、等である。
【０３１４】
２つのSRV_BBXサーバ55-500及び55-510はパスIBB55-580を介して接続される。当該パスは、インターネットバックボーン又はファイバ接続若しくは２地域間の他の接続である。各SRV_BBXは１以上のSRV_APに接続される。例えばSRV_BBX55-510はSRV_AP55-310にリンクされる。各SRV_BBXは、それらの地域内のネイティブのインフィニバンド（IB）クラスタに接続される。例えばIBクラスタ55-550は、パス55-P500を介してSRV_BBX55-500に接続される。このIBクラスタ55-550は、PFS装置55-552、55-556及び55-558のそれぞれに対する論理的なネットワークパスアクセスを提供する。同様に、IBクラスタ55-560はPFS装置55-568、55-566及び55-562に対するアクセスを提供する。
【０３１５】
第２のオーバーザトップOTT2としてのこのトポロジは、ベースにおけるネットワーク構造にかかわらず、地域をまたぎ、構造をまたぐネイティブRDMAを可能にする。図５６は、物理層56-100におけるファイルに基づいて、ファイルがどのように格納され分類され及びアクセスされるかを示すと共に、利用層56-300でのグローバルファイルマネージャ（GFN）によってそれらがどのように使用されるかを示す。ここで、ファイルについての情報は、抽象層56-200でのデータベース（DB）56-220内に格納される。パス56-FA108及び56-FA102はファイルアクセス（FA）を示す。パス56-DP102、56-DP108及び56-DP220は、HFS装置56-102上及び／又はPFS装置56-108に格納された物理ファイルと、56-202でのファイルテーブル内のファイル情報との間のデータベース情報パス（DP）のためのものである。各ファイルについての情報は、ファイルテーブルデータベース列（例えば56-222データ列）内に格納される。ファイルテーブル内のデータ列についての例示的フィールドは、HFSの[格納タイプ]又はその他であってよい。[装置ID]は装置テーブルを参照する装置のIDである。[サーバlD]はサーバのIDである。[装置タイプ]はEPD、SRV_AP、SRV_BBX又はその他であってよい。[フォルダ]はファイルが保存されるフォルダへのパスである。他のフィールドはファイルテーブルの構造内であってよい。
【０３１６】
ファイルパス（FP）56-PF102及び56-FP108は、HFS56-102又はPFS56-108のそれぞれへのファイルアクセスのためのものである。これらは装置タイプ、装置ID及び、物理ファイルが位置するフォルダIDの組合せである。
【０３１７】
ファイルテーブル56-202に関連する他のテーブル（例えばファイル対応56-204、サーバ56-210及びユーザ56-206）はファイルに関連可能である。それより多い又は少ないテーブルが実装されてよい。
【０３１８】
キーポイントとしては、利用層56-300でのGFM56-302は、抽象層56-200でのテーブル内に格納される情報をインデックス付けし、組織することである。それは各ファイルについての広範な情報を含む。ファイルは物理層56-100の装置上に格納される。
【０３１９】
図５７は、GVN内の各装置上のグローバルファイルマネージャ（GFN）の動作と、中央制御サーバ（SRV_CNTRL）57-200上の中央グローバルファイルマネージャ（CGFN）の動作とを示す。
【０３２０】
各GFMは、それらの中に含まれる階層ファイルストレージ（HFS）装置上に格納されたファイルを追跡する。例えばSRV_AP  GFM57-300はHFS57-306上に格納されたファイルを追跡し、SRV_BBX  GFM57-500はHFS57-506上に格納されたファイルを追跡する等である。
【０３２１】
各装置上の各GFMは、そのファイルについての情報を、APIパス57-200300、57-20050、及び57-200510を介してSRV_CNTRL57-200上のCGFMへ報告する。反対にCGFMはまた、前述のAPIパスを使用して、ファイルストレージ及び位置の情報を全ての装置へ複製する。
【０３２２】
更にファイルが並行ファイルシステム（PFS）装置（例えば57-800、57-802、57-806、57-810、57-812及びは57-816）上で格納、修正、削除又は管理されるとき、ファイル情報はまた、CGFM57-200へ伝送される。それは次いで、この情報を全ての装置へ複製する。
【０３２３】
SRV_BBX57-500とSRV_AP57-300との間にはファイル伝送パス57-FP300が示される。SRV_BBX57-500とSRV_BBX57-510との間にはファイル伝送パス57-FP500が示される。
【０３２４】
適用されるタペストリ−例−地理的宛先
図５８は地理的宛先メカニズムを示す。ここでは、モジュールが装置（エンドポイント装置（EPD）58-100、アクセスポイントサーバ（SRV_AP）58-300、中央制御サーバ（SRV_CNTRL）58-200、及びバックボーン交換サーバ（SRV_BBX）58-D550及び58-D500）にわたって分散される。
【０３２５】
EPD58-100とSRV_AP58-300との間の接続は、パス58-CP02か、58-TP00から58-TP02までか、バックボーンパス58-BB0を介するSRV_BBX58-D550と58-D500との間か、であってよい。
【０３２６】
SRV_BBXサーバは地理的宛先メカニズムを可能にし、ネットワークタペストリを活用して、PFSを介した高速で長距離のファイル可用性を実現する。このことは、チェーンキャッシュ（のみ）のクライアント−サーバ伝送技術及び／又はその他の方法とは対照的である。
【０３２７】
図５９は、GVN内の地理的宛先メカニズムを示す。これは更に、リモートフェッチャボット（RFB）59-D328及びコンテンツプルエージェント（CPA）58-D320についての効率性の一例を示す。これらは共に、リモートクライアント58-800に代わって動作し、コンテンツ58-600、58-602、58-606、58-608及び58-610をフェッチする。EPD58-100上で動作するコンテンツデリバリエージェント（CDA）58-D120は、CPA58-D320と通信する。これによりそれは、あたかもクライアント58-800が、SRV_AP58-300が位置したリモート地域に位置するかのように動作する。リモートに位置するSRV_AP58-300のIPアドレスを使用することによって、地理的位置の観点から、フェッチされるコンテンツはそのリモート地域に対してローカルである。しかしパフォーマンスを押し上げるために、下記の、地理的宛先メカニズム機能が、（クライアント上でのユーザの観点から、）次の処理を高速化し、同時に単純化する。すなわち、現代のウェブページ上では、様々なソースから提供される多くの別個のコンテンツが混在する傾向にある。クライアントが個別のファイルをリモートに位置するサーバからフェッチすることには、ルーティング、帯域幅（BW）ボトルネック、レイテンシ、パケット損失及び他の事項によって、制約及び問題が有る。
【０３２８】
クライアントがファイルの大部分（例えば１０から１００以上までの個別ファイル）をフェッチし、ストリーミングデータのフローを管理しなければならないとき、距離の問題がかなり混在し得る。
【０３２９】
図６０はまた、GVN内の地理的宛先メカニズムを示し、特に、複数ファイル59-600、59-602、59-606及び59-608がどのように、リモート地域内のアクセスポイントサーバ（SRV_AP）59-300上のリモートフェッチャボット（RFB）59-D328から検索されるかを示す。当該リモート地域には、コンテンツが位置する。
【０３３０】
当該検索されたファイルは、SRV_AP59-300上のキャッシュマネージャ59-D330に渡され、そこでそれらは分類され、１つの大きなファイル59-700へ集められる。これは並行ファイルシステム（PFS）59-508又はPFS59-558のいずれかへ保存され得る。
【０３３１】
分類されたファイルについてのこのリストは、EPD59-100上のコンテンツデリバリエージェント（CDA）59-D120へ渡されて、キャッシュマネージャ59-D130によって集合を解除されファイルチェックされるために使用され、CDA59-D120に対する認証が成功するとファイルはクライアントへ提供される。ファイル59-610、59-612、59-616及び59-618は、あたかもそれらがソースサーバによって提供されるかのように、EPD59-100からリクエスト元クライアントへ提供される。
【０３３２】
GVNの他の要素と合わせてこの地理的メカニズムは、逆CDNの効果をもたらし、ローカルパフォーマンスQoS（例えば低いレイテンシ及び高い帯域幅）で、リモートサイトをクライアントへもたらす。
【０３３３】
適用されるタペストリ−例−WAN
図６１は、２つのLAN61-000及び61-010をEPDを介してワイドエリアネットワーク（WAN）へもたらす処理を示す。各EPDはまず、それらのインターネット接続のオーバーザトップ（OTT）で確立されたベーストンネルを介してアクセスポイントサーバ（SRV_AP）61-200へ接続される。
【０３３４】
ベース接続パスOTTは、EPD61-100から、パス61-P022を介して存在点（POP）61-022へ、そしてインターネット61-020、POP61-024及びSRV_AP61-300までである。
【０３３５】
ベース接続パスOTTは、EPD61-110から、パス61-P032から存在点（POP）61-032、インターネット61-030、SRV_AP61-300のPOP61-034までである。これはまた、SRV_AP61-300にリンクされる他のSRV_AP（ここでは図示せず）を示してよい。
【０３３６】
POP61-024からSRV_AP61-300への通過パス61-P026から、61-P036を介するPOP61-034は、インターネットを通るパス、SRV_APを通るパス、又はSRV_APをバイパスすることによるパス、又は、公衆ネットワーク上でルーティングに依存することによるパスであってよい。もしEPD61-100がインターネットを介してEPD61-102に接続したい場合、それは、GVN又はEPDによる制御外のポリシーに基づいて異なるルートを通ってよい。
【０３３７】
EPD61-100はそれ自身とSRV_AP61-300との間にトンネルTUN61-T00を確立する。EPD61-102はそれ自身とSRV_AP61-300との間にトンネルTUN61-T10を確立する。それらのトンネルの１つ又は両方は、暗号化又は安全化されてもよいし、されなくてもよい。
【０３３８】
複数のトンネルの両方を通る他のトンネル又は内部トンネルINT  TUN61-T20が存在し、トラフィックが通過するSRV_AP61-300にて連結されてよい。このトンネルは通信パスであってよく、これを通ってWANが確立され、EPD61-100をEPD61-110へ接続する。
【０３３９】
キーポイントは、トンネル対ベース接続は、それぞれ、異なるネットワークプロトコルであってよいことである。GVNによって与えられるネットワークタペストリは、様々なネットワークセグメントのチェーンへマップされる異なるネットワークプロトコルの混合であってよい。同時にGVNは、内部トンネル内において、１つのネットワークタイプの、エンドツーエンドのオーバーザトップ構造であってよい。
【０３４０】
図６２は、ある地域内のアクセスポイントサーバ（SRV_AP）62-300へトンネルTUN59-200を介して接続されたエンドポイント装置（EPD）62-100と、他の地域内のアクセスポイントサーバ（SRV_AP）62-320へTUN59-210を介して接続されたEPD62-110との間のファイル転送の複数パスオプションを示す。
【０３４１】
62-P600から62-600及び62-P602までと、62-P610から62-610及び62-P612までとのパスは、IP  OTTインターネットのためのものである。62-600を介するパスは、エンドツーエンドのファイル転送のためのものである。62-610を介するパスはファイルのチェーンキャッシュを使用し、バックボーンにて超高速を利用し、ファイルをストレージ装置まで（プルのために可能な限り要求元クライアントの近くまで、又はプッシュのために可能な限り受信装置の近くまで）運ぶ。
【０３４２】
パス62-P500はバックボーン交換サーバ（SRV_BBX）62-500をSRV_AP62-300へ接続する。
【０３４３】
パス62-P510はバックボーン交換サーバ（SRV_BBX）62-510をSRV_AP62-310へ接続する。
【０３４４】
62-P800から62-800及び62-P802までのパスと、62-P810から62-810及び62-P810までのパスとは、ダークファイバ上のネイティブインフィニバンド（IB）及び同等の私的な回線のためのものである。この上位では、IP及び／又はRDMAが流れ得る。62-800を介するパスは、PFSサーバ上に格納されたファイルへの直接RDMAアクセスのためのものである。62-810を介するパスは、ソースPFS装置から他の地域内の他のPFS装置までのファイルのクローンを伴う。
【０３４５】
選択されるトラフィックは、最も利点のあるパスを介するものである。このときトラフィックフロー決定は、最も適切なパスタイプによるトラフィックタイプに基づく。最善フロー又は異なるデータは最善パスタイプを介し、次いで、GVNを介して最善の「最新」ルートパスを通る。これは二重に良い。
【０３４６】
図６３は、IBBパス63-800の完全な隔離を示す。これにより内部通信は完全で安全なパス上で行われる。
【０３４７】
FW63-400及びFW63-410は、アクセスポイントサーバ（SRV_AP）63-300とバックボーン交換サーバ（SRV_BBX）63-500の間、及び、SRV_AP63-310とSRV_BBX63-510との間で、それぞれ、内部IP通信パス63-P300及び63-P310を保護する。
【０３４８】
他の保護策としては、パス63-P100、63-P300、63-P110及び63-P310はインターネットプロトコル（IP）であって、且つ、パス63-P500、63-P510及び63-P528はインフィニバンド（IB）であることである。ファイアウォールに加えて、この物理的なプロトコルジャンプはギャップを提供する。当該ギャップは、IPとIBとの間の汚染を論理的に不可能にする。
【０３４９】
図６４は、地域A64-000と地域B64-010との相互間における、長距離64-020を介した、シーケンシャルで線形のポイントツーポイント接続のトポロジを示す。
【０３５０】
SRV_BBX64-500は地域A64-000におけるSRV_AP（例えばSRV_AP64-300）の共通ゲートとして動作する。
【０３５１】
SRV_BBX64-510は地域B64-010におけるSRV_AP（例えばSRV_AP64-310）の共通ゲートとして動作する。同一地域内のSRV_APとSRV_BBXとは、同一のインターネットデータセンタ（IDC）内に位置する。あるいはそれらは、同一地域内の別のIDC内に位置し、高速リンクによって接続される。
【０３５２】
SRV_BBX64-500と64-510との間のIB上RDMAを使用するセキュアファイルシステム層は、グローバルファイルシステム（GFS）によって管理される並行ファイルシステム（PFS）装置上に格納されたファイルへの、超高速アクセスを提供する。
【０３５３】
タペストリロジック及び論理構造
図６５は、エンドポイント装置（EPD）65-100上の物理的及び仮想的インタフェースの論理構成と、それらがEPD65-100を超えて装置へそれぞれ接続されることとを示す。
【０３５４】
物理ポートETH0  65-100、ETH1  65-106及びETH2  65-108は、EPDの裏板上のネットワークプラグに対応する。ETH0  65-102は、EPD65-100と、インターネットサービスプロバイダ（ISP）によって提供されるインターネットとの間のラストワンマイル接続へ接続する。ETH0  65-102はパス65-P022を介して存在点（POP）65-022へ接続し、そこから、インターネット65-020及びその向こうへ接続する。
【０３５５】
トンネルTUN0  65-310及びTUN2  65-312は、ETH0  65-102上を通るラストワンマイル接続のオーバーザトップ（OTT）を通る。
【０３５６】
ETH1  65-106はLAN  A65-050と接続する。ETH2  65-108はLAN  B65-060と接続する。
【０３５７】
ETH1  65-106及びETH2  65-108はEPD65-100内で、ブリッジBR065-104にて、LAN接続として集められる。
【０３５８】
ルーティングは、BR0  65-104とVIF0  65-102との間の仮想インタフェース（VIF）のチェーンの各々で適用される。ここではルーティングテーブルの対がTUN0  65-310を通る。一致しないアドレスは、VTF1  65-122へ渡され、そこでルーティングテーブルの対がトラフィックをTUN2  65-312へプッシュする。残りの一致しないアドレスはVIF2  65-126へ進み、これは次いでパス65-P022を介して出る。
【０３５９】
物理構造は、様々な物理インタフェースの各々でテストされ管理される。オーバーザトップ構造は、これらの物理インタフェース上で構築される。これらはグローバル仮想ネットワーク（GVN）を構成する。様々な構造はネットワークタペストリへ共に組合せられる。
【０３６０】
図６６は、グローバル仮想ネットワーク（GVN）のレベル１の層（39-GVN-1）と、レベル１（39-GVN-1）の上に構築されてそれと統合されたレベル３の層（39-GVN-3）とを開示する概念モデルを示す。
【０３６１】
それは、エンドポイント装置（EPD）66-100と、アクセスポイントサーバ（SRV_AP）66-200と、バックボーン交換サーバ（SRV_BBX）66-500とについての層の論理的構築物を示す。それはまた、EPD66-100上のイーサネットNIC66-MOや、SRV_AP66-200上のイーサネットNIC66-M1、IB  NIC66-N1及びイーサネットNIC66-M2や、SRV_BBX66-500上のETH  NIC66-M3、IB  NIC66-N2等の装置の各々上の物理的ネットワークインタフェース（NIC）を示す。
【０３６２】
EPD66-100上のETHNIC66-M0と、SRV_AP66-200上のETH  NIC66-M1との間の接続は、イーサネットパス66-000を介する。SRV_AP66-200とSRV_BBX66-500との間の接続は、イーサネットパス66-010又はインフィニバンド66-020を介し、ネットワーク接続オプションとして、1以上のものを提供する。IB  NIC66-N2はまた、インフィニバンドパス66-030を介して他の地域におけるSRV_BBX66-510に接続可能である。GVNのレベル１（39-GVN-1）及びGVNのレベル３（39-GVN-3）での概念モデル層についての詳細は、図６７を参照されたい。
【０３６３】
図６７は、スタックされたオーバーザトップ組織にて、GVNのレベル３（39-GVN-3）のIPモデルと比較して、GVNの39-GVN-1のIPモデルのレベル１を示す。レベル１のネットワークインタフェース67-T1は、ETH  NIC67-N1についてのイーサネットプロトコル67-R1である。インターネット67-T2はIP67-R2Aに対応する。トランスポート67-T3は、プロトコルTCP67-R3A又はUDP67-R3Bのいずれかに対応する。アプリケーション層67-T4はHTTP67-R4A、POP367-R4B、又はGVN  ETH層67-R4C等であってよい。GVNスタック67-C3は次いで、GVNインターネット67-G5におけるIP層67-R5と相互関連する。トランスポート67-G6はTCP67-R6A及びUPD67-R6Bに相互関連する。アプリケーション67-G7は、FTP67-R7A、HTTP67-R7B、POP367-R7C又はその他に相互関連する。
【０３６４】
それは更に、ベース層がどのようにインフィニバンド（IB）NIC67-N2に基づいて予測され得るかを示す。RDMA層67-R2Bは、インターネット67-T2に相互関連する。IB上のインターネットプロトコル（IP）IPoIB67-R3Cは、トランスポート67-T3に相互関連する。GVN  IB67-R4Dはアプリケーション67-T4に相互関連する。
【０３６５】
2018517372.tif 000011
【０３６６】
開示されるGVNには５つのレベルがあり、これらは上述の３つの層に対応する。
【０３６７】
GVNレベル１（68-L100）はベースネットワーク層である。GVNレベル３（68-L300）は内部パスであり、最適化されたトラフィックがそこを流れる。GVNレベル２（68-L200）はレベル１（68-L100）とレベル３（68-L300）との間の論理層である。この論理層では、テスト、分析、マッピング、ルーティング、調整、カプセル化、安全化及び他の動作が実行され、レベル１（68-L100）によって提供される様々なオプション上で、レベル３（68-L300）の最善パフォーマンスを保証する。
【０３６８】
GVNレベル５（68-L500）は、レベル３（68-L300）でのGVN内部パスのオーバーザトップで構築される構築要素の内部パスである。それ自体は、ベースネットワーク層１（68-L100）のオーバーザトップで構築される。GVNレベル４（68-L400）は、レベル５（68-L500）と68-300との間の論理層である。それは、GVNを通して、類似のテスト、分析及び他の動作を有する、それにとって利用可能なオプションの理解を伴う。最適且つ最も効率的にパスの中間におけるセグメントを組み合わせることに関する特定の焦点は、ピアリングポイント、OTTレベル間のステップアップ及びダウン、マッピング、プロトコル、エンドツーエンドパスオプションである。
【０３６９】
この例示的実施形態は、図４８と直接関連し得る。ここでは、LAN  A48-200と、インターネット48-000と、インターネット48-010とLAN  B48-012は全てGVNレベル１（68-L100）にある。
【０３７０】
ローカルGVN48-112と、AP上のGVN48-312と、ローカルGVN48-116とは全て、GVNのレベル３（68-L300）にある。この層では、パフォーマンス及びルーティングは、GVNについてのオプションを提供することに焦点を当てる。
【０３７１】
ローカルクラウドノード48-122と、クラウド内LAN拡張物48-322と、ローカルクラウドノード48-128は全て、GVNのレベル５（68-L505）にある。これらは、GVNを通る構築物を示す。
【０３７２】
図６９は、ネットワークタペストリを活用するための、GVN内のいくつかの例示的装置のシステム構成図である。ここで開示される装置は、エンドポイント装置（EPD）69-100、アクセスポイントサーバ（SRV_AP）69-300、中央制御サーバ（SRV_CNTRL）、及びバックボーン交換サーバ（SRV_BBX）69-500である。
【０３７３】
SRV_BBX上には、２つのタイプのネットワークインタフェースカード（イーサネットIP  NIC69-506及びIB  NIC69-510）が存在し、これらは、ハードウェア（HW）の相違点に基づく、異なるネットワークプロトコルに対応する。
【０３７４】
システムソフトウェア69-130、69-330、69-230及び69-530は、GVNの構造論理を構成し、ネットワークタペストリを作成する。
【０３７５】
通信パスもまた、示される。例えば次の通りである。
【０３７６】
2018517372.tif 000012
【０３７７】
2018517372.tif 000013
【０３７８】
2018517372.tif 000014
【０３７９】
2018517372.tif 000015
【０３８０】
2018517372.tif 000016
【０３８１】
2018517372.tif 000017
【０３８２】
グローバルファイルマネージャ69-360、69-260及び69-560は、階層ファイルシステム（HFS）のストレージ装置69-630、69-620及び69-650と、並行ファイルシステム（PFS）（例えば69-800又は69-810）との両方のファイルを分類及び管理する。
【０３８３】
構造マネージャ69-380、69-280及び69-580は独立して動作して、時に決まった手順で、第１のオーバーザトップ（OTT1）及び第２のオーバーザトップ（OTT2）の層を確立する。
【図１】
2018517372.tif 000018
【図２】
2018517372.tif 000019
【図３】
2018517372.tif 000020
【図４】
2018517372.tif 000021
【図５】
2018517372.tif 000022
【図６】
2018517372.tif 000023
【図７】
2018517372.tif 000024
【図８】
2018517372.tif 000025
【図９】
2018517372.tif 000026
【図１０】
2018517372.tif 000027
【図１１】
2018517372.tif 000028
【図１２】
2018517372.tif 000029
【図１３】
2018517372.tif 000030
【図１４】
2018517372.tif 000031
【図１５】
2018517372.tif 000032
【図１６】
2018517372.tif 000033
【図１７】
2018517372.tif 000034
【図１８】
2018517372.tif 000035
【図１９】
2018517372.tif 000036
【図２０】
2018517372.tif 000037
【図２１】
2018517372.tif 000038
【図２２】
2018517372.tif 000039
【図２３】
2018517372.tif 000040
【図２４】
2018517372.tif 000041
【図２５】
2018517372.tif 000042
【図２６】
2018517372.tif 000043
【図２７】
2018517372.tif 000044
【図２８】
2018517372.tif 000045
【図２９】
2018517372.tif 000046
【図３０】
2018517372.tif 000047
【図３１】
2018517372.tif 000048
【図３２】
2018517372.tif 000049
【図３３】
2018517372.tif 000050
【図３４】
2018517372.tif 000051
【図３５】
2018517372.tif 000052
【図３６】
2018517372.tif 000053
【図３７】
2018517372.tif 000054
【図３８】
2018517372.tif 000055
【図３９】
2018517372.tif 000056
【図４０】
2018517372.tif 000057
【図４１】
2018517372.tif 000058
【図４２】
2018517372.tif 000059
【図４３】
2018517372.tif 000060
【図４４】
2018517372.tif 000061
【図４５】
2018517372.tif 000062
【図４６】
2018517372.tif 000063
【図４７】
2018517372.tif 000064
【図４８】
2018517372.tif 000065
【図４９】
2018517372.tif 000066
【図５０】
2018517372.tif 000067
【図５１】
2018517372.tif 000068
【図５２】
2018517372.tif 000069
【図５３】
2018517372.tif 000070
【図５４】
2018517372.tif 000071
【図５５】
2018517372.tif 000072
【図５６】
2018517372.tif 000073
【図５７】
2018517372.tif 000074
【図５８】
2018517372.tif 000075
【図５９】
2018517372.tif 000076
【図６０】
2018517372.tif 000077
【図６１】
2018517372.tif 000078
【図６２】
2018517372.tif 000079
【図６３】
2018517372.tif 000080
【図６４】
2018517372.tif 000081
【図６５】
2018517372.tif 000082
【図６６】
2018517372.tif 000083
【図６７】
2018517372.tif 000084
【図６８】
2018517372.tif 000085
【図６９】
2018517372.tif 000086
【国際調査報告】
2018517372.tif 000087
2018517372.tif 000088