(57)【要約】      （修正有）【課題】仮想スイッチを実現し且つ管理する方法及び装置を提供する。【解決手段】データセンタ又は社内ネットワーク等のサイトは、物理ネットワーク１０４を含む。物理ネットワークは、複数のＶＭ及び／又は非仮想化物理サーバ並びに物理スイッチ及び分散仮想スイッチ１０８を含む。ＶＭは、仮想化プラットフォームによりホストされる。物理サーバは、あらゆる汎用演算ユニットであってよい。大きなホスティングサービス又は社内ネットワークが地理的に分散され、複数のデータセンタ又はいくつかのサイトにおけるネットワークを維持できる。ネットワーク仮想化レイヤ１０６上には、ネットワークハイパーバイザ１０２により１つ以上の分散仮想スイッチ１０８が維持される。これらの分散仮想スイッチ１０８は、サブネットを介して拡張しても、物理ホスト又は物理ネットワークポートを含んでもよく、同一の物理ハードウェアを共有することができる。【選択図】図１
2020123965.tif 000002
【特許請求の範囲】
【請求項１】
複数のホスト及び物理転送要素を含むサイトにおいてネットワーキングリソースを管理する方法であって、
前記複数のホスト及び物理転送要素の第１の集合を使用する仮想機械の第１の集合を識別することと、
前記複数のホスト及び物理転送要素の第２の集合を使用する仮想機械の第２の集合を識別することと、前記第１の集合及び前記第２の集合の前記ホスト及び前記物理転送要素のうちのいくつかが同一であり、
仮想機械の前記第１の集合と前記第２の集合との間の隔離を維持しつつ、それぞれ、仮想機械の前記第１の集合と前記第２の集合との間の通信を排他的に処理する第１の分散仮想スイッチ及び第２の分散仮想スイッチを提供することと、
を備えることを特徴とする方法。
【請求項２】
前記物理転送要素は１つ以上の仮想スイッチを備えることを特徴とする請求項１記載の方法。
【請求項３】
前記物理転送要素は１つ以上の物理スイッチを備えることを特徴とする請求項１記載の方法。
【請求項４】
前記第１の分散仮想スイッチ及び前記第２の分散仮想スイッチは、それぞれ、外部ホストと仮想機械の前記第１の集合及び前記第２の集合との間の通信を更に処理することを特徴とする請求項１記載の方法。
【請求項５】
仮想機械の前記第１の集合及び前記第２の集合は、それぞれ、第１のデータセンタテナント及び第２のデータセンタテナントと関連付けられることを特徴とする請求項１記載の方法。
【請求項６】
前記物理転送要素のうちの１つにおいて論理フローテーブル及び物理フローテーブルを提供することと、
前記論理フローテーブルと物理フローテーブルとの間のマッピングを決定することと、
前記論理フローテーブル及び前記物理フローテーブル、並びに前記決定されたマッピングを使用して前記物理転送要素によりパケットを転送することと、
を更に備えることを特徴とする請求項１記載の方法。
【請求項７】
前記１つの物理転送要素は、仮想機械の前記第１の集合及び前記第２の集合の双方により使用されることを特徴とする請求項６記載の方法。
【請求項８】
前記複数のホストのうちのいくつかは、地理的に別個の構内に配置されることを特徴とする請求項１記載の方法。
【請求項９】
仮想機械の前記第１の集合のうちのいくつかは、種々のサブネットに存在することを特徴とする請求項１記載の方法。
【請求項１０】
前記物理転送要素のうちのいくつかを通るトンネルを提供することを更に備えることを特徴とする請求項１記載の方法。
【請求項１１】
前記トンネルはＧＲＥトンネルを備えることを特徴とする請求項１０記載の方法。
【請求項１２】
１つ以上の物理転送要素を含むネットワークで通信を管理する方法であって、
論理転送要素を含むネットワーク仮想化レイヤを提供することと、
前記論理転送要素のポートから前記物理転送要素のうちのいくつかのポートへのマッピングを提供することと、
前記提供されたマッピングを使用して前記物理転送要素によりパケットを転送することと、を備えることを特徴とする方法。
【請求項１３】
前記転送するステップは、
前記パケットに対する論理コンテキストをルックアップすることと、
前記論理コンテキストに従って前記パケットに対する論理出力ポートを識別することと、
前記提供されたマッピングに従って前記論理出力ポートを物理出力ポートにマッピングすることと、
前記物理出力ポートをルックアップすることと、
を備えることを特徴とする請求項１２記載の方法。
【請求項１４】
前記物理転送要素は物理スイッチを備えることを特徴とする請求項１２記載の方法。
【請求項１５】
前記物理転送要素は仮想スイッチを備えることを特徴とする請求項１２記載の方法。
【請求項１６】
複数のホスト及び物理転送要素を含むネットワーキングサイトであって、
前記複数のホスト及び物理転送要素の第１の集合を使用する仮想機械の第１の集合と、
前記複数のホスト及び物理転送要素の第２の集合を使用する仮想機械の第２の集合と、前記第１の集合及び前記第２の集合の前記ホスト及び前記物理転送要素のうちのいくつかが同一であり、
仮想機械の前記第１の集合と前記第２の集合との間の隔離を維持しつつ、それぞれ、仮想機械の前記第１の集合と前記第２の集合との間の通信を排他的に処理する第１の分散仮想スイッチ及び第２の分散仮想スイッチと、
を備えることを特徴とするネットワーキングサイト。
【請求項１７】
前記物理転送要素は１つ以上の仮想スイッチを備えることを特徴とする請求項１６記載のネットワーキングサイト。
【請求項１８】
前記物理転送要素は１つ以上の物理スイッチを備えることを特徴とする請求項１６記載のネットワーキングサイト。
【請求項１９】
前記第１の分散仮想スイッチ及び前記第２の分散仮想スイッチは、それぞれ、外部ホストと仮想機械の前記第１の集合及び前記第２の集合との間の通信を更に処理することを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２０】
仮想機械の前記第１の集合及び前記第２の集合は、それぞれ、第１のデータセンタテナント及び第２のデータセンタテナントと関連付けられることを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２１】
前記物理転送要素のうちの１つにおける論理フローテーブル及び物理フローテーブルと、
前記論理フローテーブルと物理フローテーブルとの間のマッピングとを更に備え、前記論理フローテーブル及び前記物理フローテーブル、並びに決定された前記マッピングを使用して前記物理転送要素がパケットを転送する、
ことを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２２】
前記１つの物理転送要素は、仮想機械の前記第１の集合及び前記第２の集合の双方により使用されることを特徴とする請求項２１記載のネットワーキングサイト。
【請求項２３】
前記複数のホストのうちのいくつかは、地理的に別個の構内に配置されることを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２４】
仮想機械の前記第１の集合のうちのいくつかは、種々のサブネットに存在することを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２５】
前記物理転送要素のうちのいくつかを通るトンネルを更に備えることを特徴とする請求項１６記載のネットワーキングサイト。
【請求項２６】
前記トンネルはＧＲＥトンネルを備えることを特徴とする請求項２５記載のネットワーキングサイト。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００９年４月１日提出の米国仮特許出願第６１／１６５８７５号を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
【０００２】
本発明は、ネットワーキングに関し、特に仮想ネットワーキングでの仮想スイッチの設計及び使用に関する。
【背景技術】
【０００３】
移動性、仮想化、動的ワークロード、マルチテナンシー及びセキュリティニーズを含むコンピューティングが高度になるにつれて、ネットワーキングに対するより適切なパラダイムが必要とされる。仮想化は、ネットワークに対する新たな要求の重要な要因である。その要因により、複数のＶＭは同一の物理サーバを共有でき、それらのＶＭは移行（migrate）可能であり、ワークロードは容量が必要となるために「スケールアウト」に動的に組み込まれている。この新しいレベルのダイナミクスに準拠するために、分散仮想スイッチの概念が生じた。分散仮想スイッチの背後にある考えは、基盤となるハードウェアから切り離され且つ複数のスイッチ又はハイパーバイザを介して拡張するスイッチの論理ビューを提供することである。
【０００４】
従来の分散仮想スイッチの一例は、Ｓａｎ  Ｊｏｓｅ、ＣａｌｉｆｏｒｎｉａのＣｉｓｃｏにより提供されたＮｅｘｕｓ１０００Ｖである。別の例は、Ｐａｌｏ  ＡｌｔｏのＶＭＷａｒｅにより提供されたＤＶＳである。これらの双方とも仮想のみの環境を意図するが、同一の概念を物理環境に適用できないという構造的理由はない。
【０００５】
大きなネットワーク（データセンタ及び企業を含む）の多くの課題のうちの３つは、拡張性、移動性及びマルチテナンシーであり且つ多くの場合、他者を妨害するものに対処する方法である。例えば、Ｌ２ドメイン内でＶＭにネットワークモビリティを容易に提供できるが、Ｌ２ドメインを大きなサイズに拡張することはできない。また、テナントを隔離し続けることにより、移動性が非常に複雑になる。従来の分散仮想スイッチは、多くの領域においてこれらの問題に対処しきれていない。まず、分散仮想スイッチは、マルチテナンシーを提供せず、ＩＰサブネットをブリッジせず、何万ものエンドホストをサポートするように拡張しない。更に概念は、物理ホストを統括的に且つ柔軟に含む仮想環境を効果的に超えていない。
【０００６】
従って、これらの問題及び他の問題に対処する分散仮想ネットワーキングプラットフォームに対する必要性は、当技術分野において依然として存在する。
【発明の概要】
【課題を解決するための手段】
【０００７】
一般に本発明は、１つ以上の分散仮想スイッチが仮想ネットワークで使用するために作成される仮想プラットフォームに関する。いくつかの態様によると、本発明に係る分散仮想スイッチは、仮想機械及び物理機械が同一の物理ホスト上及び／あるいは同一のサブネット又はＶＬＡＮに配置されない場合でも、互いにより簡単に、安全に且つ効率的に通信する機能をそれらに提供する。他の態様によると、本発明の分散仮想スイッチは、従来のＩＰネットワークとの統合をサポートし、ＮＡＴ機能性を含む複雑なＩＰ技術、ステートフルファイアウォール及びＩＰネットワークにワークロード移行を通知するのをサポートする。更なる態様によると、本発明の仮想プラットフォームは、隔離及び／又は独立した構成状態を必要とするテナント、アプリケーション又は他のエンティティに割り当てられてもよい１つ以上の分散仮想スイッチを作成する。更に別の態様によると、本発明の仮想プラットフォームは、ネットワークで既存のスイッチ及びルータを用いて動作しつつ、ネットワークに対して分散仮想スイッチを作成するためにＶＬＡＮ又はトンネル（例えば、ＧＲＥ）を管理し且つ／あるいは使用する。本発明は、社内ネットワーク、データセンタ及び他の施設の全てで有用であることが分かる。
【０００８】
これらの態様及び他の態様に従って、本発明の実施形態に係る複数のホスト及び物理転送要素を含むサイトでネットワーキングリソースを管理する方法は、複数のホスト及び物理転送要素の第１の集合を使用する仮想機械の第１の集合を識別することと、複数のホスト及び物理転送要素の第２の集合を使用する仮想機械の第２の集合を識別することであり、第１の集合及び第２の集合のホスト及び物理転送要素のうちのいくつかが同一であることと、仮想機械の第１の集合と第２の集合との間の隔離を維持しつつ、それぞれ、仮想機械の第１の集合と第２の集合との間の通信を排他的に処理する第１の分散仮想スイッチ及び第２の分散仮想スイッチを提供することとを備える。
【０００９】
これらの態様及び他の態様を更に推進するために、本発明の実施形態に係る１つ以上の物理転送要素を含むネットワークで通信を管理する方法は、論理転送要素を含むネットワーク仮想化レイヤを提供することと、論理転送要素のポートから物理転送要素のうちのいくつかのポートへのマッピングを提供することと、提供されたマッピングを使用して物理転送要素によりパケットを転送することとを備える。
【図面の簡単な説明】
【００１０】
添付の図面と共に本発明の特定の実施形態の以下の説明を検討することにより、本発明のこれらの態様及び特徴、並びに他の態様及び特徴が当業者には明らかとなるだろう。
【図１】図１は、本発明の実施形態に係る仮想プラットフォームを提供する態様を示すブロック図である。
【図２】図２は、本発明の原理を使用するネットワークで実現されたパケット転送方式を示す図である。
【図３】図３は、いくつかの仮想機械及び物理ホストを有するデータセンタで本発明に従って分散仮想スイッチを提供する一例を示す図である。
【図４】図４は、本発明の実施形態に係る分散仮想スイッチの一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
次に、当業者が本発明を実施できるように本発明の例として提供される図面を参照して、本発明を詳細に説明する。特に、以下の図面及び例は本発明の範囲を単一の実施形態に限定することを意図せず、説明されるかあるいは図示される要素のうちのいくつか又は全てを交換することにより他の実施形態が可能である。また、本発明のある特定の要素は既知の構成要素を使用して部分的に又は完全に実現され、本発明を理解するのに必要なそのような既知の構成要素のこれらの部分のみが説明され、そのような既知の構成要素の他の部分の詳細な説明は本発明を不明瞭にしないように省略される。特に指定のない限り、当業者には明らかとなるように、ソフトウェアで実現されるものとして説明される実施形態は、それに限定されるべきではなく、ハードウェア又はソフトウェアとハードウェアとの組合せで実現される実施形態を含んでもよく、逆も同様である。明示的な指示のない限り、本明細書において、単数の構成要素を示す一実施形態は限定するものと考えられるべきではなく、本発明は複数の同一の構成要素を含む他の実施形態を含むことを意図し、逆も同様である。また、明示的なそのような説明のない限り、出願人は、明細書又は請求の範囲のあらゆる用語が一般的でない意味又は特別な意味を有することを意図しない。更に本発明は、例として本明細書で示される既知の構成要素に対する現在の既知の等価物及び将来の既知の等価物を含む。
【００１２】
一態様によると、本発明は、ネットワークで使用するための仮想プラットフォームに関する。仮想フラットフォームは、物理機械及び仮想機械が同一の物理ホスト上及び／あるいは同一のＶＬＡＮ又はサブネットに配置されない場合でも、互いにより簡単に、安全に且つ効率的に通信する機能をそれと関連付けられた物理機械及び仮想機械に提供する。更なる態様によると、更に本発明により、同一の物理ネットワークインフラストラクチャを共有する複数の異なるテナントは、通信し且つ互いに隔離して構成状態を設定できる。
【００１３】
本発明の態様の実現例の一例を図１に示す。図１に示すように、データセンタ又は社内ネットワーク等のサイトは、物理ネットワーク１０４を含む。物理ネットワーク１０４は、複数のＶＭ及び／又は非仮想化物理サーバ、並びに物理スイッチ及び仮想スイッチを含む。ＶＭは、ＶＭＷａｒｅ（例えば、ｖＳｐｈｅｒｅ、ｖＣｅｎｔｅｒ等に含まれた）により提供されるような仮想化プラットフォームによりホストされ、物理サーバは、ＨＰ、Ｄｅｌｌ及び他社により提供されるようなあらゆる汎用演算ユニットであってもよい。大きなホスティングサービス又は社内ネットワークが地理的に分散され得る（例えば、Ｓａｎ  Ｆｒａｎｃｉｓｃｏ、Ｎｅｗ  Ｙｏｒｋ等）複数のデータセンタ又はいくつかのサイトにおけるネットワークを維持できることは、明らかであるべきである。
【００１４】
図１は、本発明がネットワーク仮想化レイヤ１０６を導入する方法を更に示す。ネットワーク仮想化レイヤ１０６上には、ネットワークハイパーバイザ１０２により１つ以上の分散仮想スイッチ１０８が維持される。これらの分散仮想スイッチ１０８は、サブネットを介して拡張してもよく、物理ホスト又は物理ネットワークポートを含んでもよく、同一の物理ハードウェアを共有することができる。本発明の態様によると、これらの分散仮想スイッチは、マルチテナント環境に隔離されたコンテキストを提供し、サブネットを介してＶＭ移行をサポートし、何万又は何十万もの物理サーバに拡張し、物理環境とのシームレスな統合をサポートする。
【００１５】
特定の例として、本発明は、複数の顧客に対するサーバの仮想ホスティング及び物理ホスティングの双方をサポートすることが多いサービスプロバイダ（Ｓａｎ  Ａｎｔｏｎｉｏに本社を置くＲａｃｋｓｐａｃｅ等）により展開される。そのような一例において、単一の顧客は、同一のサービスプロバイダにホストされたＶＭ及び物理サーバの双方を有してもよい。更にサービスプロバイダは、地理的に別個の場所に複数のデータセンタを有してもよい。顧客／テナントの各々が１つ以上の分散仮想スイッチ（ＤＶＳ）１０８に割り当てられるように、本発明はサービスプロバイダ動作内で展開されてもよい。これらのＤＶＳは、ハイパーバイザ１０２を使用するサービスプロバイダオペレータにより規定されたように、最小リソース保証を個別に構成され且つ与えられる。単一のＤＶＳは、物理ホスト及び仮想ホストの双方を含んでもよく、複数のサブネット又はＶＬＡＮをブリッジしてもよい。例えば単一のＤＶＳ１０８は、管理されたホスティングサービスの一部としてサービスプロバイダの仮想機械、物理機械に接続してもよく、インターネットを介して拡張して顧客構内に接続してもよい。
【００１６】
更なる態様によると、本発明は、物理転送要素と制御プレーンとの間に新しい抽象概念を導入する。抽象概念により、転送要素を制御プレーンに対する１つ以上の論理転送要素とする。論理転送要素は、物理転送要素と同様の特性及び機能性、すなわちルックアップテーブル、ポート、カウンタ、並びに関連付けられた能力（例えば、ポートスピード及び／又は二重帯域）を所有する。
【００１７】
ネットワークハイパーバイザ１０２及びネットワーク仮想化レイヤ１０６は、本発明の態様を説明しやすくするために別個に示されるが、論理転送要素を作成及び維持し、且つそれらを基盤となるハードウェアにマッピングする共通のソフトウェアの集合（以下に更に詳細に説明する）により実現されるのが好ましい。名目上、これは、対応する論理コンテキストで転送状態、カウンタ及び転送要素イベントを示すことを意味する。制御プレーンは、物理転送要素を直接駆動するのではなく、論理転送要素とインタフェースする。
【００１８】
更に詳細には、ネットワーク仮想化レイヤ１０６は、ネットワーク１０４の物理トポロジの変化により最小限の影響を受ける制御プレーンに転送抽象概念を提示する。制御プレーンの観点から、物理トポロジにスイッチを追加することにより、より多くの転送帯域幅を提供するが、制御論理又は論理転送テーブルの既存の状態に何らかの変化を要求すべきではない。
【００１９】
レイヤ１０６により、論理転送要素ポートは、物理ポートに結合されるか、あるいは仮想機械インタフェース、ＶＬＡＮ又はトンネル等の他のポート抽象概念を提供できる。レイヤ１０６の論理転送要素上のポートと基盤となるネットワーク１０４との間のマッピングを維持し、且つそれに応じて物理ネットワークの物理スイッチ及び／又は仮想スイッチのフローテーブルを更新することがネットワークハイパーバイザ１０２の仕事である（以下に説明する）。
【００２０】
レイヤ１０６の各論理転送要素は、従来のスイッチデータ経路と互換性があるインタフェースを提供する。これは２つの理由から望ましい。第１に、本発明は既存のハードウェアと互換性があり且つ有用であるのが好ましく、全ての転送はハードウェア高速経路上に依然として存在すべきである。従って、論理転送プレーンは、好ましくは既存の転送パイプラインにマッピングすべきである。第２に、既存のネットワーク制御スタックは、本発明に準拠するのが好ましい。従って、レイヤ１０６の論理要素のインタフェースは以下のものを含む。
【００２１】
・ルックアップテーブル：論理転送要素は１つ以上の転送テーブルを示す。一般にこれは、Ｌ２、Ｌ３及びＡＣＬテーブルを含む。より一般化されたテーブル構造が規則毎に規定された転送動作でＴＣＡＭのパイプラインの周囲に組み込まれることに従って、実現例の一例は、ＯｐｅｎＦｌｏｗ（ｗｗｗ．ｏｐｅｎｆｌｏｗ．ｏｒｇを参照）の周囲に設計される。この構造により、規則、ＡＣＬ、ＳＰＡＮ及び他の基本要素を転送するのをサポートできるかなりの柔軟性を提供する。
【００２２】
・ポート：論理転送要素は、基盤となるネットワークへの結合を示すポートを含む。ポートは、管理上追加されるか、あるいは自身が結合される構成要素が故障又は離脱する際に動的に出現し且つ離脱してもよい。本発明の実施形態において、ポートは、ｒｘ／ｔｘカウンタ、ＭＴＵ、速度、エラーカウンタ及び搬送波信号を含む物理アナログの同一の品質の大部分を維持する。
【００２３】
物理ネットワーク１０４は物理転送要素から構成される。本発明の実施形態において、転送要素は、標準的な転送シリコンを含む従来のハードウェアスイッチ及びハイパーバイザと共に含まれたような仮想スイッチである。本発明の実施形態において、既存のスイッチのうちのいくつか又は全ては、プロトコルが本発明の分散仮想スイッチを実現するようにそれらのフローテーブルを調整できるようにサポートする。そのようなプロトコルはＯｐｅｎＦｌｏｗを含むが、他の自社開発のプロトコル及びＯＳＰＦ等のオープンプロトコルが使用されてもよい。本発明の他の実施形態において及び以下に更に詳細に説明されるある特定の有益な態様に従って、既存の物理スイッチのうちのいくつか又は全て（及び場合によっては仮想スイッチのうちのいくつか）は、そのようなプロトコルをサポートし且つ／あるいはそれらのフローテーブルを調整する必要はない。そのような実施形態において、そのような既存のスイッチを介してトラフィックをルーティングするためにトンネリングが使用されてもよい。
【００２４】
高レベルにおいて、分散仮想スイッチ１０８を実現するためにネットワークハイパーバイザ１０２により使用される物理ネットワーク１０４の転送要素は、４つの主な役割、すなわちｉ）入力パケットを適切な論理コンテキストにマッピングする役割、ii）論理転送判断を行う役割、iii）論理転送判断を物理的な次のホップアドレスに再度マッピングする役割、及び、iv）パケットを物理的な次のホップに送出するために物理転送判断を行う役割、を有する。
【００２５】
更に詳細には、図２に示すように、全てのパケットは、レイヤ１０６で厳密に１つの論理転送要素により処理される。しかし、複数の論理転送要素が、物理ネットワーク１０４で同一の物理スイッチを介して多重化されてもよい。従って、入力上で、パケットは適切な論理コンテキストにマッピングされなければならない（Ｓ２０２）。現在のスイッチが、所定のパケットに対する論理転送状態を含まず、その場合に単に物理転送判断を実行する（すなわち、ステップＳ２０８にスキップする）場合があってもよい。また、全ての物理スイッチが単一の論理転送要素のみを実現するためのものである場合、論理アドレス指定が物理ネットワークにおいて使用されてもよいため、マッピングはｎｏ−ｏｐとなる。
【００２６】
本発明によりパケットを論理コンテキストにマッピングするために使用される多くの異なるフィールドがある。例えばフィールドは、ＭＰＬＳヘッダ等の識別タグ又は入力ポートであってもよい。しかし、エンドシステムを透過的にするために、論理コンテキストを識別するために使用されるタグは、論理スイッチに接続するシステムに示されないのが好ましい。一般にこれは、パケットを受信する第１の物理スイッチがそれをタグ付けしてコンテキストをマーク付けし、最後のスイッチがタグを除去することを意味する。当業者には理解されるように、第１のタグが選択される方法は展開環境に大きく依存する。
【００２７】
ステップＳ２０４において、パケットが論理コンテキストにマッピングされると、物理スイッチは論理コンテキスト内でのみ意味のある転送判断を実行する。例えばこれは、論理スイッチに対するＬ２ルックアップ又は論理Ｌ３ルータに対して必要な一連のルックアップであってもよい。しかし、論理判断を実行する物理スイッチが全ての論理状態を維持するのに十分な容量を有さない場合、実行された論理判断が実行される必要のある全体的な論理判断のたった１ステップであってもよいため、パケットは、論理転送プレーンを離脱する前に更なる論理処理を必要とするだろう。
【００２８】
ステップＳ２０６において、論理判断は物理にマッピングされる。論理転送判断（パケットがドロップしなかったと仮定する）の結果、レイヤ１０６の論理転送要素上に１つ以上の出力ポートが得られる。これらが判定されると、ネットワークは、これらの出力ポートが結合されるネットワーク１０４でパケットを物体に送出しなければならない。例えばこれは、別の物理スイッチ上の物理ポート又は異なる物理サーバ上の仮想機械の仮想ポートであってもよい。
【００２９】
従って、ネットワークハイパーバイザ１０２は、物理転送要素をテーブルエントリに提供し、論理出力ポートを物理的な次のホップにマッピングしなければならない。実施形態において、論理ネットワーク及び物理ネットワークは、別個の（潜在的にオーバラップするが）アドレス空間を共有する。従って、物理アドレスが次のホップに対して見つけられると、（論理）パケットは、次のホップ物理アドレスに転送されるようにカプセル化されなければならない。尚、ルックアップが複数の物理構成要素を介して分散され、その場合に「次のホップ」が次の物理構成要素となり、論理出力ポートではなくルックアップを継続する場合があってもよい。
【００３０】
ステップＳ２０８において、物理転送が最終的に行われる。物理転送判断は、先のマッピングステップにより判定された物理アドレスに基づいて適切な物理出力ポートからパケットを転送する役割を担う。これには、新しい物理ヘッダ（先のステップで作成された）上の第３の（又はそれを上回る）ルックアップが必要である。
【００３１】
尚、ネットワークの物理スイッチが複数の論理コンテキストではなく１つの論理コンテキストのみを有する場合、先の２つのステップＳ２０４及びＳ２０６はｎｏ−ｏｐになってもよい。
【００３２】
上記の４つのステップを実現するため、物理スイッチは、i）論理コンテキストにマッピングするためのルックアップ、ii）論理転送判断、iii）論理出力ポートから物理的な次のホップアドレスへのマッピング及びiv）物理転送判断に対する状態を有する必要がある。物理ネットワークを介して制御を最大限にするのが好ましい場合、ハイパーバイザ１０２は最初の３つを管理する役割を担い、物理転送状態は、標準的なＩＧＰ（ＯＳＰＦ又はＩＳＩＳ等）の実現例又はハイパーバイザ１０２により管理される。
【００３３】
本発明の実施形態において、物理ネットワーク１０４機能は最新のラインカード機能に対応する。例えば、少なくとも、ネットワーク１０４の物理スイッチ及び／又は仮想スイッチは、パケット転送パイプラインを提供し、パケット毎に複数の論理ルックアップ及び物理ルックアップの双方をサポートすべきである。基本転送動作（出力ポート選択等）に加え、物理スイッチングインフラストラクチャが複数の論理転送プレーンにより共有される場合、ハードウェアは、（ネストされた）カプセル化／非カプセル化をサポートし、論理アドレス指定を物理アドレス指定から隔離すべきである。また、ネットワーク１０４の物理スイッチ及び／又は仮想スイッチのうちのいくつか又は全ては、例えばＯｐｅｎＦｌｏｗ等のプロトコルを使用するネットワークハイパーバイザ１０２によりフローテーブルを適応するためのサポートを有するべきである。フローテーブルを変更する他の例示的な方法は、ネットワーキングチップセットプロバイダのＭａｒｖｅｌｌ又はＢｒｏａｄｃｏｍにより提供されたようなＳＤＫを使用すること、あるいはＪｕｎｉｐｅｒにより与えられたＯｐｅｎＪｕｎｏｓ  ＡＰＩ等のスイッチベンダＡＰＩを使用することを含む。尚、いくつかの実施形態において及び本発明の態様に従って、既存のスイッチ及びルータは、トンネリングを使用することによりそれらのフローテーブルを調整することなく使用されてもよい。
【００３４】
論理転送要素の容量は、個々の物理転送要素の容量を超えてもよい。従って、物理スイッチ／転送要素は、トラフィック分割動作（例えば、ＥＣＭＰ又はハッシング）及びリンク集約を提供し、複数の物理経路／リンクを介してトラフィックを分散するのが好ましい。最後に、リンク及びトンネルを効果的に監視するため、物理スイッチは、ハードウェアに基づくリンク及びトンネル監視プロトコルの実現例（ＢＦＤ等）を提供すべきである。これらの例に基づいて及び本明細書の全体的な説明から物理ネットワーク１０４で物理スイッチ及び他の要素を実現する方法は、当業者により理解されるだろう。
【００３５】
実施形態において、ネットワークハイパーバイザ１０２の実現例がネットワーク状態に対してグローバルビューを有するように、ハイパーバイザの実現例は物理転送要素から切り離される。従って、ネットワークハイパーバイザ１０２は、それに応じてネットワーク１０４で全ての影響を受けたスイッチに対するマッピング及び／又はフローテーブルを調整することにより、状態がそのいずれかの側で変化する場合は常に含まれる必要がある。換言すると、物理ネットワーク上にネットワークトポロジイベントがある場合又は制御実現例が論理転送プレーンの状態を変化させる場合、ネットワークハイパーバイザ１０２はそれに関与される必要がある。更にハイパーバイザは、単独で定期的にリソース管理タスクを実行し、物理ネットワークリソースの使用を最適に維持する。
【００３６】
次に、本発明の実施形態に従って論理インタフェース１０６の抽象概念を物理ネットワーク１０４にマッピングするために使用されるハイパーバイザ１０２の例示的なメカニズムを説明する。例えば、論理インタフェースにあるべきもの、すなわち例えば、インタフェースが示すべき論理転送要素の数及びそれらの相互接続の類似点を作成し、規定し且つ管理する別個の機構があると仮定する。
【００３７】
使用された全ての物理スイッチが上述した全ての基本要素を提供すると仮定する場合、ハイパーバイザ１０２は、論理インタフェース抽象概念を物理ハードウェアにマッピングする間、達成すべき以下の２つの課題を有する。
【００３８】
・個々の物理転送要素の潜在的に限られたスイッチング容量、並びに限られた数及び限られた容量のポート。
【００３９】
・個々の物理転送要素のＴＣＡＭテーブルの潜在的に限られた容量。
【００４０】
データセンタのコンテキストにおいて、ネットワークトポロジがファットツリーである可能性が高いため、ネットワークハイパーバイザのタスクは簡略化される。従って、オフライン負荷分散（例えば、ＥＣＭＰ）又はオンライン（例えば、ＴｅＸＣＰ）のいずれかにより実現されたマルチパスは、ネットワークトポロジのあらゆるポイント間に統一された容量を提供する。その結果、ネットワークハイパーバイザ１０２は、マッチング容量を含む物理転送要素を有することなく、超大容量の論理スイッチに対しても必要な容量を実現する。
【００４１】
配置の問題：物理転送要素と関連付けられたＴＣＡＭテーブル容量がたいして重要な問題でない場合（特定の制御プレーンの実現例に対して）、ＴＣＡＭテーブル容量が全ての物理転送要素で全ての論理転送状態を有するため、ネットワークハイパーバイザのタスクは簡略化される。しかし、使用可能な物理ＴＣＡＭリソースがより不足している場合、ハイパーバイザ１０２は、よりインテリジェントに物理ネットワーク内で論理転送判断を配置しなければならない。物理ネットワーク要素が同等でなく（ＴＣＡＭサイズの点で）且つ物理ネットワーク要素のうちのいくつかが論理転送テーブルに対して十分な容量を有する展開において、ネットワークハイパーバイザ１０２は、論理転送判断に対してこれらの要素を使用してもよく、それらの間でパケットを転送するためだけに残りの要素を使用してもよい。大容量物理転送要素の厳密なトポロジ場所が展開特有の問題にされるが、それらを第１のホップ要素としてエッジに有すること又はコア（それらが共有される）にそれらを有することが妥当な出発点であることは、当業者には理解されるだろう。
【００４２】
展開が完全な論理転送テーブルを保持できる物理転送要素を有さない場合、ハイパーバイザ１０２は、複数の物理要素にまたがるように問題の論理ルックアップステップを分割することにより、あるいは別個の論理ルックアップステップを実現するために別個の物理転送要素を使用することにより（論理転送が一連のステップである場合）、問題を区分する。どちらの場合でも、物理転送要素は、先の物理転送が停止した処理を継続するように次に必要なコンテキストを搬送する方法で、処理されたパケットを次の物理転送要素に送出すべきである。
【００４３】
展開特有の制限が上記の２つの極値の間のどこかにある場合、ネットワークハイパーバイザ１０２は、最適な転送テーブルリソース使用と最適な物理ネットワーク帯域幅使用との間で明示的に妥協する。
【００４４】
尚、最後に、全ての物理転送要素と同様に、論理転送テーブルに対して必要な容量を含む個々の要素の転送容量が制限因子となる場合、ハイパーバイザ１０２は、この制限を回避する複数のそのような要素を介して負荷分散を活用してもよい。
【００４５】
図３に示す１つの特定の例示的な実現例において、本発明は、複数の仮想スイッチ及び物理スイッチを介して分散し、且つ新規な方法で速度、セキュリティ及び柔軟性の全てを組み合わせる分散仮想ネットワークプラットフォームを提供する。図３に示すように、本発明は、ＶＭが、同一のＬ２ネットワーク内にあるのと同様に効率的にホスト、並びに／あるいは仮想ＬＡＮ及び／又はサブネットを介して通信できるようにする分散仮想スイッチ（ＤＶＳ）１０８を提供する。更に本発明は、複数の分散仮想スイッチ１０８が同一の物理ホスト上又は同一のデータセンタ内でインスタンス化されることにより、複数のテナントが、互いにアドレス指定すること及び互いのリソースを消費することの双方から依然として隔離されたままで同一の物理ハードウェアを共有できるようにする。
【００４６】
図３に示すように、組織（例えば、データセンタテナント）は、ホスト３００−Ａ〜３００−Ｘを有するデータセンタのサービスを使用する複数の物理ホスト及びＶＭを有する。図示されるように、これらは、少なくともホスト３００−Ａ上のＶＭ３０２−１及び３０２−３、ホスト３００−Ｃ上のＶＭ３０２−４及びホスト３００−Ｄ上のＶＭ３０２−６を含む。データセンタは管理及び他の目的のために一般的なＶＬＡＮでこれらのＶＭを含もうとするが、ＶＭの数がデータセンタによりサポートされたＶＬＡＮサイズを超える場合、これは不可能になる。更にＶＬＡＮは、ＶＭが移動する時にネットワークの構成を必要とし、更なる機構なしではサブネットを介して拡張できない。
【００４７】
図３に更に示されるように、場合によっては複数の異なるホスト３００上に更に分散された仮想スイッチ３０４及び物理スイッチ３０６は、これらの種々のＶＭが異なるホスト及び／又はＶＬＡＮ（すなわち、サブネット）上に配置される場合でもそれらが総合的に互いに通信し、且つ更に正規ホスト３０５（例えば、別個の外部顧客構内上にあってもよく、且つ／あるいはパブリックネットワーク又はプライベートネットワークを介してデータセンタのリソースに接続してもよいテナント組織の正規ユーザ）とも通信できるように単一の分散仮想スイッチ３０８として総合的に動作するために、本発明の仮想化レイヤ１０６及び／又はハイパーバイザ１０２により使用される。上述し且つ以下に更に詳細に説明するように、ハイパーバイザ１０２は、例えばＱＯＳ設定、ＡＣＬ、ファイアウォール、負荷分散等を構成することにより、仮想ネットワークを管理するために使用されてもよい。
【００４８】
実施形態において、ハイパーバイザ１０２は、本発明の原理を用いて適応されるように、内容が参考として本明細書に取り入れられる同時係属出願第１２／２８６，０９８号において説明されるようなネットワークオペレーティングシステムを使用するコントローラにより実現される。しかし、他のＯｐｅｎＦｌｏｗ標準、あるいは他の自社開発のコントローラ又はオープンコントローラが使用されてもよい。ハイパーバイザ１０２及び／又は分散仮想スイッチ１０８は、全ての内容が参考として本明細書に更に取り入れられる米国特許出願第１１／９７０，９７６号において説明されたある特定の技術を更に活用する。
【００４９】
仮想スイッチ３０４は、Ｃｉｓｃｏ及びＶＭｗａｒｅにより提供されるような市販されている仮想スイッチ又は他の自社開発の仮想スイッチを含む。仮想スイッチ３０４の殆ど又は全ては、ネットワークハイパーバイザ１０２と通信するためにＯｐｅｎＦｌｏｗ、あるいは他の標準的なプロトコルサポート又は自社開発のプロトコルサポートを含む。物理スイッチ３０６は、ネットワークハイパーバイザ１０２と通信するために上述したようなＯｐｅｎＦｌｏｗ、あるいは他の標準的なプロトコルサポート又は自社開発のプロトコルサポートを含むあらゆる市販されているスイッチ（例えば、ＮＥＣ（ＩＰ８８００）又はＨＰ（ＰｒｏＣｕｒｖｅ５４０６ＺＬ））又は自社開発のスイッチを含む。しかし、上述した本発明の実施形態及び以下の更なる説明において、ネットワークの既存の物理スイッチ３０６及びルータのうちのいくつか又は全ては、トンネリングを使用することによりフローテーブルに影響を及ぼすことなく使用される。
【００５０】
図３に示すように、仮想スイッチ３０４は仮想機械３０２と通信し、物理スイッチ３０６は物理ホスト３０５と通信する。
【００５１】
例えば例示的なホスト３００は、ＶＭｗａｒｅ  ＥＳＸハイパーバイザを実行するサーバ（例えば、Ｄｅｌｌ、ＨＰ等）を含む。しかし、本発明はこの例示的な本実施形態に限定されず、他のオペレーティングシステム及び／又はハイパーバイザ等を使用して本発明の本実施形態及び同等の実施形態を実現する方法は、当業者には理解されるだろう。例えばこれらは、Ｃｉｔｒｉｘ  ＸｅｎＳｅｒｖｅｒ、Ｌｉｎｕｘ（登録商標）  ＫＶＭを含む。尚、ハイパーバイザ１０２により管理された組織に含まれた全ての物理ホストが何らかの仮想化ソフトウェアを実行する必要はない（例えば、ホスト３０５のうちのいくつか又は全て）。
【００５２】
次に、図４に関連して、本発明の一実施形態に係る分散仮想スイッチ１０８の例示的な一実現例を説明する。上述したように、図４に示すような分散仮想スイッチ１０８は、基盤となる構成から切り離される論理抽象概念を提供するために、複数の従来の仮想スイッチ３０４及び物理スイッチ３０６を利用する。
【００５３】
尚、図４に示すように、分散仮想スイッチ１０８は、基盤となるスイッチ３０４及び３０６のフローテーブルと同一であってもよくあるいは同一でなくてもよい自身のＬ２論理フローテーブル及びＬ３論理フローテーブルを含むのが好ましい。上述したように、これは、仮想化レイヤ１０６の制御プレーンで論理転送要素を実現するためである。
【００５４】
図４に示すように、分散仮想スイッチ１０８により使用される仮想スイッチ及び物理スイッチの各々は、ネットワークハイパーバイザ１０２と通信するセキュアチャネルを含む。例えばこれは、ＯｐｅｎＦｌｏｗ標準（ｗｗｗ．ｏｐｅｎｆｌｏｗ．ｏｒｇを参照）を実現し、且つＯｐｅｎＦｌｏｗプロトコルを使用するコントローラと通信するように構成される通信モジュールである。しかし、他の自社開発のプロトコル及びオープンプロトコルが可能である。
【００５５】
仮想スイッチ３０４及び物理スイッチ３０６の各々は、自身の論理フローテーブル及び物理フローテーブル、並びに入力パケットを論理コンテキストにマッピングするマッパーを更に含む（すなわち、単一の物理スイッチが複数の論理スイッチをサポートできるように）。これらは、ハイパーバイザ１０２により操作されるように、従来のスイッチで使用可能な標準的なフローテーブル及び転送エンジンを使用して実現される。換言すると、３０４及び３０６の既存の転送エンジンが上述した論理マッピング及び他のマッピングを実現するように、ハイパーバイザ１０２は既存のフローテーブルのエントリを調整する。本発明の影響を受けず、且つ従来の手段（例えば、ネットワーク管理、ポリシー、ルーティング要件等）を使用して作成及び維持される更なるフローテーブルエントリをスイッチ３０４及び３０６が有することが理解されるべきである。
【００５６】
図４に更に示すように、種々のサブネットを介した通信をサポートし、且つフローテーブルを調整したことによる影響を受けない既存の物理スイッチ及び／又は仮想スイッチ、並びに物理ルータ及び／又は仮想ルータに更に適応させるために、分散仮想スイッチ１０８を実現するために本発明で使用されるある特定の物理スイッチ３０６及び仮想スイッチ３０４は、トンネルマネージャを含むのが好ましい。例示的な一実施形態において、トンネルマネージャは、仮想プライベートＬ２ブロードキャストドメインとして機能する仮想プライベートネットワーク（ＰＶＮ）の集合に対してＶＬＡＮ又は総称ルーティングカプセル化（ＧＲＥ（Generic Routing Encapsulation））トンネルを使用する。コントローラ１１０は、ＶＭ１０２を１つ以上の関連付けられたＰＶＮにマッピングするデータベースを維持する。ＰＶＮコントローラ１１０及び／又はスイッチ１０４の各々は、ブロードキャストパケット及び他のパケットが搬送されるホストに接続するＰＶＮトンネルの集合を作成し且つ維持する。このように、同一のＰＶＮのＶＭ１０２は、異なるＬ２ドメイン及び／又は異なるホストに存在す場合でも互いに通信する。また、ＰＶＮでホストと関連付けられた全てのＶＭは、ＰＶＮ内で他のホスト上のＶＭにより送出された全てのブロードキャストパケットを参照し、これらのパケットはそのＰＶＮの外側のいずれのホストによっても参照されない。
【００５７】
当業者には理解されるように、本発明に従ってトンネルが作成される多くの種々の方法及び／又はトンネルマネージャ２０４を使用してＰＶＮを介してホストが相互接続される方法がある。
【００５８】
本発明はその好適な実施形態を参照して特に説明されたが、本発明の趣旨及び範囲から逸脱せずに形態及び詳細の変更及び変形が行われてもよいことは、当業者には容易に明らかとなるべきである。添付の請求の範囲は、そのような変更及び変形を含むことを意図する。
【図１】
2020123965.tif 000003
【図２】
2020123965.tif 000004
【図３】
2020123965.tif 000005
【図４】
2020123965.tif 000006
【手続補正書】
【提出日】令和2年5月1日(2020.5.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ホストコンピュータで実行される、管理された転送要素でパケットを処理する方法であって、
前記ホストコンピュータ上の第１の機械から受信された第１のパケットを、第１の複数のホストコンピュータ上で動作する第１の複数の管理された転送要素によって実装される第１の論理転送要素にマッピングし、
前記ホストコンピュータ上の第２の機械から受信された第２のパケットを、第２の複数のホストコンピュータ上で動作する第２の複数の管理された転送要素によって実装される第２の論理転送要素にマッピングし、
（ｉ）第１の論理転送要素のための転送データに基づいて前記第１のパケットを転送し、および（ｉｉ）前記第２の論理転送要素の転送データに基づいて前記第２のパケットを転送する、ことを備える方法。
【請求項２】
前記第１のパケットを転送することは、
前記第１のパケットについて論理転送の決定を行い、前記第１の論理転送要素の論理出力ポートを識別し、
前記第１のパケットに第１の論理コンテキストタグを付加し、
前記第１の論理転送要素の前記論理出力ポートを第１の物理的な次のホップアドレスにマッピングし、
前記第１の物理的な次のホップアドレスに基づいて、第１の物理出力ポートから前記第１のパケットを転送すること、を含む、請求項１に記載の方法。
【請求項３】
前記第１の論理コンテキストタグは、前記論理転送要素を実装する異なる物理転送要素により除去されるものである、請求項２に記載の方法。
【請求項４】
前記第２のパケットを転送することは、
前記第２のパケットについて論理転送の決定を行い、前記第２の論理転送要素の論理出力ポートを識別し、
前記第２のパケットに第２の論理コンテキストタグを付加し、
前記第２の論理転送要素の前記論理出力ポートを第２の物理的な次のホップアドレスにマッピングし、
前記第２の物理的な次のホップアドレスに基づいて、第２の物理出力ポートから前記第２のパケットを転送する、ことを含む、請求項２に記載の方法。
【請求項５】
前記論理転送の決定は、論理スイッチのＬ２ルックアップを含む、請求項２に記載の方法。
【請求項６】
前記論理転送の決定は、論理Ｌ３ルータのルックアップの手順を含む、請求項２に記載の方法。
【請求項７】
前記パケットを転送することは、前記物理的な次のホップアドレスに送信されるパケットをカプセル化することを含む、請求項２に記載の方法。
【請求項８】
前記管理された転送要素は、ネットワークハイパーバイザから前記マッピングの動作を実行するための状態を受け取る、請求項１に記載の方法。
【請求項９】
前記ネットワークハイパーバイザは、（ｉ）前記第１の論理転送要素を実装するための状態を前記第１の複数の管理された転送要素に提供し、（ｉｉ）前記第２の論理転送要素を実装するための状態を前記第２の複数の管理転送要素に提供する、請求項８に記載の方法。 
【請求項１０】
前記第１の論理転送要素は、第１の複数の機械間の通信を排他的に処理し、
前記第２の論理転送要素は、第２の複数の機械間の通信を排他的に処理する、請求項１に記載の方法。
【請求項１１】
前記第１の論理転送要素および前記第２の論理転送要素は、前記第１の複数の機械と前記第２の複数の機械との間の隔離を維持する、請求項１０に記載の方法。
【請求項１２】
前記第１および第２の機械は、第１および第２の仮想機械を含む、請求項１に記載の方法。
【請求項１３】
前記第１の論理転送要素は第１のデータセンターテナントに関連付けられ、前記第２の論理転送要素は第２のデータセンターテナントに関連付けられる、請求項１に記載の方法。
【請求項１４】
ホストコンピュータの少なくとも１つの処理ユニットによって実行されたときにパケットを処理する、管理された転送要素のためのコンピュータプログラムであって、
前記ホストコンピュータ上の第１の機械から受信された第１のパケットを、第１の複数のホストコンピュータ上で動作する第１の複数の管理された転送要素によって実装される第１の論理転送要素にマッピングし、
ホストコンピュータ上の第２の機械から受信した第２のパケットを、第２の複数のホストコンピュータ上で動作する第２の複数の管理された転送要素によって実装される第２の論理転送要素にマッピングし、
（ｉ）前記第１の論理転送要素の転送データに基づいて前記第１のパケットを転送し、（ｉｉ）前記第２の論理転送要素の転送データに基づいて前記第２のパケットを転送する、ための命令のセットを備えるコンピュータプログラム。
【請求項１５】
前記第１のパケットを転送するための前記命令のセットは、
前記第１のパケットについて論理転送の決定を行い、前記第１の論理転送要素の論理出力ポートを識別し、
前記第１のパケットに第１の論理コンテキストタグを付加し、
前記第１の論理転送要素の論理出力ポートを第１の物理的な次のホップアドレスにマッピングし、
前記第１の物理的な次のホップアドレスに基づいて、第１の物理出力ポートから前記第１のパケットを転送する、ための命令のセットを含む、請求項１４に記載のコンピュータプログラム。
【請求項１６】
前記第１の論理コンテキストタグは、前記論理転送要素を実装する異なる物理転送要素によって除去されるものである、請求項１５に記載のコンピュータプログラム。
【請求項１７】
前記管理された転送要素は、ネットワークハイパーバイザから前記マッピングの動作を実行する状態を受け取り、前記ネットワークハイパーバイザは、（ｉ）前記第１の論理転送要素を実装するための状態を前記第１の複数の管理された転送要素に提供し、（ｉｉ）前記第２の論理転送要素を実装するための状態を前記第２の複数の管理転送要素に提供する、請求項１４に記載のコンピュータプログラム。
【請求項１８】
前記第１の論理転送要素は、第１の複数の機械間の通信を排他的に処理し、
前記第２の論理転送要素は、第２の複数の機械間の通信を排他的に処理し、
前記第１の論理転送要素および前記第２の論理転送要素は、前記第１の複数の機械と前記第２の複数の機械との間の隔離を維持する、請求項１４に記載のコンピュータプログラム。
【請求項１９】
少なくとも１つの処理ユニットによって実行されたときに、請求項１乃至１３のいずれか一項に記載の方法を実行するプログラムを格納した機械可読媒体。
【請求項２０】
コンピューティングデバイスであって、
処理ユニットのセットと、
少なくとも１つの前記処理ユニットによって実施されると、請求項１乃至１３のいずれか一項に記載の方法を実行するプログラムを格納した機械可読媒体と、を備えるコンピューティングデバイス。
【外国語明細書】
2020123965000001.pdf