(57)【要約】  本発明は、複数のポートと、ルーティングテーブルに対応するデータを保持するための持続性メモリと、ルーティングテーブルに対応するデータに対して作業するための作業メモリとを備える、スイッチのポート内障害の場合にルーティングを迅速に再構成するための方法であって：障害を示すための第１のメッセージを送信するステップ（１０１０）と、障害のあるポートの識別子を、動作可能ポートの識別子と置き換えることによって、作業メモリ内でのみルーティングデータを独立して更新するステップ（１０２０）であって、動作可能ポートの識別子はローカルに選択される、更新するステップ（１０２０）と、テーブルが更新されたことを示すための第２のメッセージを送信するステップ（１０３０）とを含むことを特徴とする、迅速に再構成するための方法に関する。
2017539147.tif 000002
【特許請求の範囲】
【請求項１】
複数のポートと、ルーティングテーブルに対応するデータを保持するための持続性メモリと、ルーティングテーブルに対応するデータに対して作業するための作業メモリとを備える、スイッチのポート内障害の場合にルーティングを迅速に再構成するための方法であって、
障害を示すための第１のメッセージを送信するステップ（１０１０）と、
障害のあるポートの識別子を、動作可能ポートの識別子と置き換えることによって、作業メモリ内でのみルーティングデータを独立して更新するステップ（１０２０）であって、動作可能ポートの識別子はローカルに選択される、更新するステップ（１０２０）と、
テーブルが更新されたことを示すための第２のメッセージを送信するステップ（１０３０）と
を含むことを特徴とする、迅速に再構成するための方法。
【請求項２】
ルーティングテーブル更新メッセージを受信するステップ（１０４０）と、
作業メモリおよび持続性メモリを更新するために、ルーティングテーブル更新メッセージのデータを使用するステップ（１０５０）であって、これらの更新が、更新メッセージのデータに準拠する、使用するステップ（１０５０）と
をさらに含むことを特徴とする、請求項１に記載の迅速に再構成するための方法。
【請求項３】
更新に使用される動作可能ポートの識別子が、複数のポートの内の動作可能ポートの識別子によって形成されるセットから選択されることを特徴とする、請求項１または２に記載の迅速に再構成するための方法。
【請求項４】
更新に使用される動作可能ポートの識別子がランダムに選択されることを特徴とする、請求項１から３のいずれか一項に記載の迅速に再構成するための方法。
【請求項５】
更新に使用される動作可能ポートの識別子が、実行されている更新の数に対応するカウンタに従って選択されることを特徴とする、請求項１から３のいずれか一項に記載の迅速に再構成するための方法。
【請求項６】
更新に使用される動作可能ポートの識別子が、ポート識別子のリストにおける所定のランキングに従って選択されることを特徴とする、請求項１から３のいずれか一項に記載の迅速に再構成するための方法。
【請求項７】
動作可能ポートの識別子を選択するのに使用されるポートのリストがソートされることを特徴とする、請求項１から６のいずれか一項に記載の迅速に再構成するための方法。
【請求項８】
ソート基準がポートの負荷であることを特徴とする、請求項６に記載の迅速に再構成するための方法。
【請求項９】
請求項１から８のいずれか一項に記載の方法を実施する命令コードに対応するファイルを備えるデジタル記憶デバイス。
【請求項１０】
請求項１から８のいずれか一項に記載の方法を実施するデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スイッチのポート内障害の場合にルーティングを迅速に再構成するための方法に関する。より詳細には、本発明は、コンピューティングノードのネットワークのスイッチのポート内障害の場合にルーティングを迅速に再構成するための方法に関する。
【０００２】
本明細書における「ポート内障害」は、ポートの状態の変化を意味するために利用される。そのような状態の変化は、たとえば、ポート内の障害について発生するが、ケーブルまたはさらには論理結合のような、ポートに接続されているハードウェアまたはソフトウェア要素内の障害についても発生する。
【０００３】
コンピューティングノードのネットワークは、本明細書の範囲内では、機械の任意のネットワークを意味するために利用され、機械は少なくとも：コンピュータ、サーバ、ブレードサーバなどから選択される。特に対象とされるのは、サーバのクラスタ、すなわち、スーパーコンピュータ、または、むしろ高性能コンピュータである。ＨＰＣと表される高性能コンピューティングの分野も対象とされる。
【背景技術】
【０００４】
スーパーコンピュータのサイズの増大によって、対応するネットワークのトポロジは、より高密度になりながら、より複雑になってきている。ネットワークに影響を与える障害の頻度は、機器の品目数に応じて決まるため、この頻度は増大している。同時に、コンピューティングノードあたりのプロセッサコアの数およびプロセッサの数が増大するように、コンピューティング機器の品目は高密度になっている。こうした事情により、相互接続ケーブルの障害のような、通常のまたは予測されるものでさえある、障害の影響は、非常に多数のアプリケーションに関係する可能性があり、それらの実行において故障を誘発する可能性がある。重大なこれらの発生は回避されるべきであるが、それにもかかわらず、それらは記述される２つの要因、すなわち、相互接続ネットワークのサイズの増大およびコンピューティング手段の高密度化が組み合わさることによって、増大することが見込まれる。
【０００５】
この技術的問題は、時間的な問題に基づく。これは、障害の検出からその回避までの反応時間を最小限に抑えることを目標とする最適化の問題に関係する。実用的な基準によって規定される反応時間を超えると、並列プログラムは機能しなくなる。他方、この反応時間が満了する前に回避策が発見され、配備される場合、障害は、影響されるアプリケーションにとって見えなくなる。この動作手段は、ルーティング、すなわち、メッセージがその宛先に達するためにネットワーク上で従わなければならない経路の計算および使用に対して作用する。一方では支援チームに介入するための時間を残すために、他方では故障の混乱の影響を最小限に抑えるために、障害を考慮に入れ、これを回避するために再計算動作が開始されなければならない。
【０００６】
ネットワークトポロジのサイズおよびメッセージを送信することが可能な機器の品目数の増大は、既存のルーティングアルゴリズムをそれらの究極的限界まで追いやっている。それらの複雑さはそれらの計算時間を急上昇させており、それらの反応時間を、起因しうる反応時間を超えるものにしている。
【０００７】
現行のスーパーコンピュータはそれらのルーティング、および、したがって再ルーティング動作を、中央集中的に管理する。すなわち、単一のサーバが、トポロジの状態の回復およびその結果としてのルーティング決定の役割を担う。これは、たとえば、「ＯｐｅｎＳＭ」、すなわち、Ｉｎｆｉｎｉｂａｎｄネットワークによって使用されるデーモンの場合に当てはまる。この中央集中型手法は、エクサフロップスケール、または、さらには約５０ペタフロップのスケールまでスケールアップしない。これはまた、ＭｙｒｉｎｅｔネットワークのＭＣＰソフトウェアコンポーネントにも当てはまっている。これらのソリューショのいずれも：
−  スケールアップされ得ず、
−  迅速な再ルーティングを提供する可能性をもたらさない。
【０００８】
事実、ネットワークの単一の点にトポロジを集中させ、その後、更新されたルーティングテーブルを再配備する前に、全体的な計算を実行することが必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００９】
本発明は、障害後の回復時間を、計算アプリケーションの検出閾値を下回って劇的に低減することを可能にするためのソリューションを提供する。カバーされる障害のタイプは、リンクの損失からルータの損失にまで及ぶ。この訂正の効率は、高性能トポロジおよび障害の位置に応じて決まる。
【００１０】
本発明は、再ルーティング動作に可能な限り近い配布を実施し、スケールアップを可能にし、既存のスケールによってだけでなく、将来のスケールによっても機能するソリューションを得ることを可能にする。それにもかかわらず、この配布は、フィールドに内在する問題の予測される対立をもたらす場合、理想的には、障害に可能な限り近く、すなわち、ルータ内でも行われなければならない。障害に可能な限り近いこの実施態様は、検出動作時間を最小限にまで低減することを可能にするが、非常に限られたリソースのみを提供し、アルゴリズムの動作のフィールドを低減する。しかしながら、これは、アプリケーションへのルーティングの連続性をもたらすことを可能にし、上記アプリケーションの不履行を回避する。
【００１１】
本発明は、ネットワークの各スイッチと関連付けられる制御ボード上で直に作動され得る方法である。これらのボードは、特に、管理ネットワークとの通信、エラーおよびルーティングテーブルの管理を担う、適度なサイズのオンボードコンピュータである。
【００１２】
ローカルにアクセス可能な情報以外の一切の他の情報がなければ、すなわち、ポートが利用可能でなければ、本発明による方法は、障害のあるポートを使用していたルートを新たな動作可能ルートに置き換えることによって、ルーティングを再計算することが可能である。このローカル情報は部分的ではあるが、ほとんどの事例において動作可能再ルーティングを導入するには十分である。
【００１３】
そうするために、本発明の一態様は、複数のポートと、ルーティングテーブルに対応するデータを保持するための持続性メモリと、ルーティングテーブルに対応するデータに対して作業するための作業メモリとを備える、スイッチのポート内障害の場合にルーティングを迅速に再構成するための方法であって、
−  障害を示すための第１のメッセージを送信するステップと、
−  障害のあるポートの識別子を、動作可能ポートの識別子と置き換えることによって、作業メモリ内でのみルーティングデータを独立して更新するステップであって、動作可能ポートの識別子はローカルに選択される、更新するステップと、
−  テーブルが更新されていることを示すための第２のメッセージを送信するステップと
を含むことを特徴とする、方法に関する。
【００１４】
先行する段落において言及されている主な特徴とは別に、本発明による方法／デバイスは、個々に、または、その任意の技術的に可能な組み合わせに従って考慮される、以下の中からの１つまたは複数の追加の特徴を有してもよい：
−  方法／デバイスが、以下のステップをも含む：
−  ルーティングテーブル更新メッセージを受信するステップ、
−  作業メモリおよび持続性メモリを更新するために、ルーティングテーブル更新メッセージのデータを使用するステップであって、これらの更新は、更新メッセージのデータに準拠する、使用するステップ。
−  更新に使用される動作可能ポート識別子が、複数のポートのうちの作業ポートの識別子によって形成されるセットから選択される。
−  更新に使用される動作可能ポート識別子が、ランダムに選択される。
−  更新に使用される動作可能ポート識別子が、実行される更新の数に対応するカウンタに従って選択される。
−  更新に使用される動作可能ポート識別子が、ポート識別子のリストにおける所定のランキングに従って選択される。
−  動作可能ポート識別子を選択するために使用されるポートのリストがソートされる。
−  ソート基準が、ポートの負荷である。
【００１５】
本発明はまた、先行する特徴の組み合わせによる方法を実施する命令コードに対応するファイルを備えるデジタル記憶デバイスにも関する。
【００１６】
本発明はまた、先行する特徴の組み合わせによる方法を実施するデバイスにも関する。
【００１７】
本発明の他の特徴および利点が、添付の図面を参照しながら以下の説明を読むとより明らかになる。
【図面の簡単な説明】
【００１８】
【図１】本発明による方法を実施するスイッチの図である。
【図２】本発明による方法のステップの図である。
【発明を実施するための形態】
【００１９】
より明瞭にするために、同一のまたは同様の要素は、すべての図面において同一の参照符号によってマークされる。
【００２０】
本発明は、以下の説明を読み、添付の図面を調べることによってより良好に理解される。これらは、指示を目的として提示されており、決して本発明を限定するものではない。
【００２１】
図１において、本発明が実施され得るデバイスが示されている。図１はスイッチ１００を示しており、これは以下を備える：
−  マイクロプロセッサ１１０、
−  ランダムアクセスメモリすなわちＲＡＭとも呼ばれる作業メモリ１２０、
−  持続性メモリ１３０、すなわち、電源がない場合でさえデータをバックアップすることが可能なメモリ、一般的にはフラッシュメモリが使用され、より希にはＳＳＤまたは従来のハードディスクドライブが使用される、
−  管理ポート１４０、一般的にはＥｔｈｅｒｎｅｔポートである、
−  複数１５０の作業ポート１５０．ｉ、一般的には、それらはＩｎｆｉｎｉＢａｎｄポートである。
【００２２】
スイッチ１００のマイクロプロセッサ１１０、スイッチ１００の作業メモリ１２０、スイッチ１００の持続性メモリ１３０、スイッチ１００の管理ポート１４０、および、スイッチ１００の複数１５０の作業ポートは、少なくとも１つのバス１６０によって相互接続される。
【００２３】
動作がデバイスに帰するときは、動作は実際には、デバイスのメモリ内に保存されている命令コードによって制御されるデバイスのマイクロプロセッサによって実行される。動作がアプリケーションに帰する場合、動作は実際には、アプリケーションに対応する命令コードが保存されているメモリにおいて、デバイスのマイクロプロセッサによって実行される。
【００２４】
図１は、持続性メモリ１３０が、複数のルーティング記録を備える少なくとも１つのルーティングテーブルゾーン１３０．１を備えることを示している。ルーティング記録は、少なくとも２つのフィールドから成る。
−  宛先識別子フィールド、
−  ポート識別子フィールド。
【００２５】
スイッチは、あるポートを介してメッセージを受信し、別のポートを介してそれらを再送する。この他のポートは、ルーティングテーブルの記録を、メッセージの少なくとも１つの特徴と対照することによって決定される。メッセージは少なくとも、受信者情報によって特徴付けられる。この受信者情報は、ルーティングテーブル内で記録を発見することを可能にする。発見された記録は、いずれのポートを介してメッセージが再送されなければならないかを決定することを可能にする。
【００２６】
図１は、作業メモリ１２０が、少なくとも以下から成るいくつかのゾーンを備えることを示す：
−  ルーティングテーブルゾーン１２０．１、これは、持続性メモリのルーティングテーブルのコピーであり、この作業メモリへのアクセスは迅速であるが、この作業メモリは電源なしにデータをバックアップすることが可能でなく、したがって、マイクロプロセッサは持続性メモリから作業メモリへとデータをロードし、同様に、プロセッサが持続性メモリ内にデータを保存することを所望するとき、プロセッサは最初に、このデータを作業メモリ内に書き込む、
−  内部にポートステータス記録が保存されるポートステータスゾーン１２０．２、ポートステータス記録は以下の少なくとも２つのフィールドを備える：
−  第１のポート識別子フィールド、
−  第２のポートステータスフィールド、ステータスは少なくとも：「動作可能」、「障害あり」から形成されるリストの中から選択される。
【００２７】
ここで、ポートは以下の様々な理由から障害を有し得ることが留意され得る：
−  ポートのレベルにおける不備、
−  ポートに接続されているケーブルのレベルにおける不備、
−  ケーブルがない、
−  リストが網羅的でない。
【００２８】
図２は、複数１５０のポートのうちのポート１５０．ｉのレベルにおいて故障が発生している予備ステップ１０００を示す。そのような障害は、知られている様式で、スイッチ１００によるシグナリングステップ１０１０を実施させる。本発明は、このシグナリングステップに、本発明特有のステップへの接続命令を追加するために、このシグナリングステップを修正する。故障または障害は、ポート自体に起因し得るが、ポートに接続されているケーブル、ポートに接続されている別のポート、リンク故障、すなわち、ポートを使用不可能にするソフトウェア問題に起因する場合もあり、このリストは網羅的なものではない。
【００２９】
シグナリングステップ１０１０において、スイッチ１００は、管理ポート１４０を介して第１のシグナリングメッセージを生成および送信する。第１のシグナリングステップは、簡易ネットワーク管理プロトコル（ＳＮＭＰ）によるメッセージ、たとえば、ＴＲＡＰまたはＩＮＦＯＲＭメッセージである。この第１のメッセージのペイロードは少なくとも、スイッチの１つの識別子、および、スイッチの障害のあるポートの１つの識別子を含む。シグナリングステップ１０１０において、スイッチはまた、作業メモリのステータスゾーン１２０．２に、障害のあるポートに対応する記録において「障害あり」ステータスを書き込むために、ステータスゾーン１２０．２を更新する（２０）。
【００３０】
ステップ１０１０から、スイッチはその後、作業メモリ内のルーティングデータを更新するステップ１０２０に移動する。このステップは、ローカルデータ、すなわち、スイッチのメモリ内に保存されている、特に、スイッチによって生成されるデータのみを使用するため、独立して表されている。
【００３１】
ルーティングデータを更新するステップ１０２０において、スイッチは、障害のあるポートの識別子をそれらの宛先識別子フィールド内に含むルーティング記録を求めて、スイッチの作業メモリのルーティングテーブルゾーン１２０．１内を検索する。
【００３２】
発見された記録の各々について、スイッチは、障害のあるポートの識別子の値を、動作可能ポート識別子の値に置き換える。したがって、この更新は、スイッチの作業メモリ内で行われる。この更新は、スイッチの持続性メモリにおいては伝播しない。これは、スイッチが再び始動する場合、この更新が失われることを意味する。これは一時的な更新ではあるが、迅速に実行される。
【００３３】
特定のスイッチにおいて、ルーティングテーブルはまた、特殊回路のメモリ内にも存在する。ルーティング管理に専用にされているこの特殊回路は、パフォーマンスの理由で使用される。この特殊回路はこのとき、ルーティングデータのそれ自体のコピーを含む。そのようなスイッチについては、ステップ１０２０において、特殊回路のルーティングデータも更新される。そのような特殊回路のメモリは、持続性ではない。したがって、そのような更新は一時的である。
【００３４】
動作可能ポートの値は、いくつかの様式で選択され得る。値を選択する第１のモードは、すべての更新について同じ値を選択することである。この選択される値はこのとき、たとえば、以下のようになる：
【００３５】
−  スイッチの作業メモリのポートステータスゾーン１２０．２に見られる第１の動作可能ポート識別子値。この場合、スイッチは、スイッチの作業メモリのポートステータスゾーン１２０．２の記録を順次スクロールし、そのうちステータスフィールドが「動作可能」であるものを発見するとすぐに停止する。このとき、記録の識別子値がすべての更新について使用される。
【００３６】
−  スイッチの作業メモリのポートステータスゾーン１２０．２に見られる第ｎの動作可能ポート識別子値。この場合、スイッチは、スイッチの作業メモリのポートステータスゾーン１２０．２の記録を順次スクロールし、そのステータスフィールドが「動作可能」であるＮ個の記録をカウントするとすぐに停止する。このとき、カウントが停止した記録の識別子値がすべての更新について使用される。Ｎの値は予め決定されるか、または、スイッチによって実施される疑似ランダム関数によってランダムに選択される。
【００３７】
値を選択する第２のモードは、更新される記録に応じて値を選択することである。このモードにおいて、カウンタを介して更新が実行されるときにその更新がカウントされ、第ｎの値を使用して第１の選択モードに従って値が選択され、Ｎはカウンタの値に等しい。したがって、ポート識別子値は実際には、新たな更新毎に変化する。
【００３８】
動作可能ポートを選択するためのモードが何であれ、検索は、利用可能な動作可能ポートのサブセットに制限され得ることが留意され得る。そのようなサブセットは、たとえば、パラメータ化によって予め決定され、選択を加速すること、または、選択されるポートがより適切であることを保証することを可能にする。
【００３９】
更新値を選択する第１のモードと第２のモードとの間の顕著な差は、第２のモードにおいては更新毎に更新値が計算されることである。更新値を選択するモードは、可能な唯一のモードではない。
【００４０】
本発明の代替的な実施形態において、ポートステータスゾーン１２０．２のデータはスクロール前にソートされ、したがって、説明されていたモードの少なくとも１つに従ってスクロールされ得るソートされたリストが得られる。ソートはたとえば、ポート識別子に従って行われ、別のソートはポートステータスに従って行われ、また別のソートはポート負荷情報に従って行われる。そのような負荷情報は、ルーティングテーブルゾーン１２０．１をスクロールすること、および、ポート識別子に従って集計を作成することによって得られ、これによって、ポート識別子毎に、ゾーン１２０．１内での出現回数を得ることが可能である。この出現回数が、ポートの負荷である。ポート負荷によってソートする代替的な実施形態において、再計算するルーティングテーブルのゾーン１２０．１の各修正が、修正の瞬間における、関係するポートの負荷を考慮され、それによって、可能性のある後の修正のためにソートが修正される。
【００４１】
したがって、所定の負荷および１に等しいランクに従ってソートされる代替的な実施形態が考慮される場合、最も負荷の小さいポートが依然として選択される。
【００４２】
記載されている動作において、障害のあるポートが無視されることは明らかである。
【００４３】
先行する実施形態と同時であり得る、別の代替的な実施形態においては、動作可能ポート識別子を選択するためのポートのサブセットのみが考慮される。したがって、事前選択が実行される。特に、この事前選択は、たとえば、降下的ポートを除外することを可能にする。ポートが降下的であるという事実は、たとえば、ポートステータスゾーン１２０．２内の一般的なフィールドのような、保存されるポートの特徴である。このように、各ポートについて、追加の特徴を管理することが可能である。一般的な特徴は、スイッチ１００が導入されるときに構成によって入力される。
【００４４】
したがって、識別子が選択されるポートセットは、たとえば、以下のとおりである：
−  すべての作業ポートから成るセット、
−  ポートのタイプのような所定の基準による、すべての作業ポートから成るセットのうちのサブセット。
【００４５】
作業メモリ内のルーティングデータを更新するステップ１０２０の後、管理ポート１４０を介して第２のシグナリングメッセージを送信するステップ１０３０が行われる。第２のシグナリングメッセージは、ＳＮＭＰプロトコルによるメッセージ、たとえば、ＴＲＡＰまたはＩＮＦＯＲＭメッセージである。この第２のメッセージのペイロードは少なくとも、スイッチの１つの識別子、および、作業メモリ内のルーティングデータに対して行われる修正の１つの記述を含む。
【００４６】
第１のシグナリングメッセージおよび第２のシグナリングメッセージは、図示されていない管理サーバに送信される。管理サーバは、ペイロードを使用して、新たなルーティング情報を計算した後、この新たなルーティング情報を、シグナリングメッセージを送信したスイッチに送信する。
【００４７】
本発明を用いなければ、管理サーバは、利用可能な１つの障害ポート識別子を有するのみである。本発明を用いれば、管理サーバは、加えて、スイッチによって実行される迅速な訂正によっていずれの修正が行われているかが分かる。したがって、その計算において、これらの修正を考慮に入れることができる。そのような考慮事項は、以下のとおりである：
−  検証、すなわち、修正は良好であり、したがって、これを再び送信する理由はない。
【００４８】
−  訂正、すなわち、実行されている迅速な訂正は最適ではなく、これを訂正する必要がある。
【００４９】
その計算が実行されると、管理サーバは、ルーティング情報更新メッセージをスイッチに送信する。そのような更新メッセージは、シグナリングメッセージに対する応答である。そのようなルーティング情報更新メッセージの生成は、本発明を用いてまたは用いずに、少なくとも約１０秒かかるが、この時間は、一般的に、非常に大きいトポロジ、すなわち、５０，０００を超えるコンピューティングノードから成るトポロジについては、１分を超える。
【００５０】
ルーティングテーブルを更新するためのメッセージを受信するステップ１０４０において、スイッチ１００は、サーバによって生成されたメッセージを受信する。そのようなメッセージはスイッチにとってありふれたものである。そのようなメッセージの処理は、メッセージのデータを使用し、スイッチのすべてのメモリ内のルーティングデータをこれらのデータを使用して更新することに存する。本発明の例において、これは、作業メモリおよび持続性メモリを含む。この更新メッセージの処理の後、スイッチが再び始動する場合、障害のあるスイッチが正確に考慮に入れられる。訂正は維持されている。
【００５１】
本実施態様の事例において、２つのメモリを介してルーティングデータを管理するスイッチが記載されている。本発明は、より多くのメモリを使用するスイッチについても有効なままである。たとえば、スイッチ１００のマイクロプロセッサ１１０が、当該マイクロプロセッサがルーティング情報を保存する専用超高速メモリを備える特殊回路であることが可能である。この事例において、本発明は、作業メモリでも持続性メモリでもなく、専用メモリを迅速に更新することを可能にする。専用メモリおよび作業メモリのみを更新することも可能である。本発明の原理は、ルーティング動作に関与するメモリ、すなわち、マイクロプロセッサによってルートを決定するために使用されるメモリのみを更新することである。
【００５２】
したがって、本発明によって、これらの部分的修復は最適であるようには意図されていない。提示されている形態は、降下的ポートから到来するトラフィックを転送するのに成功するが、故障したポートを介して降下してくるトラフィックがルーティングされ続けることを回避するためには、上流で機能し得ない。すべての事例において、管理サーバのルーティングモジュールによって計算される、より完全な更新が後続している。
【００５３】
また、本発明による高速修復によって実行される修正は、持続性メモリ内には記憶されず、それらは一時的なものである。
【００５４】
この高速修復は、それにもかかわらず、スイッチに接続されているコンピューティングノードのレベルにおける実際的な欠陥を回避することを可能にする。
【図１】
2017539147.tif 000003
【図２】
2017539147.tif 000004
【国際調査報告】
2017539147.tif 000005
2017539147.tif 000006
2017539147.tif 000007
2017539147.tif 000008