【手続補正書】
【提出日】平成23年1月27日(2011.1.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ストレージコントローラ内のコンポーネントがPCI Expressで接続された内部ネットワークを持つストレージ装置であって、
前記ストレージコントローラ及びその内部ネットワークは、
全体で複数のルートポートを有し、それぞれが１つ以上のルートポートを有する複数のルートコンプレックスと、
前記ルートコンプレックス毎に接続される複数のプロセッサと、
所定のインターフェイスを備え、前記複数のルートポートのそれぞれからアクセス可能な複数のバーチャルファンクションを有するマルチルートアウェアデバイスである、複数のエンドポイントデバイスと、
前記複数のルートポートと前記複数のエンドポイントデバイスとを接続してデータ経路を構成し複数のポートを備えるマルチルートアウェアスイッチであるスイッチと、を有し、
前記複数のエンドポイントデバイスの少なくとも１つは、前記バーチャルファンクションと前記所定のインターフェイスとのマッピングを変更するバーチャルファンクションマイグレーションを実行可能であり、
前記ストレージコントローラ及びその内部ネットワークは、すべての前記複数のルートポートが、すべての前記複数のエンドポイントデバイス内のバーチャルファンクションへアクセス可能なように、前記スイッチ及び前記エンドポイントデバイスが設定されており、
前記ストレージコントローラ及びその内部ネットワークは、前記複数のルートポートの１つから前記スイッチを介して前記複数のエンドポイントデバイスの１つへのデータ経路の１つに障害が発生した場合に、データ経路のフェイルオーバーを実行する処理として、当該障害状態の第１のデータ経路から代替の第２のデータ経路への切り替えにおいて、当該データ経路のアクセス元ルートポートを切り替える処理と、当該アクセス先エンドポイントデバイスのバーチャルファンクションと前記所定のインターフェイスとのマッピングを前記バーチャルファンクションマイグレーションによって切り替える処理とを行うこと、を特徴とするストレージ装置。
【請求項２】
請求項１記載のストレージ装置において、
前記エンドポイントデバイスとして、
上位装置を接続するためのフロントエンドインターフェイスを備え、前記バーチャルファンクションマイグレーションを実行可能な第１のエンドポイントデバイスと、
記憶装置群を接続するためのバックエンドインターフェイスを備え、前記バーチャルファンクションマイグレーションを実行可能な第２のエンドポイントデバイスと、を有し、
前記スイッチは、前記複数のルートポートと、前記第１及び第２のエンドポイントデバイスとを接続し、
前記ストレージコントローラ及びその内部ネットワークは、すべての前記複数のルートポートが、すべての前記複数のエンドポイントデバイス内のバーチャルファンクションへアクセス可能なように、前記スイッチ及び前記第１及び第２のエンドポイントデバイスが設定されており、
前記ストレージコントローラ及びその内部ネットワークは、前記複数のルートポートの１つから、前記第１または第２のエンドポイントデバイスの１つへのデータ経路の１つに障害が発生した場合に、データ経路のフェイルオーバーを実行する処理として、当該障害状態の第１のデータ経路から代替の第２のデータ経路への切り替えにおいて、当該データ経路のアクセス元ルートポートを切り替える処理と、当該アクセス先エンドポイントデバイスのバーチャルファンクションと前記所定のインターフェイスとのマッピングを前記バーチャルファンクションマイグレーションによって切り替える処理とを行うこと、を特徴とするストレージ装置。
【請求項３】
請求項２記載のストレージ装置において、
前記エンドポイントデバイスとして、キャッシュメモリを接続するためのキャッシュメモリインターフェイスを備える第３のエンドポイントデバイスを有し、
前記スイッチは、前記複数のルートポートと、前記第１及び第２及び第３のエンドポイントデバイスを接続し、
すべての前記複数のルートポートが、すべての前記複数のエンドポイントデバイス内のバーチャルファンクションへアクセス可能なように、前記スイッチ及び前記第１及び第２及び第３のエンドポイントデバイスが設定されており、
前記複数のルートポートの１つから、前記第１または第２または第３のエンドポイントデバイスの１つへのデータ経路の１つに障害が発生した場合に、データ経路のフェイルオーバーを実行する処理として、当該障害状態の第１のデータ経路から代替の第２のデータ経路への切り替えにおいて、当該データ経路のアクセス元ルートポートを切り替える処理と、当該アクセス先エンドポイントデバイスのバーチャルファンクションと前記所定のインターフェイスとのマッピングを前記バーチャルファンクションマイグレーションによって切り替える処理とを行うこと、を特徴とするストレージ装置。
【請求項４】
請求項３記載のストレージ装置において、
前記第３のエンドポイントデバイスは、前記バーチャルファンクションに対してマッピングされるミッションバーチャルファンクションを備え、前記ミッションバーチャルファンクションに対して前記キャッシュメモリインターフェイスが対応付けられ、当該第３のエンドポイントデバイスに備えるミッションバーチャルファンクションの数は、当該第３のエンドポイントデバイスにアクセスするルートポートの数以上であること、を特徴とするストレージ装置。
【請求項５】
請求項３記載のストレージ装置において、
前記ストレージコントローラ及びその内部ネットワークにおいて、
前記第１のエンドポイントデバイスのミッションバーチャルファンクションとなる前記フロントエンドインターフェイスと前記第３のエンドポイントデバイスのミッションバーチャルファンクションとなる前記キャッシュメモリインターフェイスとが同じルートポートからアクセス可能なように設定され、
前記第２のエンドポイントデバイスのミッションバーチャルファンクションとなる前記バックエンドインターフェイスと前記第３のエンドポイントデバイスのミッションバーチャルファンクションとなる前記キャッシュメモリインターフェイスとが同じルートポートからアクセス可能なように設定されていること、を特徴とするストレージ装置。
【請求項６】
請求項３記載のストレージ装置において、
前記複数のルートコンプレックスは、それぞれ、第１のルートポートと第２のルートポートとを有し、
前記ストレージコントローラ及びその内部ネットワークにおいて、
各ルートコンプレックスの前記第１のルートポートは、前記第１のエンドポイントデバイスのミッションバーチャルファンクションとなる前記フロントエンドインターフェイス及び前記第３のエンドポイントデバイスのミッションバーチャルファンクションとなる前記キャッシュメモリインターフェイスへアクセス可能なように設定され、
各ルートコンプレックスの前記第２のルートポートは、前記第２のエンドポイントデバイスのミッションバーチャルファンクションとなる前記バックエンドインターフェイス及び前記第３のエンドポイントデバイスのミッションバーチャルファンクションとなる前記キャッシュメモリインターフェイスへアクセス可能なように設定されていること、を特徴とするストレージ装置。
【請求項７】
請求項１記載のストレージ装置において、
前記エンドポイントデバイスは、当該ストレージ装置のデータ読み出しあるいは書き込みに関連するデータ転送のための第１のファンクションと、前記第１のファンクションに付随するバーチャルファンクションの状態遷移を制御可能な第２のファンクションと、を備えること、を特徴とするストレージ装置。
【請求項８】
請求項７記載のストレージ装置において、
前記ストレージコントローラまたはそれに接続される保守端末装置に、マルチルートPCIマネージャーのプログラムを備え、
前記ルートポートからエンドポイントデバイスへのバーチャルハイアラキの構成において、
前記エンドポイントデバイスは、前記マルチルートPCIマネージャーのプログラムからの前記第２のファンクションへの、データ経路障害が未発生のバーチャルハイアラキにおけるインバンド通信により、前記第１のファンクションのバーチャルファンクションを状態遷移させること、を特徴とするストレージ装置。
【請求項９】
請求項７記載のストレージ装置において、
前記ストレージコントローラまたはそれに接続される保守端末装置に、マルチルートPCIマネージャーのプログラムを備え、
前記エンドポイントデバイスは、前記マルチルートPCIマネージャーのプログラムからの前記第２のファンクションへのアウトバンド通信により、前記第１のファンクションのバーチャルファンクションを状態遷移させること、を特徴とするストレージ装置。
【請求項１０】
請求項７記載のストレージ装置において、
前記ストレージコントローラに、シングルルートPCIマネージャーのプログラムを備え、
前記ルートポートからエンドポイントデバイスへのバーチャルハイアラキの構成において、
前記エンドポイントデバイスは、自律機能により、データ経路障害が発生したバーチャルハイアラキにおける前記シングルルートPCIマネージャーのプログラムと、前記第２のファンクションとの通信可否を判定し、否の場合に前記第１のファンクションのバーチャルファンクションを状態遷移させること、を特徴とするストレージ装置。
【請求項１１】
請求項１記載のストレージ装置において、
前記ストレージコントローラ及びその内部ネットワークは、
前記ルートポートとエンドポイントデバイス内バーチャルファンクションとの対応関係を管理するテーブルと、
前記バーチャルファンクションと前記所定のインターフェイスとのマッピングを管理するテーブルと、
前記フェイルオーバーの際の前記バーチャルファンクションのマイグレーションを管理するテーブルと、を含む複数のテーブルを管理し、
前記ストレージコントローラ及びその内部ネットワークは、前記データ経路のフェイルオーバーを実行する処理の際、前記複数のテーブルを参照して、前記データ経路のアクセス元ルートポートを切り替える処理と、前記アクセス先エンドポイントデバイスのバーチャルファンクションと前記所定のインターフェイスとのマッピングを前記バーチャルファンクションマイグレーションによって切り替える処理とを行うこと、を特徴とするストレージ装置。
【請求項１２】
ストレージコントローラ内のコンポーネントがPCI Expressで接続されたストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法であって、
前記ストレージコントローラの内部ネットワークは、全体で複数のルートポートと、前記ルートポートを有するルートコンプレックスに接続されるプロセッサと、所定のインターフェイスを備え前記複数のルートポートのそれぞれからアクセス可能な複数のバーチャルファンクションを有する複数のエンドポイントデバイスと、前記複数のルートポートと前記複数のエンドポイントデバイスとを接続してデータ経路を構成し複数のポートを備えるスイッチと、を有し、
前記複数のエンドポイントデバイスの少なくとも１つは、前記バーチャルファンクションと前記所定のインターフェイスとのマッピングを変更するバーチャルファンクションマイグレーションを実行可能であり、
前記ストレージコントローラの内部ネットワークは、すべての前記複数のルートポートが、すべての前記複数のエンドポイントデバイス内のバーチャルファンクションへアクセス可能なように、前記スイッチ及び前記エンドポイントデバイスが設定されており、
前記ストレージコントローラの内部ネットワークは、前記複数のルートポートの１つから前記スイッチを介して前記複数のエンドポイントデバイスの１つへのデータ経路の１つに障害が発生した場合に、データ経路のフェイルオーバーを実行する処理ステップとして、当該障害状態の第１のデータ経路から代替の第２のデータ経路への切り替えにおいて、当該データ経路のアクセス元ルートポートを切り替える処理ステップと、当該アクセス先エンドポイントデバイスのバーチャルファンクションと前記所定のインターフェイスとのマッピングを前記バーチャルファンクションマイグレーションによって切り替える処理ステップとを有すること、を特徴とする、ストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法。
【請求項１３】
請求項１２記載のストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法において、
前記ストレージコントローラの内部ネットワークに、シングルルートPCIマネージャーのプログラム、及びフェイルオーバー制御プログラムを備え、
前記ストレージコントローラの内部ネットワークまたはそれに接続される保守端末装置に、マルチルートPCIマネージャーのプログラムを備え、
前記ストレージコントローラの内部ネットワークは、前記複数のルートポートの１つから前記スイッチを介して前記複数のエンドポイントデバイスの１つへのデータ経路の１つに障害が発生した場合に、データ経路のフェイルオーバーを実行する処理として、
前記マルチルートPCIマネージャーのプログラムが、前記フェイルオーバー制御プログラムへデータ経路障害発生を通知する処理ステップと、
前記フェイルオーバー制御プログラムが、前記内部ネットワーク内にあるフェイルオーバー管理テーブルを参照し、上記通知された情報に基づいて前記マルチルートPCIマネージャーのプログラムに前記バーチャルファンクションマイグレーションを要求する処理ステップと、
前記マルチルートPCIマネージャーが、上記要求に対し、前記バーチャルファンクションマイグレーションを実行し、前記内部ネットワーク内にあるバーチャルファンクションと前記所定のインターフェイスとのマッピングを管理するテーブルを更新する処理ステップと、
前記フェイルオーバー制御プログラムが、上記バーチャルファンクションマイグレーションの実行に伴い、前記フェイルオーバー管理テーブルを更新する処理ステップと、を有すること、を特徴とする、ストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法。
【請求項１４】
請求項１３記載のストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法において、
前記データ経路における障害が未発生のデータ経路に関して、前記マルチルートPCIマネージャーのプログラムが、前記バーチャルファンクションマイグレーションを実行し、前記バーチャルファンクションマッピング管理テーブルを更新する処理ステップと、
前記フェイルオーバー制御プログラムが、上記バーチャルファンクションマイグレーションの実行に伴い、前記フェイルオーバー管理テーブルを更新する処理ステップとを有すること、を特徴とする、ストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法。
【請求項１５】
請求項１２記載のストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法において、
前記エンドポイントデバイスは、当該ストレージ装置のデータ読み出しあるいは書き込みに関連するデータ転送のための第１のファンクションと、前記第１のファンクションに付随するバーチャルファンクションの状態遷移を制御可能な第２のファンクションと、を備え、
前記エンドポイントデバイスは、前記シングルルートPCIマネージャーのプログラムまたは前記マルチルートPCIマネージャーのプログラムからの前記第２のファンクションへの通信に基づき、前記第１のファンクションのバーチャルファンクションを状態遷移させる処理ステップを有すること、を特徴とする、ストレージコントローラ内部ネットワークのデータ経路フェイルオーバー方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第２の特徴は、ＶＦマイグレーション制御手段に対する、データ経路障害発生時等の対策として、ＳＲ−ＰＣＩＭ以外による代替手段を設ける。ＥＰＤに、その代替手段となる機能を持たせる。例えば第１の方法（インバンド通信による方法）、第２の方法（アウトバンド通信による方法）、第３の方法（自律機能による方法）がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
第１の方法（インバンド通信による方法）：  ＶＦ状態制御部２１０４は、ＰＦ２１０３と接続することにより、ＳＣ２０内で動作するプログラム（例えば、当該ＥＰＤ５１と正常に接続されるデータ経路におけるＲＰ上のプロセッサ２１が実行するＦＰ１１０）からの指令により、ＶＦ２０４（「VF 0:0,1」，「VF 1:0,1」，「VF 2:0,1」，「VF 3:0,1」）を状態遷移させることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【０１４２】
第２の方法（アウトバンド通信による方法）：  また、ＶＦ状態制御部２１０４は、管理ポート２１０５とネットワークＮ００を介してＳＶＰ１９０と接続することにより、ＰＣＩｅファブリック外で動作するプログラムからのアウトバンド通信による命令を受けて、ＶＦ２０４（「VF 0:0,1」，「VF 1:0,1」，「VF 2:0,1」，「VF 3:0,1」）を状態遷移させることができる。なお第２の方法のみの構成とする場合、ＢＦ２１０２，ＰＦ２１０３は必要無い。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
＜ＶＦマイグレーション処理（２）＞
図２３は、第２の方法を用いて、ＥＰＤ５１において、ＭＲ−ＰＣＩＭが管理ポート２１０５とネットワークＮ００を介したアウトバンド通信を用いて、ファンクション番号１の機能によりファンクション番号０のＶＦを状態遷移させ、ＶＦマイグレーションを実行する処理（２３００）のフローである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１６５
【補正方法】変更
【補正の内容】
【０１６５】
Ｓ2305において、ＭＲ−ＰＣＩＭ等（ＭＲ−ＰＣＩＭ、またはＭＲ−ＰＣＩＭと通信可能なソフトウエア（フェイルオーバー制御プラグラム等））は、アクセス障害が生じているＥＰＤ５１内ＶＦ状態制御部２１０４とネットワークＮ００を介したアウトバンド通信を行い、ＶＦ状態制御部２１０４にＶＦ（「VF h:f,s」）に対してＦＬＲを発行させる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１６６
【補正方法】変更
【補正の内容】
【０１６６】
Ｓ2306において、ＭＲ−ＰＣＩＭ等は、アクセス障害が生じているＥＰＤ５１のＶＦ状態制御部２１０４とネットワークＮ００を介したアウトバンド通信を行い、ＶＦ（「VF h:f,s」）のＶＦ状態を、「A.M」から「I.U」へ遷移させる。この遷移では、MR VF Migration Status bitをセットし、ＭＲ−ＰＣＩＭへの割り込みを起動する。以降の処理は前述同様である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
上記のように、実施の形態２（第２の方法）のフェイルオーバー方法及びＶＦマイグレーション処理では、Ｓ2305〜Ｓ2306において、ＭＲ−ＩＯＶ標準仕様ではＳＲ−ＰＣＩＭが処理すべきステップを、ＥＰＤ５１内に設けたＶＦ状態制御部２１０４とアウトバンド通信を用いて処理する点が特徴である。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2010108211.tif 000001