(57)【要約】【課題】アレイ内のローカル冗長性をアレイのシステム全体を通じて大域的に使用可能にすることによって、ストレージ・システムの信頼性を改善する技法を提供すること。【解決手段】選択されたアレイの局所冗長性をストレージ・システム全体を通じて大域的に使用可能にすることによって、複数のアレイを有するストレージ・システムのエラー許容範囲を増やす。増やされたエラー許容範囲を達成するために、ドナー・アレイの最小距離とレシピエント・アレイの最小距離の間の差が２以上である時に、ドナー・アレイを、複数のアレイから選択する。ドナー・ストレージ・ユニットを、ドナー・アレイ内で選択し、レシピエント情報を、選択されたストレージ・ユニット上でレシピエント・アレイから再作成する。選択されたストレージ・ユニットは、失われた情報が選択されたストレージ・ユニットで再作成される前に、寄贈されたものとしてドナー・アレイに示される。ドナー・アレイが複数のアレイから選択される前に、レシピエント・アレイの最小ハミング距離がｄ≧２であることが好ましい。【選択図】図１【特許請求の範囲】
【請求項１】
複数のアレイを有し、各アレイが複数のストレージ・ユニットを有するストレージ・システムの故障許容範囲を増やす方法であって、レシピエント・アレイを選択するステップと；ドナー・アレイの最小距離と前記レシピエント・アレイとの間の差が２以上である時に前記複数のアレイから前記ドナー・アレイを選択するステップと；前記ドナー・アレイ内でドナー・ストレージ・ユニットを選択するステップと；前記ドナー・アレイ内の前記選択されたストレージ・ユニット上で前記レシピエント・アレイから失われたレシピエント情報の少なくとも一部を再作成するステップとを含む方法。
【請求項２】
前記複数のアレイから前記ドナー・アレイを選択する前記ステップの前に、前記レシピエント・アレイの最小ハミング距離がｄ≧２である、請求項１に記載の方法。
【請求項３】
前記選択されたストレージ・ユニット上で前記失われた情報を再作成する前記ステップの前に、前記選択されたストレージが寄贈されたことを前記ドナー・アレイに示すステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記レシピエント・アレイからレシピエント・ストレージ・ユニットを選択するステップをさらに含む、請求項１に記載の方法。
【請求項５】
前記レシピエント・ストレージ・ユニットの失われた内容の少なくとも一部が、前記ドナー・ストレージ・ユニット上で再作成される、請求項４に記載の方法。
【請求項６】
前記ドナー・ストレージ・ユニットが、さらに、前記ドナー・アレイに対する最小の性能影響に基づいて選択される、請求項１に記載の方法。
【請求項７】
前記レシピエント・アレイの改善された性能に基づいて前記レシピエント情報を選択するステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記ストレージ・システムの前記アレイが、消去または誤り訂正コードに基づく冗長性を含む、請求項１に記載の方法。
【請求項９】
前記消去または誤り訂正コードが、パリティ・コード；Ｗｉｎｏｇｒａｄコード；対称コード；リード−ソロモン・コード；ＥＶＥＮＯＤＤコード；ＥＶＥＮＯＤＤコードの派生物のうちの１つである、請求項８に記載の方法。
【請求項１０】
前記ストレージ・システムの前記アレイが、複数の前記消去または誤り訂正コードの結果に基づく冗長性を含む、請求項９に記載の方法。
【請求項１１】
前記ドナー・アレイ内のストレージ・ユニットが、前記選択されたストレージ・ユニット上で前記レシピエント・アレイからレシピエント情報の少なくとも一部を再作成する前記ステップ中に故障した時に、前記方法が、さらに、前記選択されたストレージ・ユニット上で前記レシピエント・アレイからレシピエント・アレイ情報の少なくとも一部を再作成する前記ステップを打ち切るステップと；第２ドナー・アレイの最小距離と第２レシピエント・アレイの最小距離との間の差が２以上である時に前記複数のアレイから前記第２ドナー・アレイを選択するステップと；前記第２ドナー・アレイ内でドナー・ストレージ・ユニットを選択するステップと；前記第２ドナー・アレイ内の前記選択されたストレージ・ユニット上で前記レシピエント・アレイから失われたレシピエント情報の少なくとも一部を再作成するステップとを含む、請求項１に記載の方法。
【請求項１２】
予備ストレージ・ユニットが使用可能になった時に、前記予備ストレージ・ユニットを選択されたアレイに割り当てるステップをさらに含む、請求項１に記載の方法。
【請求項１３】
故障の選択されたパターンに脆弱なストレージ・ユニットのアレイの故障許容範囲を増やす方法であって、ストレージ・ユニット故障の後に、ストレージ・ユニットの前記アレイからレシピエント・ストレージ・ユニットを選択するステップと；前記アレイの故障許容範囲が再作成動作の後に増えるように、ストレージ・ユニットの前記アレイからドナー・ストレージ・ユニットを選択するステップと；前記ドナー・ストレージ・ユニット上で失われたレシピエント情報の少なくとも一部を再作成するステップとを含む方法。
【請求項１４】
各アレイが複数のストレージ・ユニットを有する複数のアレイと；各アレイに結合されたシステム・アレイ・コントローラとを含むデータ・ストレージ・システムであって、前記システム・アレイ・コントローラが、前記複数のアレイの第１アレイ内のストレージ・ユニットの故障を検出し、第２アレイの最小距離と前記第１アレイの最小距離との間の差が２以上である時に前記複数のアレイの前記第２アレイ内のストレージ・ユニットを選択し、前記第２アレイの前記選択されたストレージ・ユニット上で前記第１アレイから情報の少なくとも一部を再作成する、データ・ストレージ・システム。
【請求項１５】
予備ユニットが使用可能になった時に、前記予備ユニットが、前記第２アレイに割り当てられる、請求項１４に記載のデータ・ストレージ・システム。
【請求項１６】
少なくとも１つのアレイが、不均一な故障確率を有する、請求項１４に記載のデータ・ストレージ・システム。
【請求項１７】
前記システム・アレイ・コントローラが、複数のアレイ・コントローラを含み、アレイ・コントローラが、前記複数のアレイの少なくとも１つのアレイに結合され、各めいめいのアレイ・コントローラが、当該アレイ・コントローラに関連する各アレイ内のストレージ・ユニットの故障を検出し、前記複数のアレイ・コントローラの第１アレイ・コントローラが、当該第１アレイ・コントローラに関連するアレイのストレージ・ユニットを、当該ストレージ・ユニットの前記アレイの最小距離と前記複数のアレイ・コントローラの第２アレイ・コントローラに関連するアレイの最小距離との間の差が２以上である時に選択し、前記第１のおよび第２のアレイ・コントローラが、前記第１アレイ・コントローラに関連する前記アレイの前記選択されたストレージ・ユニット上で、前記第２アレイ・コントローラに関連する前記アレイから失われた情報の少なくとも一部を再作成する、請求項１４に記載のデータ・ストレージ・システム。
【請求項１８】
予備ユニットが使用可能になった時に、前記予備ユニットが、前記選択されたストレージ・ユニットの前記アレイに割り当てられる、請求項１７に記載のデータ・ストレージ・システム。
【請求項１９】
少なくとも１つのアレイが、不均一な故障確率を有する、請求項１７に記載のデータ・ストレージ・システム。
【請求項２０】
前記データ・ストレージ・システムの前記アレイが、消去または誤り訂正コードに基づく冗長性を含む、請求項１４に記載のデータ・ストレージ・システム。
【請求項２１】
複数のストレージ・ユニットを有し、故障の選択されたパターンに脆弱であるアレイと；前記アレイに結合されたアレイ・コントローラとを含むデータ・ストレージ・システムであって、前記アレイ・コントローラが、前記アレイの第１ストレージ・ユニットの故障を検出し、前記アレイの故障許容範囲が再作成動作の後に増えるように前記アレイの第２ストレージ・ユニットを選択し、前記第２ストレージ・ユニット上で前記第１ストレージ・ユニットから情報の少なくとも一部を再作成する、データ・ストレージ・デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレージ・システムに関する。具体的に言うと、本発明は、ストレージ・ユニットの複数のアレイを含むストレージ・システムを構成し、これによって、システムに保管されたデータの消失なしでストレージ・システムが許容できるストレージ・ユニット故障の数を増やす方法に関する。
【背景技術】
【０００２】
次の定義が、本明細書で使用され、制限ではなく例示のために提供される。
【０００３】
「要素」は、ストレージ・ユニット上のデータのブロックである。
【０００４】
「ベース・アレイ」は、ＥＣＣ用のアレイ・ユニットを含む要素の組である。
【０００５】
「アレイ」は、１つまたは複数のベース・アレイを保持するストレージ・ユニットの組である。
【０００６】
「ストライプ」は、アレイ内のベース・アレイである。
【０００７】
ｎは、ベース・アレイのデータ・ユニットの個数である。
【０００８】
ｒは、ベース・アレイの冗長ユニットの個数である。
【０００９】
ｍは、アレイのストレージ・ユニットの個数である。
【００１０】
ｄは、アレイの最小ハミング距離である。
【００１１】
Ｄは、ストレージ・システムの最小ハミング距離である。
【００１２】
大型ストレージ・システムに、通常、ストレージ・ユニットの複数の別々のアレイが含まれる。各アレイは、通常、たとえばミラーリング構成またはＲＡＩＤ５（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙ  ｏｆ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｄｉｓｋｓ  Ｌｅｖｅｌ  ５）構成で、消去（または誤り）訂正コード（ＥＣＣ）によって、ある個数のストレージ・ユニット故障（消去とも呼ぶ）に対して保護される。ＥＣＣコードは、各アレイに局所的な冗長ストレージ・ユニットを提供し、アレイのサブセットに局所化されたユニット故障を処理することによってストレージ・システムの信頼性を高める。
【００１３】
ハード・ディスク・ドライブ（ＨＤＤ）ベースのストレージ・システムの記憶容量は、コンポーネント信頼性の改善より速く増加しつつある。その結果、ＲＡＩＤ  ５およびミラーリング技法などの最小ハミング距離ｄ＝２方式は、もはや、システム・レベルで十分な信頼性の適度な保護を提供しない。距離ｄ＝３のＲＡＩＤ  ６（二重パリティ）、距離ｄ＝３の二重ミラーリング、および距離ｄ＝４のＲＡＩＤ  ５１などの代替設計が、システム信頼性の不足に対処するために提案されてきた。ストレージ・システムで、予備ユニットを設けて、システム修理時間を減らし、保守間隔を延ばすことが一般に実践されている。しかし、予備の追加は、システムのコストを増やし、ストレージ効率を下げる。
【００１４】
システム信頼性を改善する他の手法に、より高次のパリティ・コードの使用が含まれる。たとえば、J.S. Plank, “A Tutorial on Reed-Solomon Coding for Fault-Tolerancein RAID-like Systems,” Software -- Practice & Experience, 27(9), September1997, pp. 995に、リード−ソロモン・コードの例が開示されている。
【００１５】
さらに、E.J. Schwabe他, “EvaluatingApproximately Balanced Parity-Declustering Layouts in Disk Arrays,” ACM0-89791-813-4/96/05 1996に、改善された性能のための冗長情報の効率的な位置決めのデータ・レイアウトが開示されている。
【００１６】
P. Chen他, “RAID: High-Performance,Reliable Secondary Storage,” ACM Computing Surveys, Vol. 26, June 1994, pp. 145に、ＲＡＩＤの概要が示されている。M.Holland他, “Parity Declustering for Continuous Operation In Redundant DiskArrays,” Proceedings of the 5th International Conference on ArchitecturalSupport for Programming Languages and Operating Systems (ASPLOS-V), pp. 23October 1992に、ＲＡＩＤシステムのクラスタリングされていないパリティ（ｄｅｃｌｕｓｔｅｒｅｄ  ｐａｒｉｔｙ）が開示されている。G.A.Alvarez他, “Tolerating Multiple Failures in RAID Architectures,” ACM0-89791-901-7/97/0006 1997に、８ビット有限フィールドを使用する一般的な複数パリティ・アレイのプロパティおよび構成が記載されている。
【００１７】
M.M. Blaum他の“Method and Means for Encodingand Rebuilding the Data Contents of Up to Two Unavailable DASDs in a DASD ArrayUsing Simple Non-Recursive Diagonal and Row Parity”という名称のU.S. Patent No.5,579,475に、距離ｄ＝３アレイの動作が開示されている。N.K. Ouchi, “Two-Level DASD Failure RecoverMethod,” IBM Technical Disclosure Bulletin, Vol. 36:03, March 1993に、故障を有する距離ｄ＝３アレイからデータを再構築するのに必要な動作が開示されている。
【００１８】
それでも、製品コード（ＲＡＩＤ  ５１を含む）などの一部のアレイ設計は、ストレージ・ユニット故障のあるパターンに対する脆弱性を有する。これらのアレイは、多少、局所冗長性を有するかのように振る舞う。
【特許文献１】U.S. Patent No. 5,579,475
【特許文献２】US Patent Application Serial No.10/619,641
【特許文献３】US Patent Application Serial No.10/619,633
【特許文献４】US Patent Application Serial No.10/619,648
【特許文献５】US Patent Application Serial No.10/600,593
【非特許文献１】J.S. Plank, “A Tutorial onReed-Solomon Coding for Fault-Tolerance in RAID-like Systems,” Software --Practice & Experience, 27(9), September 1997, pp. 995
【非特許文献２】E.J. Schwabe他, “EvaluatingApproximately Balanced Parity-Declustering Layouts in Disk Arrays,” ACM0-89791-813-4/96/05 1996
【非特許文献３】P. Chen他, “RAID: High-Performance,Reliable Secondary Storage,” ACM Computing Surveys, Vol. 26, June 1994, pp. 145
【非特許文献４】M. Holland他, “Parity Declusteringfor Continuous Operation In Redundant Disk Arrays,” Proceedings of the 5thInternational Conference on Architectural Support for Programming Languages andOperating Systems (ASPLOS-V), pp. 23October 1992
【非特許文献５】G.A. Alvarez他, “Tolerating MultipleFailures in RAID Architectures,” ACM 0-89791-901-7/97/0006 1997
【非特許文献６】N.K. Ouchi, “Two-Level DASD FailureRecover Method,” IBM Technical Disclosure Bulletin, Vol. 36:03, March 1993
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は、アレイ内の局所冗長性をアレイのシステム全体を通じて大域的に使用可能にすることによって、ストレージ・システムの信頼性を改善する技法を提供する。さらに、本発明は、ストレージ・システムの故障パターンに対する敏感さを軽減する技法を提供する。さらに、本発明は、ストレージ・システムの保守を、従来のストレージ・システムの場合よりかなり長く延期することを可能にする技法を提供する。
【課題を解決するための手段】
【００２０】
本発明の有利な実施形態は、各アレイが複数のストレージ・ユニットを有する複数のアレイを有するストレージ・システムの故障許容範囲を増やす方法によって提供される。ストレージ・システムのアレイに、パリティ・コード、Ｗｉｎｏｇｒａｄコード、対称コード、リード−ソロモン・コード、ＥＶＥＮＯＤＤコード、またはＥＶＥＮＯＤＤコードの派生物など、消去または誤り訂正コードに基づく冗長性が含まれる。ストレージ・システムの故障許容範囲は、システムの最小ハミング距離Ｄによって与えられる。したがって、システムの最小距離は、めいめいのストライプのすべての最小ハミング距離の最小値すなわちＤ＝ｍｉｎ（ｄｉ）である。ドナー・アレイ（ｄｏｎｏｒ  ａｒｒａｙ）の最小距離とレシピエント・アレイ（ｒｅｃｉｐｉｅｎｔ  ａｒｒａｙ）の最小距離の間の差が２以上である時に、ドナー・アレイが複数のアレイから選択される。ドナー・ストレージ・ユニットが、ドナー・アレイに対する最小の性能影響に基づいて、ドナー・アレイ内で選択される。レシピエント・ストレージ・ユニットが、レシピエント・アレイから選択される。次に、失われた情報の少なくとも一部が、ドナー・アレイ内の選択されたストレージ・ユニット上でレシピエント・アレイから再作成される。レシピエント情報が、レシピエント・アレイの改善された性能に基づいて選択される。失われた情報が選択されたストレージ・ユニットで再作成される前に、選択されたストレージ・ユニットが、寄贈（donate）されたものとしてドナー・アレイに示される。レシピエント・アレイの最小ハミング距離は、ドナー・アレイが複数のアレイから選択される前にｄ≧２であることが好ましい。予備ストレージ・ユニットが使用可能になる前に、予備ストレージ・ユニットが、従来の形で、選択されたアレイに割り当てられる。
【００２１】
ドナー・アレイのストレージ・ユニットが、レシピエント・アレイからの選択されたストレージ・ユニットでのレシピエント情報の少なくとも一部の再作成のステップ中に故障した時に、再作成するステップが、打ち切られ、第２のドナー・アレイが選択される。レシピエント・アレイから失われたレシピエント情報の少なくとも一部が、第２ドナー・アレイ内の選択されたストレージ・ユニット上で再作成される。第２ドナー・アレイの選択は、前に説明した条件を再評価することによって進行する。
【００２２】
本発明は、故障の選択されたパターンに脆弱であるストレージ・ユニットのアレイの故障許容範囲を増やす方法も提供する。本発明によれば、レシピエント・ストレージ・ユニットが、ストレージ・ユニット故障の後にストレージ・ユニットのアレイから選択される。ドナー・ストレージ・ユニットが、アレイの故障許容範囲が再作成動作の後に増えるようにストレージ・ユニットのアレイから選択される。最後に、失われたレシピエント情報の少なくとも一部が、ドナー・ストレージ・ユニット上で再作成される。予備ユニットが使用可能になった時に、予備ユニットが、従来の形で、アレイに割り当てられる。
【００２３】
さらに、本発明は、複数のアレイおよびシステム・アレイ・コントローラを有するデータ・ストレージ・システムを提供する。各アレイは、複数のストレージ・ユニットを有し、パリティ・コード、Ｗｉｎｏｇｒａｄコード、対称コード、リード−ソロモン・コード、ＥＶＥＮＯＤＤコード、またはＥＶＥＮＯＤＤコードの派生物などの消去または誤り訂正コードに基づく冗長性を含む。システム・アレイ・コントローラは、各アレイに結合され、複数のアレイの第１アレイ内のストレージ・ユニットの故障を検出する。次に、システム・コントローラが、複数のアレイの第２アレイの最小距離と第１アレイの最小距離の間の差が２以上である時に、第２アレイのストレージ・ユニットを選択する。第１アレイから失われた情報の少なくとも一部が、第２アレイの選択されたストレージ・ユニット上で再作成される。各ストレージ・ユニットは、ＨＤＤ、揮発性ランダム・アクセス・メモリ・デバイス、不揮発性ランダム・アクセス・メモリ・デバイス、光ストレージ・デバイス、またはテープ・ストレージ・デバイスとすることができる。
【００２４】
本発明は、複数のストレージ・ユニットのアレイおよびアレイ・コントローラを有するデータ・ストレージ・システムも提供する。アレイに、パリティ・コード、Ｗｉｎｏｇｒａｄコード、対称コード、リード−ソロモン・コード、ＥＶＥＮＯＤＤコード、またはＥＶＥＮＯＤＤコードの派生物などの消去または誤り訂正コードに基づく冗長性が含まれる。このアレイは、故障の選択されたパターン、または不均一な故障確率、あるいはその両方に脆弱でもある。アレイ・コントローラは、アレイに結合され、アレイ内の第１ストレージ・ユニットの故障を検出する。次に、アレイ・コントローラは、再作成動作の後にアレイの故障許容範囲が増えるようにアレイ内の第２ストレージ・ユニットを選択し、第１ストレージ・ユニットからの情報の少なくとも一部を第２ストレージ・ユニット上で再作成する。第２ストレージ・ユニットは、アレイの故障パターン、または所定のターゲット・パターン、あるいはこの両方に基づいて選択される。アレイの最小ハミング距離は、アレイ・コントローラが第２ストレージ・ユニットを選択する前にｄ≧２であり、第２ストレージ・ユニットでの第１ストレージ・ユニットからの情報の少なくとも一部の再作成の完了時に増える。各ストレージ・ユニットは、ＨＤＤ、揮発性ランダム・アクセス・メモリ・デバイス、不揮発性ランダム・アクセス・メモリ・デバイス、光ストレージ・デバイス、またはテープ・ストレージ・デバイスとすることができる。
【００２５】
本発明を、制限ではなく例として添付図面に示すが、添付図面では、同一の符号が同一の要素を指す。
【発明を実施するための最良の形態】
【００２６】
本願は、“Anamorphic Codes”という名称のUS PatentApplication Serial No. 10/619,641 (Attorney Docket No. ARC92003014US1)、“Multi-pathData Retrieval From Redundant Array”という名称のUS Patent Application Serial No.10/619,633、および“RAID 3 + 3”という名称のUS Patent Application Serial No. 10/619,648に関連する。本願は、同時係属であり本願と同一の譲受人に譲渡されたUSPatent Application Serial No. 10/600,593 (Attorney Docket No. YOR9-2003-0069US1)にも関連する。
【００２７】
本発明は、ストレージ・システムの信頼性を劇的に高め、ストレージ・システムの保守を、パリティ交換のない匹敵するストレージ・システムを用いて可能なものよりかなり長く延期することを可能にする。したがって、本発明は、ＲＡＩＤシステムによって実現される信頼性の度合に対するかなりの信頼性改善をもたらす。複数アレイ・ストレージ・システムの各アレイを個々のエンティティとして扱うＲＡＩＤシステムと異なって、本発明は、複数アレイ・ストレージ・システムの個々のアレイを大域的に結合し、これによって、あるアレイの冗長性を別のアレイによって利用できるようにする。そのような処理を、本明細書では自律パリティ交換（ａｕｔｏｎｏｍｉｃ  ｐａｒｉｔｙ  ｅｘｃｈａｎｇｅ、ＡＰＸ）またはＡＰＸ動作と称する。
【００２８】
本発明の実施形態によれば、ＡＰＸ動作は、アレイの局所冗長性をアレイのシステム全体を通じて大域的に使用可能にすることを可能にし、これによって、ストレージ・ユニットの数が増えた時のシステム信頼性を高める。ＡＰＸは、予備ストレージ・ユニットの必要も、減らすかなくす。
【００２９】
特定の例を使用して本発明の利益を例示するために、６つのストレージ・ユニットの８つのアレイを含み、予備ストレージ・ユニットを有しない４８ユニット・ストレージ・システムを検討されたい。さらに、この例示的ストレージ・ユニットは、距離ｄ＝４を有する対称コードを使用する。対称コードは、等しい個数のデータ・ユニットおよび冗長ユニットを有し、半分のユニットの任意の組合せの消失から回復する能力を有する。ＡＰＸを用いると、ストレージ・システムの距離は、９つまでのストレージ・ユニット故障でＤ＝２のままになる。ＡＰＸ動作が、動作中に２つ未満の故障で完了できると仮定すると、このストレージ・システムは、１０個の故障でＤ＝１に達する。対照的に、１６個のストレージ・ユニットの３つのアレイを使用するＲＡＩＤ  ６システムは、わずか２つのストレージ・ユニット故障でＤ＝１に達する。さらに対照的に、１６個のストレージ・ユニットの３つのアレイを使用するＲＡＩＤ  ５１システムは、わずか３つのストレージ・ユニット故障でＤ＝１に達する。
【００３０】
さらに、ＡＰＸを利用するストレージ・システムは、故障が累積した時にグレースフル・デグレードを行い（ｇｒａｃｅｆｕｌｌｙ  ｄｅｇｒａｄｅｓ）、これによって、かなりのコスト節約を伴って、システムの保守を延期することを可能にする。したがって、ＡＰＸを使用するストレージ・システムの年間保証コストは、ＡＰＸなしの匹敵するストレージ・システムの年間保証コストよりかなり安くなる。従来のシステムについて、サービスは、通常、予備ストレージユニット・プールを使い果たした時に要求される。ＡＰＸが使用される場合に、サービスは、例示的なシステムでは９つまでのユニット故障の後で要求することができる。したがって、ＡＰＸが使用される時に、システムは、ＡＰＸなしのシステムと比較して、より長い間隔にわたって所与の距離を維持することができる。
【００３１】
ＡＰＸは、アレイの組に含まれるアレイが冗長性を交換することを可能にし、これによって、アレイの組の単一のアレイに集中する故障への露出を克服する。たとえば、第１のアレイが、第２のアレイの最小ハミング距離より２以上小さい最小ハミング距離を有する場合に、第２アレイは、ストレージ・ユニットを第１アレイに寄贈することができる。その後、第１アレイの故障許容範囲が増え、第２アレイの故障許容範囲は、減るが、第１アレイより小さくないレベルに減る。したがって、システムの最小距離が増え、これによって、システムの故障許容範囲が増える。
【００３２】
図１に、共通のアレイ・コントローラ１０１に接続された２つのストレージ・アレイ１０２および１０３を含む、全般的に１００として示された例示的なストレージ・システムを示す。ストレージ・アレイ１０２および１０３は、複数のストレージ・ユニット１０４を含み、インターフェース１０５を介してアレイ・コントローラ１０１と通信する。アレイ・コントローラ１０１は、インターフェース１０６を介して他のコントローラおよびホスト・システムと通信する。そのような構成は、アレイ・コントローラが複数のストレージ・アレイと通信することを可能にする。
【００３３】
図２に、異なるアレイ・コントローラ１５２および１５１にそれぞれ接続された２つのストレージ・アレイ１５３および１５４を含む、全般的に１５０として示された例示的なストレージ・システムを示す。ストレージ・アレイ１５３は、インターフェース１５７を介してアレイ・コントローラ１５２と通信し、ストレージ・アレイ１５４は、インターフェース１５６を介してアレイ・コントローラ１５１と通信する。アレイ・コントローラ１５１および１５２は、それぞれ、インターフェース１５８および１５９を介して他のアレイ・コントローラおよびストレージ・システムと通信する。図２には、アレイ・コントローラ１５１および１５２が対外に通信できるようにする通信接続１６０も示されている。
【００３４】
図１および２に示されたアレイ・コントローラは、ハードウェア・コントローラまたはソフトウェア・コントローラとして設計することができる。用語コントローラは、本明細書では、一般に、上で説明した構成のいずれかを指すのに使用される。
【００３５】
図３に、本発明を例示するための２つのアレイ２０１および２０２の例示的な組を示す。アレイ２０１に、ストレージ・ユニット１Ａが含まれ、アレイ２０２に、ストレージ・ユニット２Ａが含まれ、各アレイのストレージ・ユニットＡ、Ｂ、およびＣは、データ・ストレージ・ユニットであり、各アレイのストレージ・ユニットＤ、Ｅ、およびＦは、ＭＤＳコードを用いる冗長ストレージ・ユニットである。したがって、アレイ２０１および２０２の両方が、最小ハミング距離ｄ＝４を有する。図３に示された構成を、対称コードと称し、この場合に、データ・ストレージ・ユニットの個数は、冗長ストレージ・ユニットの個数と等しい。冗長性は、いずれかの３つのユニットの故障を対称コードによって訂正できるように計算される。パリティ・コード、Ｗｉｎｏｇｒａｄコード、対称コード、リード−ソロモン・コード、ＥＶＥＮＯＤＤコード、およびＥＶＥＮＯＤＤコードの派生物などの消去または誤り訂正コード（ＥＣＣ）を、冗長性の生成に使用することができる。本明細書で使用する用語「距離」は、最小ハミング距離を意味する。
【００３６】
図４に、アレイ２０１のストレージ・ユニット１Ｃおよび１Ｅの故障の後の図３のアレイを示す。ストレージ・ユニット１Ｃおよび１Ｅが故障した後に、アレイ２０１は、距離ｄ＝２を有し、アレイ２０２は、まだ距離ｄ＝４を有する。アレイ２０１は、データ消失イベントの可能性なしに、あと１つの故障だけを許容することができる。アレイ２０２は、まだ、データ消失イベントの可能性なしに３つの故障を許容することができる。総合的なシステム距離は、アレイ２０１の距離すなわち距離Ｄ＝２である。このシステムの総合的な故障許容範囲は、ＡＰＸを使用して冗長性のバランスをとりなおすことによって増やすことができる。というのは、システムの距離が、Ｄ＝２からＤ＝３に増えるからである。
【００３７】
冗長性のバランスのとりなおしは、アレイ２０２（ドナー・アレイと称する）に含まれるストレージ・ユニットを寄贈し、次に、寄贈されたストレージ・ユニットを、寄贈されたストレージ・ユニットが予備ユニットであるかのようにアレイ２０１（レシピエント・アレイと称する）に供給することによって達成される。ドナー・アレイは、ドナー・アレイが寄贈されたユニットからデータを読み取るかこれにデータを書き込むことをなくすために、寄贈されたストレージ・ユニットがもはやドナー・アレイの一部でないことを知るようにされなければならない。故障したストレージ・ユニットの１つを、レシピエント・アレイからドナー・アレイに割り当て、その結果、両方のアレイが、一定の個数のストレージ・ユニットを維持し、故障したユニットの知識を維持するようにすることが有益である可能性がある。情報を、ドナー・アレイが寄贈されたユニットに書き込むことはできない。システムは、どのストレージ・ユニットを寄贈するかを選択することができる。ドナー・ユニット選択の主判断基準は、ドナー・アレイ信頼性に対する最も少ない影響を有するドナー・ユニットを選択することに基づく。副判断基準は、最も高価な冗長性計算を有するユニットなど、性能に対する最小の影響を有するストレージ・ユニットを選択することに基づく。システムは、故障したユニットからのどのデータを寄贈されたユニットで再作成するかを選択することができる。再作成される情報の選択の主判断基準は、信頼性の最大の向上をもたらす情報セットに基づく。副判断基準は、再作成動作の後に最善のアレイ性能をもたらす情報セットを選択することである。上の図４の例では、レシピエント・アレイ２０１は、ユニット１Ｃがデータ・ユニットなので、ユニット１Ｃの情報セットを再作成することによって最善の性能を有する。同様に、ドナー・アレイ２０２は、ユニット２Ｆなど、冗長情報を保管したユニットを寄贈することによって、最小の性能影響を有する。どちらの場合でも、ＡＰＸ動作の後に、読取コマンドは、したがって、ストレージ・アレイ２０１および２０２の冗長ユニットからデータを再構築する必要なしに処理することができる。
【００３８】
ドナー・アレイからレシピエント・アレイへのストレージ・ユニットの寄贈は、ストレージ・システムが、ストレージ・ユニットをあるアレイから別のアレイに割り当てることができることを必要とする。ドナー・アレイおよびレシピエント・アレイが、図１に示されているように共通のアレイ・コントローラ１０１に接続されている時には、コントローラ１０１が、この動作を内部で実行することができる。ドナー・アレイおよびレシピエント・アレイが、図２に示されているように別々のコントローラ１５１および１５２に接続されている時には、コントローラ１５１および１５２が、情報を交換する。たとえば、コントローラは、ＪＢＯＤ（Ｊｕｓｔ  ａ  Ｂｕｎｃｈ  ｏｆ  Ｄｉｓｋｓ）アレイ構成の形のように、通信接続１６０を介して個々のドライブを公表することができる。その代わりに、コントローラが、用いられるストレージ・ユニットの位置から読み取られ、書き込まれるデータに関する情報を交換することができる。
【００３９】
寄贈されたユニットがドナー・アレイで故障したことを人工的に示すことによって、寄贈を達成することが可能である。しかし、寄贈を区分的な形で実行することが有益である。再作成中にレシピエント・アレイ・データを書き込まれたデータのセグメントは、レシピエントに属する。再作成が完了するまでは、ドナー・アレイが、残りのセグメント内のデータを最新状態に保つために、寄贈されたユニットに書き込むことを許可することができる。ドナー・アレイのストレージ・ユニットが、パリティ交換中に故障した状況で、寄贈動作を打ち切り、異なるドナー・アレイを用いる新しい寄贈動作を開始することが好ましい可能性がある。その場合に、ドナー・アレイを、前に寄贈されたセグメントで再作成して、アレイの距離を増やすことができる。たとえば、故障が、寄贈動作の最初の部分の間に発生した場合に、寄贈を逆転し、新しい寄贈を開始するこの方法は、システムが少ない距離で動作している持続時間を減らすはずである。
【００４０】
予備ストレージ・ユニットが、保守を介するなど、使用可能になったならば、故障したユニットのいずれかを交換するためにこの予備ストレージ・ユニットを割り当てることができる。情報が、周知の形で予備で再作成される。レシピエント・アレイの故障したユニットの１つをドナー・アレイに割り当てることは、故障したユニットがどのアレイに属するかを示すので、この動作を容易にすることができる。
【００４１】
図５に、本発明によるＡＰＸ動作の後の図３のアレイを示す。図５の再作成されたデータは、下線を付けられている。このシステムにはまだ２つの故障したストレージ・ユニットがあるが、各アレイには、故障したストレージ・ユニットが１つだけある。図５のシステム構成について、各アレイは、距離ｄ＝３を有し、データの可能な消失なしでさらに２つの故障を許容することができる。このシステムの総合的な距離は、Ｄ＝３である。
【００４２】
ＡＰＸを使用することによって、ストレージ・システムは、そうでない場合より多数の故障を許容することができる。図３〜５の例では、システム故障の最初の点が、ＡＰＸを使用しないと４つのユニットの故障になる。対照的に、ＡＰＸを使用すると、システム故障の最初の点が、６つのユニットの故障になる。この改善は、追加の冗長性または予備作成を必要とすることによるが、観察されたストレージ・ユニット故障条件に合わせるためにストレージ・システム内の冗長性の大域的割り当てを調整することよって達成された。ＡＰＸによってもたらされる改善は、システム内のアレイの個数が増えるにつれて高まる。
【００４３】
等しい距離のアレイを有するストレージ・システムでは、ドナー・アレイは、ＡＰＸ動作を実行できるようにするために少なくとも距離ｄ＝３でなければならない。すなわち、ドナー・アレイは、レシピエント・アレイの距離より少なくとも２大きい距離を有しなければならない。一般に、ＡＰＸ動作は、レシピエント・アレイが２以上の距離であり、これによって、ＡＰＸ動作中のハード・エラーまたはさらなるストレージ・ユニット故障に対して保護されている時に実行されることが好ましい。
【００４４】
ＲＡＩＤ  ５などの多くの従来のシステムは、アクセス・パターンを分散させるためにクラスタリングされていないパリティ（「ｄｅ−ｃｌｕｓｔｅｒｅｄ  ｐａｒｉｔｙ」とも称する）を使用する。そのようなシステムでは、各ストレージ・ユニットが、諸部分（たとえば、データ１、データ２、冗長性１など）を各ユニット・タイプに割り当てられる。ＡＰＸは、分散パリティを使用するシステムにも適用することができる。その場合に、ドナー・ストレージ・ユニットの選択は、よりクリティカルでなくなる。というのは、冗長性が、すべてのユニットにまたがって分散されているからである。このシステムは、単に、レシピエントの故障したストレージ・ユニットの１つを再作成することを選択することができる。
【００４５】
ドナー・アレイに関する複数の選択肢がある時に、ドナー・アレイの選択判断基準を、使用率、デバイスの年齢、および前のエラー・ヒストリなどの考慮事項に基づくものとすることができる。
【００４６】
図３〜５に示された例示的な例は、冗長ユニットの個数がデータ・ユニットの個数と同一であるアレイを用いてパリティ交換を実行する。アレイ内のストレージ・ユニットの個数が、ベース・アレイ内のストレージ・ユニットの個数より多い時に、ＡＰＸ動作を、システム信頼性をさらに高めるために、参照によって本明細書に組み込まれているUS Patent Application Serial No.10/619,641に開示されているように、ドッジング動作と組み合わせて実行することができる。
【００４７】
一部のアレイ設計は、ユニット故障のパターンに敏感である。そのようなアレイでは、ドナー・ユニットとレシピエント・ユニットの両方を、同一のアレイに属するものとすることができる。ドナー・ユニットは、アレイ構成を基礎として選択することができる。図６に、３０個のストレージ・ユニットを含み、行５０１〜５０５がＲＡＩＤ  ６アレイ（ｄ＝３）を形成し、列５１１〜５１６がＲＡＩＤ  ５アレイ（ｄ＝２）を形成する、製品コード・アレイ５００を示す。アレイ５００内で、Ｄ＝６であり、１４個の冗長ドライブがある。しかし、６つの故障のある位置配置だけが、図７に示されているようにアレイの故障を引き起こし、ここで、ストレージ、ユニット１Ｊ、１Ｋ、１Ｍ、３Ｊ、３Ｋ、および３Ｍが故障している。この故障のパターンを、第２行の３つの故障と一致する第１行の３つの故障として認識することができる。システムのこの故障許容範囲を、ＡＰＸを使用することによって増やすことができる。システムは、そのような形でドナー・ユニットおよびレシピエント・ユニットを選択し、これによって、これらのパターンを防ぎ、アレイをＤ＝３条件に戻す。
【００４８】
図６の例について、このシステムは、図８に示されたものなどの配置である時に、９つの故障があってもＤ＝３を維持することができる。ここで、アレイは、９つの故障したユニット１Ｎ、２Ｎ、３Ｎ、４Ｎ、５Ｈ、５Ｊ、５Ｋ、５Ｌ、および５Ｍを有する。このシステムは、高い故障許容範囲を有するターゲット・パターンを選択することができる。故障が発生した時に、ドナー・ユニットが、ターゲット・パターンから選択され、ターゲット・パターンの一部でない故障したレシピエントに割り当てられる。図６の例について、ＡＰＸ動作を複数回実行することができ、アレイが、Ｄ＝２に達する前に少なくとも１０個の故障を許容することができる。これによって、有効距離が、ＡＰＸを利用することによってＤ＝６からＤ＝１２に増えた。ＡＰＸは、３０個のユニットのうちの１０個が故障するまで保守を延期することを可能にし、アレイは少なくともＤ＝２に留まる。ＡＰＸがなければ、Ｄ＝２を維持するために、わずか４つのユニットの故障で保守が必要になる可能性がある。
【００４９】
本明細書で使用される用語「故障」および「パターン」は、物理的位置ではなく、アレイ内の論理的位置からの情報の消去を指す。そのような非ＭＤＳアレイは、図示のように製品コードから、低密度パリティ・コードから、不均一グラフ・コードから、または特定のパターン脆弱性を有する任意のコードから形成することができる。
【００５０】
ＡＰＸは、ストレージ・システムの最小距離を単純に増やすことを超えて使用することができる。多数の他の要因を、ＡＰＸを実行するかどうかの判定ならびにドナーおよびレシピエントの選択の判定に含めることができる。たとえば、不均一である時のコンポーネントの個々の故障確率、データ消失につながる故障の組合せ、およびシステム性能に対する影響のすべてを考慮することができる。その場合に、システムの最小距離を、ＡＰＸの後に変更されないままにすることができる。
【００５１】
ＡＰＸを、最小距離ｄ≧３を有する他のアレイ・タイプと共に使用することができる。さらに、より小さいアレイ・サイズは、ＡＰＸをより効率的に使用することを可能にし、小さいアレイからなる大きいシステムが高い故障許容範囲を達成することを可能にする。ストレージ・システムが予備プールを有する時には、ＡＰＸ動作を実行する前に予備プールで再作成を実行することが最善である。
【００５２】
ＡＰＸは、ストレージ・ユニット上のデータのサブセットに対して実行することもできる。たとえば、いくつかの構成で、再作成時間を減らすことができる。図５の例を検討されたい。ユニット１Ｃの内容をユニット２Ｆで再作成するのではなく、ユニット１Ｃの半分をユニット２Ｆの半分で再作成し、ユニット１Ｅの他方の半分をユニット２Ｅで再作成することが有益である場合がある。正味の結果は、両方のアレイがＤ＝３であることであるが、同一の量のデータが再作成されるので再作成時間が減る可能性があるが、２つのドナー・ドライブが使用されている。他の組合せも、明らかに可能である。
【００５３】
本発明を、ＨＤＤストレージ・ユニットから形成されるストレージ・アレイに関して説明したが、本発明は、ランダム・アクセス・メモリ（ＲＡＭ）ストレージ・デバイス（揮発性と不揮発性の両方）、光ストレージ・デバイス、およびテープ・ストレージ・デバイスなどの他のメモリ・デバイスのアレイから形成されるストレージ・システムに適用可能である。さらに、本発明は、ネットワーク・アタッチド・ストレージから作られたアレイなど、仮想化されたストレージ・システムに適する。さらに、本発明は、冗長コンポーネントをコンポーネントの特定のサブセットに関連付ける状態情報があり、その状態情報を寄贈動作を使用して転送できるすべての冗長システムに適用可能である。
【００５４】
本発明を、本発明を実行する現在好ましい態様を含む特定の例に関して説明したが、当業者は、添付請求項に示された本発明の趣旨および範囲に含まれる、上で説明したシステムおよび技法の多数の変形形態および置換があることを諒解するであろう。
【図面の簡単な説明】
【００５５】
【図１】共通のストレージ・コントローラに接続された複数のアレイを有するストレージ・システムの通常の構成を示す図である。
【図２】別々のストレージ・コントローラに接続された複数のアレイを有するストレージ・システムの通常の構成を示す図である。
【図３】本発明を例示するための２つのアレイの例示的な組を示す図である。
【図４】本発明を例示するためのアレイのうちの１つに含まれる２つのドライブの故障の後の図３のアレイを示す図である。
【図５】本発明の実施形態によるＡＰＸ動作の後の図３のアレイを示す図である。
【図６】ストレージ・ユニット故障のパターンに対する敏感さを有する例示的なアレイを示す図である。
【図７】データ消失につながる、図６のアレイの６つのストレージ・ユニット故障の例示的パターンを示す図である。
【図８】距離ｄ＝３を有する図６のアレイの９つのストレージ・ユニット故障の例示的なターゲット・パターンを示す図である。
【図１】
2007529062.tif 000002
【図２】
2007529062.tif 000003
【図３】
2007529062.tif 000004
【図４】
2007529062.tif 000005
【図５】
2007529062.tif 000006
【図６】
2007529062.tif 000007
【図７】
2007529062.tif 000008
【図８】
2007529062.tif 000009
2007529062.tif 000010
2007529062.tif 000011
2007529062.tif 000012
2007529062.tif 000013
2007529062.tif 000014
2007529062.tif 000015
2007529062.tif 000016
【手続補正書】
【提出日】平成19年7月3日(2007.7.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のアレイを有し、各アレイが複数のストレージ・ユニットを有するストレージ・システムの故障許容範囲を増やす方法であって、レシピエント・アレイを選択するステップと；ドナー・アレイの最小距離と前記レシピエント・アレイとの間の差が２以上である時に前記複数のアレイから前記ドナー・アレイを選択するステップと；前記ドナー・アレイ内でドナー・ストレージ・ユニットを選択するステップと；前記ドナー・アレイ内の前記選択されたストレージ・ユニット上で前記レシピエント・アレイから失われたレシピエント情報の少なくとも一部を再作成するステップとを含む方法。
【請求項２】
前記複数のアレイから前記ドナー・アレイを選択する前記ステップの前に、前記レシピエント・アレイの最小ハミング距離がｄ≧２である、請求項１に記載の方法。
【請求項３】
前記選択されたストレージ・ユニット上で前記失われた情報を再作成する前記ステップの前に、前記選択されたストレージが寄贈されたことを前記ドナー・アレイに示すステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記レシピエント・アレイからレシピエント・ストレージ・ユニットを選択するステップをさらに含む、請求項１に記載の方法。
【請求項５】
前記レシピエント・ストレージ・ユニットの失われた内容の少なくとも一部が、前記ドナー・ストレージ・ユニット上で再作成される、請求項４に記載の方法。
【請求項６】
前記ドナー・ストレージ・ユニットが、さらに、前記ドナー・アレイに対する最小の性能影響に基づいて選択される、請求項１に記載の方法。
【請求項７】
前記レシピエント・アレイの改善された性能に基づいて前記レシピエント情報を選択するステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記ストレージ・システムの前記アレイが、消去または誤り訂正コードに基づく冗長性を含む、請求項１に記載の方法。
【請求項９】
前記消去または誤り訂正コードが、パリティ・コード；Ｗｉｎｏｇｒａｄコード；対称コード；リード−ソロモン・コード；ＥＶＥＮＯＤＤコード；ＥＶＥＮＯＤＤコードの派生物のうちの１つである、請求項８に記載の方法。
【請求項１０】
前記ストレージ・システムの前記アレイが、複数の前記消去または誤り訂正コードの結果に基づく冗長性を含む、請求項９に記載の方法。
【請求項１１】
前記ドナー・アレイ内のストレージ・ユニットが、前記選択されたストレージ・ユニット上で前記レシピエント・アレイからレシピエント情報の少なくとも一部を再作成する前記ステップ中に故障した時に、前記方法が、さらに、前記選択されたストレージ・ユニット上で前記レシピエント・アレイからレシピエント・アレイ情報の少なくとも一部を再作成する前記ステップを打ち切るステップと；第２ドナー・アレイの最小距離と第２レシピエント・アレイの最小距離との間の差が２以上である時に前記複数のアレイから前記第２ドナー・アレイを選択するステップと；前記第２ドナー・アレイ内でドナー・ストレージ・ユニットを選択するステップと；前記第２ドナー・アレイ内の前記選択されたストレージ・ユニット上で前記レシピエント・アレイから失われたレシピエント情報の少なくとも一部を再作成するステップとを含む、請求項１に記載の方法。
【請求項１２】
予備ストレージ・ユニットが使用可能になった時に、前記予備ストレージ・ユニットを選択されたアレイに割り当てるステップをさらに含む、請求項１に記載の方法。
【請求項１３】
故障の選択されたパターンに脆弱なストレージ・ユニットのアレイの故障許容範囲を増やす方法であって、ストレージ・ユニット故障の後に、ストレージ・ユニットの前記アレイからレシピエント・ストレージ・ユニットを選択するステップと；前記アレイの故障許容範囲が再作成動作の後に増えるように、ストレージ・ユニットの前記アレイからドナー・ストレージ・ユニットを選択するステップと；前記ドナー・ストレージ・ユニット上で失われたレシピエント情報の少なくとも一部を再作成するステップとを含む方法。
【請求項１４】
各アレイが複数のストレージ・ユニットを有する複数のアレイと；各アレイに結合されたシステム・アレイ・コントローラとを含むデータ・ストレージ・システムであって、前記システム・アレイ・コントローラが、前記複数のアレイの第１アレイ内のストレージ・ユニットの故障を検出し、第２アレイの最小距離と前記第１アレイの最小距離との間の差が２以上である時に前記複数のアレイの前記第２アレイ内のストレージ・ユニットを選択し、前記第２アレイの前記選択されたストレージ・ユニット上で前記第１アレイから情報の少なくとも一部を再作成する、データ・ストレージ・システム。
【請求項１５】
予備ユニットが使用可能になった時に、前記予備ユニットが、前記第２アレイに割り当てられる、請求項１４に記載のデータ・ストレージ・システム。
【請求項１６】
前記システム・アレイ・コントローラが、複数のアレイ・コントローラを含み、アレイ・コントローラが、前記複数のアレイの少なくとも１つのアレイに結合され、各めいめいのアレイ・コントローラが、当該アレイ・コントローラに関連する各アレイ内のストレージ・ユニットの故障を検出し、前記複数のアレイ・コントローラの第１アレイ・コントローラが、当該第１アレイ・コントローラに関連するアレイのストレージ・ユニットを、当該ストレージ・ユニットの前記アレイの最小距離と前記複数のアレイ・コントローラの第２アレイ・コントローラに関連するアレイの最小距離との間の差が２以上である時に選択し、前記第１のおよび第２のアレイ・コントローラが、前記第１アレイ・コントローラに関連する前記アレイの前記選択されたストレージ・ユニット上で、前記第２アレイ・コントローラに関連する前記アレイから失われた情報の少なくとも一部を再作成する、請求項１４に記載のデータ・ストレージ・システム。
【請求項１７】
予備ユニットが使用可能になった時に、前記予備ユニットが、前記選択されたストレージ・ユニットの前記アレイに割り当てられる、請求項１６に記載のデータ・ストレージ・システム。
【請求項１８】
少なくとも１つのアレイが、不均一な故障確率を有する、請求項１４または１６に記載のデータ・ストレージ・システム。
【請求項１９】
前記データ・ストレージ・システムの前記アレイが、消去または誤り訂正コードに基づく冗長性を含む、請求項１４に記載のデータ・ストレージ・システム。
【請求項２０】
複数のストレージ・ユニットを有し、故障の選択されたパターンに脆弱であるアレイと；前記アレイに結合されたアレイ・コントローラとを含むデータ・ストレージ・システムであって、前記アレイ・コントローラが、前記アレイの第１ストレージ・ユニットの故障を検出し、前記アレイの故障許容範囲が再作成動作の後に増えるように前記アレイの第２ストレージ・ユニットを選択し、前記第２ストレージ・ユニット上で前記第１ストレージ・ユニットから情報の少なくとも一部を再作成する、データ・ストレージ・デバイス。
【国際調査報告】
2007529062.tif 000017
2007529062.tif 000018
2007529062.tif 000019