(57)【要約】【課題】利便性を向上させるストレージシステムを得ること。【解決手段】ストレージシステムは、記憶部とインタフェース部とを備える。記憶部は、２以上の異なる方向に相互に接続される複数のノードモジュールを備える。各ノードモジュールは、パケットの転送とデータの記憶とを実行する。インタフェース部は、記憶部が備える複数のノードモジュールと外部のノードモジュールとを接続する。【選択図】図１
2015125763.tif 000002
【特許請求の範囲】
【請求項１】
２以上の異なる方向に相互に接続される複数のノードモジュールを備え、各ノードモジュールはパケットの転送とデータの記憶とを実行する、記憶部と、
前記記憶部が備える複数のノードモジュールと外部のノードモジュールとを接続するインタフェース部と、
を備えることを特徴とするストレージシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ストレージシステムに関する。
【背景技術】
【０００２】
近年、ストレージシステムを備えた複数台の情報処理装置を、相互にネットワークで接続して、一つの情報処理システムとして動作させる場合（例えばクラウドコンピューティング）が増加している。また、ストレージシステムとしても、従来型のＨＤＤを使用したものと比較してより高速な、ＤＲＡＭチップやＮＡＮＤフラッシュチップなどを多数並べてチップ間配線によって接続し、一つのストレージシステムとして用いられるものが存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０３９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、利便性を向上させたストレージシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、ストレージシステムは、記憶部とインタフェース部とを備える。記憶部は、２以上の異なる方向に相互に接続される複数のノードモジュールを備える。各ノードモジュールは、パケットの転送とデータの記憶とを実行する。インタフェース部は、記憶部が備える複数のノードモジュールと外部のノードモジュールとを接続する。
【図面の簡単な説明】
【０００６】
【図１】図１は、ストレージシステムの構成の概念を示す図である。
【図２】図２は、ＮＭの構成の一例を示す図である。
【図３】図３は、パケットの構成を説明する図である。
【図４】図４は、ＮＭの実装例を示す図である。
【図５】図５は、Ｉ／Ｆ部を介して２台のストレージシステムが接続されたときのＮＭ間の接続関係を示す図である。
【図６】図６は、ストレージシステムが収容されるエンクロージャを示す図である。
【図７】図７は、エンクロージャの前面図である。
【図８】図８は、エンクロージャの背面図である。
【図９】図９は、エンクロージャの内部の上面図である。
【図１０】図１０は、バックプレーンの構成例を示す図である。
【図１１】図１１は、第１の実施形態のエンクロージャの使用形態の一例を示す図である。
【図１２】図１２は、ＮＭカードの構成を示すブロック図である。
【図１３】図１３は、ＮＭカードの概観図である。
【図１４】図１４は、ＮＭカードの概観図である。
【図１５】図１５は、ＮＣ間の論理的な接続関係を示す図である。
【図１６】図１６は、Ｉ／Ｆカードの構成を示すブロック図である。
【図１７】図１７は、ＮＭカードとＩ／Ｆカードとの間の接続関係を示す図である。
【図１８】図１８は、第１の実施形態のＣＵカードの構成を示すブロック図である。
【図１９】図１９は、ＭＭカードの構成を示すブロック図である。
【図２０】図２０は、ＮＭカード、ＣＵカード、およびＭＭカードの間の接続関係を示す図である。
【図２１】図２１は、ＣＵカードとＭＭカードとの間の接続関係を示す図である。
【図２２】図２２は、第１接続例において使用されるコネクタ群を示す図である。
【図２３】図２３は、第１接続例による具体的な接続関係を示す図である。
【図２４】図２４は、第１接続例によって論理的に構築される記憶部を示す図である。
【図２５】図２５は、第２接続例による具体的な接続関係を示す図である。
【図２６】図２６は、第２接続例によって論理的に構築される記憶部を示す図である。
【図２７】図２７は、第３接続例において使用されるコネクタ群を示す図である。
【図２８】図２８は、第３接続例による具体的な接続関係を示す図である。
【図２９】図２９は、第３接続例によって論理的に構築される記憶部を示す図である。
【図３０】図３０は、トーラス状の接続関係を示す図である。
【図３１】図３１は、第４接続例による具体的な接続関係を示す図である。
【図３２】図３２は、第５接続例による具体的な接続関係を示す図である。
【図３３】図３３は、第６接続例による具体的な接続関係を示す図である。
【図３４】図３４は、第２の実施形態のエンクロージャの背面図を示す図である。
【図３５】図３５は、第２の実施形態のＣＵカードの構成を示すブロック図である。
【図３６】図３６は、第２の実施形態のエンクロージャの、使用形態の一例を示す図である。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかるストレージシステムを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
まず、実施形態のストレージシステムの構成の概念を説明する。図１は、ストレージシステムの構成の概念を示す図である。図示するように、ストレージシステム１は、記憶部１０、コネクションユニット（ＣＵ）１１、インタフェース部（Ｉ／Ｆ部）１２およびマネジメントモジュール（ＭＭ）１３を備えている。
【０００９】
記憶部１０は、記憶機能およびデータ転送機能を其々有する複数のノードモジュール（ＮＭ）１４をメッシュネットワークにより相互に接続した構成を備える。記憶部１０は、複数のＮＭ１４に対してデータを分散して記憶する。データ転送機能は、各ＮＭ１４が効率的にパケットを転送する転送方式を備える。
【００１０】
図１では、各ＮＭ１４が其々格子点に配置された、矩形状のネットワークの例を示す。格子点の座標を座標（ｘ、ｙ）で示し、格子点に配置されるＮＭ１４の位置情報は、当該格子点の座標と対応してノードアドレス（ｘD、ｙD）で示されるものとする。また、図１の例では、左上隅に位置するＮＭ１４が原点のノードアドレス（０、０）を有し、各ＮＭ１４を横方向（Ｘ方向）および縦方向（Ｙ方向）に移動することで、ノードアドレスが整数値で増減する。
【００１１】
各ＮＭ１４は、それぞれ、２つ以上のインタフェース１５を備える。各ＮＭ１４は、隣接するＮＭ１４と、インタフェース１５を介して接続される。各ＮＭ１４は、２以上の異なる方向に隣接するＮＭ１４と接続される。例えば、図１において左上隅のノードアドレス（０、０）で示されるＮＭ１４は、Ｘ方向に隣接するノードアドレス（１、０）で表されるＮＭ１４と、Ｘ方向とは異なる方向であるＹ方向に隣接するノードアドレス（０、１）で表されるＮＭ１４と、それぞれ接続される。また、図１においてノードアドレス（１、１）で表されるＮＭ１４は、互いに異なる４の方向に隣接する、ノードアドレス（１、０）、（０、１）、（２、１）および（１、２）でそれぞれ示される４のＮＭ１４に接続される。以降、ノードアドレス（ｘD、ｙD）で表されるＮＭ１４を、ノード（ｘD、ｙD）と表記することがある。
【００１２】
図１では、各ＮＭ１４が矩形格子の格子点に配置されるように示したが、各ＮＭ１４の配置の様態は、この例に限定されない。すなわち、格子の形状は、格子点に配置される各ＮＭ１４が２以上の異なる方向に隣接するＮＭ１４と接続されればよく、例えば三角形、六角形などでもよい。また、図１では各ＮＭ１４が２次元状に配置されているが、各ＮＭ１４を３次元的に配置しても構わない。３次元的にＮＭ１４を配置した場合は、（ｘ、ｙ、ｚ）の３つの値で各ＮＭ１４を指定することができる。また、ＮＭ１４が２次元的に配置される場合には、対辺に位置するＮＭ１４同士を接続することによって、ＮＭ１４をトーラス状に接続するようにしてもよい。
【００１３】
ＣＵ１１は、外部に接続するコネクタを備え、外部からの要求に応じて記憶部１０にデータを入出力することができる。具体的には、ＣＵ１１は、図示していない記憶装置と演算装置とを備え、演算装置は、記憶装置をワークエリアとして使用しながらサーバアプリケーションプログラムを実行することができる。ＣＵ１１は、サーバアプリケーションによる制御の下で、外部からの要求を処理する。ＣＵ１１は、外部からの要求の処理の過程において、記憶部１０に対するアクセスを実行する。ＣＵ１１は、記憶部１０にアクセスする際には、ＮＭ１４が転送したり実行したりすることが可能なパケットを生成し、生成したパケットを、自ＣＵ１１に接続されているＮＭ１４に送信する。
【００１４】
図１の例では、ストレージシステム１は、４つのＣＵ１１を備えている。４つのＣＵ１１は、夫々異なるＮＭ１４に接続される。ここでは、４つのＣＵ１１は、ノード（０、０）、ノード（１、０）、ノード（２、０）、およびノード（３、０）に一対一に接続されている。なお、ＣＵ１１の数は任意に構成することが可能である。また、ＣＵ１１は、記憶部１０を構成する任意のＮＭ１４に接続されることが可能である。また、１つのＣＵ１１が複数のＮＭ１４に接続されてもよいし、１つのＮＭ１４が複数のＣＵ１１に接続されてもよい。また、記憶部１０を構成する複数のＮＭ１４のうちの任意のＮＭ１４にＣＵ１１が接続されてもよい。
【００１５】
図２は、ＮＭ１４の構成の一例を示す図である。ＮＭ１４は、ノードコントローラ（ＮＣ）１４０と、ストレージとして機能する第１のメモリ１４１と、ＮＣ１４０がワークエリアとして使用する第２のメモリ１４２とを備えている。第１のメモリ１４１としては、ＮＡＮＤメモリ、ビットコストスケーラブルメモリ（ＢｉＣＳ）、磁気抵抗メモリ（ＭＲＡＭ）、相変化メモリ（ＰｃＲＡＭ）、抵抗変化型メモリ（ＲＲＡＭ（登録商標））、またはこれらの組み合わせが適用可能である。第２のメモリ１４２としては、各種ＲＡＭが適用可能である。なお、第１のメモリ１４１がワークエリアとしての機能を提供することによって第２のメモリ１４２はＮＭ１４に具備されなくてもよい。
【００１６】
ＮＣ１４０は、４つのインタフェース１５が接続される。ＮＣ１４０は、ＣＵ１１または他のＮＭ１４からインタフェース１５を介してパケットを受信したり、ＣＵ１１または他のＮＭ１４にインタフェース１５を介してパケットを送信したりする。ＮＣ１４０は、受信したパケットの宛先が自ＮＭ１４である場合には、そのパケット（そのパケットに記録されるコマンド）に応じた処理を実行する。例えば、コマンドがアクセスコマンド（リードコマンドまたはライトコマンド）である場合には、ＮＣ１４０は第１のメモリ１４１に対するアクセスを実行する。ＮＣ１４０は、受信したパケットの宛先が自ＮＭ１４では無い場合には、そのパケットを自ＮＭ１４に接続されている他のＮＭ１４に転送する。
【００１７】
図３は、パケットの構成を説明する図である。パケットは、宛先のノードアドレス、送り元のノードアドレス、および、コマンドまたはデータが記録されて構成される。
【００１８】
パケットは、そのパケットを受信したＮＣ１４０が所定の転送アルゴリズムに基づいてルーティング先を決定することで、ＮＭ１４間を転送されて、宛先のＮＭ１４に到達する。例えば、ＮＣ１４０は、自ＮＭ１４に接続されている複数のＮＭ１４のうちの、自ＮＭ１４から宛先のＮＭ１４までの転送回数が最小となる経路上に位置するＮＭ１４を、転送先のＮＭ１４に決定する。ＮＣ１４０は、自ＮＭ１４から宛先のＮＭ１４までの転送回数が最小となる経路が複数存在する場合には、複数の経路から１つの経路を任意の方法で選択する。ＮＣ１４０は、自ＮＭ１４に接続されている複数のＮＭ１４のうちの転送回数が最小となる経路上に位置するＮＭ１４が故障していたりビジーであったりする場合には、他のＮＭ１４を転送先に決定する。
【００１９】
記憶部１０は、複数のＮＭ１４がメッシュネットワークで接続されて構成されていることにより、転送回数が最小となる経路が複数存在する。特定のＮＭ１４を宛先とするパケットが複数発行された場合であっても、発行された複数のパケットは、上述の転送アルゴリズムにより複数の経路に分散して転送されるので、特定のＮＭ１４に対するアクセス集中によるストレージシステム１全体のスループットの低下が抑制される。
【００２０】
図４は、ＮＭ１４の実装例を示す図である。各ＮＭ１４は、カード基板２０に実装されている。４つのカード基板２０が、着脱可能にコネクタを介してバックプレーン２２に装着される。各カード基板２０には、４つのＮＭ１４が実装されている。Ｙ方向に配列された４つのＮＭ１４は、同一のカード基板２０に実装され、Ｘ方向に配列された４つのＮＭ１４は、夫々異なるカード基板２０に実装されている。ここで、記憶部１０においてＲＡＩＤ（Redundant  Arrays  of  Inexpensive  Disks）を構築することが可能である。例えば、図４に示す例では、４つのＲＡＩＤグループ２１が構築されており、各ＮＭ１４は、４つのＲＡＩＤグループ２１のうちのいずれかに属する。そして、夫々異なるカード基板２０に実装されている４つのＮＭ１４は１つのＲＡＩＤグループ２１が構成される。ここでは、Ｘ方向に配列された４つのＮＭ１４が同一のＲＡＩＤグループ２１に属する。適用されるＲＡＩＤのレベルは、任意である。例えばＲＡＩＤ５が適用される場合には、ＲＡＩＤグループ２１を構成する複数のＮＭ１４のうちの１つが破損したとき、破損したＮＭ１４を有するカード基板２０を交換することで、破損したＮＭ１４に記憶されるデータが復旧される。また、ＲＡＩＤ６が適用される場合には、ＲＡＩＤグループ２１を構成する複数のＮＭ１４のうちの２つのＮＭ１４が破損した場合であっても復旧可能である。
【００２１】
ＭＭ１３は、各ＣＵ１１と、ノード（０、０）とに接続されている。ＭＭ１３は、図示していないＢＭＣ（Base  Management  Controller）を備えている。ＭＭ１３は、ＢＭＣの機能の一環として、環境温度の監視、ファンの回転数の監視とコントロール、電源電流および電源電圧の監視、各ＣＵ１１のステータスの記録、各ＣＵ１１の温度の監視、ＣＵ１１のリセット、などを実行する。また、ＭＭ１３は、ＢＭＣの機能のほかに、記憶部１０に対する処理（ＮＭ制御処理）を実行する機能を備える。ＮＭ制御処理は任意である。例えば、第１のメモリ１４１がフラッシュメモリで構成される場合には、ＭＭ１３は、第１のメモリ１４１のウェアレベリングを実行してもよい。また、ＭＭ１３は、ＭＭ１４の故障が発見されたとき、故障したＭＭ１４が実装されているカード基板２０の交換を外部に通知するようにしてもよい。また、ＭＭ１３は、カード基板２０の交換後、ＲＡＩＤのリビルドを行ってもよい。なお、ＭＭ１４の故障の検知は、ＮＣ１４０によって行われてもよいし、ＣＵ１１によって行われてもよい。ＭＭ１４の故障の検知は、そのＭＭ１４に具備される第１のメモリ１４１からのリードデータに対するエラー検出に基づいて実行されてもよい。ＭＭ１３は、記憶部１０に対して処理を行う際には、処理に応じたパケットを発行する。ＭＭ１３は、例えば図３に示す様式に準拠するパケットを発行する。
【００２２】
Ｉ／Ｆ部１２は、記憶部１０を拡張するための接続インタフェースである。異なる２台のストレージシステム１がＩ／Ｆ部１２を介して相互に接続されることで、各ストレージシステム１が備える記憶部１０が論理的に結合されて、１つの記憶部１０として使用可能になる。Ｉ／Ｆ部１２は、１以上のＮＭ１４からインタフェース１５で接続されている。ここでは、ノード（０、０）、ノード（０、１）、ノード（０、２）、およびノード（０、３）の４つのＮＭ１４に接続されている各インタフェース１５がＩ／Ｆ部１２に夫々接続されている。
【００２３】
図５は、Ｉ／Ｆ部１２を介して２台のストレージシステム１が接続されたときのＮＭ１４間の接続関係を示す図である。図示するように、２台のストレージシステム１のうちの一のストレージシステム１に具備される４つのＮＭ１４と、２台のストレージシステム１のうちの他のストレージシステムに具備される４つのＮＭ１４とが、Ｉ／Ｆ部１２を介して一対一で接続されている。２台のストレージシステム１間では、Ｉ／Ｆ部１２により接続されたインタフェース１５を介してパケットが転送可能である。これにより、４行４列のＮＭ１４群により構成される２つの記憶部１０が論理的に結合されて、４行８列のＮＭ１４群により構成される１つの記憶部１０として使用可能となる。
【００２４】
なお、記憶部１０を構成する複数のＮＭ１４のうちの何れをＩ／Ｆ部１２に接続するか、および、Ｉ／Ｆ部１２に接続するＮＭ１４の数は、任意である。また、記憶部１０間の接続関係のバリエーションについては後述する。
【００２５】
次に、第１の実施形態の実装例を説明する。
【００２６】
図６は、ストレージシステム１が収容される筐体（エンクロージャ）を示す図である。ストレージシステム１は、サーバラック２０１にマウント可能なエンクロージャ２００に収容される。エンクロージャ２００の寸法は、サーバラック２０１が準拠する規格によって規定されている。エンクロージャ２００の寸法のうちの高さは、「Ｕ（ユニット）」によって表現される。例えば、エンクロージャ２００は、「２Ｕ」の高さを有する。
【００２７】
図７は、エンクロージャ２００の前面図、図８は、エンクロージャ２００の背面図、図９は、エンクロージャ２００の内部の上面図、を夫々示している。
【００２８】
エンクロージャ２００の前面の中央には、電源ボタン、各種ＬＥＤ、および各種コネクタが配設されたコンソールパネル２０２が設けられている。コンソールパネル２０２の左右には、空気を吸気または排気するファン２０３が夫々２つずつ設けられている。
【００２９】
エンクロージャ２００の背面の中央部分には、後述の電源装置２１１を冷却するための２つのファン２０３と、２つの電源コネクタ２０４と、が設けられている。そして、ＣＵ１１が外部と接続するための６対で合計１２個のコネクタ２０５と、Ｉ／Ｆ部１２が外部と接続するための４対で合計８個のコネクタ２０６と、ＭＭ１３が外部と接続するための１個のコネクタ２０７と、が、中央部分の左右に夫々設けられている。
【００３０】
なお、ここでは、コネクタ２０５の規格として、イーサネット（登録商標）規格に準拠するコネクタが採用されるとして説明するが、ネットワーク接続可能な規格であればコネクタ２０５の規格として任意の規格が採用可能である。また、コネクタ２０６の規格には、任意の規格が採用可能である。ここでは、ＮＭ１４間のインタフェースとしてＬＶＤＳ（Low  voltage  differential  signaling）が採用され、コネクタ２０６の規格としてＬＶＤＳが採用されるものとする。また、コネクタ２０７の規格として、任意の規格が採用可能である。
【００３１】
エンクロージャ２００の内部においては、中央部分に、電源用のバックプレーン２１０が収容されている。そして、電源用のバックプレーン２１０の左右には、バックプレーン３００が其々収容されている。各バックプレーン３００は、カード基板に実装されたＣＵ１１、Ｉ／Ｆ部１２、ＭＭ１３、およびＮＭ１４が装着されることで、１つのストレージシステム１として機能する。即ち、エンクロージャ２００は、２つのストレージシステム１が収容可能である。なお、エンクロージャ２００には、１つのバックプレーン３００が収容されている状態で動作可能である。また、エンクロージャ２００は、２つのバックプレーン３００が収容された場合、２つのバックプレーン３００がコネクタ２０６を介して互いに接続されることにより、２つのストレージシステム１の夫々が有する記憶部１０を１つの記憶部１０に統合して運用することが可能である。
【００３２】
電源用のバックプレーン２１０には、エンクロージャ２００の高さ方向に重ねられた２個の電源装置２１１がエンクロージャ２００の背面（Rear）側に接続され、エンクロージャ２００の奥行き方向に２個のバッテリー２１２がエンクロージャ２００の前面（Front）側に並べて接続される。２個の電源装置２１１は、外部から電源コネクタ２０４を介して供給された商用電源に基づいて内部電源を生成し、生成した内部電源を電源用のバックプレーン２１０を介して２つのバックプレーン３００に供給する。２個のバッテリー２１２は、停電など商用電源の供給が途絶えたときに内部電源を生成するバックアップ電源である。
【００３３】
図１０は、バックプレーン３００の構成例を示す図である。ＣＵ１１、Ｉ／Ｆ部１２、ＭＭ１３、およびＮＭ１４は、夫々カード基板に実装される。これらのカード基板は、バックプレーン３００に設けられたスロットに装着される。ＮＭ１４が実装されているカード基板を、ＮＭカード（ＮＭカード４００）と表記する。Ｉ／Ｆ部１２が実装されているカード基板を、Ｉ／Ｆカード（Ｉ／Ｆカード５００）と表記する。ＣＵ１１が実装されているカード基板を、ＣＵカード（ＣＵカード６００）と表記する。ＭＭ１３が実装されているカード基板を、ＭＭカード（ＭＭカード７００）と表記する。
【００３４】
バックプレーン３００は、背面側において、左から１枚のＭＭカード７００、２枚のＩ／Ｆカード５００、および６枚のＣＵカード６００が装着される。また、バックプレーン３００は、前面側において、２４枚のＮＭカード４００が２列に配列されて装着されている。２４枚のＮＭカード４００は、紙面左側の１２枚のＮＭカード４００からなるブロック（第１ブロック４０１）と、紙面右側の１２枚のＮＭカード４００からなるブロック（第２ブロック４０２）とに分類される。この分類は、装着位置に基づくものである。
【００３５】
図１１は、エンクロージャ２００の使用形態の一例を示す図である。エンクロージャ２００は、コネクタ２０５とネットワークスイッチ（Network  SW）３を介してＰＣサーバ２が接続されている。エンクロージャ２００に収容されているストレージシステム１は、ＣＵカード６００においてＰＣサーバ２からの要求を解釈し、記憶部１０にアクセスすることができる。ＣＵカード６００においては、サーバアプリケーションが実行されている。ＰＣサーバ２は、サーバアプリケーションが受け付け可能な要求を送信することができる。なお、ここでは、ＣＵカード６００毎にコネクタ２０５とネットワークスイッチ３とが接続されているが、任意のＣＵカード６００とネットワークスイッチ３とを接続することができる。
【００３６】
図１２は、ＮＭカード４００の構成を示すブロック図である。図１３および図１４は、ＮＭカード４００の概観図である。図１３は、ＮＭカード４００の一方の面を示し、図１４は、他方の面を示している。この実装例においては、ＮＭ１４間を接続するインタフェース１５の規格には、ＬＶＤＳが適用され、ＮＭ１４とＣＵ１１とを接続するインタフェース１５の規格には、ＰＣＩｅ（PCI  Express）が適用される。また、ＮＭ１４とＭＭ１３とを接続するインタフェースの規格には、ＰＣＩｅが適用され、ＮＭ１４とＣＵ１１とを接続するインタフェースの規格には、Ｉ２Ｃおよびイーサネットが適用される。
【００３７】
ＮＭカード４００は、第１のＦＰＧＡ（field-programmable  gate  array）４０３、第２のＦＰＧＡ４０４、フラッシュメモリ４０５〜４０８、ＤＲＡＭ４０９、４１０、フラッシュメモリ４１１〜４１４、ＤＲＡＭ４１５、４１６およびコネクタ４１７を備えている。図１３および図１４に示すように、第１のＦＰＧＡ４０３、フラッシュメモリ４０５，４０６、ＤＲＡＭ４０９、４１０、及びフラッシュメモリ４０７，４０８は、其々、第２のＦＰＧＡ４０４、フラッシュメモリ４１１，４１２、ＤＲＡＭ４１５，４１６、フラッシュメモリ４１４，４１５に対して位置的に対称に設けられ、コネクタ４１７は、該対称の中心から偏心された位置に設けられる。
【００３８】
コネクタ４１７は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＮＭカード４００は、コネクタ４１７と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
【００３９】
第１のＦＰＧＡ４０３は、４つのフラッシュメモリ４０５〜４０８と、２つのＤＲＡＭ４０９、４１０とに接続されている。第１のＦＰＧＡ４０３は、４つのＮＣ１４０を内部に含む。第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０は、ＤＲＡＭ４０９、４１０を、第２のメモリ１４２として使用する。また、第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０は、フラッシュメモリ４０５〜４０８のうちの夫々異なるフラッシュメモリを、第１のメモリ１４１として使用する。即ち、第１のＦＰＧＡ４０３、フラッシュメモリ４０５〜４０８、ＤＲＡＭ４０９、４１０は、４つのＮＭ１４からなるＮＭ１４群に相当する。
【００４０】
第２のＦＰＧＡ４０４は、４つのフラッシュメモリ４１１〜４１４と、２つのＤＲＡＭ４１５、４１６とに接続されている。第２のＦＰＧＡ４０４は、４つのＮＣ１４０を内部に含む。第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０は、ＤＲＡＭ４１５、４１６を、第２のメモリ１４２として使用する。また、第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０は、フラッシュメモリ４１１〜４１４のうちの夫々異なるフラッシュメモリを、第１のメモリ１４１として使用する。即ち、第２のＦＰＧＡ４０４、フラッシュメモリ４１１〜４１４、ＤＲＡＭ４１５、４１６は、４つのＮＭ１４からなるＮＭ１４群に相当する。
【００４１】
第１のＦＰＧＡ４０３は、１本のＰＣＩｅインタフェース４１８と、６本のＬＶＤＳインタフェース４１９とでコネクタ４１７と接続されている。また、第２のＦＰＧＡ４０４は、１本のＰＣＩｅインタフェース４１８と、６本のＬＶＤＳインタフェース４１９とでコネクタ４１７と接続されている。第１のＦＰＧＡ４０３と、第２のＦＰＧＡ４０４とは、２本のＬＶＤＳインタフェース４２０で接続されている。また、第１のＦＰＧＡ４０３および第２のＦＧＰＡ４０４は、Ｉ２Ｃインタフェース４２１でコネクタ４１７に接続されている。
【００４２】
図１５は、ＮＣ１４０間の論理的な接続関係を示す図である。各ＮＣ１４０は、合計４つのインタフェースを其々備える。各ＮＣ１４０は、ＦＰＧＡの内部の２つのインタフェースで、同一のＦＰＧＡに含まれる他の２つのＮＣ１４０と接続される。第１のＦＰＧＡ４０３に含まれる４つのＮＣ１４０のうちの２つのＮＣ１４０は、第２のＦＰＧＡ４０４に含まれる４つのＮＣ１４０のうちの２つのＮＣ１４０と、ＬＶＤＳインタフェース４２０で相互に接続される。このようにＮＣ１４０間が接続されることにより、ＮＭカード４００が有する８個相当のＮＭ１４は、４行２列のＮＭ１４群を構成する。
【００４３】
各ＮＣ１４０が備える残りのインタフェースは、他のＮＭカード４００（図示せず）上のＦＰＧＡに含まれるＮＣ１４０と接続するためのインタフェース（ＬＶＤＳインタフェース４１９）である。４行２列の配列の４隅に位置するＮＣ１４０は、２つのＬＶＤＳインタフェース４１９を備え、４隅以外の外縁部に位置するＮＣ１４０は、１つのＬＶＤＳインタフェース４１９を備える。即ち、ＮＭカード４００は、合計１２本のＬＶＤＳインタフェース４１９を具備する。
【００４４】
ＬＶＤＳインタフェース４１９は、ＮＭカード４００間の接続に使用される。Ｘ方向のうちの正側（「Ｘ＋」方向）に位置するＮＣ１４０は、「Ｘ＋」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｘ方向のうちの負側（「Ｘ−」方向）に位置するＮＣ１４０は、「Ｘ−」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｙ方向のうちの正側（「Ｙ＋」方向）に位置するＮＣ１４０は、「Ｙ＋」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。Ｙ方向のうちの負側（「Ｙ−」方向）に位置するＮＣ１４０は、「Ｙ−」方向に論理的に隣接して装着される他のＮＭカード４００上のＮＣ１４０と相互に接続可能である。
【００４５】
本実施例では、ＮＭカード４００が有する合計１２本のＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとの２つのグループに分類して説明する。オッドグループに分類されるＬＶＤＳインタフェース４１９を、ＬＶＤＳインタフェース４１９ａ、イーブングループに分類されるＬＶＤＳインタフェース４１９を、ＬＶＤＳインタフェース４１９ｂ、と表記する。ここでは、１２本のＬＶＤＳインタフェース４１９は、「Ｘ＋」方向、「Ｘ−」方向、「Ｙ＋」方向、および「Ｙ−」方向の夫々において、オッドグループとイーブングループとで同数となるように、分類される。図１５において、実線はオッドグループに属するＬＶＤＳインタフェース４１９ａを示しており、点線はイーブングループに属するＬＶＤＳインタフェース４１９ｂを示している。
【００４６】
図１６は、Ｉ／Ｆカード５００の構成を示すブロック図である。Ｉ／Ｆカード５００は、ＬＶＤＳバッファ５０１、５０２、キャパシタ５０３、５０４、コネクタ２０６、およびコネクタ５０９を備える。
【００４７】
コネクタ５０９は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。Ｉ／Ｆカード５００は、コネクタ５０９と、バックプレーン３００に形成された配線と、を介してＮＭカード４００に接続される。
【００４８】
コネクタ２０６は、４つのコネクタ５０５〜５０８を含む。なお、コネクタ５０５とコネクタ５０６とは、同時に着脱可能な着脱機構を備え、コネクタ５０７とコネクタ５０８とは、同時に着脱可能な着脱機構を備えるものとする。コネクタ５０５は、「Ｘ＋」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０６は、「Ｘ−」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０７は、「Ｙ＋」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。コネクタ５０８は、「Ｙ−」方向のＬＶＤＳインタフェース４１９の端子を集めたＬＶＤＳケーブルコネクタである。
【００４９】
「Ｘ＋」方向のＬＶＤＳインタフェース４１９および「Ｘ−」方向のＬＶＤＳインタフェース４１９は、コネクタ５０９、ＬＶＤＳバッファ５０１、およびキャパシタ５０３を介して、コネクタ５０５およびコネクタ５０６に夫々接続される。「Ｙ＋」方向のＬＶＤＳインタフェース４１９および「Ｙ−」方向のＬＶＤＳインタフェース４１９は、コネクタ５０９、ＬＶＤＳバッファ５０２、およびキャパシタ５０４を介して、コネクタ５０７およびコネクタ５０８に夫々接続される。
【００５０】
なお、前述のように、バックプレーン３００には、２枚のＩ／Ｆカード５００が装着される。バックプレーン３００に装着される２枚のＩ／Ｆカード５００のうちの一方は、オッドグループだけを集めたものであり、他方は、イーブングループだけを集めたものである。
【００５１】
図１７は、ＮＭカード４００とＩ／Ｆカード５００との間の接続関係を示す図である。ここで、オッドグループにかかるコネクタには、符号の末尾にアルファベット「ａ」を付し、イーブングループにかかるコネクタには、符号の末尾にアルファベット「ｂ」を付して互いに区別する。
【００５２】
図１７に示すように、第１ブロック４０１および第２ブロック４０２の夫々において、紙面横方向に物理的に隣接する２枚のＮＭカード４００が、２本のＬＶＤＳインタフェース４１９ａと２本のＬＶＤＳインタフェース４１９ｂとで相互に接続される。また、第１ブロック４０１および第２ブロック４０２の夫々において、紙面縦方向に物理的に隣接する２枚のＮＭカード４００が、１本のＬＶＤＳインタフェース４１９ａと１本のＬＶＤＳインタフェース４１９ｂとで相互に接続される。
【００５３】
第１ブロック４０１の下段に装着されているＮＭカード４００は、第２ブロック４０２の下段に装着されているＮＭカード４００と、１本のＬＶＤＳインタフェース４１９ａと１本のＬＶＤＳインタフェース４１９ｂとで一対一に接続される。第１ブロック４０１の下段において紙面左側からｉ番目に装着されているＮＭカード４００は、第２ブロック４０２の下段において紙面右側からｉ番目に装着されているＮＭカード４００と一対一に接続される。上記のように物理的に接続されることにより、論理的には、Ｘ方向の定義およびＹ方向の定義が、第１ブロック４０１と第２ブロック４０２とで相違する。第１ブロック４０１においては紙面右方向が「Ｘ＋」方向に該当する。第２ブロック４０２においては紙面左方向が「Ｘ＋」方向に該当する。第１ブロック４０１においては紙面上方向が「Ｙ＋」方向に該当する。第２ブロック４０２においては紙面下方向が「Ｙ＋」方向に該当する。
【００５４】
第１ブロック４０１の右端に装着されたＮＭカード４００および第２ブロック４０２の左端に装着されたＮＭカード４００が有する「Ｘ＋」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０５ａに接続される。第１ブロック４０１の右端に装着されたＮＭカード４００および第２ブロック４０２の左端に装着されたＮＭカード４００が有する「Ｘ＋」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０５ｂに接続される。
【００５５】
第１ブロック４０１の左端に装着されたＮＭカード４００および第２ブロック４０２の右端に装着されたＮＭカード４００が有する「Ｘ−」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０６ａに接続される。第１ブロック４０１の左端に装着されたＮＭカード４００および第２ブロック４０２の右端に装着されたＮＭカード４００が有する「Ｘ−」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０６ｂに接続される。
【００５６】
第１ブロック４０１の上段に装着されたＮＭカード４００が有する「Ｙ＋」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０７ａに接続される。第１ブロック４０１の上段に装着されたＮＭカード４００が有する「Ｙ＋」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０７ｂに接続される。
【００５７】
第２ブロック４０２の上段に装着されたＮＭカード４００が有する「Ｙ−」方向のＬＶＤＳインタフェース４１９のうち、オッドグループに属するＬＶＤＳインタフェース４１９ａは、コネクタ５０８ａに接続される。第２ブロック４０２の上段に装着されたＮＭカード４００が有する「Ｙ−」方向のＬＶＤＳインタフェース４１９のうち、イーブングループに属するＬＶＤＳインタフェース４１９ｂは、コネクタ５０８ｂに接続される。
【００５８】
図１８は、ＣＵカード６００の構成を示すブロック図である。ＣＵカード６００は、第１のプロセッサ６０１、第２のプロセッサ６０２、ＤＲＡＭ６０３、ＤＲＡＭ６０４、２つのコネクタ２０５、ＳＤソケット６０９、ＳＤソケット６１０、およびコネクタ６１１を備える。
【００５９】
コネクタ６１１は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＣＵカード６００は、コネクタ６１１と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
【００６０】
第１のプロセッサ６０１および第２のプロセッサ６０２は、夫々プログラムを実行することにより、夫々個別のＣＵ１１として機能する。即ち、ＣＵカード６００は、２つのＣＵ１１に相当する。第１のプロセッサ６０１は、ＤＲＡＭ６０３に接続されており、ＤＲＡＭ６０３をワークエリアとして使用することができる。第１のプロセッサ６０１は、ＳＤソケット６０９に接続されている。ＳＤソケット６０９には、第１のプロセッサ６０１によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード６１２が接続される。第２のプロセッサ６０２は、ＤＲＡＭ６０４に接続されており、ＤＲＡＭ６０４をワークエリアとして使用することができる。第２のプロセッサ６０２は、ＳＤソケット６１０に接続される。ＳＤソケット６１０は、第２のプロセッサ６０２によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード６１３が接続される。
【００６１】
第１のプロセッサ６０１は、２個のコネクタ２０５のうちの１つにイーサネット規格に準拠するインタフェース６０６で接続される。また、第１のプロセッサ６０１は、２本のＰＣＩｅインタフェース６０５でコネクタ６１１に接続される。また、第１のプロセッサ６０１は、イーサネット規格に準拠する１本のインタフェース６０７でコネクタ６１１に接続される。また、第１のプロセッサ６０１は、１本のＩ２Ｃインタフェース６０８でコネクタ６１１に接続される。
【００６２】
同様に、第２のプロセッサ６０２は、２個のコネクタ２０５のうちの１つにイーサネット規格に準拠するインタフェース６０６で接続される。また、第２のプロセッサ６０２は、２本のＰＣＩｅインタフェース６０５でコネクタ６１１に接続される。また、第２のプロセッサ６０２は、イーサネット規格に準拠する１本のインタフェース６０７でコネクタ６１１に接続される。また、第２のプロセッサ６０２は、１本のＩ２Ｃインタフェース６０８でコネクタ６１１に接続される。
【００６３】
図１９は、ＭＭカード７００の構成を示すブロック図である。ＭＭカード７００は、ＢＭＣチップ７０１、第３のプロセッサ７０２、ＤＲＡＭ７０３、ＤＲＡＭ７０４、スイッチ７０５、コネクタ２０７、ＳＤソケット７０６、ＳＤソケット７０７、およびコネクタ７２０を備えている。
【００６４】
コネクタ７２０は、バックプレーン３００上のスロットに物理的および電気的に接続される接続機構である。ＭＭカード７００は、コネクタ７２０と、バックプレーン３００に形成された配線と、を介して他のカードと通信を行うことができる。
【００６５】
ＢＭＣチップ７０１は、ＢＭＣの機能を実現するチップである。ＢＭＣチップ７０１は、ＤＲＡＭ７０３に接続されており、ＤＲＡＭ７０３をワークエリアとして使用する。ＢＭＣチップ７０１は、ＳＤソケット７０６と接続されている。ＢＭＣチップ７０１は、ＳＤソケット７０６に接続されたＭｉｃｒｏＳＤカード７１６に、各種監視データを記録することができる。ＢＭＣチップ７０１は、コネクタ２０７とイーサネット規格に準拠するインタフェース７０８で接続されており、コネクタ２０７を介して外部と通信を行うことができる。
【００６６】
第３のプロセッサ７０２は、プログラムに基づいて記憶部１０に対してＮＭ制御処理を実行することができる。第３のプロセッサ７０２は、ＤＲＡＭ７０４に接続されており、ＤＲＡＭ７０４をワークエリアとして使用することができる。第３のプロセッサ７０２は、ＳＤソケット７０７に接続されている。ＳＤソケット７０７は、第３のプロセッサ７０２によって実行されるプログラムが予め格納されたＭｉｃｒｏＳＤカード７１７が接続される。
【００６７】
スイッチ７０５は、コネクタ７２０との間で１２本のインタフェース７１０で接続され、第３のプロセッサ７０２との間で１本のインタフェース７１１で接続され、ＢＭＣチップ７０１との間で１本のインタフェースで接続される。スイッチ７０５に接続される各インタフェースは、イーサネット規格に準拠するものである。１２本のインタフェース７１０は、コネクタ７２０およびバックプレーン３００を介して、ＣＵカード６００に実装されている各プロセッサ（第１のプロセッサ６０１、第２のプロセッサ６０２）に接続される。スイッチ７０５は、第１のプロセッサ６０１、第２のプロセッサ６０２、および第３のプロセッサ７０２と、ＢＭＣチップ７０１と、の間の通信を中継する。ＢＭＣチップ７０１は、各プロセッサが生成する情報を、スイッチ７０５を介して取得することができる。
【００６８】
また、ＢＭＣチップ７０１は、コネクタ７２０との間でＩ２Ｃインタフェース７１２で接続されている。Ｉ２Ｃインタフェース７１２は、途中でＩ２Ｃインタフェース７１３に分岐して、Ｉ２Ｃインタフェース７１３は第３のプロセッサ７０２に接続されている。Ｉ２Ｃインタフェース７１２のコネクタ７２０側の端子は、バックプレーン３００および各種カードのコネクタを介して第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４に接続される。ＢＭＣチップ７０１は、Ｉ２Ｃインタフェース７１２を介して第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４を監視する。第１のプロセッサ６０１、第２のプロセッサ６０２、第１のＦＰＧＡ４０３、および第２のＦＰＧＡ４０４から送られてくる監視データは、Ｉ２Ｃインタフェース７１３を介して第３のプロセッサ７０２からも参照される。第３のプロセッサ７０２は、監視データを用いてＮＭ制御処理を実行することができる。
【００６９】
第３のプロセッサ７０２は、ＰＣＩｅインタフェース７１４でコネクタ７２０と接続される。ＰＣＩｅインタフェース７１４のコネクタ７２０側の端子は、バックプレーン３００を介して、１つのＮＭカード４００に接続される。第３のプロセッサ７０２は、任意のＮＣ１４０に対するパケットをＰＣＩｅインタフェース７１４に送信したり、任意のＮＣ１４０からのパケットをＰＣＩｅインタフェース７１４を介して受信したりすることができる。
【００７０】
図２０は、ＮＭカード４００、ＣＵカード６００、およびＭＭカード７００の間の接続関係を示す図である。本図に示す接続は、全てＰＣＩｅインタフェースによるものである。また、図２０に示す接続関係は、各カード内の配線とバックプレーン３００に形成された配線とによって実現する。
【００７１】
前述のように、各ＣＵカード６００は、４本のＰＣＩｅインタフェース６０５を備え、各ＮＭカード４００は、２本のＰＣＩｅインタフェース４１８を備える。各ＣＵカード６００は、４本のＰＣＩｅインタフェース６０５が夫々異なるＮＭカード４００との接続に使用されることにより、４つのＮＭカード４００に接続される。各ＮＭカード４００は、２本のＰＣＩｅインタフェース４１８のうちの１本がＣＵカード６００との接続に使用される。ここでは、第１のＦＰＧＡ４０３が有するＰＣＩｅインタフェース４１８がＣＵカード６００との接続に使用される。
【００７２】
紙面左側の３枚のＣＵカード６００が有する各第１のプロセッサ６０１は、第１ブロック４０１の上段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の上段に装着された夫々異なるＮＭカード４００と、に接続される。また、紙面左側の３枚のＣＵカード６００が有する各第２のプロセッサ６０２は、第１ブロック４０１の下段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の下段に装着された夫々異なるＮＭカード４００と、に接続される。
【００７３】
紙面右側の３枚のＣＵカード６００が有する各第１のプロセッサ６０１は、第１ブロック４０１の上段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の上段に装着された夫々異なるＮＭカード４００と、の両方に接続される。また、紙面右側の３枚のＣＵカード６００が有する各第２のプロセッサ６０２は、第１ブロック４０１の下段に装着された夫々異なるＮＭカード４００と、第２ブロック４０２の下段に装着された夫々異なるＮＭカード４００と、の両方に接続される。
【００７４】
このように、各ＣＵカード６００は、第１ブロック４０１に属するＮＭカード４００と第２ブロック４０２に属するＮＭカードの両方に接続される。これにより、第１ブロック４０１および第２ブロック４０２の何れか一方にしかＮＭカード４００が装着されない場合であっても、各ＣＵカード６００は、装着されているＮＭカード４００に対してＣＵ１１としての機能を発揮することが可能となる。また、第１ブロック４０１および第２ブロック４０２の両方にＮＭカード４００が装着されているか否かにかかわらず、１〜６のうちの任意の数のＣＵカード６００を装着した状態で運用することが可能となる。
【００７５】
なお、次に説明するようにＭＭカード７００は第１ブロック４０１に属する１つのＮＭカード４００にのみ接続されるので、エンクロージャ２００は、少なくとも第１ブロック４０１にＮＭカード４００が接続されている状態で運用される。ＭＭカード７００が第２ブロック４０２に属する任意のＮＭカード４００に接続される場合には、エンクロージャ２００は、第２ブロック４０２にのみＮＭカード４００が装着されている状態での運用が可能である。
【００７６】
ＭＭカード７００は、１本のＰＣＩｅインタフェース７１４を備える。ＭＭカード７００は、ＰＣＩｅインタフェース７１４が使用されることにより、１つのＮＭカード４００に接続される。ここでは、ＮＭカード４００においては、第２のＦＰＧＡ４０４が有するＰＣＩｅインタフェース４１８がＭＭカード７００との接続に使用される。また、ＭＭカード７００は、第１ブロック４０１の上段の最も左側に装着されたＮＭカード４００に接続される。ＭＭカード７００は、ＰＣＩｅインタフェース７１４を介してパケットを送受信することができる。
【００７７】
図２１は、ＣＵカード６００とＭＭカード７００との間の接続関係を示す図である。ここでは、Ｉ２Ｃインタフェースによる接続の図示を省略し、イーサネット規格に準拠するインタフェースによる接続関係を示す。図２１に示す接続関係は、各カード内の配線とバックプレーン３００に形成された配線とによって実現する。
【００７８】
ＭＭカード７００は、イーサネット規格に準拠する１２本のインタフェース７１０を備えている。また、各ＣＵカード６００は、イーサネット規格に準拠する２本のインタフェース６０７を備えている。ＭＭカード７００は、ＣＵカード６００毎に２本のインタフェース７１０が使用されることにより、６枚のＣＵカード６００と接続される。
【００７９】
次に、記憶部１０をスケールアウトするための接続例を説明する。
【００８０】
１つのエンクロージャ２００が備える２つのストレージシステム１を用いて１つの記憶部１０を構築するための接続例（第１接続例）を説明する。複数のストレージシステム１を互いに識別するために、各ストレージシステム１の符号の末尾にアルファベットを付すこととする。
【００８１】
図２２は、第１接続例において使用されるコネクタ群を示す図である。図２３は、第１接続例による具体的な接続関係を示す図である。図２４は、第１接続例によって論理的に構築される記憶部１０を示す図である。
【００８２】
図２２に示すように、第１接続例においては、１つのエンクロージャ２００が備える２つのストレージシステム１のうちの一（ストレージシステム１ａ）が備えるコネクタ２０６と、他（ストレージシステム１ｂ）が備えるコネクタ２０６と、の間で相互に接続される。具体的には、図２３に示すように、ストレージシステム１ａが備えるコネクタ５０７ａと、ストレージシステム１ｂが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ｂと、ストレージシステム１ｂが備えるコネクタ５０８ｂとが接続される。これらの接続により、ストレージシステム１ａが備える記憶部１０の「Ｙ＋」方向にストレージシステム１ｂが備える記憶部１０が接続される。即ち、各ストレージシステム１ａ、１ｂの記憶部１０が統合されて、図２４に示すような新たな１つの記憶部１０が論理的に構成される。新たな記憶部１０は、Ｘ方向に６枚のＮＭカード４００が配列され、Ｙ方向に８枚のＮＭカード４００が配列されて構成される。
【００８３】
第１接続例においてはＹ方向に２つの記憶部１０が接続されたが、２つの記憶部１０をＸ方向に接続することも可能である。図２５は、第２接続例による具体的な接続関係を示す図である。図２６は、第２接続例によって論理的に構築される記憶部１０を示す図である。
【００８４】
図２５に示すように、第２接続例においては、ストレージシステム１ａが備えるコネクタ５０５ａとストレージシステム１ｂが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。これらの接続により、ストレージシステム１ａが備える記憶部１０の「Ｘ＋」方向にストレージシステム１ｂが備える記憶部１０が接続される。即ち、図２６に示すように、各ストレージシステム１ａ、１ｂの記憶部１０は統合されて、Ｘ方向に１２枚のＮＭカード４００が配列され、Ｙ方向に４枚のＮＭカード４００が配列されて構成される、新たな１つの記憶部１０が、論理的に構築される。
【００８５】
このように、一のストレージシステム１ａの「Ｘ＋」方向のコネクタ５０５と、他のストレージシステム１ｂの「Ｘ−」方向のコネクタ５０６と、を相互に接続することによって、記憶部１０の規模をＸ方向に拡張することができる。また、一のストレージシステム１ａの「Ｙ＋」方向のコネクタ５０７と、他のストレージシステム１ｂの「Ｙ−」方向のコネクタ５０８と、を相互に接続することによって、記憶部１０の規模をＹ方向に拡張することができる。
【００８６】
さらに、複数のエンクロージャ２００を用いて記憶部１０を拡張することが可能である。２つのエンクロージャ２００が備える合計４つのストレージシステム１を用いて１つの記憶部１０を構築するための接続例である第３接続例を説明する。２つのエンクロージャ２００を夫々識別するために、２つのエンクロージャ２００の符号の末尾に夫々異なるアルファベットを付すこととする。
【００８７】
図２７は、第３接続例において使用されるコネクタ群を示す図である。図２８は、第３接続例による具体的な接続関係を示す図である。図２９は、第３接続例によって論理的に構築される記憶部１０を示す図である。
【００８８】
図２７に示すように、第３接続例においては、１つのエンクロージャ２００（エンクロージャ２００ａ）が備えるストレージシステム１ａ、１ｂと、他のエンクロージャ２００（エンクロージャ２００ｂ）が備えるストレージシステム１ｃ、１ｄと、の間で、コネクタ２０６を介して接続される。より詳しくは、ストレージシステム１ａ、１ｄは、ストレージシステム１ｂおよびストレージシステム１ｃと接続される。
【００８９】
図２８に示すようにコネクタ間が接続される。即ち、ストレージシステム１ａが備えるコネクタ５０５ａとストレージシステム１ｂが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ａと、ストレージシステム１ｃが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ａが備えるコネクタ５０７ｂと、ストレージシステム１ｃが備えるコネクタ５０８ｂとが接続される。また、ストレージシステム１ｃが備えるコネクタ５０５ａとストレージシステム１ｄが備えるコネクタ５０６ａとが接続される。また、ストレージシステム１ｃが備えるコネクタ５０５ｂとストレージシステム１ｂが備えるコネクタ５０６ｂとが接続される。また、ストレージシステム１ｂが備えるコネクタ５０７ａと、ストレージシステム１ｄが備えるコネクタ５０８ａとが接続される。また、ストレージシステム１ｂが備えるコネクタ５０７ｂと、ストレージシステム１ｄが備えるコネクタ５０８ｂとが接続される。
【００９０】
図２９に示すように、ストレージシステム１ａ〜１ｄが備える記憶部１０は統合されて、Ｘ方向に１２枚のＮＭカード４００が配列され、Ｙ方向に８枚のＮＭカード４００が配列されて構成される、１つの新たな記憶部１０が、論理的に構築される。
【００９１】
このように、複数のエンクロージャ２００を用いて記憶部１０の規模をＸ方向およびＹ方向の両方に拡張することが可能である。なお、ストレージシステム１ａ〜１ｄを用いてＸ方向のみに拡張することも可能である。また、ストレージシステム１ａ〜１ｄを用いてＹ方向のみに拡張することも可能である。なお、ここでは２台のエンクロージャ２００を用いて記憶部１０の規模が拡張される例を示したが、３台以上のエンクロージャ２００を用いて記憶部１０の規模が拡張されることも可能である。
【００９２】
ＮＭ１４が２次元的に配置される場合には、対辺に位置するＮＭ１４同士を接続することによって、ＮＭ１４をトーラス状に接続するようにしてもよい。図３０は、トーラス状の接続関係を示す図である。図３０で示した例では、ＮＭ１４間は、実線で示す配線と点線で示す配線とで互いに接続されている。点線で示す配線は、実線で示す配線と等価である。このような場合、ノードアドレスのＸ座標値が増加する方向にルーティングするか減少する方向にルーティングするか、および／または、ノードアドレスのＹ座標値が増加する方向にルーティングするか減少する方向にルーティングするか、に応じて、複数の方向にルーティングすることが可能である。例えば、ノード（２、０）を送り元とし、メモリノード（２、２）を宛先とするパケットは、Ｙ座標値が増加する方向にルーティングされる場合には、例えば、ノードアドレスが（２、０）、（２、１）、（２、２）のＮＭ１４をこの順番で転送される。また、このパケットは、Ｙ座標値が減少する方向にルーティングされる場合には、例えば、ノードアドレスが（２、０）、（２、３）、（２、２）のＮＭ１４をこの順番で転送される。このように、記憶部１０を構成する複数のＮＭ１４がトーラス状に接続される場合、宛先までの経路が増加するので、ストレージシステム１全体のスループットが向上する。以下、トーラス状の接続を実現するためのコネクタ間の接続例を説明する。
【００９３】
図３１は、第４接続例による具体的な接続関係を示す図である。第４接続例は、１つのストレージシステム１ａのみでトーラス状の接続を実現する接続例である。図示するように、コネクタ５０５ａとコネクタ５０６ａとが接続される。また、コネクタ５０５ｂとコネクタ５０６ｂとが接続される。また、コネクタ５０７ａとコネクタ５０８ａとが接続される。また、コネクタ５０７ｂとコネクタ５０８ｂとが接続される。これにより、１つのストレージシステム１ａが有する記憶部１０のみによってトーラス状の接続が実現する。
【００９４】
図３２は、第５接続例による具体的な接続関係を示す図である。第５接続例は、２つのストレージシステム１ａ、１ｂによりトーラス状の接続を実現する接続例である。第５接続例は、第２接続例と同様のコネクタ間の接続に加えて次のように接続することによって、実現される。即ち、ストレージシステム１ａのコネクタ５０６ａと、ストレージシステム１ｂのコネクタ５０５ａとが接続される。また、ストレージシステム１ａのコネクタ５０６ｂと、ストレージシステム１ｂのコネクタ５０５ｂとが接続される。また、ストレージシステム１ａ、ストレージシステム１ｂの夫々において、コネクタ５０７ａとコネクタ５０８ａとが接続され、コネクタ５０７ｂとコネクタ５０８ｂとが接続される。
【００９５】
図３３は、第６接続例による具体的な接続関係を示す図である。第６接続例は、４つのストレージシステム１ａ、１ｂ、１ｃ、１ｄによりトーラス状の接続を実現する接続例である。第６接続例は、第３接続例と同様のコネクタ間の接続に加えて次のように接続することによって、実現される。即ち、ストレージシステム１ａのコネクタ５０６ａと、ストレージシステム１ｂのコネクタ５０５ａとが接続される。また、ストレージシステム１ａのコネクタ５０６ｂと、ストレージシステム１ｂのコネクタ５０５ｂとが接続される。また、ストレージシステム１ｃのコネクタ５０６ａと、ストレージシステム１ｄのコネクタ５０５ａとが接続される。また、ストレージシステム１ｃのコネクタ５０６ｂと、ストレージシステム１ｄのコネクタ５０５ｂとが接続される。また、ストレージシステム１ａのコネクタ５０８ａと、ストレージシステム１ｃのコネクタ５０７ａとが接続される。また、ストレージシステム１ａのコネクタ５０８ｂと、ストレージシステム１ｃのコネクタ５０７ｂとが接続される。また、ストレージシステム１ｂのコネクタ５０８ａと、ストレージシステム１ｄのコネクタ５０７ａとが接続される。また、ストレージシステム１ｂのコネクタ５０８ｂと、ストレージシステム１ｄのコネクタ５０７ｂとが接続される。
【００９６】
このように、第１の実施形態においては、ストレージシステム１は記憶部１０に接続されるＩ／Ｆ部１２を有し、当該Ｉ／Ｆ部１２は、他のストレージシステム１が有するＩ／Ｆ部１２と接続される。この構成により、記憶部１０を拡張することが可能である。即ち、ストレージシステム１は、容易に記憶部１０のスケールアウトを行うことが可能である。
【００９７】
さらに、前述のように、ＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとに分類される。バックプレーン３００に装着される２枚のＩ／Ｆカード５００のうちの一方は、オッドグループの端子だけを集めたものであり、他方は、イーブングループの端子だけを集めたものである。これにより、２枚のＩ／Ｆカード５００のうちの何れか一方が故障した場合であっても、外部との接続が故障していない他方のＩ／Ｆカード５００を介して維持される。なお、ここでは、ＬＶＤＳインタフェース４１９は、オッドグループとイーブングループとの２種類に分類されるとして説明したが、３種類以上に分類され、各種類の端子が夫々別々のＩ／Ｆカード５００に集められて構成されてもよい。
【００９８】
（第２の実施形態）
第１の実施形態においては、エンクロージャ２００に収容されたストレージシステム１は、外部からの要求をＣＵ１１において受け付けられて解釈される。第２の実施形態においては、エンクロージャ２００は、ＣＵ１１を省略して構成され、外部から直接に記憶部１０にケーブル接続することが可能である。
【００９９】
図３４は、第２の実施形態のエンクロージャ２００の背面図を示す図である。図３５は、第２の実施形態のＣＵカード６００の構成を示すブロック図である。第２の実施形態においては、ＣＵカード６００の構成が第１の実施形態と異なる。ＣＵカード６００は、ＰＣＩｅ規格に準拠するケーブルコネクタであるコネクタ２０８を備え、複数のＣＵカード６００がバックプレーン３００に装着されることによりコネクタ２０８がエンクロージャ２００の背面部に配列される。
【０１００】
また、ＣＵカード６００は、スイッチ６２０およびコネクタ６１１を備える。スイッチ６２０は、４本のＰＣＩｅインタフェース６２１でコネクタ６１１に接続され、１本のＰＣＩｅインタフェース６２２でコネクタ２０８に接続される。スイッチ６２０は、４本のＰＣＩｅインタフェース６２１を１本のＰＣＩｅインタフェース６２２に束ねる。４本のＰＣＩｅインタフェース６２１は、コネクタ６１１およびバックプレーン３００を介して夫々異なるＮＭカード４００に接続される。
【０１０１】
図３６は、第２の実施形態のエンクロージャ２００の、使用形態の一例を示す図である。エンクロージャ２００は、３つのＰＣサーバ４から夫々異なるコネクタ２０８に接続されている。各コネクタ２０８は、夫々異なるＰＣサーバ４と一対一に接続される。
【０１０２】
なお、エンクロージャ２００とＰＣサーバ４との間の通信規格は、ＰＣサーバ４の内部のバスをＰＣサーバ４の外部にケーブリングにより拡張することが可能な規格であれば、任意の規格が採用可能である。
【０１０３】
一般に、複数のコンピュータと１つの記憶装置とがバス型のネットワークで接続される場合には、複数のコンピュータからの記憶装置に対するアクセスが衝突することにより全体の性能が低下するという問題（いわゆるフォン・ノイマン・ボトルネック）が発生する。第２の実施形態によれば、複数のＰＣサーバ４が夫々異なるコネクタ２０８を介して記憶部１０に対して接続されることが可能であり、かつ、記憶部１０はデータ転送機能を有する複数のＮＭ１４がメッシュネットワークにより接続された構成を有するので、仮に複数のＰＣサーバ４が１つのＮＭ１４に対してアクセスする事態が発生したとしても、そのＮＭ１４への複数の経路にアクセスが分散される。その結果、第２の実施形態によれば、アクセスの衝突に起因する性能低下が起こりにくい。
【０１０４】
また、第２の実施形態によれば、外部のＰＣサーバ４は、記憶部１０に対して直接にパケットを送信することができるので、外部のＰＣサーバ４上でサーバアプリケーションプログラムを実行する構成を採用することが可能となる。サーバアプリケーションプログラムの演算コストが高い場合であっても、その演算コストにフィットした外部のＰＣサーバ４を用意することができる。
【０１０５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０６】
１，１ａ，１ｂ，１ｃ，１ｄ  ストレージシステム、２，４  ＰＣサーバ、３  ネットワークスイッチ、１０  記憶部、１１  コネクションユニット、１２  インタフェース部、１３  マネジメントモジュール、１４  ノードモジュール、１５  インタフェース、２０  カード基板、２１  ＲＡＩＤグループ、２２，３００  バックプレーン、１４０  ノードコントローラ、１４１  第１のメモリ、１４２  第２のメモリ、２００，２００ａ，２００ｂ  エンクロージャ、２０１  サーバラック、２０５〜２０８  コネクタ、２１０  バックプレーン、４００  ＮＭカード、５００  Ｉ／Ｆカード、６００  ＣＵカード、７００  ＭＭカード。
【図１】
2015125763.tif 000003
【図２】
2015125763.tif 000004
【図３】
2015125763.tif 000005
【図４】
2015125763.tif 000006
【図５】
2015125763.tif 000007
【図６】
2015125763.tif 000008
【図７】
2015125763.tif 000009
【図８】
2015125763.tif 000010
【図９】
2015125763.tif 000011
【図１０】
2015125763.tif 000012
【図１１】
2015125763.tif 000013
【図１２】
2015125763.tif 000014
【図１３】
2015125763.tif 000015
【図１４】
2015125763.tif 000016
【図１５】
2015125763.tif 000017
【図１６】
2015125763.tif 000018
【図１７】
2015125763.tif 000019
【図１８】
2015125763.tif 000020
【図１９】
2015125763.tif 000021
【図２０】
2015125763.tif 000022
【図２１】
2015125763.tif 000023
【図２２】
2015125763.tif 000024
【図２３】
2015125763.tif 000025
【図２４】
2015125763.tif 000026
【図２５】
2015125763.tif 000027
【図２６】
2015125763.tif 000028
【図２７】
2015125763.tif 000029
【図２８】
2015125763.tif 000030
【図２９】
2015125763.tif 000031
【図３０】
2015125763.tif 000032
【図３１】
2015125763.tif 000033
【図３２】
2015125763.tif 000034
【図３３】
2015125763.tif 000035
【図３４】
2015125763.tif 000036
【図３５】
2015125763.tif 000037
【図３６】
2015125763.tif 000038
【手続補正書】
【提出日】平成26年5月9日(2014.5.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一つの実施形態によれば、ストレージシステムは、第１記憶部および複数の第２記憶部を備える記憶部グループを備え、前記第１記憶部と、前記複数の第２記憶部とは、其々互いにデータ転送可能に接続される。前記複数の第２記憶部は、同一の第１基板上に実装される。前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１記憶部および複数の第２記憶部を備える記憶部グループを備え、
前記第１記憶部と、前記複数の第２記憶部とは、其々互いにデータ転送可能に接続され、
前記複数の第２記憶部は、同一の第１基板上に実装され、
前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない、
ことを特徴とするストレージシステム。
【請求項２】
前記記憶部グループは、第３記憶部を更に備え、
前記第３記憶部は、前記他の第２記憶部のうちの１つと連携する、
ことを特徴とする請求項１に記載のストレージシステム。
【請求項３】
前記第１記憶部と、前記第３記憶部とは、前記第１基板と異なる、其々同一の第２基板に実装され、前記第２基板は着脱可能であって、
前記一の第２記憶部は、前記第１記憶部が格納されるデータを復旧するためのデータが格納される、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項４】
外部のコンピュータと前記記憶部グループとを接続する複数の接続部と、
前記記憶部グループと前記複数の接続部とを制御可能な第１制御部と、
電源部と、
ファンと、
を更に備え、
前記第１制御部は、環境温度の監視、前記ファンの回転数の監視および制御、前記電源部が各部に供給する電流および電圧の監視、各接続部のステータスの記録、各接続部の温度の監視、ならびに、各制御部の暴走時のリセット、の何れか少なくとも１つを実行する、
ことを特徴とする請求項１に記載のストレージシステム。
【請求項５】
前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部は、其々第２制御部を有し、
前記第２制御部は、前記記憶部グループ内でのデータ転送ルートを其々決定する、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項６】
前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部は、其々不揮発性メモリを備え、
前記第１制御部は、前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部の夫々が備える不揮発性メモリの管理を実行する、
ことを特徴とする請求項４に記載のストレージシステム。
【請求項７】
前記第１制御部は、前記第２基板の交換通知と、前記第２基板の交換後の連携のリビルドと、を実行する、
ことを特徴とする請求項４に記載のストレージシステム。
【請求項８】
２つのストレージを備え、
前記２つのストレージの夫々は、
夫々互いにデータ転送可能に接続された複数の記憶部を備える記憶部グループと、
前記記憶部グループに接続された接続部と、
を備え、
前記２つのストレージは、前記接続部を介して互いに接続される、
ことを特徴とするストレージシステム。
【請求項９】
前記記憶部グループが備える複数の記憶部は、第１記憶部および複数の第２記憶部を備え、
前記複数の第２記憶部は、同一の第１基板上に実装され、
前記複数の第２記憶部のうちの一の第２記憶部は、前記第１記憶部と連携し、かつ、前記複数の第２記憶部のうちの他の第２記憶部と連携しない、
ことを特徴とする請求項８に記載のストレージシステム。
【請求項１０】
前記記憶部グループは、第３記憶部を更に備え、
前記第３記憶部は、前記他の第２記憶部のうちの１つと連携する、
ことを特徴とする請求項９に記載のストレージシステム。
【請求項１１】
前記第１記憶部と、前記第３記憶部とは、前記第１基板と異なる、其々同一の第２基板に実装され、前記第２基板は着脱可能であって、
前記一の第２記憶部は、前記第１記憶部が格納されるデータを復旧するためのデータが格納される、
ことを特徴とする請求項１０に記載のストレージシステム。
【手続補正書】
【提出日】平成26年6月26日(2014.6.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一つの実施形態によれば、ストレージシステムにおいて、第１ノードコントローラを有する第１ノードモジュールおよび第２ノードコントローラを其々有する複数の第２ノードモジュールを備えるネットワークが構成される。前記第１ノードコントローラと、前記複数の第２ノードコントローラとは、其々互いにデータ転送可能に接続される。前記複数の第２ノードモジュールは、前記ネットワークから着脱可能なインターフェース部を有するカード基板に実装される。前記複数の第２ノードコントローラのうちの一の第２ノードコントローラは、前記インターフェース部により前記第１ノードコントローラと通信可能に接続される。前記インターフェース部は、其々独立して電気的接続を切り替え可能な第１グループと第２グループとに分類されて構成される。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ノードコントローラを有する第１ノードモジュールおよび第２ノードコントローラを其々有する複数の第２ノードモジュールを備えるネットワークを構成し、
前記第１ノードコントローラと、前記複数の第２ノードコントローラとは、其々互いにデータ転送可能に接続され、
前記複数の第２ノードモジュールは、前記ネットワークから着脱可能なインターフェース部を有するカード基板に実装され、
前記複数の第２ノードコントローラのうちの一の第２ノードコントローラは、前記インターフェース部により前記第１ノードコントローラと通信可能に接続され、
前記インターフェース部は、其々独立して電気的接続を切り替え可能な第１グループと第２グループとに分類されて構成されることを特徴とするストレージシステム。
【請求項２】
第１制御部が含まれる第１記憶部および第２制御部が其々含まれる複数の第２記憶部を備える記憶部グループを備え、
前記第１制御部と、前記複数の第２制御部とは、其々互いにデータ転送可能であり、
前記複数の第２記憶部は、同一の第１基板上に実装され、
前記複数の第２制御部のうちの一の第２制御部は、インターフェース部により前記第１制御部と接続され、
前記インターフェース部は、其々独立して電気的接続を切り替え可能な第１グループと第２グループとに分類されて構成されることを特徴とするストレージシステム。
【請求項３】
前記記憶部グループは、第３記憶部を更に備え、
前記第３記憶部は、前記他の第２記憶部のうちの１つと連携する、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項４】
前記第１記憶部と、前記第３記憶部とは、前記第１基板と異なる、其々同一の第２基板に実装され、前記第２基板は着脱可能であって、
前記一の第２記憶部は、前記第１記憶部が格納されるデータを復旧するためのデータが格納される、
ことを特徴とする請求項３に記載のストレージシステム。
【請求項５】
外部のコンピュータと前記記憶部グループとを接続する複数の接続部と、
前記記憶部グループと前記複数の接続部とを制御可能な第３制御部と、
電源部と、
ファンと、
を更に備え、
前記第３制御部は、環境温度の監視、前記ファンの回転数の監視および制御、前記電源部が各部に供給する電流および電圧の監視、各接続部のステータスの記録、各接続部の温度の監視、ならびに、各制御部の暴走時のリセット、の何れか少なくとも１つを実行する、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項６】
前記第３記憶部は、第４制御部を有し、
前記第１制御部、第２制御部、および第４制御部は、前記記憶部グループ内でのデータ転送ルートを其々決定する、
ことを特徴とする請求項３に記載のストレージシステム。
【請求項７】
前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部は、其々不揮発性メモリを備え、
前記第３制御部は、前記第１記憶部、前記複数の第２記憶部、及び前記第３記憶部の夫々が備える不揮発性メモリの管理を実行する、
ことを特徴とする請求項５に記載のストレージシステム。
【請求項８】
前記第３制御部は、前記第２基板の交換通知と、前記第２基板の交換後の連携のリビルドと、を実行する、
ことを特徴とする請求項５に記載のストレージシステム。
【手続補正書】
【提出日】平成26年9月16日(2014.9.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一つの実施形態によれば、ストレージシステムにおいて、第１ノードコントローラを有する第１ノードモジュールおよび第２ノードコントローラを其々有する複数の第２ノードモジュールを備えるネットワークが構成される。前記第１ノードコントローラと、前記複数の第２ノードコントローラとは、其々互いにデータ転送可能に接続される。前記複数の第２ノードモジュールは、前記ネットワークから着脱可能なインターフェース部を有するカード基板に実装される。前記複数の第２ノードコントローラのうちの一の第２ノードコントローラは、前記インターフェース部により前記第１ノードコントローラと通信可能に接続される。前記インターフェース部は、第１グループと第２グループとに分類され、前記カード基板は、前記第１グループ及び前記第２グループのうち、何れか少なくとも一方で電気的に接続されていれば前記ネットワーク内でデータ転送を実行可能であり、前記第１グループの端子は他のカード基板の他の第１グループの端子とともに第１グループインターフェースとして纏められ、前記第２グループの端子は前記他のカード基板の他の第２グループの端子とともに第２グループインターフェースとして纏められる。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ノードコントローラを有する第１ノードモジュールおよび第２ノードコントローラを其々有する複数の第２ノードモジュールを備えるネットワークを構成し、
前記第１ノードコントローラと、前記複数の第２ノードコントローラとは、其々互いにデータ転送可能に接続され、
前記複数の第２ノードモジュールは、前記ネットワークから着脱可能なインターフェース部を有するカード基板に実装され、
前記複数の第２ノードコントローラのうちの一の第２ノードコントローラは、前記インターフェース部により前記第１ノードコントローラと通信可能に接続され、
前記インターフェース部は、第１グループと第２グループとに分類され、
前記カード基板は、前記第１グループ及び前記第２グループのうち、何れか少なくとも一方で電気的に接続されていれば前記ネットワーク内でデータ転送を実行可能であり、
前記第１グループの端子は他のカード基板の他の第１グループの端子とともに第１グループインターフェースとして纏められ、前記第２グループの端子は前記他のカード基板の他の第２グループの端子とともに第２グループインターフェースとして纏められることを特徴とするストレージシステム。
【請求項２】
第１制御部が含まれる第１記憶部および第２制御部が其々含まれる複数の第２記憶部を備える記憶部グループを備えるネットワークを構成し、
前記第１制御部と、前記複数の第２制御部とは、其々互いにデータ転送可能であり、
前記複数の第２記憶部は、同一の第１基板上に実装され、
前記複数の第２制御部のうちの一の第２制御部は、インターフェース部により前記第１制御部と接続され、
前記インターフェース部は、第１グループと第２グループとに分類され、
前記第１基板は、前記第１グループ及び前記第２グループのうち、何れか少なくとも一方で電気的に接続されていれば前記ネットワーク内でデータ転送機能を実行可能であり、
前記第１グループの端子は他の第１基板の他の第１グループの端子とともに第１グループインターフェースとして纏められ、前記第２グループの端子は前記他の第１基板の他の第２グループの端子とともに第２グループインターフェースとして纏められることを特徴とするストレージシステム。
【請求項３】
外部のコンピュータと前記記憶部グループとを接続する複数の接続部と、
前記記憶部グループと前記複数の接続部とを制御可能な第３制御部と、
電源部と、
ファンと、
を更に備え、
前記第３制御部は、環境温度の監視、前記ファンの回転数の監視および制御、前記電源部が各部に供給する電流および電圧の監視、各接続部のステータスの記録、各接続部の温度の監視、ならびに、各制御部の暴走時のリセット、の何れか少なくとも１つを実行する、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項４】
前記第１制御部および第２制御部は、前記記憶部グループ内でのデータ転送ルートを其々決定する、
ことを特徴とする請求項２に記載のストレージシステム。
【請求項５】
前記第１記憶部および前記複数の第２記憶部は、其々不揮発性メモリを備え、
前記第３制御部は、前記第１記憶部および前記複数の第２記憶部の夫々が備える不揮発性メモリの管理を実行する、
ことを特徴とする請求項３に記載のストレージシステム。
【請求項６】
前記第３制御部は、前記第２基板の交換通知と、前記第２基板の交換後の連携のリビルドと、を実行する、
ことを特徴とする請求項３に記載のストレージシステム。