(57)【要約】【課題】  データストレージおよびデータ保護の柔軟性を増大させるシステムおよび動作方法を提供する。【解決手段】  プライマリストレージアレイおよびセカンダリストレージアレイをネットワークに結合することが可能なインタフェース（１０６）を備えたミラーリング装置（１０２）であって、前記インタフェースは、前記プライマリストレージアレイを宛先としたネットワークパケットを求めてトラフィックを監視し、ストレージアレイ書き込み動作および前記ネットワークパケット中の関連データを選択的に識別し、前記セカンダリストレージアレイに向けられるネットワークパケットを構築し、該パケットを前記プライマリストレージアレイおよび前記セカンダリストレージアレイに送信するロジックをさらに備えた、ミラーリング装置とする。【選択図】          図１
2005327283.tif 000002
【特許請求の範囲】
【請求項１】
プライマリストレージアレイおよびセカンダリストレージアレイをネットワークに結合することが可能なインタフェース（１０６）を備えたミラーリング装置（１０２）であって、前記インタフェースは、前記プライマリストレージアレイを宛先としたネットワークパケットを求めてトラフィックを監視し、ストレージアレイ書き込み動作および前記ネットワークパケット中の関連データを選択的に識別し、前記セカンダリストレージアレイに向けられるネットワークパケットを構築し、該パケットを前記プライマリストレージアレイおよび前記セカンダリストレージアレイに送信するロジックをさらに備えた、ミラーリング装置。
【請求項２】
ミラーリング装置（１０２）であって、前記インタフェース（１０６）は、
第１のプロトコルに従って前記ネットワークパケットを受信し、第２のプロトコルに選択的に変換して送信することが可能なロジックと、
ネットワークトラフィックをトランスペアレントに通し、宛先アドレスに基づいて特に選択されたトラフィックを複製することが可能なロジックと、
トラフィックを複数の宛先に同時に複製することが可能なロジックと、
不同のアレイ時間および／または装置タイプ間で、ブロック単位で複製することが可能なロジックと、
複製されたブロックのネイティブ暗号化が可能なロジックと、
インターネット小型コンピュータシステムインタフェース（ｉＳＣＳＩ）エニーキャスト機能をサポートするロジックと、
仮想化なしで、またストレージアレイの特徴およびアドレッシングに関係なくデータを複製するデータストリーム複製器と、
同期ミラーリングの場合にトラフィックフローを制御するインタセプタと、
非同期ミラーリングの場合にトラフィックを複製しトランスペアレントに通すモニタと、
をさらに備えた、請求項１に記載のミラーリング装置。
【請求項３】
ミラーリング装置（１０２）であって、
第１の通信インタフェース（２０６）と第２の通信インタフェース（２０８）の間をインタフェースし、異種および不同の記憶装置を含む複数の記憶装置への同時送信が可能なブリッジ（２０４）と、
該ブリッジに結合され、書き込み入出力につき、情報ボリュームを前記複数の記憶装置にトランスペアレントにミラーリングすることが可能なコントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）と、
を備えたミラーリング装置。
【請求項４】
ミラーリング装置（１０２）であって、
前記コントローラにおいて実行可能であり、記憶装置アドレッシング技法に従って、ミラーリングされない読み書き要求を監視し通すプロセスと、
前記コントローラにおいて実行可能であり、第１のアドレスに向けられた書き込みを選択的にミラーリングして通し、第２のアドレスにも転送させるようにインバンドでプログラムされるプロセスと、
をさらに備え、
前記書き込みをミラーリングし通すことにより、内部ミラーおよびリモートミラーを含むグループの中から選択されたミラーが作成される、請求項３に記載のミラーリング装置。
【請求項５】
ミラーリング装置（１０２）であって、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、エニーキャストファジィデータリカバリミラーリングを制御することが可能であり、プライマリノードにおいて動作している前記コントローラは、受信ノードの承認をトラッキングせずに、エニーキャストミラーリングデータを受信することが可能な所定リストのノードにデータをエニーキャストし、ミラーノードにおいて動作している前記コントローラは、前記エニーキャストデータを受信し、同一の送信物を前記所定リストのノード中の他のミラーノードに送信し、前記送信物の複数コピーを受信したミラーノードで動作している前記コントローラは複製を無視し、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、エニーキャストファジィデータリカバリミラーリングを制御することが可能であり、プライマリノードにおいて動作している前記コントローラは、受信ノードの承認をトラッキングせずに、前記エニーキャストミラーリングデータを受信することが可能な所定リストのノードにデータをエニーキャストし、ミラーノードにおいて動作している前記コントローラは、前記エニーキャストデータを受信し、該受信したデータをシーケンス番号識別によってトラッキングし、シーケンス番号に従って欠落データを検出し、前記所定リストの受信ノード中の他のノードから欠落データを要求する、請求項３に記載のミラーリング装置。
【請求項６】
ストレージシステム（１００）であって、
相互接続可能な複数の記憶装置（１０４）と、
ストレージアレイインタフェース（１０６）によって前記複数の記憶装置（１０４）に結合されるミラーリング装置（１０２）と、
を備え、
該ミラーリング装置（１０２）は、
第１の通信インタフェース（２０６）と第２の通信インタフェース（２０８）の間をインタフェースし、異種および不同の記憶装置ならびにデータセンターにローカルな複数の記憶装置および前記データセンターから離れた記憶装置を含む複数の記憶装置への同時送信が可能なブリッジ（２０４）と、
該ブリッジに結合され、書き込み入出力につき、情報ボリュームを前記複数の記憶装置および前記データセンターから離れた記憶装置にトランスペアレントにミラーリングすることが可能なコントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）と、
をさらに備えた、ストレージシステム。
【請求項７】
ミラーリング装置（１０２）であって、
第１の通信インタフェース（２０６）と第２の通信インタフェース（２０８）の間のプロトコルを変換するブリッジ（２０４）と、
ブリッジ（２０４）に結合し、エニーキャストファジィデータリカバリミラーリングを制御することが可能なコントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）と、
を備え、
前記コントローラは、プライマリノードコントローラとして動作する場合、受信ノードの承認をトラッキングせずに、前記エニーキャストミラーリングデータを受信することが可能な所定リストのノードにデータをエニーキャストし、
前記コントローラは、ミラーノードコントローラとして動作する場合、前記エニーキャストデータを受信し、同一の送信物を前記所定リストのノード中の他のミラーノードに送信し、
前記コントローラは、前記送信物の複数コピーを受信するミラーノードコントローラとして動作する場合、複製を無視する、
ミラーリング装置。
【請求項８】
ミラーリング装置（１０２）であって、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、ミラーノードコントローラとして動作する場合、前記エニーキャストデータを受信し、該受信したデータをシーケンス番号識別によってトラッキングし、シーケンス番号に従って欠落データを検出し、前記所定リストの受信ノード中の他のノードから欠落データを要求し、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、失われたプライマリボリュームに関連する情報についての状態リポートを要求するエニーキャストメッセージを前記所定リストのミラーノードに送信することにより、プライマリボリュームが失われたことに応答することが可能であり、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、前記所定リストのミラーノードのミラーノードコントローラとして動作する場合、前記ミラーノードの識別子、該ミラーノードに収容されている前記データが一貫しており、使用可能であるか否かの指示、および受信した最後のシーケンス番号の識別を中継することにより、前記状態リポート要求に応答し、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、使用可能な情報を収容している前記ミラーノードを判断するフェイルオーバー応答を開始することにより、少なくとも１つの状態リポートの受信に応答し、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、使用可能な情報を収容している前記ミラーノードの中から地理的に最も近い前記ミラーノードを判断するフェイルオーバー応答を開始することにより、少なくとも１つの状態リポートの受信に応答する、請求項７に記載のミラーリング装置。
【請求項９】
ミラーリング装置（１０２）であって、
複数の通信インタフェース間でプロトコルを変換するブリッジ（２０４）と、
該ブリッジに結合され、エニーキャストファジィデータリカバリミラーリングを制御することが可能なコントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）と、
を備え、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、受信ノードの承認をトラッキングせずに、前記エニーキャストミラーリングデータを受信することが可能な所定リストのノードにデータをエニーキャストし、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、ミラーノードコントローラとして動作する場合、前記エニーキャストデータを受信し、該受信したデータをシーケンス番号識別によってトラッキングし、シーケンス番号に従って欠落データを検出し、前記所定リストの受信ノード中の他のノードから欠落データを要求する、ミラーリング装置。
【請求項１０】
ミラーリング装置（１０２）であって、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、失われたプライマリボリュームに関連する情報についての状態リポートを要求するエニーキャストメッセージを前記所定リストのミラーノードに送信することにより、プライマリボリュームが失われたことに応答することが可能であり、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、前記所定リストのミラーノードのミラーノードコントローラとして動作する場合、前記ミラーノードの識別子、該ミラーノードに収容されている前記データが一貫しており、使用可能であるか否かの指示、および受信した最後のシーケンス番号の識別を中継することにより、前記状態リポート要求に応答することが可能であり、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、使用可能な情報を収容している前記ミラーノードを判断するフェイルオーバー応答を開始することにより、少なくとも１つの状態リポートの受信に応答することが可能であり、また、
前記コントローラ（２０２Ａ、２０２Ｂ、２０２Ｃ）は、プライマリノードコントローラとして動作する場合、使用可能な情報を収容している前記ミラーノードの中から地理的に最も近い前記ミラーノードを判断するフェイルオーバー応答を開始することにより、少なくとも１つの状態リポートの受信に応答することが可能である、請求項９に記載のミラーリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ミラーリングストレージインタフェースに関する。
【背景技術】
【０００２】
データの複数コピーの保持は、データが利用できない、破損した、または失われた場合に備えてのデータ処理操作におけるセキュリティ機能の一環である。データ処理システムの組織ユーザは一般に、多量の非常に重要な情報を保持し、災害や惨事により利用不能になることからデータを保護することに大量の時間および金額を費やしている。冗長データコピーを保持する１種の技法はミラーリングと呼ばれ、データ処理システムユーザが有価値情報のコピーを現場のリムーバブル記憶媒体または近くもしくは遠くにあるセカンダリミラーリングストレージサイトに保持する。現場から離れているが、大都市圏距離、たとえば最長約２００ｋｍ以内でのリモートミラーリングは、火災、停電、または盗難を含む地域の災害から保護する。何百ｋｍもの地理的距離にわたるリモートミラーリングが、地震、竜巻、ハリケーン、洪水等の惨事からの保護に有用である。多くのデータ処理システムが、複数の地理的距離のところに配置されたマルチレベルの冗長性をデータ保護に採用している。
【０００３】
大量のデータベースおよびストレージネットワークの管理における問題の１つは、絶えず変化し続け、より多くの容量を追加し続け、機能を変更し続け、システムのいずれのポイントでも起こり得る故障に対処し続ける不定形ファブリック構造への接続性の保持および成長である。現行のディスクミラーリング技術は一般に、専用ファイバチャネル（ＦＣ）または企業システム接続（ＥＳＣＯＮ）リンクをストレージアレイ間に採用し、制約および制限はすべてＦＣおよびＥＳＣＯＮによって課され、ＦＣおよびＥＳＣＯＮに固有のものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
望まれるのは、データストレージおよびデータ保護の柔軟性を増大させるシステムおよび動作方法である。
【課題を解決するための手段】
【０００５】
種々の実施形態によると、ミラーリング装置は、プライマリストレージアレイおよびセカンダリストレージアレイをネットワークに結合することが可能なインタフェースを備える。インタフェースは、プライマリストレージアレイを宛先としたネットワークパケットを求めてトラフィックを監視し、ストレージアレイ書き込み動作およびネットワークパケット中の関連データを選択的に識別し、セカンダリストレージアレイに向けられるネットワークパケットを構築し、パケットをプライマリストレージアレイおよびセカンダリストレージアレイに送信するロジックをさらに備える。
【０００６】
構造および動作方法の両方に関連する本発明の実施形態は、以下の説明および添付図面を参照することによって最良に理解することができる。
【発明を実施するための最良の形態】
【０００７】
図１を参照して、ミラーリング装置１０２を含むストレージシステム１００の一実施形態を概略ブロック図に示す。ミラーリング装置１０２は、プライマリストレージアレイおよびセカンダリストレージアレイをネットワークに結合可能なインタフェース１０６を備える。インタフェース１０６は、プライマリストレージアレイを宛先としたネットワークパケットを求めてトラフィックを監視し、ストレージアレイ書き込み動作およびネットワークパケット中の関連データを選択的に識別し、セカンダリストレージアレイに向けられるネットワークパケットを構築し、このパケットをプライマリストレージアレイおよびセカンダリストレージアレイに送信するロジック、たとえば図２に示すプロセッサ２０２Ａ、２０２Ｂ、および２０２Ｃをさらに備える。
【０００８】
ストレージシステム１００は、汎用データ記憶装置１０４間でデータをトランスペアレントにミラーリングする機能を有する。たとえば、ミラーブリッジブレード１０２が、ネットワークトラフィックをトランスペアレントに通し、宛先アドレスに基づいて特に選択されたトラフィックを複製することができる。したがって、ミラーブリッジブレード１０２は、仮想化なしで、またストレージアレイの特徴およびアドレッシングに関わりなく、データを複製するデータストリーム複製器として機能することができる。
【０００９】
例示的なストレージシステム１００は、相互通信可能な複数の記憶装置１０４、およびストレージアレイインタフェース１０６によって複数の記憶装置１０４に結合されたミラーブリッジブレード１０２を含む。特定の例示的な実施形態では、ストレージシステム１００は複数のディスクアレイを使用して実施することができる。記憶装置１０４は、単純ディスク束（ＪＢＯＤ）や他の汎用記憶装置、様々なタイプの独立ディスク冗長アレイ（ＲＡＩＤ）記憶構成、および他の構成であることができる。たとえば、ストレージシステムによっては、様々なタイプのディスクアレイおよび／またはテープアレイまたはカートリッジアレイを備えることができるものもある。ミラーブリッジブレード１０２は、ファイバチャネルまたはインフィニバンド、小型コンピュータシステムインタフェース（ＳＣＳＩ）、インターネットＳＣＳＩ（ｉＳＣＳＩ）、企業システム接続（ＥＳＣＯＮ）、および他のインタフェース等、他の標準ディスクアレイインタフェースを介してローカルに、たとえばストレージシステム１００内に示すデータセンター内で通信する。ストレージシステム１００は、他のストレージアレイ、通信センター、コンピュータ、またはネットワーク等のリモート装置と、ネットワーククラウド１１２を通して通信する。図１は、ネットワーククラウド１１２を通してアプリケーションホスト１１０と通信するストレージシステム１００を示す。
【００１０】
ミラーブリッジブレード１０２は、ネットワーククラウド１１２と記憶装置１０４の間に常駐し、記憶装置内部に常駐しても、または記憶装置と組み合わせてホストシャシ内に常駐してもよい。ミラーブリッジブレード１０２は、ｉＳＣＳＩおよびインターネットプロトコルバージョン６（ＩＰｖ６）の柔軟性を利用して、書き込み入出力（Ｉ／Ｏ）毎のトランスペアレントなボリュームミラーリング等の動作を行うとともに、「ファジィ」ミラーリングをサポートすることで、たとえば、様々なタイプのストレージディスクおよび／またはテープを含む異種の不同タイプの記憶装置内および間でのデータボリュームの自動ミラーリングを可能にする。ミラーブリッジブレード１０２は、不同のアレイ時間および／または装置タイプの間でブロック単位の複製を行うことができる。ミラーブリッジブレード１０２は、第１のプロトコルに従ってネットワークパケットを受信し、第２のプロトコルに選択的に変換して送信することができる。ミラーブリッジブレード１０２は、ストレージシステム１００が、一般的なホストバスアダプタに使用される従来の内部およびリモートミラーリングアレイファームウェアに取って代わり、それと比較してシステム性能を大幅に増大できるようにする。
【００１１】
図１と併せて図２を参照して、図１に示すストレージシステム１００等のストレージシステムにおいて使用することができるミラーブリッジブレード１０２の一実施形態を概略ブロック図に示す。ミラーブリッジブレード１０２は、第１の通信インタフェース２０６および第２の通信インタフェース２０８と少なくとも１つのコントローラ２０２Ａ、２０２Ｂ、２０２Ｃとの間をインタフェースするブリッジ２０４をさらに備える。通信インタフェース２０６および２０８は、データセンター内部の、たとえばシステム１００内の複数の記憶装置１０４、およびデータセンターから離れた記憶装置を含め、異種の不同の記憶装置を含む記憶装置と通信することができる。コントローラ２０２Ａ、２０２Ｂ、２０２Ｃはブリッジ２０４に結合され、記憶装置１０４内または間、またデータセンターから離れた記憶装置内の情報ボリュームをトランスペアレントに、書き込み入出力毎にミラーリングすることができる。
【００１２】
ミラーブリッジブレード１０２は、少なくとも１つのプロセッサ２０２Ａ、２０２Ｂ、２０２Ｃおよびメモリ、たとえば制御メモリ２１０、データおよびキャッシュメモリ２１２、およびキャッシュミラーメモリ２１４を備えた薄型モジュール式電子回路基板として一般に定義されるブレードサーバである。ミラーブリッジブレード１０２は通常、単一の特定用途、たとえばストレージアレイ間でのデータの通信およびミラーリングに使用され、普通、同様または異なる機能を有するブレードを有する省スペースのラックまたはシャシへの挿入が容易な形、サイズ、および構成を有する。シャシに挿入された複数のブレードは一般に、共通の高速バスを共有し、普通、限られた熱を発生してエネルギーならびに空間コストを節減するように設計される。ブレードサーバは通常、高密度アプリケーションに使用され、同様のタスクを実行する他のサーバとの集団構成で使用される。ブレードサーバは、多くの場合、負荷平衡機能およびフェイルオーバー機能を備える。プロセッサ２０２Ａ、２０２Ｂ、２０２Ｃは一般に、特定かつオンボードのオペレーティングシステムおよびアプリケーションプログラムを実行する。
【００１３】
１つまたは複数のプロセッサ２０２Ａ、２０２Ｂ、２０２Ｃは、ミラーリング動作に役立ち、ミラーリング動作を可能にするプロセス、方法、または手順を実行する。含めることができる１つのプロセスは、多種多様な汎用記憶装置アドレッシングプロトコル、たとえば、ワールドワイドネーム（ＷＷＮ）、ターゲット、論理装置番号（ＬＵＮ）、トラック、セクタ等に基づいて、通常のミラーリングされない読み書き要求を許容して通す入出力ユーティリティである。
【００１４】
実施形態によっては、ミラーブリッジブレード１０２は、選択されたアドレス（アドレスＸ）に向けられた書き込み動作トラフィックを通すのと同様に、選択された第２のアドレス（アドレスＹ）およびオプションでさらなるアドレスにもミラーリングして転送させるようにインバンドでプログラムすることができる。複数のアドレスに転送することにより、内部ミラーリングすると共に外部ミラーリングすることができる。
【００１５】
メモリ２１０、プロセッサ２０２Ａ、２０２Ｂ、２０２Ｃ、キャッシュ２１２および２１４、ならびに実行可能プロセスは、１つまたは多くの内部および／または外部のミラーサイトへの同期ミラーリングおよび非同期ミラーリングを実行するように構成される。たとえば、ミラーブリッジブレード１０２は、同期ミラーリングの場合はトラフィックフローを制御するインタセプタとして、また非同期ミラーリングの場合はトラフィックを複製してトランスペアレントに通すモニタとして機能することができる。
【００１６】
ミラーブリッジブレード１０２は、ユニキャスト、マルチキャスト、エニーキャスト、ギガビットイーサネット（登録商標）（または１０ギガビットイーサネット）トランキング、ＩＰＳｅｃ暗号化、仮想ローカルエリアネットワーク（ＶＬＡＮ）を含む全範囲のｉＳＣＳＩ  ＩＰｖ６特徴をグループ化およびゾーニング、フレームの偏り解消、および他に利用して、適時送出を実現する。インターネット小型コンピュータシステムインタフェース（ｉＳＣＳＩ）は、データストレージ機器をリンクする、インターネットプロトコル（ＩＰ）ベースのストレージネットワーキング規格である。ＩＰネットワークを介してＳＣＳＩコマンドを伝送するというｉＳＣＳＩ機能により、イントラネットを介してのデータ転送および長距離を経由してのストレージ管理が容易になる。ｉＳＣＳＩ機能はストレージデータ伝送性能を向上させ、それによってストレージエリアネットワーク等の構成の性能を向上させる。ＩＰネットワークの使用が広く普及しており、ｉＳＣＳＩを使用して、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、およびインターネットを介してデータを伝送することができ、位置に依存したデータストレージおよび検索を可能にすることができる。
【００１７】
たとえば、ミラーブリッジブレード１０２は、ＤｉｆｆＳｅｒｖまたはＤＳ（Differentiated Services）をプロトコルとして使用して、選択されたタイプのトラフィックが優先されるように、グループまたはクラスでネットワークトラフィックを指定しかつ制御する。たとえば、同期ミラーリングトラフィックは、比較的途切れないデータフローを有し、他の種類のトラフィックよりも優先することを認めることができる。ＤＳは、サービスクラス（ＣｏＳ）に関してトラフィックを管理する高度な方法である。ＤＳは単純な優先度タグ付けに頼らず、より複雑なポリシーまたはルールステートメントを課して、特定のネットワークパケットをどのように転送するかを判断する。特定のパケット伝送ルールセットの場合、パケットには６４の可能な転送の挙動のうちの１つが与えられる。６ビットフィールドがインターネットプロトコル（ＩＰ）ヘッダ中のＤｉｆｆＳｅｒｖコードポイント（ＤＳＣＰ）を指定し、ＤＳＣＰはパケットフローの挙動を指定する。ＤＳおよびＣｏＳにより、柔軟かつ高度にスケーラブルなトラフィック制御が可能になる。
【００１８】
マルチプロトコルラベルスイッチング（ＭＰＬＳ）をミラーブリッジブレード１０２によって実施して、ネットワークトラフィックフローを加速すると共に、トラフィック管理を容易にすることができる。ＭＰＬＳは、コントローラが、各パケットに挿入されたラベルによって識別された一連のパケットに特定のパスを設定できるようにして、ルータがパケットを転送する次のノードへのアドレスを検出する時間を省く。ＭＰＬＳはインターネットプロトコル（ＩＰ）、非同期転送モード（ＡＴＭ）、およびフレーム中継ネットワークプロトコルと協働する。標準の開放型システム間相互接続（ＯＳＩ）モデルを参照すると、ＭＰＬＳは、レイヤ３ルーティングレベルではなくレイヤ２交換レベルでのパケット転送を可能にする。ＭＰＬＳは、トラフィックをより高速化させるだけでなく、サービス品質（ＱｏＳ）関連のネットワーク管理を容易にする。
【００１９】
ゾーニングは、ネットワーク通信装置をネットワークの物理的構成上の論理グループに整理する方法である。ゾーニングは、ミラーブリッジブレード１０２において実行可能なプロセスまたは方法を切り替えることによって行うことができる。ゾーンには、サーバノード、ストレージノード、およびネットワーク中の他のスイッチを含めることができる。例示的な実施形態では、ゾーンには、ネットワーククラウド１１２を介して通信するプライマリノードおよびミラーノードを含めることができる。ゾーニングのタイプには、ハードゾーニング、ソフトゾーニング、およびハードゾーニングとソフトゾーニングの組み合わせがある。ハードゾーニングは、物理的なスイッチポートアドレスの使用法を指定し、接続が変更されない静的な環境において最も有用である。ソフトゾーニングは、ワールドワイドネーム（ＷＷＮ）の使用法を定義し、ゾーン中のメンバーシップに影響することなく、装置がノード間を移動可能なネットワーククラウド１１２等の動的なネットワーク環境において最も有益である。
【００２０】
ｉＳＣＳＩ規格に準拠して、ユーザまたはアプリケーションによる要求により、オペレーティングシステムは適切なＳＣＳＩコマンドおよびデータ要求を生成し、これらはカプセル化され、可能であれば暗号化される。オペレーティングシステムは、カプセル化されたＩＰパケットにパケットヘッダを付加し、インターネット接続を介してこの組み合わせを送信する。受信されたパケットは、先に暗号化されていた場合は解読され、分解されてＳＣＳＩコマンドと要求とが分けられる。ＳＣＳＩコマンドは、ＳＣＳＩコントローラおよびＳＣＳＩ記憶装置に送られる。ｉＳＣＳＩは双方向であるため、要求に応答して、プロトコルを使用してデータを返すことができる。
【００２１】
ｉＳＣＳＩ通信の使用により、ＦＣ／ＩＰ（Fibre Channel over Internet Protocol）技法の柔軟性が向上する。これは、ＦＣ／ＩＰはファイバチャネル技術と併せてのみ使用可能であるためである。これとは対照的に、ｉＳＣＳＩは既存のイーサネットネットワークを介して実行することができる。
【００２２】
インターネットプロトコルバージョン６（ＩＰｖ６）は、インターネットプロトコルの新しいバージョンである。インターネットプロトコル（ＩＰ）は、インターネット上のコンピュータからコンピュータに送信される方法またはプロトコルである。インターネットに接続された各コンピュータは、インターネットに接続された他のすべてのコンピュータから一意に識別する少なくとも１つのＩＰアドレスを有する。コンピュータが、電子メールメッセージやウェブページ等のデータを送信または受信すると、メッセージは、送信側および受信側両方のアドレスを含むパケットに分割される。いずれのパケットもまずゲートウェイコンピュータに送信され、ゲートウェイコンピュータは宛先アドレスを読み取ってパケットを隣のゲートウェイに転送する。このプロセスは、ゲートウェイがパケットを自ドメイン中のコンピュータに属するものとして認識し、パケットをそのコンピュータに直接転送するまで順次続けられる。
【００２３】
メッセージをパケットに分割し、パケットを独立して送信することにより、１つのメッセージの各パケットは異なるルートで移動し、様々な時間に、ひいては可変順序で到着し得る。インターネットプロトコルはメッセージを単に送信するだけであり、別のプロトコルである伝送制御プロトコル（ＴＣＰ）がパケットを正しい順序に配置する。ＩＰはコネクションレス型プロトコルであるため、エンドポイント間に継続した接続は存在しない。
【００２４】
ＩＰｖ６は、最も目立つこととして、ＩＰアドレスを３２ビットから１２８ビットに延長し、増加に対応する能力を大幅に拡張することによってインターネットプロトコルを改良する。ＩＰｖ６の他の改良点としては、宛先でのみ検査されるヘッダへの拡張部においてオプションを指定し、そうすることでネットワーク全体のパフォーマンスを加速化することが挙げられる。ＩＰｖ６は「エニーキャスト」アドレッシングを導入して、その他のゲートウェイへのパケットの転送を管理することができるいくつかの可能なゲートウェイホストの中で最も近いゲートウェイにメッセージを送信できるようにする。エニーキャストメッセージを使用して、ルートに沿ってルーティング表を更新することができる。ＩＰｖ６は、パケットを特定の流れの一部として識別できるようにすることから、リアルタイムで到着するマルチメディアプレゼンテーションのパケットを他の顧客よりも高いサービス品質で供給することができる。ＩＰｖ６は、パケットが発信元を認証し、データの保全性およびプライバシーを確保するメカニズムを指定することができる拡張部を含むヘッダを有する。
【００２５】
ＩＰｖ６は、１つのホストから別のホストへのユニキャスト、１つのホストから複数のホストの中で最も近いホストへのエニーキャスト、および１つのホストから複数のホストへのマルチキャストを含む３つのタイプのアドレッシングに関するルールを記述している。
【００２６】
ＩＰｖ６は、ＩＰを介してのマルチキャスト、すなわちネットワーク上の単一の送信者と複数の受信者との間の通信をサポートする。代表的な使用法としては、本社から移動要員への最新情報付与およびオンラインニュースレターの定期的な発行が挙げられる。マルチキャストは、セルラデジタルパケットデータ（ＣＤＰＤ）技術の一環としてワイヤレスデータネットワークを通してサポートされる。マルチキャストは、インターネット上の高帯域幅ポイントにいるユーザがライブビデオおよびサウンドプログラミングを受信できるようにするシステムであるＭＢｏｎｅでのプログラミングに使用される。ＭＢｏｎｅは、インターネットの特定の高帯域幅サブセットを使用するとともに、マルチキャストプロトコルを直接処理することができないインターネットの部分を通過する際には、信号をＴＣＰ／ＩＰパケットとしてカプセル化することができるプロトコルを使用する。
【００２７】
単一の送信者とグループ内の何人かの受信者の中で最も近い受信者との間のエニーキャスト通信は、１つのホストがホストグループのルータ表の効率的な更新を開始できるようにする。ＩＰｖ６は、どのゲートウェイホストが最も近いかを判断することができ、まるでユニキャスト通信を使用しているかのようにパケットをその最も近いホストに送信する。この手順は、すべてのルーティング表が更新されるまでグループ内の他のホストに対して順次繰り返される。
【００２８】
リンク集約またはトランキングはＩＥＥＥ８０２．３ａｄにおいて標準化され、ギガビットイーサネットスイッチ間、またはスイッチとファイルサーバ等のエンド装置の間の複数接続のより高帯域幅の使用を可能にする。リンク集約は、アプリケーション要件により顧客が帯域幅を割り振り、時間の経過に伴ってネットワークをスケーリングできるようにする受け入れられた規格である。追加のストレージアプリケーションが導入されると、集約リンクを追加接続して、構造の輻輳または遮断を回避することができる。
【００２９】
インターネットプロトコルセキュリティ（ＩＰＳｅｃ）は、ネットワーク、すなわちネットワーク通信のパケット処理レイヤでのセキュリティに関する規格である。ＩＰＳｅｃは、仮想プライバシーネットワーク、およびダイアルアップ接続を通しての私設ネットワークへのリモートユーザアクセスに有用である。ＩＰＳｅｃは、個々のユーザコンピュータを変更する必要なく、セキュリティ制度を可能にする。ＩＰＳｅｃは、認証ヘッダ（ＡＨ）およびセキュリティペイロードカプセル化（ＥＳＰ）技法をサポートする。ＡＨはデータ送信者の認証を可能にする。ＥＳＰは、送信者を認証するとともに、データ暗号化を行う。ＡＨおよびＥＳＰに関連する特定の情報が、ＩＰパケットヘッダに続くヘッダ中のパケットに挿入される。
【００３０】
ミラーブリッジブレード１０２はセキュリティ機能に役立つ。たとえば、受信ノードにおけるミラーブリッジブレード１０２は、送信者および／またはデータ内容を認証することができる。送信ノードにおけるミラーブリッジブレード１０２は、暗号化された形、あるいは暗号化されていない形でデータを送信することができ、所望であれば、予め規定された仮想ローカルエリアネットワーク（ＶＬＡＮ）グループへの書き込みを制限することができる。ミラーブリッジブレード１０２は、データを、ストレージアレイ１０４に送る前に暗号化できるようにする。
【００３１】
仮想または論理ローカルエリアネットワーク（ＶＬＡＮ）は、地理的位置以外のベース、たとえば部署、ユーザタイプ、プライマリアプリケーション等に基づいてホストをマッピングする。ＶＬＡＮコントローラは、ホストを変更または追加することができ、負荷平衡および帯域幅割り振りを位置に基づくＬＡＮよりも容易に管理することができる。ネットワーク管理ソフトウェアは、ＬＡＮの仮想図と実際の物理的な図との関係をトラッキングする。
【００３２】
フレーム優先度は、ＶＬＡＮタグ付けにイーサネットフレームフィードを使用して、スイッチイーサネット内でのフレーム送出に優先度を設定する。フレーム優先度を使用して、リモートストレージミラーリング等の極めて重要な動作に優先度を与えることができる。
【００３３】
ミラーブリッジブレード１０２は、同様であっても異なってもよい標準の記憶装置を使用することができ、これに埋め込むことができる。適した様々な記憶装置１０４としては、単なる単純ディスク束（ＪＢＯＤ）、様々なタイプの独立ディスク冗長アレイ（ＲＡＩＤ）、アレイ等を挙げることができる。ミラーブリッジブレード１０２は、ＪＢＯＤまたはＲＡＩＤアレイ内で定義される既存のターゲットおよび論理装置（ＬＵＮ）ディスクボリュームと併せて動作することができるため、ストレージの仮想化は必要ない。
【００３４】
ミラーブリッジブレード１０２がＩＰｖ６を使用することにより、従来のアレイのファンインおよびファンアウト制約によって制限されない２〜Ｎサイトミラーリングおよび災害リカバリを可能にすることができる。ミラーブリッジブレード１０２はデータ記憶／転送動作をサポートして、カスケードまたはマルチキャスト災害リカバリ構成を可能にする。ミラーブリッジブレード１０２がＩＰｖ６を使用することにより、書き込みおよび異なるストレージシステムの、または異なるデータセンターもしくはサイトにあるミラーブリッジブレード間の相互通信を承認することのないエニーキャストファジィミラーリングが可能になる。相互通信により、システムは欠けている順次更新を修正できるようになる。
【００３５】
システムによって行われる、または実行される様々な機能、プロセス、方法、および動作は、様々なタイプのプロセッサ、コントローラ、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、状態機械、プログラマブル論理アレイ等で実行可能なプログラムとして実施することができる。プログラムは、任意のコンピュータ関連システムまたは方法により使用される、または関連する任意のコンピュータ可読媒体に記憶することができる。コンピュータ可読媒体は、コンピュータ関連システム、方法、プロセス、または手順により使用される、または関連するコンピュータプログラムを収容または記憶することができる電子的、磁気的、光学的、または他の物理的な装置または手段である。プログラムは、コンピュータまたはプロセッサをベースとしたシステム、または命令を命令メモリまたは任意の適したタイプの記憶装置からフェッチすることができる他のシステム等の命令実行システム、デバイス、構成要素、要素、または装置により使用される、または関連するコンピュータ可読媒体において具現することができる。コンピュータ可読媒体は、命令実行システム、装置、またはデバイスにより使用される、または関連するプログラムの記憶、通信、伝搬、または搬送を行うことができる任意の構造、デバイス、構成要素、製品、または他の手段であることができる。
【００３６】
例示的なブロック図およびフローチャートに、プロセス中の特定の論理関数またはステップを実施する1つまたは複数の実行可能命令を含むコードのモジュール、セグメントまたは部分を表すことができるプロセスステップまたはブロックを示す。特定の例では特定のプロセスステップまたは行為を示すが、多くの代替の実施態様が可能であり、単純な設計上の選択によって一般に行われる。行為およびステップは、機能、目的、標準的な従来構造への適合等に基づいて、本明細書における特定の説明とは別の順序で実行することが可能である。
【００３７】
図３を参照して、ミラーブリッジブレード１０２のプロセッサ２０２Ａ、２０２Ｂ、２０２Ｃによって実行可能なプロセスまたは方法の一実施形態を概略的な流れ図に示す。プロセスは、エニーキャストファジィデータリカバリミラーリング３００を制御する。コントローラは、プライマリノードコントローラ３０２として動作する場合、受信ノードがトラッキングされないことを承認して、エニーキャストミラーリングデータを受信可能な所定リストのノードに、データをエニーキャストする（３０４）。ミラーノードコントローラ３０６として動作するコントローラは、エニーキャストデータを受信し（３０８）、同一の送信物を所定のノードリスト中の他のミラーノードに送信する（３１０）。送信物の複数のコピーを受信するミラーノードコントローラ（３１２）は、複製を無視する（３１４）。
【００３８】
エニーキャストミラーリングは、被制御的かつ決定論的であって受信者のトラッキングにより送信者に負荷をかける従来のミラーリング構成と比較して、かなり柔軟である。ミラーブリッジブレード１０２およびエニーキャストファジィデータリカバリミラーリング３００は、あらゆる受信ミラーリング装置への各ミラーリング書き込みの承認を待つまたは承認に留意することによって送信ノードに負荷をかけることなく、選択された特徴または属性を有する、おそらくＶＬＡＮグループ中の可能な受信ノードリストへのデータのエニーキャストミラーリングを可能にする。
【００３９】
様々な実施態様では、ストレージシステム１００は、1つまたは複数の選択された属性または特徴を使用してＩＰｖ６エニーキャスト通信を構成することができる。実施態様によっては、ミラーグループ中のすべてのミラーが通常略同時に各書き込みを決定論的に受信することができるものもあれば、地理的に最も近いミラーのみが書き込みを受信し、次いで同一の書き込みをミラーグループ中の残りのミラーにマルチキャストまたはユニキャストするものもある。シーケンス番号によって識別される複製書き込みを受信したミラーグループメンバはいずれも、複製を無視する。
【００４０】
図４を参照して、ミラーブリッジブレード１０２により実行可能なエニーキャストファジィデータリカバリミラーリング４００を制御するプロセスまたは方法の別の実施形態を概略的なフローチャートに示す。コントローラ２０２Ａ、２０２Ｂ、２０２Ｃは、プライマリノードコントローラ４０２として動作する場合、エニーキャストミラーリングデータを受信可能な所定リストのノードにデータをエニーキャストする（４０４）。ここでも、受信ノードの承認はエニーキャストする側のコントローラによってトラッキングされない。コントローラ２０２Ａ、２０２Ｂ、２０２Ｃは、ミラーノードコントローラ４０６として動作する場合、エニーキャストデータを受信し（４０８）、シーケンス番号識別によって受信データをトラッキングする（４１０）。ミラーノードコントローラ４０６は、シーケンス番号４１２に従って欠落データを検出し、所定の受信ノードリスト中の他のノードから欠落データを要求する（４１４）。
【００４１】
エニーキャスト受信側に、たとえば伝送中に失われたことによって特定の書き込みがない場合は、シーケンス番号に従って書き込み順を解決するために、受信側は、エニーキャスト送信側を妨げることなく、ピアサイトまたはノードとの中で協議して欠落している更新を要求することができる。
【００４２】
プライマリボリュームが失われ、リカバリボリュームが必要な場合、プライマリノードは、リカバリデータを要求するエニーキャストメッセージをミラーグループに送信することができる。エニーキャストメッセージは通常、ミラーグループ中のすべてのノードからリポートを要求して、指定ボリューム識別子Ｘに関する状態について報告させる。次いで、ミラー装置が、たとえばワールドワイドネーム（ＷＷＮ）、ボリューム識別子Ｖｏｌ  ＩＤ  Ｘによって特定されるデータのコピーが一貫しているか、使用不能であるかの指示、および順序に沿って、シーケンス番号に従って記録に対する最後の追加であることの指示を含むリターン情報に関わって、アクティブとなる。リターン情報を使用して、使用可能な最新版の記録を含み、適切なデータを有するミラー装置の中で地理的に最も近いミラー装置を判断することができる。様々な実施形態では、ミラーブリッジブレード１０２において実行可能なフェイルオーバープロセスにより、またはユーザにより手動で判断することができる。
【００４３】
図５を参照して、ミラーブリッジブレード１０２を使用して、ｉＳＣＳＩ  ＩＰｖ６  ＬＡＮ／ＷＡＮ／ＭＡＮネットワーククラウド１１２を介してデータを通信して別個のデータセットをミラーリングする方法の例５００を概略ブロック図に示す。ネットワーククラウド１１２はファイバチャネル（ＦＣ）をサポートしないため、ＦＣカプセル化を回避することができ、柔軟な「ファジィ」データリカバリミラーリングが可能になる。１対１記憶装置ファンアウトを使用する別個のミラーボリューム５００は一般に、一般により多くのデータ容量を所望の高データレートで移動させるより厳しい災害リカバリアプリケーションとは対照的に、データマイグレーションまたは単純なデータミラーリングに使用される。プライマリサイト５０２にある記憶装置１０４は、アレイ間の同期または非同期データ複製を用いて別個のデータセットでセカンダリサイト５０４および５０６にミラーリングされる。システムは、トラフィックを複数の宛先に同時に複製することができる。ミラーブリッジブレード１０２は、別個のアレイタイプ、さらには、様々な磁気ディスク記憶ドライブ、光ディスク記憶ドライブ、および／またはテープ記憶装置あるいはカセット等、別個の装置タイプ間でブロック単位のデータ複製を行うことができる。ミラーブリッジブレード１０２は、ユニキャスト方法を使用して、個々のアレイプライマリ１０４Ｐとミラー１０４Ｓの対が１対１のみの記憶装置ファンアウトに関連する単純なデータコピー動作を行う。図には、ネットワーククラウド１１２を介してプライマリプロダクションサイトのミラーブリッジブレード１０２へのアプリケーションホスト接続は示されていない。
【００４４】
ミラーブリッジブレード１０２は、記憶装置またはプロダクションサイト内でボリュームミラーをトランスペアレントに作成することもできれば（たとえばプライマリサイト５０２における内部ミラーコピー５１４）、記憶装置にわたって、たとえばリモートサイトすなわちセカンダリサイト５０４および５０６へのリモートコピー５１２を介してミラーボリュームをトランスペアレントに作成することもできる。
【００４５】
ミラーブリッジブレード１０２は、ミラーリング動作をトランスペアレントに行うため、記憶装置１０４は、特別なミラーリング手順なしで、さらにはミラーリング動作が行われているという内部「認識」なしで、単に標準的な読み書き動作を行うだけである。
【００４６】
記憶装置１０４という語は一般的な装置であり、ディスクアレイ等の特定タイプの装置に限定されない。様々なタイプの磁気ディスクドライブ、テープドライブ、書き込み機能を有するＣＤドライブまたはＤＶＤ−ＲＯＭドライブ等を含め、任意の適したタイプの記憶装置を使用することが可能である。
【００４７】
図６を参照して、集約ミラーボリューム構成６００でのミラーブリッジブレード１０２の使用例を概略ブロック図に示す。ミラーブリッジブレード１０２はミラーリング動作を制御して、リモートサイト６０４および６０６上の集約ミラー６１０として示すように、ミラーサイト上のボリュームを集約することができるが、プライマリサイト６０２は１対Ｎ構成を作成しない。プライマリサイト６０２上において、ストレージアレイ装置１０４Ｐは１つのデータセット６０８として管理される。ミラーブリッジブレード１０２は、データセットにつき１対Ｎボリュームの、またアレイにつき１対Ｎの非同期および／または同期データ複製により、集約ボリュームデータセットをＮ個すべてのアレイにわたってミラーリングする。集約データ複製６００はユニキャストアドレッシングを利用する。
【００４８】
リモートミラーブリッジブレード１０２に広がる集約ボリュームグループ６１０では、データの一貫性が損なわれやすい。したがって、送信側のミラーブリッジブレード１０２は、いずれかのリモートミラーブリッジブレードの書き込みが完了に失敗した場合、すべてのリモートミラーブリッジブレード１０２に対するミラーリングを停止する。
【００４９】
図７を参照して、Ｎサイト災害リカバリ構成７００においてデータを送信する技法の例を概略ブロック図に示す。Ｎサイト災害リカバリ構成７００においてデータを送信する１対Ｎユニキャストまたはマルチキャスト方法では、プライマリサイトまたはプロダクションサイト７０２にあるミラーブリッジブレード１０２は、データを他の各サイト７０４、７０６に、またたとえばＮ番目のサイトの記憶装置７０８を含む追加のサイトに送信する。データは、ユニキャストアドレッシングを使用して一度に１つずつ転送されるか、またはマルチキャストアドレッシングを使用して一度に全て転送される。ユニキャストアドレッシングを使用するミラーブリッジブレード１０２は、複製書き込みを一度に１つずつ、同期または非同期で各リモートミラーブリッジブレード１０２に送信する。マルチキャストアドレッシングを使用するミラーブリッジブレード１０２は、同じ書き込みを一度にあらゆるリモートミラーブリッジブレード１０２に、非同期または同期で送信する。エニーキャストアドレッシングを使用するミラーブリッジブレード１０２は、受信の承認を待つまたはトラッキングすることなく、書き込みをネットワーククラウド１１２中のミラーグループに送信する。ファジィミラー方法は、エニーキャストアドレッシングが使用される場合にＮサイト災害リカバリ構成７００において使用することが可能である。データ複製は、同期であってもよく（たとえば、データ転送をホスト許容範囲である２５ミリ秒（ｍｓ）以内で行うことができる場合）、または非同期であってもよい。
【００５０】
企業レベルの災害リカバリを重要視する用途の場合、ミラーブリッジブレード１０２を使用して、様々な構成の装置に対する様々なプロセスまたは技法を行うことができる。例示的な構成では、１つのホストの書き込みを複数（Ｎ）回複製することができる。ユニキャストおよび／またはマルチキャスト構成では、Ｎで表される記憶装置の数は、サイト間の応答時間および距離、ならびにインフラに対するホストの許容範囲に依存する。
【００５１】
たとえば、ホストアプリケーションにより、いずれの書き込み入出力（Ｉ／Ｏ）動作も２５ｍｓで完了することが要求される場合、サイズＮおよびサイト間の距離は、適切な時間限度に適合するように調整される。たとえば、現代のファイバチャネルスイッチまたは高密度波長分割多重（ＤＷＤＭ）では、信号をポートからポートに数マイクロ秒で通すことができる。旧バージョンのインターネットプロトコル（ＩＰ）ルータ等、他のインフラ装置は、各ノードに最大で１０ｍｓを使用することができる。
【００５２】
Ｎサイト災害リカバリ構成７００は、他のカスケード法またはマルチホップ法よりも多くの負荷を送信側ミラーブリッジブレード１０２に課すが、ミラー側において単一故障点の問題がない。通常、最初の（１）通信７１０が大都市圏距離を介してサイト２  ７０４に送信される。多くの場合、サイト３  ７０６に対する２番目の（２）通信７１２は大抵、破壊範囲が大きい場合であっても動作を継続することができるように、プライマリサイト７０２からさらに遠距離の通信である。例によっては、サイト３  ７０６または３よりも大きい番号が付けられたサイトがラストチャンスのリカバリサイトであり得る。
【００５３】
例示的なＮ番目の通信７１４は、データをプライマリサイト７０２からテープライブラリ７０８に転送する。
【００５４】
図８を参照して、災害リカバリ構成８００においてカスケードデータ転送法の例を概略ブロック図に示す。１対１の記憶装置ファンアウトを有する別個の災害リカバリボリューム構成８００では、カスケード法またはマルチホップ法によって負荷が軽減する。これは、ミラーブリッジブレード１０２がデータ更新を複数の宛先サイトではなく１つのみの宛先サイトに送信するためである。カスケード構成８００の欠点は、故障した場合に、故障したサイトよりも先のすべてのサイトが作動不能になる単一故障点脆弱性の可能性である。
【００５５】
カスケード構成では、プライマリプロダクションサイト１  ８０２は、同期または非同期でデータ複製およびユニキャストアドレッシング８１２を第２のサイト８０４に送信する。代表的な実施形態では、サイト２  ８０４は、プライマリサイト１  ８０２から大都市圏距離、たとえば２０〜およそ２００キロメートル（ｋｍ）にある、最初に選択される災害リカバリサイトである。サイト２  ８０４はデータをサイト３  ８０６に転送し、Ｎ個のサイトを順番に以下同様である。サイト２  ８０４からサイト３  ８０６への送信、およびサイト３  ８０６から順番に追加のサイトに、そしてサイトＮへの送信は、非同期のみの通信およびユニキャストアドレッシング８１４を介してのものである。データは、サイト１  ８０２から地理的に遠くに、おそらく国を超えて離すことができるラストチャンスの災害リカバリサイトＮまでカスケードされる。データはまた、非同期通信およびユニキャストアドレッシング８１６を使用してサイトＮからテープライブラリ等の記憶装置８０８に送信することができる。
【００５６】
例示的なカスケード災害リカバリ構成８００は、いずれの２つのサイト間にもユニキャスト通信のみを使用する。
【００５７】
ミラーブリッジブレード１０２は、純粋なＳＣＳＩオーバＩＰを有し、ファイバチャネルを有さないｉＳＣＳＩ  ＩＰｖ６  ＬＡＮ／ＭＡＮ／ＷＡＮプロトコル８１０を使用してネットワーククラウド１１２と通信する。ギガイーサネットや１０ギガイーサネット等のトランキング技法もまた、ミラーブリッジブレード１０２とネットワーククラウド１１２の間の通信のためにサポートされ、カスケード構成８００において長距離にわたる帯域幅の向上に特に有用であり得る。
【００５８】
図９を参照して、１対Ｎ記憶装置ファンアウトを有する別個の災害リカバリボリュームを使用する災害リカバリ構成９００の一実施形態を概略ブロック図に示す。データは、プライマリプロダクションサイト１  ９０２における単一のプライマリ記憶装置１０４Ｐから、複数の災害リカバリサイト９０４、９０６中のミラー装置１０４Ｓに複製される。説明のための例では、サイト２  ９０４は最初に選択される災害リカバリサイトであることができ、より大きな番号が付けられたサイト９０６には、ラストチャンス優先度等、より低い優先度を割り当てることができる。災害リカバリ構成９００では、ミラーブリッジブレード１０２は、同期または非同期データ複製９１２、およびユニキャストまたはマルチキャストアドレッシングを使用して、同一データをＮ個のアレイすべてに送信する。
【００５９】
リモートミラーブリッジブレード１０２に広がる集約ボリュームグループは、データ一貫性の問題を受けやすい。したがって、プライマリサイト９０２における送信側のミラーブリッジブレード１０２は、いずれかのリモートミラーブリッジブレード１０２の書き込み動作が完了に失敗した場合は、すべてのリモートミラーブリッジブレード１０２へのミラーリングを停止する。
【００６０】
図１０Ａを参照して、同期データ複製方法を概略ブロック図に示す。ホスト１０００からプライマリストレージアレイ１００２に発行されるいずれの入出力コマンド１０１０も、セカンダリストレージアレイ１００４にコピーされる（１０１２）。データがセカンダリアレイ１００４上のメモリに書き込まれると、入出力がプライマリアレイ１００２に対して承認され（１０１４）、次いでホスト１０００に対して承認される（１０１６）。特定の実施形態では、主制御ユニットがプライマリボリュームでの書き込み動作を行い、セカンダリボリュームでのコピー更新動作を開始し、コピー更新動作の結果が分かった後でのみ、最終終了状態をホストに報告する。プライマリボリュームの書き込み動作、あるいはセカンダリボリュームのコピー更新動作が失敗した場合、主制御ユニットはユニットチェックを報告し、ホストシステムおよびアプリケーションプログラムは、プライマリボリュームへの書き込み動作を失敗とみなす。リモートミラーキャッシュにおける論理オブジェクトの保全性を保つ方法により、セカンダリボリュームが一貫しない、または不正確なデータを保持することが避けられる。
【００６１】
説明のための例は、２サイトデータ複製を示し、これは同様に追加の複製サイトに拡張される。２サイトデータ複製方法では、ホストアプリケーションはデータ保全性に対して責任を負う。入出力コマンドは、アレイ１００２および１００４の両方に書き込まれる場合にアプリケーション１０１６に対してのみ承認されることから、アプリケーションは、最初のコマンドが完了した場合のみ次の入出力コマンドを発行し、したがってデータが順序通りにセカンダリアレイ１００４に書き込まれ、一貫する。同期複製は、新しいサイトが追加される都度、アプリケーションの応答時間が長くなることから、複数のサイトミラーリングにはあまり適さない。
【００６２】
図１０Ｂを参照して、順序を記録する非同期データ複製方法を概略ブロック図に示す。ホスト１０００によってプライマリストレージアレイ１００２に発行された１０２０入出力コマンドは、コマンドがキャッシュに達するとすぐにホスト１０００に対して即座に承認される（１０２２）。シーケンス番号が入出力コマンドに付加され、セカンダリアレイ１００４に送信される（１０２４）。セカンダリアレイ１００４へのパスは、複数のパスまたはルートのいずれを移動してもよいため、入出力コマンドが順不同で到着する可能性がある。セカンダリアレイ１００４は、入力されたコマンドをシーケンス番号に従って並べ替え、データ記録を正しい順序で供給する責任を負う。セカンダリアレイ１００４による管理により、順序通りの一貫したデータベースが確保されるが、故障した場合には、最新のトランザクションが失われる可能性がある。非同期データ複製は、アプリケーションホストに対する待ち時間の影響が小さくなる、またはなくなるため、長距離複製により適している。
【００６３】
特定の例では、主制御ユニットはプライマリボリューム動作を、セカンダリボリュームでの関連するコピー更新動作から独立して完了する。遠隔制御ユニットが、記録セット情報に従ってセカンダリボリュームの更新を管理し、セカンダリボリュームの順序通りのデータ一貫性を保持する。プライマリボリューム書き込み動作が失敗した場合、主制御ユニットはユニットチェックを報告し、その動作についての非同期記録セットを作成しない。コピー更新動作が失敗した場合、遠隔制御ユニットは、故障のタイプに応じてオプションとして、影響を受けた対、またはコンシステンシグループ中のすべての対を一時停止させることができる。一時停止させた対の再開時に、主制御ユニットおよび遠隔制御ユニットはその対の再同期についてネゴシエートすることができる。リモートミラーキャッシュにおける論理オブジェクトの保全性を保持する方法により、動作が不正確な情報をセカンダリボリュームに残さないようにする。
【００６４】
図１１を参照して、非同期データ複製におけるサイドファイルの使用法を概略ブロック図に示す。非同期複製は、行われた更新のシーケンス順序トラッキングを使用して一貫性を確保する。トラッキングは、プライマリボリュームサイドファイル１１０６およびセカンダリボリュームサイドファイル１１０８において行われる。個々の更新はシーケンス番号を使用して順序付けられ、リモートアレイ１１０４に送信される。リモートアレイ１１０４は、セット中の次のシーケンス番号を受信していた場合、シーケンス番号に従ってデータの受信をプライマリアレイ１１０２に対して承認し、影響を受けたシーケンス番号がプライマリボリュームサイドファイルリスト１１０６から除去される。トランザクションがプライマリアレイ１１０２とセカンダリアレイ１１０４の間で失われた場合、特定のシーケンス番号のデータの再送信を要求することができる。
【００６５】
番号の順序は、プライマリアレイ１１０２およびリモートアレイ１１０４のメモリにおいて管理され、追加の資源であるサイドファイル１１０６および１１０８を利用する。プライマリアレイ１１０２に対して行われる入出力動作の場合、更新によって影響を受けるブロックのシーケンス番号およびポインタを含むサイドファイル１１０６にエントリが追加される。同じブロックが続く入出力動作で更新された場合、そのブロックの内容もサイドファイル１１０６に記録される。サイドファイルサイズは、プライマリアレイ１１０２によって行われる入出力動作の数に対するリモートアレイ１１０４へのリンクのパフォーマンスに依存する。サイドファイル１１０６がアレイ１１０２中の総キャッシュメモリの所定の割合に達した場合、たとえば、入出力動作が、リンクが低速なことによりキャッシュにバックアップされている場合、ホスト１１００からの入出力レートは、サイドファイル１１０６により高い優先度を与えようとして制限される。
【００６６】
サイドファイルは通常、通信がプライマリサイト１１０２とセカンダリサイト１１０４の間に存在する場合にのみ使用される。通信が遮られた、または対が一時停止される場合、サイドファイルのオーバヘッドは高すぎると考えられるため、代わりにビットマップが変更のトラッキングに、通常はトラックまたはシリンダ単位で使用される。
【００６７】
様々な実施形態では、非同期記録セットは、プライマリボリューム更新および関連する制御情報、たとえばプライマリボリューム更新のシーケンス番号を含むことができ、それによって遠隔制御ユニットがセカンダリボリュームの更新一貫性を保持できるようにする。記録セット動作には、主制御ユニットでの記録セットの作成および記憶、遠隔制御ユニットへの記録セットの送信、遠隔制御ユニットへの記録セットの記憶、および遠隔制御ユニットでの記録セットの選択および設定を含むことができる。他の動作は、サイドファイルに対して流れを制御することを含む。
【００６８】
一例では、ホストが書き込み入出力動作を要求すると、主制御ユニットは更新を行い、記録セットを作成する。記録セットには、更新された記録、シーケンス番号、装置やシリンダやトラックや記録番号等の記録位置、ならびに記録長を含むことができる。記録セットは、主制御ユニットのキャッシュ記憶装置にキューイングし、ホスト入出力プロセスから独立して遠隔制御ユニットに送信することができる。遠隔制御ユニットは、記録セット中のシーケンス番号を使用して、セカンダリボリュームをプライマリボリュームの順序で更新する。シーケンス番号は、主制御ユニットが各コンシステンシグループに作成した記録セットの数を示す。更新された記録の他に、記録セット情報がサイドファイルキャッシュとして知られるキャッシュの領域に記憶され、キューイングされる。
【００６９】
例では、主制御ユニットは、主制御ユニットのイニシエータポートを使用して、リモートＩ／Ｏと呼ばれる特別な入出力動作を遠隔制御ユニットに発行することにより、記録セットを遠隔制御ユニットに送信することができる。リモートＩ／Ｏは、単一のチャネルコマンドを使用して記録セットを効率的に転送し、したがって、主制御ユニットは、シーケンス番号が連続していない場合であっても複数の記録セットを単一のリモートＩ／Ｏコールで送信することができる。遠隔制御ユニットは記録セットを記憶し、キューを保持して、サイドファイルへの記録セットの記憶、およびセカンダリボリューム中の更新されている記録のコミットメントを制御することができる。遠隔制御ユニットキューイングでは、シーケンス番号を使用して更新の欠落をチェックすることができる。
【００７０】
ビットマップ表は、特定の時点から装置上で変更された記録をトラッキングする効率的な技法である。ビットマップ表は、変更されたトラックまたはシリンダ番号を記録し、通常、変更の順序または詳細に関する情報を保持しない。プライマリサイト１１０２とセカンダリサイト１１０４との間で通信がない期間、または、これらの対が一時停止されている間、デルタビットマップ表がプライマリアレイ１１０２およびセカンダリアレイ１１０４の両方に維持される。対が再同期されると、変更されたシリンダのみがリモートアレイ１１０４にコピーされ、データミラーを最新の状態にする。その後、サイドファイルを再び使用して更新を続ける。再同期中、リモートアレイ１１０４上のデータは一貫せず、信頼性がない。
【００７１】
コンシステンシグループのトラッキングを使用して、正しい動作が確保される。非同期コンシステンシグループは、更新順序の一貫性が保持され、リモートサイトにおいて保証される、ユーザ定義のボリューム対のセットである。各非同期ボリューム対がコンシステンシグループに割り当てられる。例示的なシステムにおいて、データベースシステムでは、各主制御ユニットにつき所定数のコンシステンシグループを構成することができ、コンシステンシグループに対してグループベースの動作がサポートされる。コンシステンシグループは、複数のボリュームに広がるデータベースの更新順序一貫性を保持できるようにし、故障時または災害時に、リモートサイトでの即時のデータベースリカバリに役立つ。
【００７２】
適用では一般に、２つ以上の物理的な装置の集約が含まれる。したがって、正確な動作は、すべての入出力アクティビティがリモート装置に対して一貫して施されることを保証することに依存し得る。非同期動作中、装置グループ中のすべての装置は同じコンシステンシグループを形成する。サイドファイル中のシーケンス番号はコンシステンシグループ粒度で発行され、したがって、そのコンシステンシグループのプライマリ装置に施される入出力動作は、同じ順序でセカンダリ装置に施される。コンシステンシグループ中の装置に更新が施されない場合、コンシステンシグループ全体がエラー状態になる。コンシステンシグループは、コンシステンシグループ中のすべての装置への書き込みが、先のすべての書き込みがデステージする準備ができない限りデステージされないように定められ、制御される。一貫性は、単に単一のＬＵＮではなくコンシステンシグループ中のすべての装置に対して適用される。
【００７３】
リモートミラーキャッシュにおいて論理オブジェクトの保全性を保持する方法は、初期コピー動作およびコピー更新動作等、データベースシステムの様々なリモートコピー動作に使用することができる。初期コピー動作は、一般にホストプロセスから独立してプライマリボリュームとセカンダリボリュームを同期させる。初期コピーは通常、ユーザがボリューム対を追加する際、または分割あるいは一時停止されているボリューム対を再開する際に行われる。新しい対が作成される場合、プライマリボリュームの内容全体が、診断トラックおよび割り当てられていない代替トラックを除き、シリンダ単位でセカンダリボリュームにコピーされる。様々なデータベースシステムの実施形態を実施してもよく、または初期コピーの場合にリモートミラーキャッシュにおいて論理オブジェクトの保全性を保持する方法の使用を省いてもよい。初期コピーは一般に、データベースがより制御された状態で使用される場合に行われるため、データベースシステムの実施形態によっては、初期コピーの場合にリモートミラーキャッシュにおいて論理オブジェクトの保全性を保持する方法に伴うオーバヘッドを省くものがある。
【００７４】
コピー更新動作は、ホストが確立されたボリューム対のうちのプライマリボリュームに書き込み入出力動作を発行する際に行われる。コピー更新動作は、プライマリボリュームの書き込み入出力動作をセカンダリボリュームに複製して、ボリューム対の同期性を保つ。リモートミラーキャッシュにおいて論理オブジェクトの保全性を保持する方法の使用は、正確なデータベース動作を確保するためにコピー更新において有用である。
【００７５】
図１２を参照して、順序付きカスケード再同期を含む災害リカバリシステム１２００の例を概略ブロック図に示す。例示的な災害リカバリシステム１２００は、４つ以上のディスクアレイ１２１０、１２２０、１２３０、および１２４０を構成に含む。第１のディスクアレイ１２１０はリモートミラープライマリボリュームストレージ１２１２を含む。第２のディスクアレイ１２２０は、第１の通信リンクＬ１によってリモートミラープライマリボリュームストレージ１２１２にリンクされたリモートミラーセカンダリボリューム・ローカルミラープライマリボリュームストレージ１２２２を含む。第２のディスクアレイ１２２０は、第２のディスクアレイ１２２０内部の第２の通信リンクＬ２によって、リモートミラーセカンダリボリューム・ローカルミラープライマリボリュームストレージ１２２２に内部でミラーリンクされたローカルミラーセカンダリボリューム・リモートミラープライマリボリュームストレージ１２２４も含む。第３のディスクアレイ１２３０は、第３の通信リンクＬ３によって第２のディスクアレイのローカルミラーセカンダリボリューム・リモートミラープライマリボリュームストレージ１２２４にリンクされたリモートミラーセカンダリボリュームストレージ１２３２を含む。第４のディスクアレイ１２４０は、第４の通信リンクＬ４によってリモートミラーセカンダリボリュームストレージ１２３２にリンクされる。災害リカバリシステム１２００は、ディスクアレイに分散し、ディスクアレイにおいて実行可能であり、データミラーリングのタイミングを調整してミラーリングされるコピーの一貫性を高める分散制御システム１２０２をさらに備える。
【００７６】
他の実施形態および構成では、ディスクアレイは、単一のデータセンターに収容され、内部リンクによって接続された複数のアレイに様々に配置してもよく、または或る程度の地理的遠隔性を有するデータセンターに別個に配置してもよい。
【００７７】
災害リカバリシステム１２００が回避または軽減する代表的な問題は、内部ミラーリンクＬ２が、対状態にある間に一貫しなくなり得ること、またデータミラーリング動作の調整がとられない場合、一時停止状態にある間に古くなり得ることである。
【００７８】
実施形態によっては、分散制御システム１２０２は通信リンクを制御し、メタコマンドを使用してデータミラーリング動作を調整する。
【００７９】
図１３を参照して、プライマリボリュームとセカンダリボリュームの間の関係が１対多である構成でのサイドファイルの使用法を概略ブロック図に示す。特定の例では、この構成はファイバチャネルインフラを使用する設計において実施することができる。非同期複製には、更新発生順序のトラッキングを利用して一貫性を確保する。トラッキングは、２つのプライマリボリュームサイドファイル１３０８および１３１０、ならびに２つのセカンダリボリュームサイドファイル１３１２および１３１４において行われる。さらなるプライマリボリュームサイドファイルが、各セカンダリサイトに追加され、これは非同期複製の適用である。
【００８０】
更新は、たとえばホスト１３００により、シーケンス番号を使用して順序付けられ、リモートディスクボリューム１３０４および１３０６に送信される。リモートディスクボリューム１３０４、１３０６は、セット中の次のシーケンス番号を受信すると、シーケンス番号に従ってデータの受信をプライマリディスクボリューム１３０２に対して承認し、影響を受けたシーケンス番号がプライマリボリュームサイドファイルリスト１３０８および１３１０から除去される。トランザクションがプライマリボリューム１３０２とセカンダリボリューム１３０４、１３０６の１つの間で失われた場合、特定のシーケンス番号のデータの再送信を要求することができる。
【００８１】
１対多構成は、様々なカスケード構成に使用することができる。
【００８２】
本開示において様々な実施形態を説明したが、これら実施形態は例示として理解されるべきであり、特許請求の範囲を限定するものではない。説明した実施形態の多くの変形形態、変更形態、追加、および改良が可能である。たとえば、当業者は、本明細書に開示した構造および方法の提供に必要なステップを容易に実施し、プロセスパラメータ、材料、および寸法は単なる例として与えられていることを理解するであろう。パラメータ、材料、および寸法は、所望の構造ならびに変更を実現するように変更することが可能であり、これは特許請求の範囲内である。本明細書に開示した実施形態の変形および変更もまた、添付の特許請求の範囲内で行うことができる。たとえば、開示した装置および技法は、任意の適した数の記憶要素を有する任意のデータベース構成で使用することが可能である。データベースシステムは磁気ディスク記憶要素を開示するが、任意の適したタイプのストレージ技術を実施することができる。システムは、様々なオペレーティングシステムおよびデータベースシステムを使用して実施することができる。制御要素は、汎用コンピュータシステム、ワークステーション、サーバ等のソフトウェアまたはファームウェアとして実施することができるが、そうでない場合では専用装置および埋め込みシステムで実施することもできる。
【図面の簡単な説明】
【００８３】
【図１】一般的なデータ記憶装置間でトランスペアレントにデータをミラーリングすることができるストレージシステムの一実施形態を示す概略ブロック図である。
【図２】ストレージシステムにおいて使用することができるミラーリング装置の一実施形態を示す概略ブロック図である。
【図３】エニーキャストファジィデータリカバリミラーリングを実施するためにミラーリング装置のプロセッサが実行可能なプロセスまたは方法の実施形態を示す概略的な流れ図である。
【図４】エニーキャストファジィデータリカバリミラーリングを実施するためにミラーリング装置のプロセッサが実行可能なプロセスまたは方法の実施形態を示す概略的な流れ図である。
【図５】ミラーリング装置を使用して別個のデータセットをミラーリングする方法の例を示す概略ブロック図である。
【図６】集約ミラーボリューム構成におけるミラーリング装置の使用例を示す概略ブロック図である。
【図７】Ｎサイト災害リカバリ構成においてデータを送信する技法の例を示す概略ブロック図である。
【図８】災害リカバリ構成においてデータを転送するカスケード方法の例を示す概略ブロック図である。
【図９】１対Ｎ記憶装置配置の別個の災害リカバリボリュームを使用する災害リカバリ構成の一実施形態を示す概略ブロック図である。
【図１０Ａ】リモートミラーキャッシュの論理オブジェクトの保全性を保持する例示的な方法と互換性がある同期データ複製技法を示す概略ブロック図である。
【図１０Ｂ】リモートミラーキャッシュの論理オブジェクトの保全性を保持する例示的な方法と互換性がある非同期データ複製技法を示す概略ブロック図である。
【図１１】非同期データ複製可能なシステムの一実施形態におけるサイドファイルの使用法を示す概略ブロック図である。
【図１２】順序付きカスケード再同期を備えた災害リカバリシステムの例を示す概略ブロック図である。
【図１３】プライマリボリュームとセカンダリボリュームの間に１対多の関係がある構成例におけるサイドファイルの使用法を示す概略ブロック図である。
【符号の説明】
【００８４】
１００  ストレージシステム
１０２  ミラーブリッジブレード
１０４  記憶装置
１０６  インタフェース
１１０  アプリケーションホスト
１１２  ネットワーククラウド
２０２Ａ、２０２Ｂ、２０２Ｃ  プロセッサ
２０４  ブリッジ
２０６  第１の通信インタフェース
２０８  第２の通信インタフェース
２１０  制御メモリ
２１２  データおよびキャッシュメモリ
２１４  キャッシュミラーメモリ
５０２  プライマリサイト
５０４、５０６  セカンダリサイト
５１２  リモートコピー
５１４  内部ミラーコピー
６００  集約ミラーボリューム構成
６０２  プライマリサイト
６０４、６０６  リモートリサイト
６０８  データセット
６１０  集約ミラー
７００  Ｎサイト災害リカバリ構成
７０２  プライマリサイト
７０４、７０６  セカンダリサイト
７０８  記憶装置
７１０  最初の通信
７１２  ２番目の通信
７１４  Ｎ番目の通信
８００  カスケード災害リカバリ構成
８０２  プライマリサイト
８０４  サイト２
８０６  サイト３
８０８  記憶装置
８１０  ｉＳＣＳＩ  ＩＰｖ６  ＬＡＮ／ＭＡＮ／ＷＡＮプロトコル
９００  災害リカバリ構成
９０２  プライマリサイト
９０４、９０６  災害リカバリサイト
１０００  ホスト
１００２  プライマリストレージアレイ
１００４  セカンダリストレージアレイ
１０１０  入出力コマンド
１１００  ホスト
１１０２  プライマリアレイ
１１０４  セカンダリアレイ
１１０６  プライマリボリュームサイドファイル
１１０８  セカンダリボリュームサイドファイル
１２００  災害リカバリシステム
１２０２  分散制御システム
１２１０  第１のディスクアレイ
１２１２  リモートミラープライマリボリュームストレージ
１２２０  第２のディスクアレイ
１２２２  リモートミラーセカンダリボリューム・ローカルミラープライマリボリュームストレージ
１２２４  ローカルミラーセカンダリボリューム・リモートミラープライマリボリュームストレージ
１２３０  第３のディスクアレイ
１２３２  リモートミラーセカンダリボリュームストレージ
１２４０  第４のディスクアレイ
１３００  ホスト
１３０２  プライマリディスクボリューム
１３０４、１３０６  リモートディスクボリューム
１３０８、１３１０  プライマリボリュームサイドファイル
１３１２、１３１４  セカンダリボリュームサイドファイル
【図１】
2005327283.tif 000003
【図２】
2005327283.tif 000004
【図３】
2005327283.tif 000005
【図４】
2005327283.tif 000006
【図５】
2005327283.tif 000007
【図６】
2005327283.tif 000008
【図７】
2005327283.tif 000009
【図８】
2005327283.tif 000010
【図９】
2005327283.tif 000011
【図１０Ａ】
2005327283.tif 000012
【図１０Ｂ】
2005327283.tif 000013
【図１１】
2005327283.tif 000014
【図１２】
2005327283.tif 000015
【図１３】
2005327283.tif 000016