(57)【要約】【課題】  ディスクアレイシステムを構成する各ハードディスクを遠隔配置して地域災害に備え、処理負担の集中を回避してハードディスク障害時の復旧時間を抑え、その他の障害発生時にもシステムをダウンさせることなく継続運用を実現する。【解決手段】  複数のハードディスク装置を遠隔配置し、サーバ装置からの書き込みデータをＲＡＩＤ方式でマッピングし、ＲＡＩＤ情報および誤り訂正符号を付加したデータパケットを各ハードディスク装置に配信する。また、ハードディスク装置へデータ転送を行う回線接続装置にＲＡＩＤ制御機能を持たせ、主制御装置は各ハードディスク装置の監視および障害発生時のデータ復旧処理に特化させる。また、障害復旧処理に復元データのバックアップをサーバ装置へ送出し、データ復旧が正常終了しなかった場合に当該バックアップを用いて再実施できるようにする。【選択図】  図１
2005293147.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムにおいて、互いに遠隔配置された複数のハードディスク装置と、前記サーバ装置からの書き込みデータをＲＡＩＤ方式で各ハードディスク装置に分配するデータ配信手段とを備え、当該データ配信手段が、前記書き込みデータをＲＡＩＤ方式でマッピングし、ここでマッピングしたデータごとにＲＡＩＤ情報を付加したデータパケットを作成して各ハードディスク装置に送出することを特徴とするデータ保存システム。
【請求項２】
請求項１に記載のデータ保存システムにおいて、前記データ配信手段と各ハードディスク装置との間で送受信されるデータパケットにはデータ通信用の誤り訂正符号が含められることを特徴とするデータ保存システム。
【請求項３】
請求項１または２に記載のデータ保存システムにおいて、前記ハードディスク装置の各々は、同じ災害を同時に受けない程度に離れた場所に配置されることを特徴とするデータ保存システム。
【請求項４】
請求項１ないし３のいずれかに記載のデータ保存システムにおいて、前記データ配信手段が、いずれかのハードディスク装置が故障により交換されたときに当該ハードディスク装置用に復元したデータのバックアップを前記サーバ装置に送出するとともに、前記交換されたハードディスク装置への復元データの格納が正常終了しなかった場合に前記サーバ装置からバックアップデータを受信し、当該バックアップデータを用いて復旧処理を再実施することを特徴とするデータ保存システム。
【請求項５】
請求項１ないし４のいずれかに記載のデータ保存システムにおいて、当該システムがさらに、前記データ配信手段とは異なる場所に設置された第２の配信手段と、前記データ配信手段に障害が生じた場合に前記サーバ装置との接続を前記データ配信手段から第２の配信手段に切り替えるスイッチ手段とを備えることを特徴とするデータ保存システム。
【請求項６】
請求項５に記載のデータ保存システムにおいて、前記第２の配信手段は、前記データ配信手段と各ハードディスク装置を接続するデータ回線とは異なる第２のデータ回線で各ハードディスク装置に接続されていることを特徴とするデータ保存システム。
【請求項７】
請求項１ないし６のいずれかに記載のデータ保存システムにおいて、前記データ配信手段が、前記複数のハードディスク装置を監視しいずれかのハードディスク装置に障害が生じた場合にデータの復旧を行う主制御装置と、当該主制御装置と前記複数のハードディスク装置を接続するデータ回線を制御する回線接続装置とを備え、前記主制御装置はサーバ装置からデータの書き込み／読み出し要求を受けた場合に当該要求をそのまま前記回線接続装置に送出するとともに、前記回線接続装置が前記複数のハードディスク装置に対する書き込みデータの分配および読み出しを行うことを特徴とするデータ保存システム。
【請求項８】
複数のハードディスク装置と、これらハードディスク装置をＲＡＩＤ方式で運用するＲＡＩＤ制御手段とを備え、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムにおいて、前記ＲＡＩＤ制御手段が、いずれかのハードディスク装置が故障により交換されたときに当該ハードディスク装置用に復元したデータのバックアップを前記サーバ装置に送出するとともに、前記復元データを前記交換されたハードディスク装置に格納する処理が正常終了しなかった場合に前記サーバ装置から前記バックアップデータを受信し、当該バックアップデータを用いて復旧処理を再実施することを特徴とするデータ保存システム。
【請求項９】
複数のハードディスク装置をＲＡＩＤ方式で運用し、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムにおいて、前記複数のハードディスク装置を監視しいずれかのハードディスク装置に障害が生じた場合にデータの復旧を行う主制御装置と、当該主制御装置と前記複数のハードディスク装置を接続するデータ回線を制御する回線接続装置とを備え、前記主制御装置はサーバ装置からデータの書き込み／読み出し要求を受けた場合に当該要求をそのまま前記回線接続装置に送出するとともに、前記回線接続装置が前記複数のハードディスク装置に対する書き込みデータの分配および読み出しデータの結合を行うことを特徴とするデータ保存システム。
【請求項１０】
複数のハードディスク装置をＲＡＩＤ方式で運用し、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムの制御方法において、前記複数のハードディスク装置が互いに遠隔配置されているとともに、前記方法が、前記サーバ装置からの書き込みデータをＲＡＩＤ方式でマッピングするステップと、ここでマッピングした単位データごとのＲＡＩＤ構成情報を生成するステップと、前記単位データに前記ＲＡＩＤ構成情報を付加したパケットデータを作成するステップと、前記パケットデータを各ハードディスク装置に配信するステップと、を備えることを特徴とするデータ保存システムの制御方法。
【請求項１１】
請求項１０に記載の方法がさらに、前記単位データごとにデータ通信用の誤り訂正符号を作成して前記パケットデータに付加するステップを備えることを特徴とするデータ保存システムの制御方法。
【請求項１２】
請求項１０または１１に記載の方法において、前記データ保存システムが、前記複数のハードディスク装置を監視しいずれかのハードディスク装置に障害が生じた場合にデータの復旧を行う主制御装置と、当該主制御装置と前記複数のハードディスク装置を接続するデータ回線を制御する回線接続装置とを備えるとともに、前記方法が、前記サーバ装置にてデータの書き込み要求が発生した場合に、前記主制御装置が当該要求をそのまま前記回線接続装置に送出するステップと、前記回線接続装置が記録データを前記ハードディスクのセクタ単位でマッピングし、誤り訂正符号およびＲＡＩＤ構成情報を付加したデータパケットを各ハードディスク装置に送出するステップとを備えることを特徴とするデータ保存システムの制御方法。
【請求項１３】
請求項１２に記載の方法において、前記主制御装置が各ハードディスク装置を監視しており、いずれかのハードディスク装置が故障により交換された場合に前記回線接続装置が各ハードディスク装置から前記交換されたハードディスク装置に格納されるべきデータを復元して前記主制御装置に送るステップと、前記主制御装置が復元されたデータを前記交換されたハードディスク装置用に組成して前記回線制御装置に返送するステップと、前記回線接続装置がこのデータに誤り訂正符号を付加して当該ハードディスク装置に送出するステップとを備えることを特徴とするデータ保存システムの制御方法。
【請求項１４】
請求項１３に記載の方法がさらに、前記主制御装置が前記交換されたハードディスク装置用に組成した復旧データのバックアップを前記サーバ装置に送出するステップを含むことを特徴とするデータ保存システムの制御方法。
【請求項１５】
複数のハードディスク装置をＲＡＩＤ方式で運用し、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムの制御方法において、いずれかのハードディスク装置が故障により交換されたときに当該ハードディスク装置用に復元したデータのバックアップを前記データ保存システムからサーバ装置に送出するステップと、前記交換されたハードディスク装置への復元データの格納が正常終了しなかった場合に前記サーバ装置からバックアップデータを受信し、当該バックアップデータを用いて復旧処理を再実施するステップとを備えることを特徴とするデータ保存システムの制御方法。
【請求項１６】
複数のハードディスク装置をＲＡＩＤ方式で運用し、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムの制御方法において、前記データ保存システムが前記複数のハードディスク装置を監視しいずれかのハードディスク装置に障害が生じた場合にデータの復旧を行う主制御装置と、当該主制御装置と前記複数のハードディスク装置を接続するデータ回線を制御する回線接続装置とを備えるとともに、前記方法が、前記サーバ装置にてデータの書き込み要求が発生した場合に、前記主制御装置が当該要求をそのまま前記回線接続装置に送出するステップと、前記回線接続装置が記録データをマッピングし、誤り訂正符号およびＲＡＩＤ構成情報を付加したデータパケットを各ハードディスク装置に送出するステップとを備えることを特徴とするデータ保存システムの制御方法。
【請求項１７】
複数のハードディスク装置とこれらを管理する主制御装置とを接続するデータ回線を制御する回線接続装置であって、前記ハードディスク装置または主制御装置とデータの送受信を行う回線Ｉ／Ｆ部と、記録データをＲＡＩＤ方式でマッピングし、単位データごとの誤り訂正符号およびＲＡＩＤ構成情報を作成する処理手段と、前記データ回線を制御するとともに単位データごとの誤り訂正符号およびＲＡＩＤ構成情報を制御する回線制御手段とを備え、
前記主制御装置を介してデータの書き込み要求を受けた場合に、記録データを前記ハードディスクのセクタ単位でマッピングし、誤り訂正符号およびＲＡＩＤ構成情報を上位レイヤに構成したデータパケットを各ハードディスク装置に送出し、前記主制御装置を介してデータの読み出し要求を受けたときに各ハードディスクからデータを読み出し誤り訂正を行ってから結合して前記主制御装置に送出することを特徴とする回線接続装置。
【請求項１８】
複数台のハードディスク装置と主制御装置を接続するデータ回線を制御する回線接続装置の動作プログラムであって、前記回線接続装置が前記主制御装置を介してデータの書き込み要求を受けたときに記録データをＲＡＩＤ方式でマッピングし、誤り訂正符号およびＲＡＩＤ構成情報を付加したデータパケットを各ハードディスク装置に送出するステップと、前記主制御装置を介してデータの読み出し要求を受けたときに各ハードディスクからデータを読み出して結合し前記主制御装置に送出するステップと、を前記回線接続装置に実行させることを特徴とするプログラム。
【請求項１９】
請求項１乃至１８のいずれかに記載のハードディスク装置であって、前記回線接続装置からデータパケットを受け取り、前記誤り訂正符号に基づいて受信データの誤り訂正を行ってから、前記誤り訂正符号を削除して前記ＲＡＩＤ構成情報付きの受信データを配下のハードディスクに格納することを特徴とするハードディスク装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ保存システムおよび該システムの制御方法に関し、特に、ＲＡＩＤを構成する各ハードディスク装置を遠隔配置したデータ保存システム、その運用方法、回線接続装置およびその制御プログラム、ハードディスク装置に関する。
【背景技術】
【０００２】
一般的にディスクアレイ装置では、装置内に複数のハードディスク装置（以下、ＨＤＤとも呼ぶ。）とこれらを管理する主制御装置が設置されており、各ＨＤＤがＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成する。ＲＡＩＤは複数のハードディスクをまとめて１台のハードディスクとして管理する技術であり、レベル（一般には０〜５）によって記録再生の高速性や障害に対する冗長性を実現している（例えば、特許文献１）。
【０００３】
このようなディスクアレイ装置では、総てのＨＤＤが同じ装置筐体内に存在するため、火災や地震、停電や漏水などの地域災害が生じると総てのＨＤＤが損害を受けてしまい、その場合にデータの復旧ができなくなるという問題があった。また、多くのＨＤＤが一カ所に集中するため、重量に関する設置場所の構造計算や消費電力の集中などの対策を講じる必要があった。
【０００４】
例えば特許文献２では、同じ災害を受けない程度に離れた場所に設置される複数台のコンピュータをネットワークで接続し、１台のコンピュータのファイル装置には他のファイル装置に格納されているデータから算出されるパリティデータを格納して、任意の１台が故障してもそこでのデータを回復できるようにしている。
【０００５】
また、特許文献３では、プライマリサイトの遠隔地に設置されたセカンダリサイトにあるディスクアレイ装置にデータ複製を保存しておき、プライマリサイトのディスクアレイ装置に障害が生じた場合にセカンダリサイトを用いて運用することが開示されている。
【特許文献１】特開平１−２５０１２８号公報
【特許文献２】特開平５−３２４５７９号公報
【特許文献３】特開２００３−１６７６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本願発明が解決しようとする第１の課題は、ディスクアレイシステムを構成する各装置が一カ所に集中して設置された場合、その場所に地域災害が生じたらデータが復旧できなくなることである。また、ＲＡＩＤ管理を司る主制御装置に障害が生じた場合にはデータのリードライトが総て停止してしまうという問題がある。
【０００７】
第２の課題は、いずれかのハードディスク装置が故障した場合に他のハードディスク装置からデータを復旧して交換されたハードディスク装置に格納するが、主制御装置で復旧したデータを交換されたハードディスク装置に格納する際に何らかの障害が発生すると、再びデータ復旧処理を最初から行わねばならず縮退運転状態が長引くことである。
【０００８】
第３の課題は、ディスクアレイシステムのＲＡＩＤ制御を担う主制御装置の負荷が過大となることである。ディスクアレイシステムではいずれかのハードディスク装置に障害が発生すると処理から切り離して縮退運転とし、当該ハードディスク装置を交換してから主制御装置が残りのハードディスク装置からデータを再構築して新たなハードディスク装置に格納する。このデータ復旧中に読み出し要求を受けた場合、データ復旧が完了するまで当該要求を溜めておくか、主制御装置がデータ復旧と並行して読み出し処理を行っていた。しかしながらデータ復旧と読み出し処理を並列に行うのは主制御装置の負荷が過大となるためデータ復旧処理が遅延し、冗長性の欠ける状態が長引くことになり好ましくない。
本発明はこのような問題を解決すべくなされたものであり、地域的災害によるシステムの停止を確実に回避するとともに、障害発生時の縮退運転を可能な限り短縮してシステムおよびデータの信頼性を飛躍的に向上させたデータ保存システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、ディスクアレイシステムを構成する各ハードディスク装置を互いに遠隔配置するとともに、ＲＡＩＤ構成情報を上位レイヤに構成したデータパケットを各ハードディスク装置との間で送受信するようにしたことを最も主要な特徴とする。好適な実施例においては、データパケットを各ハードディスク装置へ分配する回線接続装置にＲＡＩＤ処理機能を持たせ、データ書き込みおよびデータ読み出しの処理を回線接続装置が行い、主制御装置は各ハードディスクの監視および障害発生時のデータ復旧に特化させている。さらに、障害ディスク交換後のデータ復旧において主制御装置が交換されたハードディスク装置に格納されるデータのバックアップをサーバ装置に送信しておき、ハードディスク装置への格納時に異常が生じた場合に当該バックアップデータを利用できるようにする。別の実施例では、回線接続装置やＲＡＩＤ制御装置を多重化して、主制御装置の設置場所が災害に遭った場合でも他の装置が処理を引き継ぐようにしてシステムの冗長性を向上させる。
【００１０】
より具体的には、本発明に係るシステムは、サーバ装置からの要求に応じてデータの書き込み／読み出しを行うデータ保存システムにおいて、互いに遠隔配置された複数のハードディスク装置と、前記サーバ装置からの書き込みデータをＲＡＩＤ方式で各ハードディスク装置に分配するデータ配信手段とを備え、当該データ配信手段が、前記書き込みデータをＲＡＩＤ方式でマッピングし、ここでマッピングしたデータごとにＲＡＩＤ情報を付加したデータパケットを作成して各ハードディスク装置に送出することを特徴とする。
【００１１】
前記データ配信手段と各ハードディスク装置との間で送受信されるデータパケットにはデータ通信用の誤り訂正符号が含められることが有効である。
【００１２】
前記ハードディスク装置の各々は、同じ災害を同時に受けない程度に離れた場所に配置されることが有効である。
【００１３】
前記データ配信手段は、いずれかのハードディスク装置が故障により交換されたときに当該ハードディスク装置用に復元したデータのバックアップを前記サーバ装置に送出するとともに、前記交換されたハードディスク装置への復元データの格納が正常終了しなかった場合に前記サーバ装置からバックアップデータを受信し、当該バックアップデータを用いて復旧処理を再実施することが有効である。
【００１４】
本発明のシステムはさらに、前記データ配信手段とは異なる場所に設置された第２の配信手段と、前記データ配信手段に障害が生じた場合に前記サーバ装置との接続を前記データ配信手段から第２の配信手段に切り替えるスイッチ手段とを備えることが有効である。
【００１５】
前記第２の配信手段は、前記データ配信手段と各ハードディスク装置を接続するデータ回線とは異なる第２のデータ回線で各ハードディスク装置に接続されていることが有効である。
【００１６】
前記データ配信手段は、前記複数のハードディスク装置を監視しいずれかのハードディスク装置に障害が生じた場合にデータの復旧を行う主制御装置と、当該主制御装置と前記複数のハードディスク装置を接続するデータ回線を制御する回線接続装置とを備え、前記主制御装置はサーバ装置からデータの書き込み／読み出し要求を受けた場合に当該要求をそのまま前記回線接続装置に送出するとともに、前記回線接続装置が前記複数のハードディスク装置に対する書き込みデータの分配および読み出しを行うことが有効である。
【発明の効果】
【００１７】
各ハードディスク装置を互いに遠隔配置して、ＲＡＩＤ情報を上位レイヤに構成したデータパケットをデータ回線に流すことにより、複数のハードディスクが各地に点在する広域ディスクアレイシステムを実現することができる。これにより、地域的な災害が生じた場合に複数のハードディスク装置が同時に停止するリスクが低減する。また、ハードディスク装置の分散により、装置重量や消費電力の一極集中や、装置が集中することによる発熱増加などの問題を回避することができる。
【発明を実施するための最良の形態】
【００１８】
本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【実施例１】
【００１９】
図１は、本発明の第１実施例の構成を示す図である。図１に示すように、第１実施例に係るデータ保存システムは、サーバ装置１〜３に接続されたデータ配信手段４と、複数のハードディスク装置２１〜２４と、これらを繋ぐデータ回線３０ａ〜３０ｄとを備えている。データ配信手段４は、主制御装置１０と、データ回線３０ａ〜３０ｄを制御する回線接続装置３０とを備えている。サーバ装置１〜３は記録データの作成や更新などを行うクライアントサーバであり、スイッチ４０を介して主制御装置１０に接続されている。スイッチ４０は、サーバ装置１〜３や主制御装置１０からの要求に応じていずれのサーバ装置がデータ保存システムを使用するかを予め定められた条件に従い管理する。回線接続装置３０はデータ回線上で二重化されており、いずれも同じ構成を有する。
【００２０】
ハードディスク装置２１〜２４は局所的に発生する地震や火事などの災害を同時に受けない程度に離されており、互いに遠隔の地域１〜４に一台ずつ配置される。各ハードディスク装置はデータ回線３０ａ〜３０ｄに接続されており、ディスクＩ／Ｆ部２１ａ〜２４ａと、ＨＤＤ制御部２１ｂ〜２４ｂと、ハードディスク２１ｃ〜２４ｃとを備える。各ディスクＩ／Ｆ部２１ａ〜３１ａはそれぞれ制御回線２５で主制御装置１０に接続されており、定期的に自分からあるいは主制御装置１０からの問い合わせにより自己のステータス情報を主制御装置１０に通知する。
【００２１】
これらのハードディスク装置２１〜２４は、ＲＡＩＤ方式のディスクアレイシステムを構成する。ＲＡＩＤは複数のハードディスク装置を全体で１台の装置として管理・運用する技術であり、例えばＲＡＩＤ−５では、記録データにパリティを付加して複数のハードディスクに分散格納することにより、いずれかのハードディスク装置が故障した場合に残りのハードディスク装置からデータを読み出して故障したハードディスクの記録内容を復元することができる。ＲＡＩＤについては公知技術であるため（例えば、上記特許文献１）、本明細書においてこれ以上の詳細な説明は省略する。このようにＲＡＩＤを構成する各ハードディスク装置２１を遠隔配置すると、災害が発生したときに複数台が同時に停止してしまいデータの復旧が不可能となるのを防止することができる。
【００２２】
例えばハードディスク装置２１は、回線接続装置３０から送られてくるデータをディスクＩ／Ｆ部２１ａで受け取り、データパケットに含まれる誤り訂正符号（ＥＣＣ）を用いて誤り訂正を行い、ＥＣＣを削除して配下のハードディスク２１ｃに格納する。また、回線接続装置３０からデータの読み出し要求を受けた場合、ハードディスク２１ｃから該当するデータを抽出し、ＥＣＣを生成・付加して回線接続装置３０に送出する。残りのハードディスク装置２２〜２４も同様の機能を有する。
【００２３】
回線接続装置３０は、回線Ｉ／Ｆ部３１と、回線制御部３２と、ＣＰＵ３３と、制御ソフト３５とを備えている。制御ソフト３５は回線接続装置３０の動作プログラムであり、メモリからＣＰＵ３３に読み出され実行される。この回線接続装置３０は、それ自体がＲＡＩＤのリード／ライト制御機能を有する。すなわち回線接続装置３０は、ＣＰＵ３３にて書き込みデータをハードディスク装置２１〜２４のセクタ単位でマッピングし、パリティを付加して各ハードディスク装置に分散される単位データを生成し、単位データごとにデータ通信用の冗長ビットＥＣＣおよびＲＡＩＤ構成情報を生成する。回線制御部３２が単位データにＥＣＣおよびＲＡＩＤ構成情報を付加し、図２に示すようなデータパケットが構成される。ここでＲＡＩＤ構成情報はＲＡＩＤ構成に必要とされるＬＵＮ（論理ユニット番号）情報、ＬＵＮ認識ビット、ＲＡＩＤ制御ビット、ＲＡＮＫ認定ビット、ＨＤＤ認識ビットなどの情報を含んでおり、回線接続装置３０と各ハードディスク装置間の回線制御自体は通常のＴＣＰ／ＩＰに従うが、上位レイヤはＲＡＩＤ制御となる。
【００２４】
また、回線制御部３０は主制御装置１０からデータの読み出し要求を受けると、ＣＰＵ３３にて該当データを検索し回線制御部３２および回線Ｉ／Ｆ部３１を介して各ハードディスク装置に該当データを要求する。各ハードディスク装置から送られてきたデータは回線Ｉ／Ｆ部３１にて受信され、回線制御部３２にて受信データに含まれるＲＡＩＤ情報に基づいて連結され、主制御装置１０に送出される。なお、回線接続装置３０は主制御装置１０と制御回線３６で接続されており、互いに情報交換を行っている。
【００２５】
主制御装置１０は、ホストＩ／Ｆ部１１と、ＲＡＩＤ制御部１２と、ＣＰＵ１３と、内部メモリに格納された管理ソフト１４とを備えている。管理ソフト１４は装置１０の動作を制御するプログラムであり、装置１０の起動時にＣＰＵ１３に読み込まれて実行される。主制御装置１０は、サーバ装置１〜３からデータの書き込み／読み出し要求を受けると、当該要求をそのまま回線接続装置３０に送出する。また、要求に係る読み出しデータを回線接続装置３０から受け取って要求元のサーバ装置に送出する。
【００２６】
主制御装置１０は制御回線２５で各ハードディスク装置２１を監視しており、いずれかのハードディスク装置で異常が発生すると当該ハードディスク装置を処理から切り離して縮退運転とし、故障した旨をオペレータや回線接続装置３０に通知する。故障したハードディスク装置が交換されると、主制御装置１０は当該ハードディスク装置に格納すべきデータを回線接続装置３０に要求する。主制御装置１０は回線接続装置３０が各ハードディスク装置から読み出した復旧データを受け取ると、これを交換されたハードディスク装置用に組成して回線接続装置３０に返送する。この復元データが回線接続装置３０でマッピングされＥＣＣを付加されて交換されたハードディスク装置に送出される。
【００２７】
また、主制御装置１０はいずれかのハードディスク装置で障害が発生した場合にサーバ装置に通知するとともに、データ復旧時に回線接続装置３０から受け取ったデータをサーバ装置に送出する。通常サーバ装置１〜３と主制御装置１０を接続する通信路はデータ回線２５より３〜１０倍高速であり、また復旧データは遠隔ハードディスク装置に保存されるまでに回線接続装置３０でマッピングおよびＥＣＣデータの付加を受けねばならないため、復旧データが回線接続装置３０から新規ハードディスク装置に格納されるより遙かに早くサーバ装置への転送は終了し、これがバックアップデータとしてサーバ装置に保存される。これにより、復旧データを新しく交換されたハードディスク装置に格納する際に障害が発生した場合、サーバ装置に保存されたバックアップデータを用いて復旧作業を早期に再実施することが可能となる。
【００２８】
このデータ保存システムの動作を以下に説明する。図３は、いずれかのホストから書き込みデータを受け取った場合の回線接続装置の処理を説明するフロー図である。サーバ装置１〜３のいずれかでデータ書き込み要求が生じた場合、サーバ装置は書き込み命令および書き込みデータを主制御装置１０に送信する。この書き込み要求を受け取った主制御装置１０は、書き込み命令および書き込みデータをそのまま回線接続装置３０に送る（ステップＡ１）。回線接続装置３０の回線Ｉ／Ｆ部３１がこれを受け取り、ＣＰＵ３３にて記録データのセクタ単位でのマッピングの設定、冗長ビットＥＣＣの計算、ＲＡＩＤ構成情報の生成が行われる（ステップＡ２）。また、回線制御部３２にてＣＰＵ３３で作成されたＲＡＩＤ構成情報を単位データの上位レイヤに構成したデータパケットが作成され（ステップＡ３）、回線Ｉ／Ｆ部３１から各地域のハードディスク装置２１〜２４へ送出される（ステップＡ４）。各ハードディスク装置のディスクＩ／Ｆ部２１ａ〜２４ａがこれを受け取り、ＥＣＣに基づいて通信データの誤り訂正を行ってから配下のハードディスク２１ｃ〜２４ｃに格納する（ステップＡ５）。この際、ＥＣＣは削除されるがＲＡＩＤ構成情報は付加された状態でハードディスクに格納される。
【００２９】
図４は、いずれかのホストからデータ読み出し要求を受けた場合の処理を説明するフローチャートである。サーバ装置１〜３のいずれかよりデータ読み出し要求を受けた主制御装置１０は、要求をそのまま回線接続装置３０に送る（ステップＢ１）。回線接続装置３０は読み出し要求に係るデータを検索し、各ハードディスク装置２１〜２４に該当データを要求する（ステップＢ２）。ハードディスク装置２１〜２４は該当データを抽出し、冗長ビットＥＣＣを付加して回線Ｉ／Ｆ部２１ａ〜２４ａから回線接続装置３０に送出する（ステップＢ３）。回線接続装置３０の回線制御部３２はＥＣＣを用いた誤り訂正を行い、送られてきたセクタごとのデータに含まれるＲＡＩＤ情報に基づいてデータを連結する（ステップＢ４）。その後、回線接続装置３０は要求に係るデータを主制御部１０のホストＩ／Ｆ部１１に送り（ステップＢ５）、ホストＩ／Ｆ部１１は要求元のサーバ装置にデータを転送する（ステップＢ６）。
【００３０】
図５は、火災や漏水など局地的な災害によりいずれかのハードディスクに障害が生じた場合の処理を説明するフローチャートである。上述したように主制御装置１０は制御回線２５を利用して各ハードディスク装置２１〜２４の状態を環視しており、いずれかのハードディスク装置で異常が発生すると主制御装置１０が感知する。図６は、地域４に設置されたハードディスク装置２４に障害が生じた場合のイメージを示す図である。
【００３１】
異常を検出した主制御装置１０は回線接続装置３０に通知して当該ハードディスク装置をＲＡＩＤ処理から切り離しシステムを縮退状態にするとともに、オペレータおよび／またはサーバ装置１〜３に通知してハードディスク装置２４の交換を促す。また、制御回線２５を用いて当該ハードディスク装置のその後の状態監視を行う（ステップＣ１）。この場合はマニュアル作業によりハードディスク装置またはハードディスクの交換が行われる（図７参照）。なお、ハードディスク装置の監視は、例えば主制御装置１０から各ハードディスク装置２１〜２４宛に定期的にチェックリクエストを送って返信されるステータス情報を解析して行われる。
【００３２】
ハードディスク装置の交換により障害が復旧したことを検知したら（ステップＣ２）、主制御装置１０は回線接続装置３０に通知してデータの復旧処理が開始される（図８〜図９参照）。この処理では、回線接続装置３０が故障したハードディスク装置のデータ復旧に必要なデータを検索し、該当するデータを残りのハードディスク装置に要求する（ステップＣ３）。要求を受けたハードディスク装置は該当データを読み出しＥＣＣを付加して回線接続装置３０に送出する（ステップＣ４）。回線接続装置３０は誤り訂正を行い、データパケットに含まれるＲＡＩＤ構成情報に基づきデータを連結して、復旧データを主制御装置１０に送出する（ステップＣ５）。
【００３３】
これを受けた主制御装置１０は受信データを自記憶領域に取り込むとともに、その複製をサーバ装置に送出する。これがバックアップデータとしてサーバ装置に一時的に保管される（ステップＣ６）。この場合、バックアップデータを送るサーバ装置は予め設定されていてもよいし、主制御装置１０からサーバ装置１〜３に問い合わせて最も記憶容量の空きが大きなサーバ装置にデータ送信するように構成してもよい。
【００３４】
その後、主制御装置１０は回線接続装置３０から受け取ったデータを交換されたハードディスク装置２４用に組成して復元データを完成させ、回線接続装置３０に送信する（ステップＣ７）。この工程では、交換されたハードディスク装置に合わせたＲＡＮＫ調整やＬＵＮの調整等が行われる。
【００３５】
主制御装置１０から復元データを受け取った回線接続装置３０はＲＡＩＤ構成情報をデータの上位レイヤに構成しＥＣＣを付加したデータパケットを生成し、交換されたハードディスク装置に送出する（ステップＣ８）。これを受けたハードディスク装置はＥＣＣを用いて誤り訂正を行ったうえで、ＥＣＣを削除して復元データを配下のハードディスクに格納する（ステップＣ９）。
【００３６】
この際、主制御装置１０による復元データの送出からハードディスク装置に格納されるまでに回線接続装置３０やハードディスク装置に新たな障害が生じて復元データの格納が正常に終了しなかった場合（ステップＣ１０）、主制御装置１０はステップＳ７でバックアップデータを送ったサーバ装置にバックアップデータを要求し、このバックアップデータを用いて復旧作業を再実施する（ステップＣ１１）。これにより、交換されたハードディスク装置にデータを格納し終えるまでの間に何らかの障害が発生した場合でも、バックアップデータを用いて迅速に復旧作業を再実施することができ、再び各ハードディスク装置からデータを吸い上げてデータ復旧を行う場合に比して処理負担を軽減して縮退運転期間を短縮することができる。一方、ステップＣ８〜Ｃ９のデータ復旧動作が正常に終了した場合はサーバ装置にバックアップデータの破棄を依頼する（ステップＣ１２）。
【００３７】
また、主制御装置は各ハードディスクの監視および障害発生時のデータ復旧に特化させ、データの書き込み／読み出しに係るＲＡＩＤ制御は回線接続装置が担うことにより、例えばデータ復旧時に読み出し要求が発生したような場合でもデータ復旧処理を遅延させることなく読み出しを実施することができる。また、従来は主制御装置から各ハードディスク装置宛に小分けされた無数のデータ群を回線接続装置に送りそこから各ハードディスク装置宛に送出していたが、主制御装置から回線接続装置に書き込み／読み出しデータをまとめて送る構成としたため、装置の処理負担やデータ回線の負荷を削減することができる。
【００３８】
このように、ハードディスク装置が故障により交換されたときのデータ復旧時に当該ハードディスク装置用の復旧データをいずれかのサーバ装置へも送信しておくことにより、復旧データを交換したハードディスク装置に格納する際に予期せぬ障害が発生した場合にもサーバ装置のバックアップデータを利用して迅速に復旧作業を再実施することができる。
【００３９】
なお、上記フローにおいてバックアップデータをサーバ装置へ送出する処理は、サーバ装置からの要求があった場合のみ行うようにしてもよい。すなわち、例えばハードディスク装置の故障を通知されたサーバ装置が自己の記憶容量をチェックして十分な空き容量がある場合にのみバックアップデータの要求を出すように構成したり、ＲＡＩＤシステムの縮退運転を告げられたサーバ装置のユーザが、現在使用しているデータの重要度などを考慮してバックアップデータをサーバ装置に保存するか否かを選択するように構成してもよい。この構成で主制御装置１０はバックアップデータの要求があった場合にのみ復元データをサーバ装置に送出する。サーバ装置にバックアップデータを保存することにより、復元データの格納中に主制御装置１０に障害が生じた場合でもその復旧後にバックアップデータを用いて迅速にデータ復元を行うことができる。
【００４０】
なお、障害発生時のデータ復旧中にいずれかのサーバ装置でデータの読み出し要求が生じた場合は、図３と図５に示すフローが並行して実施されることになる。すなわち、主制御装置１０は読み出し要求をそのまま回線接続装置３０に送出し、回線接続装置３０が各ハードディスク装置から該当データを読み出して主制御装置１０に送り、主制御装置１０がサーバ装置に読み出しデータを送信する。このシステムによれば、主制御装置１０がステップＣ６の復元作業を行っている間に回線接続装置３０がサーバ装置からの要求に係る処理を行うことができるため、データ復旧と読み出しの同時処理の場合にも大きな負荷がかからず、データ復元作業の遅延を防止することができる。
【００４１】
また、本実施例のシステムではデータ回線上で回線接続装置３０が二重化されており、一方の回線接続装置が故障した場合でも他方の装置が処理を引き継ぐよう構成されている。すなわち、主制御装置１０は制御回線３６を用いて回線接続装置３０の状態を監視しており、装置３０が故障により停止した場合にデータやリクエストの送信先を他方の装置に切り替えるようにする。回線接続装置３０によるデータ回線の制御は処理負担が大きく、また活線コードの挿抜などにより比較的壊れやすいものであるため、二重化することによりシステムの信頼性を高く担保することができる。
【実施例２】
【００４２】
図１０は、本発明に係るデータ保存システムの別の実施例の構成を示す図である。図１０に示すように、本実施例では図１に示すデータ配信手段４（主制御装置１０および回線接続装置３０）とは別に、これらと離隔した地域５に第２の配信手段６（第２の制御装置５０および回線接続装置６０）を設けるようにしている。この実施例でも第２の制御装置５０に接続する回線接続装置６０は二重化されている。第２の制御装置５０は、ホスト装置１〜３と主制御装置１０とを接続するスイッチ４０に接続されており、当該スイッチ４０は、何らかの原因で地域１の主制御装置１０に障害が生じた場合に自動的にホスト装置１〜３の接続先を第２の制御装置１０に切り替えるよう構成されている。これにより、主制御装置１０が設置された地域１に災害が生じた場合でもシステムを停止させることなく運用を継続することができる。
【００４３】
このように、従来のディスクアレイ装置はハードディスク装置を多重化して障害発生に備える構成であるが、本願発明ではハードディスク装置のみならずＲＡＩＤ制御装置や回線接続装置をも多重化することにより、これらの装置に障害が発生した場合にもディスクアレイシステムとしての動作を継続運用することが可能となり、システムの信頼性を向上させることができる。なお、図１０の実施例ではデータ配信手段を二重化して制御自体の冗長性を高めているが、この冗長化は二重化のみならず、三重化以上による多重化の実施も可能である。
【００４４】
本発明の実施例について説明したが、本発明の技術的範囲は上記実施例に限定されるものではなく、他の様々な実施例として構成することができる。例えば、上記実施例ではデータ回線を４本使用して各ハードディスク装置２１〜２４に接続しているが、図１１に示すように、この回線を回線接続装置３０により多重化して、使用する回線本数を削減するようにしてもよい。これにより、回線配置に必要なスペースや回線使用料、管理費等を削減することができる。なお、回線の多重化には帯域多重や時分割多重などの方法を適用することができる。
【００４５】
また、本発明に係るシステムや方法は、上述した実施例の総ての要素を備える必要はない。例えば、送受信データに誤り訂正符号ＥＣＣを添付したり、回線接続装置を多重化することは必須の構成ではない。本発明の特徴は、第１に各ハードディスク装置を遠隔配置するとともに各ハードディスク装置へＲＡＩＤ情報を上位レイヤに構成したデータパケットを送ることにあり、第２に回線接続装置にＲＡＩＤのリード／ライド機能を設けて主制御装置の負荷を軽減することにあり、第３に障害復旧処理において復元データのバックアップをサーバ装置へ送出し、データ復旧が正常終了しなかった場合に当該バックアップを用いて再実施できるようにしたことにある。
【産業上の利用可能性】
【００４６】
本発明にかかるデータ保存システムは、社内システムのファイルサーバやインターネットのウェブサーバなど継続的に無停止運用されるファイルシステム全般に適用することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明のデータ保存システムの構成を示すブロック図である。
【図２】回線接続装置３０とハードディスク装置２１〜２４との間でやりとりされるデータパケット構成を示すイメージ図である。
【図３】データ書き込み時の動作例を説明するフロー図である。
【図４】データ読み出し時の動作例を説明するフロー図である。
【図５】障害発生時の動作例を説明するフロー図である。
【図６】ハードディスク装置２４に障害が発生した状態を示す図である。
【図７】ハードディスク装置２４を交換した状態を示す図である。
【図８】他のハードディスク装置からデータを復元するイメージを示す図である。
【図９】他のハードディスク装置からデータを復元するイメージを示す図である。
【図１０】第２実施例に係るデータ保存システムの構成を示す図である。
【図１１】データ保存システムの更なる実施例の構成を示す図である。
【符号の説明】
【００４８】
１０        主制御装置
１１        ホストＩ／Ｆ部
１２        ＲＡＩＤ制御部
１３        ＣＰＵ
１４        管理ソフト
２１〜２４  ハードディスク装置
２５、３６  制御回線
３０        回線接続装置
３１        回線Ｉ／Ｆ部
３２        回線制御部
３３        ＣＰＵ
３４        メモリ
３５        制御ソフト
５０        第２の制御装置
６０        第２の回線接続装置
【図１】
2005293147.tif 000003
【図２】
2005293147.tif 000004
【図３】
2005293147.tif 000005
【図４】
2005293147.tif 000006
【図５】
2005293147.tif 000007
【図６】
2005293147.tif 000008
【図７】
2005293147.tif 000009
【図８】
2005293147.tif 000010
【図９】
2005293147.tif 000011
【図１０】
2005293147.tif 000012
【図１１】
2005293147.tif 000013