(57)【要約】【課題】ストレージの故障発生時の復旧にかかる処理時間の短縮化を図ること。【解決手段】ストレージ制御装置１０１は、ＲＡＩＤグループＧのいずれかのストレージＳＴの故障を検出する。ストレージ制御装置１０１は、故障を検出した故障ストレージの代替ストレージとして、複数のホットスペアＨＳをＲＡＩＤグループＧに組み込む。ストレージ制御装置１０１は、ＲＡＩＤグループＧに組み込んだ複数のホットスペアＨＳの各々に故障ストレージの記憶内容を復元する。ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ストレージＳＴが交換されたことを検出した場合、故障ストレージと交換された交換ストレージをＲＡＩＤグループＧに組み込む。【選択図】図１
2014056445.tif 000002
【特許請求の範囲】
【請求項１】
冗長構成のストレージグループに属する複数のストレージと、
前記ストレージグループに属さない第１のストレージおよび第２のストレージと、
前記ストレージグループに前記第１のストレージまたは／および前記第２のストレージを組み込む、または前記ストレージグループから前記第１のストレージまたは／および前記第２のストレージを切り離す構成制御部と、
前記ストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属する複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記構成制御部によって前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元する復元部と、を備え、
前記構成制御部は、前記復元部による復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換ストレージとして前記ストレージグループに組み込む、
ことを特徴とするストレージ装置。
【請求項２】
前記第１のストレージの切り離しから前記交換ストレージの組み込みまでの間に、前記第２のストレージに書き込まれたデータの書込先を表す書込先情報を記憶する記憶部と、
前記ストレージグループへの前記交換ストレージの組み込みが完了した場合、前記記憶部に記憶されている前記書込先情報を参照して、前記第２のストレージに記憶されている前記データを前記交換ストレージに書き込む更新部と、
を有することを特徴とする請求項１に記載のストレージ装置。
【請求項３】
前記構成制御部は、
前記更新部による前記交換ストレージへの前記データの書き込みが完了した場合、前記第２のストレージを前記ストレージグループから切り離すことを特徴とする請求項２に記載のストレージ装置。
【請求項４】
前記故障ストレージが前記交換ストレージと交換された場合、前記交換ストレージの識別情報が前記第１のストレージの識別情報と一致するか否かを判定する判定部を有し、
前記構成制御部は、
前記判定部によって前記交換ストレージの識別情報が前記第１のストレージの識別情報と一致すると判定された場合、前記交換ストレージを前記ストレージグループに組み込むことを特徴とする請求項１〜３のいずれか一つに記載のストレージ装置。
【請求項５】
前記ストレージ装置に搭載された、代替ストレージとして使用可能な複数のストレージの各々のストレージの記憶容量と前記故障ストレージの記憶容量とに基づいて、前記複数のストレージから前記第１のストレージおよび前記第２のストレージを検索する検索部を有し、
前記構成制御部は、
前記検索部によって検索された前記第１のストレージおよび前記第２のストレージを前記ストレージグループに組み込むことを特徴とする請求項１〜４のいずれか一つに記載のストレージ装置。
【請求項６】
前記検索部によって前記第２のストレージが検索されなかった場合、前記複数のストレージのうち前記代替ストレージとして使用されていない未使用のストレージを用いて、前記故障ストレージの記憶容量以上の仮想ストレージを作成する作成部を有し、
前記構成制御部は、
前記検索部によって検索された前記第１のストレージを前記ストレージグループに組み込むとともに、前記作成部によって作成された前記仮想ストレージを前記第２のストレージとして前記ストレージグループに組み込むことを特徴とする請求項５に記載のストレージ装置。
【請求項７】
コンピュータに、
複数のストレージが属する冗長構成のストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属さない第１のストレージおよび第２のストレージを前記ストレージグループに組み込み、
前記複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元し、
前記第１のストレージおよび前記第２のストレージに復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換先ストレージとして前記ストレージグループに組み込む、
処理を実行させることを特徴とするストレージ制御プログラム。
【請求項８】
コンピュータが、
複数のストレージが属する冗長構成のストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属さない第１のストレージおよび第２のストレージを前記ストレージグループに組み込み、
前記複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元し、
前記第１のストレージおよび前記第２のストレージに復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換先ストレージとして前記ストレージグループに組み込む、
処理を実行することを特徴とするストレージ制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレージ装置、ストレージ制御プログラムおよびストレージ制御方法に関する。
【背景技術】
【０００２】
従来、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙ  ｏｆ  Ｉｎｅｘｐｅｎｓｉｖｅ  Ｄｉｓｋｓ）グループのいずれかのディスクドライブが故障した場合、ＲＡＩＤグループの冗長性を回復するためのリビルド処理が行われる場合がある。リビルド処理は、ホットスペアと呼ばれる代替ディスクを使用して故障ディスクのデータを復元する処理である。
【０００３】
また、リビルド処理の完了後に、ＲＡＩＤグループの構成をディスク故障前の状態に戻すためのコピーバック処理が行われる場合がある。コピーバック処理は、ホットスペアを使用して冗長性が回復したＲＡＩＤグループに対して、ホットスペア上のデータを故障ディスクと交換された新規ディスクにコピーする処理である。
【０００４】
関連する先行技術としては、ＲＡＩＤグループのデータディスクに障害が生じると、コレクションコピーが行われたスペアディスクの物理位置と、障害が生じたデータディスクの物理位置とが交換されるようにディスク管理を変更するものがある。また、故障ディスクのデータを復旧した予備ディスクを用いたディスクアレイ構成に変更後、故障ディスクが正常なディスクに交換されると、予備ディスクのデータを交換ディスクに復旧し、交換ディスクを用いたディスクアレイ構成に再度変更する技術がある。また、現用機で障害が発生すると、予備機は共有ディスク装置から引継ぎ情報を読み出すことにより、障害の発生した現用機の処理を引継ぎ、共有ディスク装置の内容を自身の内蔵ディスク装置にコピーする技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０８７０３９号公報
【特許文献２】特開平１１−１８４６４３号公報
【特許文献３】特開平０６−１７５７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術によれば、ストレージの大容量化に伴って、ＲＡＩＤグループの構成をストレージ故障が発生する前の状態に戻すためのコピーバック処理にかかる処理時間が増大するという問題がある。
【０００７】
一つの側面では、本発明は、ストレージの故障発生時の復旧にかかる処理時間の短縮化を図るストレージ装置、ストレージ制御プログラムおよびストレージ制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、冗長構成のストレージグループに属する複数のストレージと、前記ストレージグループに属さない第１のストレージおよび第２のストレージと、前記ストレージグループに前記第１のストレージまたは／および前記第２のストレージを組み込む、または前記ストレージグループから前記第１のストレージまたは／および前記第２のストレージを切り離す構成制御部と、前記ストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属する複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記構成制御部によって前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元する復元部と、を備え、前記構成制御部は、前記復元部による復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換ストレージとして前記ストレージグループに組み込むストレージ装置が提案される。
【０００９】
また、本発明の一側面によれば、複数のストレージが属する冗長構成のストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属さない第１のストレージおよび第２のストレージを前記ストレージグループに組み込み、前記複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元し、前記第１のストレージおよび前記第２のストレージに復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換先ストレージとして前記ストレージグループに組み込むストレージ制御プログラムおよびストレージ制御方法が提案される。
【発明の効果】
【００１０】
本発明の一態様によれば、ストレージの故障発生時の復旧にかかる処理時間の短縮化を図ることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態にかかるストレージ制御方法の一実施例を示す説明図（その１）である。
【図２】図２は、実施の形態にかかるストレージ制御方法の一実施例を示す説明図（その２）である。
【図３】図３は、実施の形態にかかるシステム３００のシステム構成例を示す説明図である。
【図４】図４は、ストレージ制御装置１０１のハードウェア構成例を示すブロック図である。
【図５】図５は、ＲＡＩＤグループＧの具体例を示す説明図である。
【図６】図６は、ＲＡＩＤ管理テーブル６００の記憶内容の一例を示す説明図（その１）である。
【図７】図７は、ディスク管理テーブル７００の記憶内容の一例を示す説明図（その１）である。
【図８】図８は、ストレージ制御装置１０１の機能的構成を示すブロック図である。
【図９】図９は、ビットマップテーブル９００の記憶内容の一例を示す説明図である。
【図１０】図１０は、ＲＡＩＤグループＧの状態遷移例を示す説明図である。
【図１１】図１１は、選択ポリシー１１００の具体例を示す説明図である。
【図１２】図１２は、仮想ディスクの作成例を示す説明図である。
【図１３】図１３は、ＲＡＩＤ管理テーブル６００の記憶内容の一例を示す説明図（その２）である。
【図１４】図１４は、ディスク管理テーブル７００の記憶内容の一例を示す説明図（その２）である。
【図１５】図１５は、ストレージ制御装置１０１のリビルド処理手順の一例を示すフローチャートである。
【図１６】図１６は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャート（その１）である。
【図１７】図１７は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャート（その２）である。
【図１８】図１８は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャート（その３）である。
【図１９】図１９は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャート（その４）である。
【図２０】図２０は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャート（その５）である。
【図２１】図２１は、検索処理Ａの具体的処理手順の一例を示すフローチャートである。
【図２２】図２２は、検索処理Ｂの具体的処理手順の一例を示すフローチャートである。
【図２３】図２３は、割当処理の具体的処理手順の一例を示すフローチャートである。
【図２４】図２４は、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順の一例を示すフローチャート（その１）である。
【図２５】図２５は、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順の一例を示すフローチャート（その２）である。
【図２６】図２６は、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順の一例を示すフローチャート（その３）である。
【図２７】図２７は、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順の一例を示すフローチャート（その４）である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明にかかるストレージ装置、ストレージ制御プログラムおよびストレージ制御方法の実施の形態を詳細に説明する。
【００１３】
（ストレージ制御方法の一実施例）
図１および図２は、実施の形態にかかるストレージ制御方法の一実施例を示す説明図である。図１において、ストレージ装置１００は、ＲＡＩＤ等の冗長化技術により、データの冗長性を確保することができるストレージシステムである。ストレージ装置１００は、ストレージ制御装置１０１と、複数のストレージ（図１では、ストレージＳＴ１〜ＳＴ３、ホットスペアＨＳ１，ＨＳ２）と、を含む。
【００１４】
ストレージ制御装置１０１は、ストレージに対するリード／ライトを制御するコンピュータである。ストレージ制御装置１０１は、例えば、ＲＡＩＤコントローラであり、ストレージ装置１００に複数搭載されていてもよい。また、ストレージは、データを記憶する記憶装置である。ストレージは、例えば、ハードディスク、光ディスク、フラッシュメモリ、磁気テープ等の記憶媒体を含む。
【００１５】
ここで、ストレージ制御装置１０１は、冗長構成のストレージグループ（以下、「ＲＡＩＤグループＧ」という）を形成することができる。ＲＡＩＤグループＧは、データの冗長性を確保するために、２以上のストレージを組み合わせて形成される１つの論理的なストレージである。
【００１６】
図１の例では、ストレージＳＴ１〜ＳＴ３を組み合わせることにより、ＲＡＩＤ５のＲＡＩＤグループＧが形成されている。また、ホットスペアＨＳ（図１の例では、ホットスペアＨＳ１，ＨＳ２）は、ＲＡＩＤグループＧのいずれかのストレージが故障した場合に、故障ストレージの代替ストレージとして使用されるストレージである。
【００１７】
以下の説明では、ＲＡＩＤグループＧ内の任意のストレージを「ストレージＳＴ」と表記する場合がある。
【００１８】
ＲＡＩＤグループＧのいずれかのストレージＳＴが故障した場合、ＲＡＩＤグループＧの冗長性を回復するためのリビルド処理が行われる。リビルド処理は、ＲＡＩＤグループＧ内の故障した故障ストレージのデータを復元する処理である。具体的には、例えば、リビルド処理は、ホットスペアＨＳのストレージをＲＡＩＤグループＧに組み込んで、その記憶領域を割り当てて、ホットスペアＨＳに対して故障ストレージのデータを再構築する処理である。
【００１９】
また、ストレージ故障を契機としたリビルド処理の完了後において、ホットスペアＨＳを用いて運用を継続すると、ＲＡＩＤグループＧを形成するストレージＳＴの物理的位置の把握が煩雑になる場合がある。具体的には、例えば、ストレージ故障の度に、ホットスペアＨＳを用いたリビルド処理が行われてＲＡＩＤグループＧの構成が変更されると、ストレージＳＴの物理的位置の把握が困難になる。
【００２０】
さらに、リビルド時に使用されるホットスペアＨＳの物理的位置によっては、同一エンクロージャ／同一バックエンドループ上にＲＡＩＤグループＧのストレージＳＴが偏る場合があり、その状態で運用を継続することは性能や安全性の面で好ましくない。なお、エンクロージャとは、ストレージを搭載する筐体である。ストレージ装置１００には、例えば、１以上のエンクロージャが設けられている。バックエンドループとは、ストレージ制御装置１０１とストレージとを接続する経路（パス）である。
【００２１】
また、リビルド処理の完了後は、ＲＡＩＤグループＧの構成をストレージＳＴの故障発生前の状態に戻すためのコピーバック処理が行われる。コピーバック処理は、ホットスペアＨＳを使用して冗長性を回復した状態のＲＡＩＤグループＧに対して、ホットスペアＨＳ上のデータを保守ディスクへとコピーする処理である。なお、保守ディスクとは、ＣＥ（Ｃｕｓｔｏｍｅｒ  Ｅｎｇｉｎｅｅｒ）等の作業者によって故障ストレージと交換される新規ストレージである。
【００２２】
一方で、ストレージの大容量化に伴って、コピーバック処理にかかる処理時間が増大している。例えば、１［ＴＢ］、７２００［ｒｐｍ］のディスクでは、コピーバック処理に７０時間以上の処理時間を要する場合がある。また、コピーバック処理のためのストレージへのアクセスによる負荷により、ホストからのＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）レスポンスが低下してしまう。例えば、７０時間以上のコピーバック処理中に、ホストからのＩ／Ｏレスポンスが２割程度低下する場合がある。
【００２３】
そこで、本実施の形態では、ストレージ制御装置１０１は、故障ストレージのデータを２本のホットスペアＨＳに復元し、一方のホットスペアＨＳを新規Ｉ／Ｏの処理用とし、他方のホットスペアＨＳを故障ストレージと交換させてＲＡＩＤグループＧに組み込む。これにより、ＲＡＩＤグループＧの構成をストレージＳＴの故障発生前の状態に戻すための復旧処理にかかる処理時間を短縮する。
【００２４】
以下、実施の形態にかかるストレージ制御装置１０１のストレージ制御処理の一実施例について説明する。
【００２５】
（１）ストレージ制御装置１０１は、ＲＡＩＤグループＧのいずれかのストレージＳＴの故障を検出する。具体的には、例えば、ストレージ制御装置１０１は、ストレージＳＴに対するデータのリード／ライトが正常に行えなくなった場合に、ストレージＳＴの故障を検出する。図１の例では、ストレージ制御装置１０１は、ＲＡＩＤグループＧのストレージＳＴ１の故障を検出する。
【００２６】
なお、ストレージ制御装置１０１は、ストレージＳＴ１の故障を検出した場合、ＣＥ等の作業者が使用するコンピュータに、ＲＡＩＤグループＧのストレージＳＴ１が故障したことを示す故障通知を送信することにしてもよい。これにより、ＣＥ等の作業者は、ＲＡＩＤグループＧ内のストレージＳＴ１が故障したことを判断することができる。
【００２７】
（２）ストレージ制御装置１０１は、故障を検出した故障ストレージの代替ストレージとして、複数のホットスペアＨＳをＲＡＩＤグループＧに組み込む。この結果、ホットスペアＨＳの記憶領域がデータ構築用の記憶領域に割り当てられる。すなわち、ＲＡＩＤグループＧのメンバ（ディスク）としてホットスペアＨＳがＲＡＩＤグループＧに割り当てられる。なお、ＲＡＩＤグループＧに組み込まれるホットスペアＨＳは、故障ストレージの記憶容量以上の記憶容量を有するストレージである。
【００２８】
図１の例では、ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障したストレージＳＴ１の代替ストレージとして、ホットスペアＨＳ１，ＨＳ２をＲＡＩＤグループＧに組み込む。この結果、ホットスペアＨＳ１，ＨＳ２の記憶領域がデータ構築用の記憶領域に割り当てられる。
【００２９】
（３）ストレージ制御装置１０１は、ＲＡＩＤグループＧに組み込んだ複数のホットスペアＨＳの各々に故障ストレージの記憶内容を復元する。具体的には、例えば、ストレージ制御装置１０１は、ＲＡＩＤグループＧのうちストレージＳＴ１を除く残余のストレージＳＴ２，ＳＴ３の記憶内容に基づいて、ホットスペアＨＳ１，ＨＳ２のそれぞれにストレージＳＴ１の記憶内容を復元する。
【００３０】
図１の例では、ストレージ制御装置１０１は、ストレージＳＴ２に記憶されているデータとストレージＳＴ３に記憶されているデータとの排他的論理和（ＸＯＲ）を求めて、ストレージＳＴ１に記憶されているデータを復元する。そして、ストレージ制御装置１０１は、復元したストレージＳＴ１のデータを、ＲＡＩＤグループＧに組み込んだホットスペアＨＳ１，ＨＳ２のそれぞれに書き込む。
【００３１】
すなわち、ストレージ制御装置１０１は、ＲＡＩＤグループＧに組み込んだホットスペアＨＳ１，ＨＳ２に対して、故障ストレージ（ストレージＳＴ１）の記憶内容を復元するリビルド処理を実行する。これにより、ホットスペアＨＳ１，ＨＳ２を使用してＲＡＩＤグループＧの冗長性を回復することができる。
【００３２】
なお、リビルド処理中にストレージＳＴ１へのＷｒｉｔｅ  Ｉ／Ｏが発生した場合には、ストレージ制御装置１０１は、ホットスペアＨＳ１，ＨＳ２のそれぞれに対して書込データを書き込む。なお、書込データは、Ｗｒｉｔｅ  Ｉ／Ｏの書込対象となるデータである。これにより、ＲＡＩＤグループＧを使用した業務を停止することなく、ＲＡＩＤグループＧの冗長性を回復することができる。
【００３３】
（４）ストレージ制御装置１０１は、複数のホットスペアＨＳに対するリビルド処理が完了すると、リビルド処理の完了通知を出力する。具体的には、例えば、ストレージ制御装置１０１は、ＣＥ等の作業者が使用するコンピュータに、ＲＡＩＤグループＧのリビルド処理が完了したことを示す完了通知を送信することにしてもよい。これにより、ＣＥ等の作業者は、例えば、ＲＡＩＤグループＧのリビルド処理が完了したことを認識することができる。
【００３４】
例えば、ホットスペアＨＳ１，ＨＳ２に対するリビルド処理が完了すると、故障したストレージＳＴ１の記憶内容がホットスペアＨＳ１，ＨＳ２に復元され、ホットスペアＨＳ１の記憶内容とホットスペアＨＳ２の記憶内容とが等価になる。なお、ストレージ制御装置１０１は、リビルド処理の完了後も、ストレージＳＴ１へのＷｒｉｔｅ  Ｉ／Ｏが発生した場合にはホットスペアＨＳ１，ＨＳ２のそれぞれに対して書込データを書き込む。
【００３５】
（５）ストレージ制御装置１０１は、交換作業の開始通知を受け付けた場合、ＲＡＩＤグループＧに組み込んだ複数のホットスペアＨＳのうちのいずれかのホットスペアＨＳを、ＲＡＩＤグループＧから切り離してストレージ装置１００から切り離し可能な状態にする。ここで、交換作業の開始通知は、ＲＡＩＤグループＧの故障ストレージの交換作業の開始を通知するものであり、例えば、ＣＥ等の作業者が使用するコンピュータからストレージ制御装置１０１に通知される。
【００３６】
図２の例では、ストレージ制御装置１０１は、交換作業の開始通知を受け付けた場合、例えば、ＲＡＩＤグループＧに組み込んだホットスペアＨＳ２を、ＲＡＩＤグループＧから切り離してストレージ装置１００から切り離し可能な状態にする。
【００３７】
また、ＲＡＩＤグループＧからホットスペアＨＳ２を切り離した後において、ストレージＳＴ１へのＷｒｉｔｅ  Ｉ／Ｏが発生した場合には、ストレージ制御装置１０１は、ホットスペアＨＳ１に対して書込データを書き込む。なお、図２中、ストレージＳＴを表す図形内の■は、ストレージＳＴの記憶領域のうちの書込データの書込先の記憶領域を表している。
【００３８】
この際、ストレージ制御装置１０１は、ホットスペアＨＳ１に書き込まれた書込データの書込先を特定する書込先情報１１０を保持する。書込先情報１１０は、例えば、ホットスペアＨＳ１の記憶領域のうち、書込データが書き込まれた書込先の記憶領域を特定するためのアドレス情報である。
【００３９】
また、ストレージ装置１００からホットスペアＨＳ２が切り離し可能な状態となった場合、ＣＥ等の作業者は、ストレージ装置１００からホットスペアＨＳ２を切り離して、ＲＡＩＤグループＧの故障したストレージＳＴ１とホットスペアＨＳ２とを交換する。
【００４０】
（６）ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ストレージＳＴが、他のストレージと交換されたことを検出する。図２の例では、ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障したストレージＳＴ１が交換ストレージと交換されたことを検出する。
【００４１】
（７）ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ストレージＳＴが交換されたことを検出した場合、故障ストレージと交換された交換ストレージをＲＡＩＤグループＧに組み込む。図２の例では、ストレージ制御装置１０１は、ストレージＳＴ１と交換されたホットスペアＨＳ２をＲＡＩＤグループＧに組み込む。
【００４２】
また、ストレージ制御装置１０１は、ＲＡＩＤグループＧへのホットスペアＨＳ２の組み込みが完了した場合、書込先情報１１０を参照して、ホットスペアＨＳ１に記憶されている書込データをホットスペアＨＳ２に書き込む（図２中、アップデート）。
【００４３】
これにより、ホットスペアＨＳ２が切り離されてからＲＡＩＤグループＧにホットスペアＨＳ２が組み込まれるまでの間にホットスペアＨＳ１に書き込まれた書込データを、ホットスペアＨＳ２にアップデートすることができる。
【００４４】
（８）ストレージ制御装置１０１は、交換ストレージへの書込データの書き込みが完了した場合、ＲＡＩＤグループＧに組み込んだホットスペアＨＳを解放する。図２の例では、ストレージ制御装置１０１は、ホットスペアＨＳ２への書込データの書き込みが完了した場合、ＲＡＩＤグループＧに組み込んだホットスペアＨＳ１を解放する。これにより、ＲＡＩＤグループＧの構成をストレージＳＴ１の故障発生前の状態に戻すことができる。
【００４５】
このように、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧのストレージＳＴが故障した場合、ＲＡＩＤグループＧに２本のホットスペアＨＳを組み込んで、故障ストレージのデータを２本のホットスペアＨＳに復元することができる。また、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧに組み込んだ一方のホットスペアＨＳを新規Ｉ／Ｏの処理用とし、他方のホットスペアＨＳを故障ストレージと交換させてＲＡＩＤグループＧに組み込むことができる。これにより、ＲＡＩＤグループＧのいずれかのストレージＳＴが故障した場合に、ＲＡＩＤグループＧの冗長性を回復するとともに、ＲＡＩＤグループＧの構成をストレージＳＴの故障発生前の状態に戻すことができる。
【００４６】
また、ストレージ制御装置１０１によれば、故障ストレージの交換作業中にＷｒｉｔｅ  Ｉ／Ｏが発生した記憶領域については、交換完了後にホットスペアＨＳから交換ストレージへのアップデートを行うことができる。これにより、故障ストレージの交換作業中もＲＡＩＤグループＧを使用した業務を継続して行うことができる。また、交換作業中にＷｒｉｔｅ  Ｉ／Ｏが発生した記憶領域についてのみのアップデートを行うため、従来のコピーバック処理に比べて、ＲＡＩＤグループＧの構成をストレージＳＴの故障発生前の状態に戻すための復旧処理にかかる処理時間を短縮できる。
【００４７】
（システム３００のシステム構成例）
図３は、実施の形態にかかるシステム３００のシステム構成例を示す説明図である。図３において、システム３００は、ストレージ装置３０１と、複数のホスト３０２と、作業者端末３０３と、を含む。システム３００において、ストレージ装置３０１、ホスト３０２および作業者端末３０３は、有線または無線のネットワーク３１０を介して接続されている。ネットワーク３１０は、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などである。
【００４８】
ストレージ装置３０１は、データの冗長性を確保することができるコンピュータであり、図１に示したストレージ装置１００に相当する。ストレージ装置３０１は、ストレージ制御装置１０１（図３では、２台）と、複数のディスクＤと、ホットスペアＨＳ１〜ＨＳｍと、を有する。
【００４９】
複数のディスクＤは、データを記憶する記憶装置であり、例えば、図１に示したストレージＳＴ１〜ＳＴ３に相当する。ホットスペアＨＳ１〜ＨＳｍは、故障ディスクの代替ディスクとして使用される記憶装置であり、例えば、図１に示したホットスペアＨＳ１，ＨＳ２に相当する。
【００５０】
なお、各ディスクＤおよび各ホットスペアＨＳ１〜ＨＳｍは、例えば、ハードディスクと、ハードディスクに対するリード／ライトを制御するディスクドライブとを含む。また、複数のディスクＤおよびホットスペアＨＳ１〜ＨＳｍの記憶容量はすべて同一であってもよく、また、互いに異なる記憶容量のものが含まれていてもよい。
【００５１】
ホスト３０２は、ストレージ装置３０１にデータのリード／ライトを要求するコンピュータである。具体的には、例えば、ホスト３０２は、システム３００を利用するユーザのＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やサーバなどである。
【００５２】
作業者端末３０３は、ＣＥ等の作業者が使用するコンピュータである。ＣＥ等の作業者は、作業者端末３０３を使用して、ストレージ制御装置１０１に各種指示を入力したり、ストレージ制御装置１０１から各種通知を受け付けたりすることができる。作業者端末３０３は、例えば、ＣＥ等の作業者が使用するノートＰＣ、ＰＣなどである。
【００５３】
なお、以下の説明では、ストレージ装置３０１が有するディスクＤ群を組み合わせて形成される任意のＲＡＩＤグループを「ＲＡＩＤグループＧ」と表記し、ＲＡＩＤグループＧを形成するディスク群を「ディスクＤ１〜Ｄｎ」と表記する場合がある。また、ディスクＤ１〜Ｄｎのうちの任意のディスクを「ディスクＤｉ」と表記する場合がある（ｉ＝１，２，…，ｎ）。また、ホットスペアＨＳ１〜ＨＳｍのうちの任意のホットスペアを「ホットスペアＨＳｊ」と表記する場合がある（ｊ＝１，２，…，ｍ）。
【００５４】
（ストレージ制御装置１０１のハードウェア構成例）
図４は、ストレージ制御装置１０１のハードウェア構成例を示すブロック図である。図４において、ストレージ制御装置１０１は、プロセッサ４０１と、メモリ４０２と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０３と、を有している。また、各構成部はバス４００によってそれぞれ接続されている。
【００５５】
ここで、プロセッサ４０１は、ストレージ制御装置１０１の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有している。
【００５６】
より具体的には、例えば、フラッシュＲＯＭがＯＳやファームウェアなどのプログラムを記憶し、ＲＯＭがアプリケーションプログラムを記憶し、ＲＡＭがプロセッサ４０１のワークエリアとして使用される。メモリ４０２に記憶されているプログラムは、プロセッサ４０１にロードされることで、コーディングされている処理をプロセッサ４０１に実行させる。
【００５７】
Ｉ／Ｆ４０３は、他のコンピュータからのデータの入出力を制御する。具体的には、例えば、Ｉ／Ｆ４０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して他のコンピュータ（例えば、図３に示したストレージ装置３０１、ホスト３０２、ディスクＤ、ホットスペアＨＳ）に接続される。そして、Ｉ／Ｆ４０３は、ネットワーク３１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。
【００５８】
なお、図３に示したストレージ装置３０１、ホスト３０２および作業者端末３０３についても、上述したストレージ制御装置１０１と同様のハードウェア構成により実現することができる。また、ホスト３０２および作業者端末３０３は、上述した構成部のほかに、ディスプレイやキーボード等を有することにしてもよい。
【００５９】
（ＲＡＩＤグループＧの具体例）
つぎに、ストレージ装置３０１の２以上のディスクＤを組み合わせて形成される１つの論理的なストレージであるＲＡＩＤグループＧの具体例について説明する。
【００６０】
図５は、ＲＡＩＤグループＧの具体例を示す説明図である。図５において、ＲＡＩＤグループＧ１は、ディスクＤ１〜Ｄ３から形成されている。ＲＡＩＤグループＧ１上には、ディスクＤ１〜Ｄ３の記憶領域を組み合わせることにより論理ボリュームＶ１，Ｖ２が作成されている。
【００６１】
なお、ＲＡＩＤグループＧ１のＲＡＩＤレベルは、ＲＡＩＤ５である。また、ＲＡＩＤグループＧ１のストライプの深さは、０ｘ８０  ＬＢＡ（Ｌｏｇｉｃａｌ  Ｂｌｏｃｋ  Ａｄｄｒｅｓｓｉｎｇ）である。
【００６２】
（ＲＡＩＤ管理テーブル６００の記憶内容）
つぎに、図５に示したＲＡＩＤグループＧ１を例に挙げて、ストレージ制御装置１０１が用いるＲＡＩＤ管理テーブル６００の記憶内容について説明する。ＲＡＩＤ管理テーブル６００は、ＲＡＩＤグループＧごとに作成され、例えば、図４に示したメモリ４０２に記憶される。
【００６３】
図６は、ＲＡＩＤ管理テーブル６００の記憶内容の一例を示す説明図（その１）である。図６において、ＲＡＩＤ管理テーブル６００は、ＲＡＩＤグループ番号、ステータス、ＲＡＩＤレベル、ボリューム配列、メンバディスク配列、ホットスペア配列およびストライプの深さに関する情報を有する。
【００６４】
ここで、ＲＡＩＤグループ番号は、ＲＡＩＤグループＧの識別情報である。ステータスは、ＲＡＩＤグループＧの状態である。詳細は後述するが、ＲＡＩＤグループＧのステータスとしては、例えば、正常、重複Ｒｅｂｕｉｌｄ、重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ、ＨＳ移設中（冗長）、更新反映中（冗長）などがある。ＲＡＩＤレベルは、ＲＡＩＤグループＧのＲＡＩＤレベルである。ＲＡＩＤレベルとしては、例えば、ＲＡＩＤ１、ＲＡＩＤ２、ＲＡＩＤ３、ＲＡＩＤ４、ＲＡＩＤ５、ＲＡＩＤ６などがある。
【００６５】
ボリューム配列は、ＲＡＩＤグループＧ上に作成された論理ボリュームの配列である。例えば、ボリューム配列［０］は、ＲＡＩＤグループＧ上に作成された１番目の論理ボリュームを表している。メンバディスク配列は、ＲＡＩＤグループＧに属するディスクＤｉの配列である。例えば、メンバディスク配列［０］は、ＲＡＩＤグループＧに属する１番目のディスクＤｉのディスク番号を表している。
【００６６】
ホットスペア配列は、ＲＡＩＤグループＧに組み込まれたホットスペアＨＳの配列である。例えば、ホットスペア配列［０］は、ＲＡＩＤグループＧに組み込まれた１番目のホットスペアＨＳのディスク番号を表している。ストライプの深さは、ＲＡＩＤグループＧのストライプの深さである。
【００６７】
（ディスク管理テーブル７００の記憶内容）
つぎに、ＲＡＩＤグループＧ１内のディスクＤ１を例に挙げて、ストレージ制御装置１０１が用いるディスク管理テーブル７００の記憶内容について説明する。ディスク管理テーブル７００は、例えば、ストレージ装置３０１が有するディスクＤ、ホットスペアＨＳ、仮想ディスクごとに作成され、例えば、図４に示したメモリ４０２に記憶される。
【００６８】
図７は、ディスク管理テーブル７００の記憶内容の一例を示す説明図（その１）である。図７において、ディスク管理テーブル７００は、ディスク番号、ステータス、仮想ディスクフラグ、仮想ディスクメンバ数、仮想ディスク配列、ＲＡＩＤグループ番号および優先度に関する情報を有する。
【００６９】
ここで、ディスク番号は、ディスクＤｉの識別情報である。ステータスは、ディスクＤｉの状態である。ディスクＤｉの状態としては、例えば、正常、故障などがある。仮想ディスクフラグは、ディスクＤｉが仮想ディスクとして動作しているか否かを示すフラグである。仮想ディスクフラグには、ディスクＤｉが仮想ディスクとして動作している場合に「ＯＮ」が設定され、ディスクＤｉが仮想ディスクとして動作していない場合に「ＯＦＦ」が設定される。
【００７０】
仮想ディスクメンバ数は、仮想ディスクを形成する実ディスクの本数である。ディスクＤｉが仮想ディスクとして動作していない場合は、仮想ディスクメンバ数に「０」が設定される。仮想ディスク配列は、仮想ディスクを形成する実ディスクの配列である。例えば、仮想ディスク配列［０］は、仮想ディスクを形成する１番目の実ディスクを表している。ディスクＤｉが仮想ディスクとして動作していない場合は、仮想ディスク配列［０］〜［ｘ］に「−（ｎｕｌｌ）」が設定される。
【００７１】
ＲＡＩＤグループ番号は、ディスクＤｉが属するＲＡＩＤグループＧの識別情報である。優先度は、ホットスペアＨＳに付与される優先度であり、ＲＡＩＤグループＧに組み込むホットスペアＨＳを検索する際に使用される。なお、優先度についての詳細な説明は、図１１を用いて後述する。
【００７２】
（ストレージ制御装置１０１の機能的構成例）
図８は、ストレージ制御装置１０１の機能的構成を示すブロック図である。図８において、ストレージ制御装置１０１は、故障検出部８０１と、検索部８０２と、割当部８０３と、復元部８０４と、書込部８０５と、通知部８０６と、受付部８０７と、交換検出部８０８と、判定部８０９と、組込部８１０と、更新部８１１と、を含む構成である。各機能部は、例えば、図４に示したメモリ４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、Ｉ／Ｆ４０３により、その機能を実現する。また、各機能部の処理結果は、例えば、メモリ４０２に記憶される。
【００７３】
故障検出部８０１は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障を検出する機能を有する。具体的には、例えば、故障検出部８０１は、ディスクＤｉに対するデータのリード／ライトが正常に行えなくなった場合に、ディスクＤｉの故障を検出することにしてもよい。
【００７４】
また、故障検出部８０１は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障を検出した場合、故障したディスクＤｉのディスク管理テーブル７００（図７参照）のステータスを「正常」から「故障」に変更する。これにより、ＲＡＩＤグループＧ内の故障ディスクを判別することができる。
【００７５】
検索部８０２は、ホットスペアＨＳ１〜ＨＳｍの中から、故障検出部８０１によって故障が検出された故障ディスクの代替ディスクとなる第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索する機能を有する。具体的には、例えば、検索部８０２は、各ホットスペアＨＳｊの記憶容量と故障ディスクの記憶容量とに基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索する。
【００７６】
また、検索部８０２は、故障ディスクの設置位置情報に基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することにしてもよい。また、検索部８０２は、ＲＡＩＤグループＧの故障ディスクを除く残余の正常ディスクの設置位置情報に基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することにしてもよい。
【００７７】
ここで、設置位置情報は、ストレージ装置３０１上の各ディスクＤや各ホットスペアＨＳｊの設置位置を特定するための情報である。具体的には、例えば、設置位置情報は、各ディスクＤや各ホットスペアＨＳｊが搭載されているエンクロージャや各ディスクＤや各ホットスペアＨＳｊが接続されているバックエンドループを特定するための情報である。
【００７８】
また、検索部８０２は、第１ホットスペアＨＳおよび第２ホットスペアＨＳのいずれかのホットスペアＨＳとして、代替ディスクとして使用されていない未使用のホットスペアＨＳを用いて仮想ディスクを作成することにしてもよい。なお、ホットスペアＨＳの検索処理例については後述する。
【００７９】
割当部８０３は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障が検出された場合、故障が検出された故障ディスクの代替ストレージとして、第１ホットスペアＨＳおよび第２ホットスペアＨＳをＲＡＩＤグループＧに組み込み、ＲＡＩＤグループＧのメンバディスクとして第１ホットスペアＨＳおよび第２ホットスペアＨＳを割り当てる機能を有する。
【００８０】
具体的には、例えば、割当部８０３は、ＲＡＩＤグループＧの冗長性が失われた場合に、検索部８０２によって検索された第１ホットスペアＨＳおよび第２ホットスペアＨＳをＲＡＩＤグループＧに組み込むことにしてもよい。また、割当部８０３は、作業者端末３０３（図３参照）により指定された第１ホットスペアＨＳおよび第２ホットスペアＨＳをＲＡＩＤグループＧに組み込むことにしてもよい。
【００８１】
より具体的には、例えば、割当部８０３は、第１ホットスペアＨＳおよび第２ホットスペアＨＳのディスク管理テーブル７００のＲＡＩＤグループ番号に、ＲＡＩＤグループＧのＲＡＩＤグループ番号を設定する。また、割当部８０３は、ＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００のホットスペア配列に第１ホットスペアＨＳおよび第２ホットスペアＨＳのディスク番号を設定する。この結果、ＲＡＩＤグループＧ内の故障ディスクの代替ディスクとして、第１ホットスペアＨＳおよび第２ホットスペアＨＳがＲＡＩＤグループＧに組み込まれる。
【００８２】
復元部８０４は、割当部８０３によってＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳに、故障ディスクの記憶内容を復元する機能を有する。具体的には、例えば、復元部８０４は、ディスクＤ１〜Ｄｎのうちの故障ディスクを除く残余のディスクの記憶内容に基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳに故障ディスクの記憶内容を復元する。
【００８３】
これにより、故障ディスクの代替ディスクとしてＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳを使用してＲＡＩＤグループＧの冗長性を回復することができる。
【００８４】
なお、ＲＡＩＤグループＧに１本のホットスペアＨＳ（例えば、第１ホットスペアＨＳ）しか組み込まれていない場合は、復元部８０４は、故障ディスクの記憶内容を第１ホットスペアＨＳに復元することにしてもよい。
【００８５】
以下の説明では、ＲＡＩＤグループＧの故障ディスクの記憶内容を復元する処理を「ＲＡＩＤグループＧのリビルド処理」と表記する場合がある。また、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳに故障ディスクの記憶内容を復元する処理を「ＲＡＩＤグループＧの重複リビルド処理」と表記する場合がある。また、ＲＡＩＤグループＧに組み込まれた１本のホットスペアＨＳに故障ディスクの記憶内容を復元する処理を「ＲＡＩＤグループＧの通常リビルド処理」と表記する場合がある。
【００８６】
書込部８０５は、ＲＡＩＤグループＧのリビルド処理を実行中に、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏが発生した場合、第１ホットスペアＨＳまたは／および第２ホットスペアＨＳに書込データを書き込む機能を有する。これにより、ＲＡＩＤグループＧを使用した業務を停止することなく、ＲＡＩＤグループＧの冗長性を回復することができる。なお、書込部８０５の具体的な処理内容については、後述する。
【００８７】
通知部８０６は、ＲＡＩＤグループＧのリビルド処理が完了した場合、ＲＡＩＤグループＧのリビルド処理が完了したことを示す完了通知を出力する機能を有する。出力形式としては、例えば、不図示のディスプレイへの表示、Ｉ／Ｆ４０３による他のコンピュータへの送信、メモリ４０２への記憶がある。
【００８８】
具体的には、例えば、通知部８０６は、ＲＡＩＤグループＧのリビルド処理が完了したことを示す完了通知を作業者端末３０３に送信することにしてもよい。これにより、ＣＥ等の作業者は、ＲＡＩＤグループＧのリビルド処理が完了したことを認識することができる。
【００８９】
受付部８０７は、ＲＡＩＤグループＧ内の故障ディスクの交換作業の開始を通知する開始通知を受け付ける機能を有する。具体的には、例えば、受付部８０７は、ＲＡＩＤグループＧ内の故障ディスクの交換作業の開始通知を作業者端末３０３から受け付けることにしてもよい。
【００９０】
また、割当部８０３は、ＲＡＩＤグループＧに組み込んだ第１ホットスペアＨＳおよび第２ホットスペアＨＳのうちの移設対象ホットスペアをＲＡＩＤグループＧから解放する。ここで、移設対象ホットスペアとは、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳのうち、ＲＡＩＤグループＧ内の故障ディスクと交換するホットスペアＨＳである。
【００９１】
以下の説明では、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳのうちの移設対象ホットスペアとは異なるホットスペアＨＳを「移設対象外ホットスペア」と表記する場合がある。
【００９２】
具体的には、例えば、ＲＡＩＤグループＧ内の故障ディスクの交換作業の開始通知を受け付けた場合、割当部８０３は、ＲＡＩＤグループＧから移設対象ホットスペアを切り離して、ストレージ装置３０１から切り離し可能な状態にする。より具体的には、例えば、割当部８０３は、移設対象ホットスペアのディスク管理テーブル７００のＲＡＩＤグループ番号に「−（ｎｕｌｌ）」を設定する。また、割当部８０３は、ＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００のホットスペア配列から移設対象ホットスペアのディスク番号を削除する。
【００９３】
なお、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳから移設対象ホットスペアを選択する具体的な処理内容については、図１１を用いて後述する。
【００９４】
また、割当部８０３は、ＲＡＩＤグループＧから切り離す移設対象ホットスペアの識別情報を、ＲＡＩＤグループＧの識別情報と関連付けて保持することにしてもよい。具体的には、例えば、割当部８０３は、移設対象ホットスペアのＷＷＮ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｎａｍｅ）とＲＡＩＤグループＧのＲＡＩＤグループ番号とを関連付けてメモリ４０２に保持することにしてもよい。
【００９５】
ＷＷＮとは、各ディスクＤや各ホットスペアＨＳｊに割り当てられた６４［ｂｉｔ］のアドレスである。ＷＷＮによれば、各ディスクＤや各ホットスペアＨＳｊを一意に識別することができる。割当部８０３は、ストレージ装置３０１に組み込まれている各ディスクＤや各ホットスペアＨＳｊからＷＷＮを読み取ることができる。
【００９６】
交換検出部８０８は、ＲＡＩＤグループＧ内の故障ディスクが他のディスクと交換されたことを検出する機能を有する。具体的には、例えば、交換検出部８０８は、ストレージ装置３０１から故障ディスクが取り外された後、故障ディスクが設置されていた設置位置（例えば、スロット）に他のディスクが取り付けられた場合に、故障ディスクが他のディスクと交換されたことを検出する。
【００９７】
以下の説明では、ＲＡＩＤグループＧ内の故障ディスクと交換された他のディスクを「交換ディスク」と表記する場合がある。
【００９８】
判定部８０９は、ＲＡＩＤグループＧ内の故障ディスクが交換ディスクと交換された場合、交換ディスクの識別情報が移設対象ホットスペアの識別情報と一致するか否かを判定する機能を有する。具体的には、例えば、判定部８０９は、交換ディスクのＷＷＮが、ＲＡＩＤグループＧのＲＡＩＤグループ番号と関連付けてメモリ４０２に保持されている移設対象ホットスペアのＷＷＮと一致するか否かを判定する。
【００９９】
これにより、ＲＡＩＤグループＧ内の故障ディスクと交換された交換ディスクが、移設対象ホットスペアと同一か否かを判定することができる。
【０１００】
組込部８１０は、ＲＡＩＤグループＧのリビルド処理が完了した結果、移設対象ホットスペアがストレージ装置３０１から切り離された後に故障ディスクと交換された交換ディスクをＲＡＩＤグループＧに組み込む機能を有する。具体的には、例えば、組込部８１０は、ＲＡＩＤグループＧ内の故障ディスクが交換ディスクと交換された場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことにしてもよい。
【０１０１】
より具体的には、例えば、組込部８１０は、交換ディスクのディスク管理テーブル７００のＲＡＩＤグループ番号に、ＲＡＩＤグループＧのＲＡＩＤグループ番号を設定する。また、割当部８０３は、ＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００の故障ディスクに相当するメンバディスク配列に交換ディスクのディスク番号を設定する。これにより、故障ディスクの換わりに交換ディスクをＲＡＩＤグループＧに組み込むことができる。
【０１０２】
また、組込部８１０は、判定部８０９によって交換ディスクの識別情報が移設対象ホットスペアの識別情報と一致すると判定された場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことにしてもよい。これにより、交換ディスクとして移設対象ホットスペアが取り付けられた場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことができ、故障ディスクの記憶内容が復元されていない誤ったディスクがＲＡＩＤグループＧに組み込まれることを防ぐことができる。
【０１０３】
なお、ストレージ制御装置１０１は、交換ディスクの識別情報が移設対象ホットスペアの識別情報と不一致の場合、ストレージ装置３０１から交換ディスクを切り離し可能な状態にして、作業者端末３０３にリトライ要求を出力することにしてもよい。リトライ要求は、交換作業のリトライを作業者に促すアラームである。これにより、ＣＥ等の作業者は、交換ディスクとして誤ったディスクを取り付けたことを認識することができ、交換作業のリトライを実施することができる。
【０１０４】
また、書込部８０５は、ＲＡＩＤグループＧから移設対象ホットスペアが切り離されてからＲＡＩＤグループＧに交換ディスクが組み込まれるまでの間に故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏが発生した場合、移設対象外ホットスペアに書込データを書き込む。
【０１０５】
以下の説明では、ＲＡＩＤグループＧから移設対象ホットスペアが切り離されてからＲＡＩＤグループＧに交換ディスクが組み込まれるまでの間の期間を「故障ディスクの交換作業中」と表記する場合がある。
【０１０６】
また、書込部８０５は、故障ディスクの交換作業中に移設対象外ホットスペアに書き込んだ書込データの書込先を表す書込先情報を保持する機能を有する。具体的には、例えば、書込部８０５は、図９に示すビットマップテーブル９００を用いて、移設対象外ホットスペアに書き込んだ書込データの書込先を表す書込先情報を保持することにしてもよい。
【０１０７】
ここで、ビットマップテーブル９００の記憶内容について説明する。ビットマップテーブル９００は、例えば、メモリ４０２により実現され、ＲＡＩＤグループＧの移設対象外ホットスペアごとに作成される。
【０１０８】
図９は、ビットマップテーブル９００の記憶内容の一例を示す説明図である。図９において、ビットマップテーブル９００は、ＲＡＩＤグループＧの移設対象外ホットスペアの記憶領域を所定のデータサイズＸで区切って分割した分割領域ごとの書込フラグを有している。
【０１０９】
書込フラグは、分割領域に書込データが書き込まれたか否かを示す１ビットの情報である。書込フラグには、初期状態では「０」が設定されている。また、分割領域に書込データが書き込まれた場合に書込フラグに「１」が設定される。移設対象外ホットスペアの記憶領域を区切るデータサイズＸは、例えば、２５６［ＫＢ］である。
【０１１０】
具体的には、例えば、ビットマップテーブル９００は、左上のビットを移設対象外ホットスペアの先頭の分割領域の書込フラグとして、左から右に向かって各分割領域の書込フラグをアドレス順に表している。また、ビットマップテーブル９００の右下のビットは、移設対象外ホットスペアの末尾の分割領域の書込フラグを表している。
【０１１１】
一例として、移設対象外ホットスペアの先頭の分割領域に書込データが書き込まれた場合を想定する。この場合、書込部８０５は、ビットマップテーブル９００の左上の書込フラグを「０」から「１」に変更する。
【０１１２】
ビットマップテーブル９００によれば、故障ディスクの交換作業中に移設対象外ホットスペアに書き込まれた書込データの書込先を特定することができる。また、移設対象外ホットスペアの記憶領域を所定のデータサイズで区切った分割領域単位で書込フラグを管理することにより、書込データの書込先を表す書込先情報を保持するためのメモリ４０２の使用量を抑制することができる。
【０１１３】
例えば、１ビットで２５６［ＫＢ］の記憶領域を管理すると、２［ＴＢ］のディスクＤの新規Ｗｒｉｔｅ  Ｉ／Ｏの監視に必要となるテーブルサイズは「１０２４＊１０２４＊１０２４＊２／２５６／８」＝１０４８５７６［ｂｙｔｅ］＝１［ＭＢ］となる。
【０１１４】
図８の説明に戻り、更新部８１１は、ＲＡＩＤグループＧへの交換ディスクの組み込みが完了した場合、書込部８０５によって保持されている書込先情報を参照して、移設対象外ホットスペアに記憶されている書込データを交換ディスクに書き込む機能を有する。
【０１１５】
具体的には、例えば、更新部８１１は、図９に示したビットマップテーブル９００を参照して、書込フラグに「１」が設定されている移設対象外ホットスペアの分割領域のデータを読み出す。そして、更新部８１１は、移設対象外ホットスペアの分割領域から読み出したデータを、読出元の分割領域に対応する移設対象ホットスペアの記憶領域に書き込む。
【０１１６】
これにより、移設対象ホットスペアの記憶内容を、移設対象外ホットスペアの記憶内容と等価とすることができる。なお、移設対象ホットスペアの記憶内容の更新中に移設対象ホットスペアへのＷｒｉｔｅ  Ｉ／Ｏが発生した場合、更新部８１１は、例えば、当該Ｗｒｉｔｅ  Ｉ／Ｏをメモリ４０２に退避しておき、更新完了後に退避したＷｒｉｔｅ  Ｉ／Ｏの書込処理を実行する。
【０１１７】
また、割当部８０３は、更新部８１１による交換ディスクへの書込データの書き込みが完了した場合、ＲＡＩＤグループＧから移設対象外ホットスペアを切り離すことにしてもよい。具体的には、例えば、割当部８０３は、移設対象外ホットスペアのディスク管理テーブル７００のＲＡＩＤグループ番号に「−（ｎｕｌｌ）」を設定する。また、割当部８０３は、ＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００のホットスペア配列から移設対象外ホットスペアのディスク番号を削除する。これにより、ＲＡＩＤグループＧに組み込んだ移設対象外ホットスペアを解放することができ、代替ストレージとして使用することができるようになる。
【０１１８】
また、書込部８０５は、ＲＡＩＤグループＧから移設対象外ホットスペアが切り離された場合、故障ディスクの交換作業中に移設対象外ホットスペアに書き込んだ書込データの書込先を表す書込先情報を削除することにしてもよい。具体的には、例えば、書込部８０５は、ＲＡＩＤグループＧから移設対象外ホットスペアが切り離された場合、ＲＡＩＤグループＧのビットマップテーブル９００をメモリ４０２から削除することにしてもよい。これにより、ディスク故障の発生前の状態に復旧したＲＡＩＤグループＧのビットマップテーブル９００をメモリ４０２から削除して、メモリ４０２の使用量を削減することができる。
【０１１９】
なお、通知部８０６は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障が検出された場合、ディスクＤｉが故障したことを示す故障通知を出力することにしてもよい。具体的には、例えば、通知部８０６は、ＲＡＩＤグループＧのディスクＤｉが故障したことを示す故障通知を作業者端末３０３に送信することにしてもよい。これにより、ＣＥ等の作業者は、ＲＡＩＤグループＧのディスクＤｉが故障したことを認識することができる。
【０１２０】
（ＲＡＩＤグループＧの状態遷移例）
つぎに、ディスク故障を契機に遷移するＲＡＩＤグループＧのステータスについて説明する。図１０は、ＲＡＩＤグループＧの状態遷移例を示す説明図である。図１０において、状態遷移図１０００は、ディスク故障を契機に次々と遷移するＲＡＩＤグループＧのステータスを示している。
【０１２１】
ＲＡＩＤグループＧのステータスは、ＲＡＩＤグループＧのいずれかのディスクが故障すると「正常」から「重複Ｒｅｂｕｉｌｄ」または「通常Ｒｅｂｕｉｌｄ」または「縮退」に遷移する。ここで、重複Ｒｅｂｕｉｌｄは、２本のホットスペアＨＳ（第１ホットスペアＨＳおよび第２ホットスペアＨＳ）を用いたリビルド処理を実行中の状態である。通常Ｒｅｂｕｉｌｄは、１本のホットスペアＨＳ（第１ホットスペアＨＳ）を用いたリビルド処理を実行中の状態である。縮退は、データの冗長性を失った状態である。
【０１２２】
「重複Ｒｅｂｕｉｌｄ」のＲＡＩＤグループＧのリビルド処理が完了すると、ＲＡＩＤグループＧのステータスは「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に遷移する。重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅは、リビルド完了後のホットスペアＨＳ（２本）を用いて冗長性が回復した状態である。
【０１２３】
「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」のＲＡＩＤグループＧの故障ディスクの交換作業の開始通知を受け付けると、ＲＡＩＤグループＧのステータスは「ＨＳ移設中（冗長）」に遷移する。ＨＳ移設中（冗長）は、ＲＡＩＤグループＧに組み込まれた２本のホットスペアＨＳのうちの１本のホットスペアＨＳ（移設対象ホットスペア）が切り離された状態である。
【０１２４】
「ＨＳ移設中（冗長）」のＲＡＩＤグループＧへの交換ディスク（移設対象ホットスペア）の組み込みが完了すると、ＲＡＩＤグループＧのステータスは「更新反映中（冗長）」に遷移する。更新反映中（冗長）は、移設対象外ホットスペアの記憶内容に基づいて交換ディスクの記憶内容を更新中の状態である。
【０１２５】
「更新反映中（冗長）」のＲＡＩＤグループＧの交換ディスクの記憶内容の更新が完了して、移設対象外ホットスペアがＲＡＩＤグループＧから切り離されると、ＲＡＩＤグループＧのステータスは「正常」に遷移する。
【０１２６】
「通常Ｒｅｂｕｉｌｄ」のＲＡＩＤグループＧのリビルド処理が完了すると、ＲＡＩＤグループＧのステータスは「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に遷移する。通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅは、リビルド完了後のホットスペアＨＳ（１本）を用いて冗長性が回復した状態である。
【０１２７】
「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」のＲＡＩＤグループＧの故障ディスクの交換作業の開始通知を受け付けると、ＲＡＩＤグループＧのステータスは「ＨＳ移設中（非冗長）」に遷移する。ＨＳ移設中（非冗長）は、ＲＡＩＤグループＧに組み込まれた１本のホットスペアＨＳ（移設対象ホットスペア）が切り離された状態である。
【０１２８】
「ＨＳ移設中（非冗長）」のＲＡＩＤグループＧへの交換ディスクの組み込みが完了すると、ＲＡＩＤグループＧのステータスは「更新反映中（非冗長）」に遷移する。更新反映中（非冗長）は、正常ディスクの記憶内容に基づいて交換ディスクの記憶内容を更新中の状態である。
【０１２９】
「更新反映中（非冗長）」のＲＡＩＤグループＧの交換ディスクの記憶内容の更新が完了すると、ＲＡＩＤグループＧのステータスは「正常」に遷移する。
【０１３０】
なお、「ＨＳ移設中（冗長）」のＲＡＩＤグループＧへの交換ディスク（移設対象ホットスペア）の組み込みが失敗すると、ＲＡＩＤグループＧのステータスは「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に遷移する。また、「ＨＳ移設中（非冗長）」のＲＡＩＤグループＧへの交換ディスクの組み込みが失敗すると、ＲＡＩＤグループＧのステータスは「縮退」に遷移する。
【０１３１】
（ホットスペアＨＳの検索処理例）
つぎに、故障ディスクの代替ディスクとなる第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索する具体的な処理内容について説明する。
【０１３２】
まず、検索部８０２は、ホットスペアＨＳ１〜ＨＳｍの中から、第１検索条件を満たすホットスペアＨＳを検索する。ここで、第１検索条件を満たすホットスペアＨＳは、下記（ａ−１）または下記（ａ−２）の未使用のホットスペアＨＳである。なお、未使用のホットスペアＨＳとは、代替ディスクとして組み込まれていないホットスペアＨＳである。
【０１３３】
（ａ−１）ＲＡＩＤグループＧの故障ディスクと同一バックエンドループに接続されているホットスペアＨＳ
（ａ−２）ＲＡＩＤグループＧの故障ディスクとは異なる正常ディスクが接続されているバックエンドループ以外のバックエンドループに接続されているホットスペアＨＳ
【０１３４】
なお、各ホットスペアＨＳｊが接続されているバックエンドループは、メモリ４０２に記憶されている設置位置情報から特定することにしてもよく、また、検索部８０２が各ホットスペアＨＳｊにアクセスして特定することにしてもよい。
【０１３５】
ここで、第１検索条件を満たすホットスペアＨＳが検索された場合、検索部８０２は、第１検索条件を満たすホットスペアＨＳの中から、下記（ｉ）のホットスペアＨＳを検索する。
【０１３６】
（ｉ）ＲＡＩＤグループＧの故障ディスクと同一の記憶容量を有するホットスペアＨＳ
【０１３７】
上記（ｉ）のホットスペアＨＳが２本検索された場合、割当部８０３は、検索された２本のホットスペアＨＳを第１ホットスペアＨＳおよび第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。また、上記（ｉ）のホットスペアＨＳが１本検索された場合、割当部８０３は、検索された１本のホットスペアＨＳを第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。
【０１３８】
なお、第１検索条件を満たす上記（ｉ）のホットスペアＨＳには優先度「１」が設定される。優先度は、第１ホットスペアＨＳおよび第２ホットスペアＨＳから移設対象ホットスペアを選択する際に用いられる指標値である。
【０１３９】
つぎに、第１ホットスペアＨＳおよび第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、第１検索条件を満たすホットスペアＨＳの中から、下記（ｉｉ）のホットスペアＨＳを検索する。
【０１４０】
（ｉｉ）ＲＡＩＤグループＧの故障ディスクの記憶容量以上のホットスペアＨＳのうち記憶容量が最小のホットスペアＨＳ
【０１４１】
上記（ｉｉ）のホットスペアＨＳが検索された場合、割当部８０３は、組み込みが完了していない第１ホットスペアＨＳまたは第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。なお、第１検索条件を満たす上記（ｉｉ）のホットスペアＨＳには優先度「２」が設定される。
【０１４２】
つぎに、第１ホットスペアＨＳおよび第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、ホットスペアＨＳ１〜ＨＳｍの中から、第２検索条件を満たすホットスペアＨＳを検索する。ここで、第２検索条件を満たすホットスペアＨＳは、下記（ｂ）の未使用のホットスペアＨＳである。
【０１４３】
（ｂ）ＲＡＩＤグループＧの故障ディスクとは異なる正常ディスクが接続されているバックエンドループに接続されているホットスペアＨＳ
【０１４４】
第２検索条件を満たすホットスペアＨＳが検索された場合、検索部８０２は、第２検索条件を満たすホットスペアＨＳの中から、上記（ｉ）のホットスペアＨＳを検索する。
【０１４５】
ここで、上記（ｉ）のホットスペアＨＳが検索された場合、割当部８０３は、組み込みが完了していない第１ホットスペアＨＳまたは第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。なお、第２検索条件を満たす上記（ｉ）のホットスペアＨＳには優先度「３」が設定される。
【０１４６】
つぎに、第１ホットスペアＨＳおよび第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、第２検索条件を満たすホットスペアＨＳの中から、上記（ｉｉ）のホットスペアＨＳを検索する。
【０１４７】
上記（ｉｉ）のホットスペアＨＳが検索された場合、割当部８０３は、組み込みが完了していない第１ホットスペアＨＳまたは第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。なお、第２検索条件を満たす上記（ｉｉ）のホットスペアＨＳには優先度「４」が設定される。
【０１４８】
つぎに、第１ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、ホットスペアＨＳ１〜ＨＳｍの中から、第３検索条件を満たすホットスペアＨＳを検索する。ここで、第３検索条件を満たすホットスペアＨＳは、下記（ｃ）のホットスペアＨＳである。
【０１４９】
（ｃ）ステータスが「重複Ｒｅｂｕｉｌｄ」または「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」のＲＡＩＤグループＧに組み込まれている第１ホットスペアＨＳおよび第２ホットスペアＨＳのうち優先度が最低のホットスペアＨＳ
【０１５０】
第３検索条件を満たすホットスペアＨＳが検索された場合、検索部８０２は、第３検索条件を満たすホットスペアＨＳの中から、上記（ｉ）のホットスペアＨＳを検索する。
【０１５１】
ここで、上記（ｉ）のホットスペアＨＳが検索された場合、割当部８０３は、検索されたホットスペアＨＳを他のＲＡＩＤグループＧから奪取して、第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。この際、割当部８０３は、他のＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００のホットスペア配列から、奪取したホットスペアＨＳのディスク番号を削除する。なお、第３検索条件を満たす上記（ｉ）のホットスペアＨＳには優先度「５」が設定される。
【０１５２】
つぎに、第１ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、第３検索条件を満たすホットスペアＨＳの中から、上記（ｉｉ）のホットスペアＨＳを検索する。
【０１５３】
ここで、上記（ｉｉ）のホットスペアＨＳが検索された場合、割当部８０３は、検索されたホットスペアＨＳを他のＲＡＩＤグループＧから奪取して、第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。この際、割当部８０３は、他のＲＡＩＤグループＧのＲＡＩＤ管理テーブル６００のホットスペア配列から、奪取したホットスペアＨＳのディスク番号を削除する。なお、第２検索条件を満たす上記（ｉｉ）のホットスペアＨＳには優先度「６」が設定される。
【０１５４】
つぎに、第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、ホットスペアＨＳ１〜ＨＳｍの中から、第４検索条件を満たすホットスペアＨＳを検索する。ここで、第４検索条件を満たすホットスペアＨＳは、下記（ｄ）の未使用のホットスペアＨＳである。
【０１５５】
（ｄ）ＲＡＩＤグループＧの故障ディスクよりも小さい記憶容量を有するホットスペアＨＳのうち、記憶容量が故障ディスクの記憶容量の１／Ｋ以上のホットスペアＨＳ
ただし、Ｋは、任意に設定可能な係数である（例えば、Ｋ＝２）。
【０１５６】
第４検索条件を満たすホットスペアＨＳが検索された場合、検索部８０２は、第４検索条件を満たすホットスペアＨＳの中から、下記（ｉｉｉ）または下記（ｉｖ）のホットスペアＨＳを検索する。
【０１５７】
（ｉｉｉ）ＲＡＩＤグループＧの故障ディスクと同一バックエンドループに接続されているホットスペアＨＳ
（ｉｖ）ＲＡＩＤグループＧの故障ディスクとは異なる正常ディスクが接続されているバックエンドループ以外のバックエンドループに接続されているホットスペアＨＳ
【０１５８】
上記（ｉｉｉ）または上記（ｉｖ）のホットスペアＨＳがＫ本検索された場合、割当部８０３は、検索されたＫ本のホットスペアＨＳを用いて１本の仮想ディスクを形成して第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。なお、第４検索条件を満たす上記（ｉｉｉ）または上記（ｉｖ）のＫ本のホットスペアＨＳから形成された仮想ディスクには優先度「７」が設定される。仮想ディスクの作成例については、図１２を用いて後述する。
【０１５９】
つぎに、第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、第４検索条件を満たすホットスペアＨＳの中から、下記（ｖ）のホットスペアＨＳを検索する。
【０１６０】
（ｖ）ＲＡＩＤグループＧの故障ディスクとは異なる正常ディスクが接続されているバックエンドループに接続されているホットスペアＨＳ
【０１６１】
上記（ｉｉｉ）または上記（ｉｖ）または上記（ｖ）のホットスペアＨＳが２本検索された場合、割当部８０３は、検索されたＫ本のホットスペアＨＳを用いて１本の仮想ディスクを作成して第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む。なお、第４検索条件を満たす上記（ｉｉｉ）または上記（ｉｖ）または上記（ｖ）の２本のホットスペアＨＳから作成された仮想ディスクには優先度「８」が設定される。
【０１６２】
ここで、第２ホットスペアＨＳの組み込みが完了していない場合、検索部８０２は、第４検索条件の係数Ｋを変更して（例えば、Ｋ＝３）、同様のルールでＫ本のホットスペアＨＳを検索する検索処理を行うことにしてもよい。
【０１６３】
なお、ストレージ装置３０１がサポートするホットスペアＨＳの記憶容量が決まっている場合は、第４検索条件の係数Ｋを仕様に沿って設定することにしてもよい。
【０１６４】
このように、第１〜第４検索条件に基づいて第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することにより、同一エンクロージャ／同一バックエンドループ上にＲＡＩＤグループＧのストレージＳＴが偏る状態を回避することができる。この結果、あるエンクロージャがダウンした時にＲＡＩＤグループＧが故障状態となるリスクを低減させることができる。
【０１６５】
（移設対象ホットスペアの選択処理例）
つぎに、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳから移設対象ホットスペアを選択する具体的な処理内容について説明する。ここで、移設対象ホットスペアを選択する際に用いる選択ポリシー１１００について説明する。
【０１６６】
図１１は、選択ポリシー１１００の具体例を示す説明図である。図１１において、選択ポリシー１１００は、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳから移設対象ホットスペアを選択する際のポリシーを示している。図１１中、ＨＳ１は、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳを表しており、ＨＳ２は、ＲＡＩＤグループＧに組み込まれた第２ホットスペアＨＳを表している。
【０１６７】
割当部８０３は、選択ポリシー１１００を参照して、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳから移設対象ホットスペアを選択する。選択ポリシー１０００は、故障ディスクの記憶容量と同一の記憶容量であることと、交換作業中にループ冗長性が保持されることを重視して移設対象ホットスペアを選択するものとなっている。
【０１６８】
例えば、ＨＳ１の優先度が「１」で、ＨＳ２の優先度が「１」の場合、割当部８０３は、選択ポリシー１１００を参照して、ＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳを移設対象ホットスペアとして選択する。また、ＨＳ１の優先度が「２」で、ＨＳ２の優先度が「３」の場合、割当部８０３は、選択ポリシー１１００を参照して、ＲＡＩＤグループＧに組み込まれた第２ホットスペアＨＳを移設対象ホットスペアとして選択する。
【０１６９】
また、通知部８０６は、割当部８０３によって選択された移設対象ホットスペアを識別するための移設通知を出力することにしてもよい。移設通知には、移設対象ホットスペアのディスク番号や配置位置を示す情報である。具体的には、例えば、通知部８０６は、移設対象ホットスペアを識別するための移設通知を作業者端末３０３に送信することにしてもよい。これにより、ＣＥ等の作業者は、故障ディスクと交換する交換ディスクとしてストレージ装置３０１から取り外すべきホットスペアＨＳを認識することができる。
【０１７０】
（仮想ディスクの作成例）
つぎに、仮想ディスクの作成例について説明する。ここでは、図５に示したＲＡＩＤグループＧ１のディスクＤ１が故障した場合を例に挙げて、ＲＡＩＤグループＧ１に組み込む第２ホットスペアＨＳとして仮想ディスクを作成する場合について説明する。
【０１７１】
図１２は、仮想ディスクの作成例を示す説明図である。図１２において、ＲＡＩＤグループＧ１のディスクＤ１が故障した結果、ＲＡＩＤグループＧ１に第１ホットスペアＨＳおよび第２ホットスペアＨＳが組み込まれている。
【０１７２】
ここで、第１ホットスペアＨＳは、記憶容量（３［ＴＢ］）が故障ディスクＤ１の記憶容量（２［ＴＢ］）以上のホットスペアＨＳ１０である。また、第２ホットスペアＨＳは、記憶容量（２２５０［ＧＢ］）が故障ディスクＤ１の記憶容量（２［ＴＢ］）以上の仮想ディスクＦＥである。
【０１７３】
また、仮想ディスクＦＥは、ホットスペアＨＳ２０とホットスペアＨＳ２１とホットスペアＨＳ２２とを組み合わせて形成された論理的な１本のディスクである。このように、故障ディスクＤ１の記憶容量以上のホットスペアＨＳが２本存在しない場合は、複数のホットスペアＨＳを組み合わせて仮想ディスクＦＥを作成することにより、ＲＡＩＤグループＧ１に第２ホットスペアＨＳを組み込むことができる。
【０１７４】
ここで、図１３を用いて、第２ホットスペアＨＳとして仮想ディスクＦＥが組み込まれたＲＡＩＤグループＧ１のＲＡＩＤ管理テーブル６００の記憶内容について説明する。また、図１４を用いて、ＲＡＩＤグループＧ１に組み込まれた仮想ディスクＦＥのディスク管理テーブル７００の記憶内容について説明する。
【０１７５】
図１３は、ＲＡＩＤ管理テーブル６００の記憶内容の一例を示す説明図（その２）である。図１３において、ＲＡＩＤ管理テーブル６００のホットスペア配列には、ＲＡＩＤグループＧ１に組み込まれているホットスペアＨＳ１０のディスク番号「ＨＳ１０」および仮想ディスクＦＥのディスク番号「ＦＥ」が設定されている。
【０１７６】
図１４は、ディスク管理テーブル７００の記憶内容の一例を示す説明図（その２）である。図１４において、仮想ディスクＦＥのディスク管理テーブル７００の仮想ディスクフラグには「ＯＮ」が設定され、仮想ディスクメンバ数に「３」が設定されている。また、仮想ディスクＦＥのディスク管理テーブル７００の仮想ディスク配列［０］〜［２］には、仮想ディスクＦＥを形成しているホットスペアＨＳ２０，ＨＳ２１，ＨＳ２２のディスク番号「ＨＳ２０，ＨＳ２１，ＨＳ２２」が設定されている。
【０１７７】
なお、図１４中、仮想ディスクＦＥのディスク管理テーブル７００の下に示す３つのディスク管理テーブル７００は、仮想ディスクＦＥを形成しているホットスペアＨＳ２０，ＨＳ２１，ＨＳ２２のディスク管理テーブル７００である。
【０１７８】
（書込部８０５の具体的な処理内容）
つぎに、書込部８０５の具体的な処理内容について説明する。書込部８０５の処理内容は、ＲＡＩＤグループＧのステータスに応じて異なる。以下、ＲＡＩＤグループＧのステータスごとの書込部８０５の処理内容について説明する。
【０１７９】
＜ＲＡＩＤグループＧのステータス：正常＞
ＲＡＩＤグループＧのステータスが「正常」の場合、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求先となるディスクＤｉに対して書込データを書き込む。
【０１８０】
＜ＲＡＩＤグループＧのステータス：通常Ｒｅｂｕｉｌｄ＞
ＲＡＩＤグループＧのステータスが「通常Ｒｅｂｕｉｌｄ」の場合、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みか否かを判断する。ここで、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みの場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、移設対象ホットスペアに書込データを書き込む。故障ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８１】
一方、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みでない場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、縮退Ｗｒｉｔｅを実施する。縮退Ｗｒｉｔｅとは、ミラーリングを行うＲＡＩＤレベルの場合、冗長側ディスクに対して書き込みを実施することである。また、パリティを用いるＲＡＩＤレベルの場合は、ＲＡＩＤグループＧの正常ディスクのデータと整合がとれるようなパリティデータの書き込みを実施することである。
【０１８２】
なお、Ｒｅａｄ  Ｉ／Ｏの要求範囲がリビルド済みでない場合、書込部８０５は、故障ディスクへのＲｅａｄ  Ｉ／Ｏについては、縮退Ｒｅａｄを実施する。縮退Ｒｅａｄとは、ミラーリングを行うＲＡＩＤレベルの場合、冗長側ディスクに対して読み込みを実施することである。また、パリティを用いるＲＡＩＤレベルの場合は、ＲＡＩＤグループＧの正常ディスクからＸＯＲ等によってデータを復元することである。
【０１８３】
＜ＲＡＩＤグループＧのステータス：通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ＞
ＲＡＩＤグループＧのステータスが「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」の場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、移設対象ホットスペアに書込データを書き込む。故障ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８４】
＜ＲＡＩＤグループＧのステータス：重複Ｒｅｂｕｉｌｄ＞
ＲＡＩＤグループＧのステータスが「重複Ｒｅｂｕｉｌｄ」の場合、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みか否かを判断する。ここで、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みの場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、移設対象ホットスペアおよび移設対象外ホットスペアに書込データを書き込む。一方、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲がリビルド済みでない場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、縮退Ｗｒｉｔｅを実施する。故障ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８５】
＜ＲＡＩＤグループＧのステータス：縮退＞
ＲＡＩＤグループＧのステータスが「縮退」の場合、書込部８０５は、故障ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、縮退Ｗｒｉｔｅを実施する。故障ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８６】
＜ＲＡＩＤグループＧのステータス：ＨＳ移設中（非冗長）＞
ＲＡＩＤグループＧのステータスが「ＨＳ移設中（非冗長）」の場合、書込部８０５は、交換ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、縮退Ｗｒｉｔｅを実施する。この際、書込部８０５は、ビットマップテーブル９００の更新も行う。交換ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８７】
＜ＲＡＩＤグループＧのステータス：ＨＳ移設中（冗長）＞
ＲＡＩＤグループＧのステータスが「ＨＳ移設中（冗長）」の場合、書込部８０５は、交換ディスクへのＷｒｉｔｅ  Ｉ／Ｏについては、移設対象外ホットスペアに書込データを書き込む。この際、書込部８０５は、ビットマップテーブル９００の更新も行う。交換ディスクへのＲｅａｄ  Ｉ／Ｏについても同様である。
【０１８８】
＜ＲＡＩＤグループＧのステータス：更新反映中（冗長）＞
ＲＡＩＤグループＧのステータスが「更新反映中（冗長）」の場合、書込部８０５は、ビットマップテーブル９００を参照して、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が必要か否かを判断する。すなわち、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の書込フラグが「１」となっているか否かを判断する。
【０１８９】
ここで、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が不要の場合、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求先となるディスクＤｉに対して書込データを書き込む。Ｒｅａｄ  Ｉ／Ｏについても同様である。
【０１９０】
一方、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が必要な場合、書込部８０５は、移設対象ホットスペアのデータを交換ディスクに複製した後、Ｗｒｉｔｅ  Ｉ／Ｏの要求先となるディスクＤｉに対して書込データを書き込む。Ｒｅａｄ  Ｉ／Ｏについても同様である。
【０１９１】
＜ＲＡＩＤグループＧのステータス：更新反映中（非冗長）＞
ＲＡＩＤグループＧのステータスが「更新反映中（非冗長）」の場合、書込部８０５は、ビットマップテーブル９００を参照して、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が必要か否かを判断する。
【０１９２】
ここで、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が不要の場合、書込部８０５は、Ｗｒｉｔｅ  Ｉ／Ｏの要求先となるディスクＤｉに対して書込データを書き込む。Ｒｅａｄ  Ｉ／Ｏについても同様である。
【０１９３】
一方、Ｗｒｉｔｅ  Ｉ／Ｏの要求範囲の更新が必要な場合、書込部８０５は、ＲＡＩＤグループＧの正常ディスクからのＸＯＲ等による復元データを交換ディスクに複製した後、Ｗｒｉｔｅ  Ｉ／Ｏの要求先となるディスクＤｉに対して書込データを書き込む。Ｒｅａｄ  Ｉ／Ｏについても同様である。
【０１９４】
（アクセスすべきアドレスの計算例）
つぎに、図１２に示したＲＡＩＤグループＧ１を例に挙げて、アクセス要求（Ｒｅａｄ／Ｗｒｉｔｅ  Ｉ／Ｏ）の発生時にアクセスすべきアドレスの計算例について説明する。なお、ＲＡＩＤグループＧ１のストライプの深さは「０ｘ８０  ＬＢＡ（１０進数：１２８  ＬＢＡ）」である。
【０１９５】
ここでは、ＲＡＩＤグループＧ１の故障ディスクＤ１のＬＢＡ＝０ｘ００１０００２４にアクセス要求が発生した場合を想定する。この場合、故障ディスクＤ１の代替ディスクとしてＲＡＩＤグループＧ１に組み込まれたホットスペアＨＳ１０および仮想ディスクＦＥに対してアクセス要求が行われる。
【０１９６】
まず、ホットスペアＨＳ１０については、ストレージ制御装置１０１は、ホットスペアＨＳ１０のＬＢＡ＝０ｘ００１０００２４にアクセスしてＩ／Ｏ処理を実施する。一方、仮想ディスクＦＥについては、ストレージ制御装置１０１は、以下のように実際にアクセスする物理ディスクとアドレスを決定する。
【０１９７】
アクセスすべきディスク
＝仮想ディスク配列［（０ｘ００１０００２４／０ｘ８０）％３］
＝仮想ディスク配列［０ｘ２０００％３］
＝仮想ディスク配列［２］
＝ホットスペアＨＳ２２
なお、「％３」は、３で割った余りを表している。
【０１９８】
アクセスすべきアドレス
＝０ｘ００１０００２４／（０ｘ８０＊３）＊０ｘ８０
＋０ｘ００１０００２４％０ｘ８０
＝（０ｘ００１０００２４／０ｘ１８０）＊０ｘ８０
＋０ｘ００１０００２４％０ｘ８０
＝０ｘＡＡＡ＊０ｘ８０＋０ｘ２４
＝０ｘ５５５００＋０ｘ２４
＝０ｘ５５５２４
【０１９９】
このように、仮想ディスクＦＥの０ｘ００１０００２４  ＬＢＡにアクセスする場合、ストレージ制御装置１０１は、実際はホットスペアＨＳ２２の０ｘ５５５２４  ＬＢＡにアクセスしてＩ／Ｏ処理を実施する。
【０２００】
（ストレージ制御装置１０１の各種処理手順）
つぎに、ストレージ制御装置１０１の各種処理手順について説明する。ここでは、まず、ストレージ制御装置１０１のリビルド処理手順について説明する。
【０２０１】
＜リビルド処理手順＞
図１５は、ストレージ制御装置１０１のリビルド処理手順の一例を示すフローチャートである。図１５のフローチャートにおいて、まず、ストレージ制御装置１０１は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障を検出したか否かを判断する（ステップＳ１５０１）。
【０２０２】
ここで、ストレージ制御装置１０１は、ＲＡＩＤグループＧのいずれかのディスクＤｉの故障を検出するのを待つ（ステップＳ１５０１：Ｎｏ）。そして、ディスクＤｉの故障を検出した場合（ステップＳ１５０１：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペア検索処理を実行する（ステップＳ１５０２）。
【０２０３】
ホットスペア検索処理は、故障ディスクの代替ディスクとしてＲＡＩＤグループＧに組み込むホットスペアＨＳを検索する処理である。ホットスペア検索処理の具体的な処理手順については、図１６〜図２０を用いて後述する。
【０２０４】
つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧにホットスペアＨＳが２本組み込まれたか否かを判断する（ステップＳ１５０３）。ここで、ホットスペアＨＳが２本組み込まれている場合（ステップＳ１５０３：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「正常」から「重複Ｒｅｂｕｉｌｄ」に変更する（ステップＳ１５０４）。
【０２０５】
そして、ストレージ制御装置１０１は、重複Ｒｅｂｕｉｌｄ処理の実行を開始する（ステップＳ１５０５）。つぎに、ストレージ制御装置１０１は、重複Ｒｅｂｕｉｌｄ処理が完了したか否かを判断する（ステップＳ１５０６）。ここで、ストレージ制御装置１０１は、重複Ｒｅｂｕｉｌｄ処理が完了するのを待つ（ステップＳ１５０６：Ｎｏ）。
【０２０６】
そして、重複Ｒｅｂｕｉｌｄ処理が完了した場合（ステップＳ１５０６：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「重複Ｒｅｂｕｉｌｄ」から「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に変更して（ステップＳ１５０７）、本フローチャートによる一連の処理を終了する。
【０２０７】
また、ステップＳ１５０３において、ＲＡＩＤグループＧにホットスペアＨＳが２本組み込まれていない場合（ステップＳ１５０３：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧにホットスペアＨＳが１本組み込まれたか否かを判断する（ステップＳ１５０８）。
【０２０８】
ここで、ホットスペアＨＳが１本組み込まれている場合（ステップＳ１５０８：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「正常」から「通常Ｒｅｂｕｉｌｄ」に変更する（ステップＳ１５０９）。
【０２０９】
そして、ストレージ制御装置１０１は、通常Ｒｅｂｕｉｌｄ処理の実行を開始する（ステップＳ１５１０）。つぎに、ストレージ制御装置１０１は、通常Ｒｅｂｕｉｌｄ処理が完了したか否かを判断する（ステップＳ１５１１）。ここで、ストレージ制御装置１０１は、通常Ｒｅｂｕｉｌｄ処理が完了するのを待つ（ステップＳ１５１１：Ｎｏ）。
【０２１０】
そして、通常Ｒｅｂｕｉｌｄ処理が完了した場合（ステップＳ１５１１：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「通常Ｒｅｂｕｉｌｄ」から「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に変更して（ステップＳ１５１２）、本フローチャートによる一連の処理を終了する。
【０２１１】
また、ステップＳ１５０８において、ホットスペアＨＳが１本も組み込まれていない場合（ステップＳ１５０８：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「正常」から「縮退」に変更して（ステップＳ１５１３）、本フローチャートによる一連の処理を終了する。
【０２１２】
これにより、ＲＡＩＤグループＧにディスク故障が発生した場合に、故障ディスクの記憶内容を、ＲＡＩＤグループＧに組み込まれたホットスペアＨＳに復元することができ、ＲＡＩＤグループＧの冗長性を回復させることができる。
【０２１３】
なお、ステップＳ１５１３において、ＲＡＩＤグループＧのステータスを「正常」から「縮退」に変更した場合、ストレージ制御装置１０１は、ＲＡＩＤグループＧの冗長性が失われたことを示す縮退通知を作業者端末３０３に送信することにしてもよい。これにより、ＣＥ等の作業者は、ＲＡＩＤグループＧの冗長性が失われたことを認識することができる。
【０２１４】
＜ホットスペア検索処理の具体的処理手順＞
つぎに、図１５に示したステップＳ１５０２のホットスペア検索処理の具体的な処理手順について説明する。
【０２１５】
図１６〜図２０は、ホットスペア検索処理の具体的処理手順の一例を示すフローチャートである。図１６のフローチャートにおいて、まず、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ１６０１）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ１６０２）。
【０２１６】
つぎに、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第１検索条件を満たすか否かを判断する（ステップＳ１６０３）。なお、第１検索条件は、上述したように、上記（ａ−１）または上記（ａ−２）の未使用のホットスペアＨＳである。
【０２１７】
ここで、ホットスペアＨＳｊが第１検索条件を満たさない場合（ステップＳ１６０３：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１６０５に移行する。一方、ホットスペアＨＳｊが第１検索条件を満たす場合（ステップＳ１６０３：Ｙｅｓ）、ストレージ制御装置１０１は、検索処理Ａを実行する（ステップＳ１６０４）。なお、検索処理Ａの具体的な処理手順については、図２１を用いて後述する。
【０２１８】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ１６０５）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ１６０６）。ここで、「ｊ」が「ｍ」以下の場合（ステップＳ１６０６：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１６０２に戻る。
【０２１９】
一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ１６０６：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスク、第２候補ディスクを初期化する（ステップＳ１６０７）。なお、第１候補ディスクおよび第２候補ディスクは、ＲＡＩＤグループＧに組み込まれる第１ホットスペアＨＳおよび第２ホットスペアＨＳの候補となるディスクである。
【０２２０】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ１６０８）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ１６０９）。そして、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第１検索条件を満たすか否かを判断する（ステップＳ１６１０）。
【０２２１】
ここで、ホットスペアＨＳｊが第１検索条件を満たさない場合（ステップＳ１６１０：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１６１２に移行する。一方、ホットスペアＨＳｊが第１検索条件を満たす場合（ステップＳ１６１０：Ｙｅｓ）、ストレージ制御装置１０１は、検索処理Ｂを実行する（ステップＳ１６１１）。なお、検索処理Ｂの具体的な処理手順については、図２２を用いて後述する。
【０２２２】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ１６１２）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ１６１３）。ここで、「ｊ」が「ｍ」以下の場合（ステップＳ１６１３：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１６０９に戻る。
【０２２３】
一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ１６１３：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧにホットスペアＨＳを組み込む割当処理を実行する（ステップＳ１６１４）。なお、割当処理の具体的な処理手順については、図２３を用いて後述する。
【０２２４】
そして、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第２ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ１６１５）。ここで、第２ホットスペアＨＳを組み込み済みの場合（ステップＳ１６１５：Ｙｅｓ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２２５】
一方、第２ホットスペアＨＳが組み込み済みではない場合（ステップＳ１６１５：Ｎｏ）、ストレージ制御装置１０１は、図１７に示すステップＳ１７０１に移行する。
【０２２６】
図１７のフローチャートにおいて、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ１７０１）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ１７０２）。
【０２２７】
つぎに、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第２検索条件を満たすか否かを判断する（ステップＳ１７０３）。なお、第２検索条件は、上述したように、上記（ｂ）の未使用のホットスペアＨＳである。
【０２２８】
ここで、ホットスペアＨＳｊが第２検索条件を満たさない場合（ステップＳ１７０３：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１７０５に移行する。一方、ホットスペアＨＳｊが第２検索条件を満たす場合（ステップＳ１７０３：Ｙｅｓ）、ストレージ制御装置１０１は、検索処理Ａを実行する（ステップＳ１７０４）。
【０２２９】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ１７０５）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ１７０６）。ここで、「ｊ」が「ｍ」以下の場合（ステップＳ１７０６：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１７０２に戻る。
【０２３０】
一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ１７０６：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスク、第２候補ディスクを初期化する（ステップＳ１７０７）。
【０２３１】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ１７０８）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ１７０９）。そして、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第２検索条件を満たすか否かを判断する（ステップＳ１７１０）。
【０２３２】
ここで、ホットスペアＨＳｊが第２検索条件を満たさない場合（ステップＳ１７１０：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１７１２に移行する。一方、ホットスペアＨＳｊが第２検索条件を満たす場合（ステップＳ１７１０：Ｙｅｓ）、ストレージ制御装置１０１は、検索処理Ｂを実行する（ステップＳ１７１１）。
【０２３３】
つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ１７１２）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ１７１３）。ここで、「ｊ」が「ｍ」以下の場合（ステップＳ１７１３：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１７０９に戻る。
【０２３４】
一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ１７１３：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧにホットスペアＨＳを組み込む割当処理を実行する（ステップＳ１７１４）。
【０２３５】
そして、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第２ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ１７１５）。ここで、第２ホットスペアＨＳを組み込み済みの場合（ステップＳ１７１５：Ｙｅｓ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２３６】
一方、第２ホットスペアＨＳが組み込み済みではない場合（ステップＳ１７１５：Ｎｏ）、ストレージ制御装置１０１は、図１８に示すステップＳ１８０１に移行する。
【０２３７】
図１８のフローチャートにおいて、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第１ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ１８０１）。ここで、第１ホットスペアＨＳを組み込み済みの場合（ステップＳ１８０１：Ｙｅｓ）、ストレージ制御装置１０１は、ステップＳ１８１３に移行する。
【０２３８】
一方、第１ホットスペアＨＳを組み込み済みではない場合（ステップＳ１８０１：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳ１〜ＨＳｍの中から第３検索条件を満たすホットスペアＨＳｊを検索する（ステップＳ１８０２）。第３検索条件は、上述したように、上記（ｃ）のホットスペアＨＳである。
【０２３９】
つぎに、ストレージ制御装置１０１は、検索したホットスペアＨＳｊの記憶容量がＲＡＩＤグループＧの故障ディスクと同一の記憶容量か否かを判断する（ステップＳ１８０３）。ここで、故障ディスクと同一の記憶容量の場合（ステップＳ１８０３：Ｙｅｓ）、ストレージ制御装置１０１は、他のＲＡＩＤグループＧからホットスペアＨＳｊを奪取する（ステップＳ１８０４）。
【０２４０】
そして、ストレージ制御装置１０１は、奪取したホットスペアＨＳｊを、ＲＡＩＤグループＧの第１ホットスペアＨＳとして組み込み（ステップＳ１８０５）、ステップＳ１８１３に移行する。
【０２４１】
また、ステップＳ１８０３において、故障ディスクと同一の記憶容量ではない場合（ステップＳ１８０３：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１８０２において検索されていない未検索のホットスペアがあるか否かを判断する（ステップＳ１８０６）。
【０２４２】
ここで、未検索のホットスペアがある場合（ステップＳ１８０６：Ｙｅｓ）、ストレージ制御装置１０１は、ステップＳ１８０２に戻って、ホットスペアＨＳ１〜ＨＳｍの中から第３検索条件を満たす未検索のホットスペアＨＳｊを検索する。
【０２４３】
一方、未検索のホットスペアがない場合（ステップＳ１８０６：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳ１〜ＨＳｍの中から第３検索条件を満たすホットスペアＨＳｊを検索する（ステップＳ１８０７）。そして、ストレージ制御装置１０１は、検索処理Ｂを実行する（ステップＳ１８０８）。
【０２４４】
つぎに、ストレージ制御装置１０１は、ステップＳ１８０７において検索されていない未検索のホットスペアがあるか否かを判断する（ステップＳ１８０９）。ここで、未検索のホットスペアがある場合（ステップＳ１８０９：Ｙｅｓ）、ストレージ制御装置１０１は、ステップＳ１８０７に戻って、ホットスペアＨＳ１〜ＨＳｍの中から第３検索条件を満たす未検索のホットスペアＨＳｊを検索する。
【０２４５】
一方、未検索のホットスペアがない場合（ステップＳ１８０９：Ｎｏ）、ストレージ制御装置１０１は、第１候補ディスクを設定済みか否かを判断する（ステップＳ１８１０）。ここで、第１候補ディスクを設定済みではない場合（ステップＳ１８１０：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１８１２に移行する。
【０２４６】
一方、第１候補ディスクを設定済みの場合（ステップＳ１８１０：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクを第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む（ステップＳ１８１１）。つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第１ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ１８１２）。
【０２４７】
ここで、第１ホットスペアＨＳを組み込み済みの場合（ステップＳ１８１２：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第２ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ１８１３）。第２ホットスペアＨＳを組み込み済みの場合（ステップＳ１８１３：Ｙｅｓ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２４８】
一方、第２ホットスペアＨＳを組み込み済みではない場合（ステップＳ１８１３：Ｎｏ）、ストレージ制御装置１０１は、図１９に示すステップＳ１９０１に移行する。
【０２４９】
また、ステップＳ１８１２において、第１ホットスペアＨＳを組み込み済みではない場合（ステップＳ１８１２：Ｎｏ）、ストレージ制御装置１０１は、リビルド不可を示すアラームを出力して（ステップＳ１８１４）、一連の処理を終了する。
【０２５０】
図１９のフローチャートにおいて、ストレージ制御装置１０１は、係数Ｋの「Ｋ」を「Ｋ＝２」とし（ステップＳ１９０１）、ディスク数ｋの「ｋ」を「ｋ＝０」とする（ステップＳ１９０２）。つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ１９０３）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ１９０４）。
【０２５１】
そして、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第４（１）検索条件を満たすか否かを判断する（ステップＳ１９０５）。第４（１）検索条件は、上記（ｄ）の未使用のホットスペアＨＳのうち、上記（ｉｉｉ）または上記（ｉｖ）のホットスペアＨＳである。
【０２５２】
ここで、ホットスペアＨＳｊが第４（１）検索条件を満たさない場合（ステップＳ１９０５：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１９０９に移行する。一方、ホットスペアＨＳｊが第４（１）検索条件を満たす場合（ステップＳ１９０５：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを仮想ディスクメンバ候補に設定する（ステップＳ１９０６）。
【０２５３】
そして、ストレージ制御装置１０１は、ディスク数ｋの「ｋ」をインクリメントして（ステップＳ１９０７）、「ｋ」が「Ｋ」以上となったか否かを判断する（ステップＳ１９０８）。ここで、「ｋ」が「Ｋ」未満の場合（ステップＳ１９０８：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ１９０９）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ１９１０）。
【０２５４】
ここで、「ｊ」が「ｍ」以下の場合（ステップＳ１９１０：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ１９０４に戻る。一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ１９１０：Ｙｅｓ）、図２０に示すステップＳ２００１に移行する。
【０２５５】
また、ステップＳ１９０８において、「ｋ」が「Ｋ」以上の場合（ステップＳ１９０８：Ｙｅｓ）、ストレージ制御装置１０１は、仮想ディスクメンバ候補に設定されたＫ本のホットスペアＨＳを用いて１本の仮想ディスクを作成する（ステップＳ１９１１）。
【０２５６】
そして、ストレージ制御装置１０１は、作成した仮想ディスクを第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ１９１２）、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２５７】
図２０のフローチャートにおいて、ストレージ制御装置１０１は、ディスク数ｋの「ｋ」を「ｋ＝０」とする（ステップＳ２００１）。つぎに、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」を「ｊ＝１」として（ステップＳ２００２）、ホットスペアＨＳ１〜ＨＳｍの中からホットスペアＨＳｊを選択する（ステップＳ２００３）。
【０２５８】
そして、ストレージ制御装置１０１は、選択したホットスペアＨＳｊが第４（２）検索条件を満たすか否かを判断する（ステップＳ２００４）。第４（２）検索条件は、上記（ｄ）の未使用のホットスペアＨＳのうち、上記（ｖ）のホットスペアＨＳである。
【０２５９】
ここで、ホットスペアＨＳｊが第４（２）検索条件を満たさない場合（ステップＳ２００４：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ２００８に移行する。一方、ホットスペアＨＳｊが第４（２）検索条件を満たす場合（ステップＳ２００４：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを仮想ディスクメンバ候補に設定する（ステップＳ２００５）。
【０２６０】
そして、ストレージ制御装置１０１は、ディスク数ｋの「ｋ」をインクリメントして（ステップＳ２００６）、「ｋ」が「Ｋ」以上となったか否かを判断する（ステップＳ２００７）。ここで、「ｋ」が「Ｋ」未満の場合（ステップＳ２００７：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊの「ｊ」をインクリメントして（ステップＳ２００８）、「ｊ」が「ｍ」より大きくなったか否かを判断する（ステップＳ２００９）。
【０２６１】
ここで、「ｊ」が「ｍ」以下の場合（ステップＳ２００９：Ｎｏ）、ストレージ制御装置１０１は、ステップＳ２００３に戻る。一方、「ｊ」が「ｍ」より大きくなった場合（ステップＳ２００９：Ｙｅｓ）、ストレージ制御装置１０１は、係数Ｋの「Ｋ」をインクリメントする（ステップＳ２０１０）。
【０２６２】
そして、ストレージ制御装置１０１は、「Ｋ」が「Ｋmax」より大きくなったか否かを判断する（ステップＳ２０１１）。なお、Ｋmaxは、係数Ｋの上限値を表すものであり、例えば、予め設定されてメモリ４０２に記憶されている。
【０２６３】
ここで、「Ｋ」が「Ｋmax」以下の場合（ステップＳ２０１１：Ｎｏ）、図１９に示したステップＳ１９０２に戻る。一方、「Ｋ」が「Ｋmax」より大きくなった場合（ステップＳ２０１１：Ｙｅｓ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２６４】
また、ステップＳ２００７において、「ｋ」が「Ｋ」以上の場合（ステップＳ２００７：Ｙｅｓ）、ストレージ制御装置１０１は、仮想ディスクメンバ候補に設定されたＫ本のホットスペアＨＳを用いて１本の仮想ディスクを作成する（ステップＳ２０１２）。
【０２６５】
そして、ストレージ制御装置１０１は、作成した仮想ディスクを第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２０１３）、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２６６】
これにより、ＲＡＩＤグループＧの故障ディスクの代替ディスクとして組み込む第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することができる。
【０２６７】
＜検索処理Ａの具体的処理手順＞
つぎに、図１６に示したステップＳ１６０４および図１７に示したステップＳ１７０４の検索処理Ａの具体的な処理手順について説明する。
【０２６８】
図２１は、検索処理Ａの具体的処理手順の一例を示すフローチャートである。図２１のフローチャートにおいて、まず、ストレージ制御装置１０１は、ホットスペアＨＳｊの記憶容量がＲＡＩＤグループＧの故障ディスクと同一の記憶容量か否かを判断する（ステップＳ２１０１）。
【０２６９】
ここで、故障ディスクと同一の記憶容量の場合（ステップＳ２１０１：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧに第１ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ２１０２）。
【０２７０】
そして、第１ホットスペアＨＳを組み込み済みの場合（ステップＳ２１０２：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２１０３）、本フローチャートによる一連の処理を終了して、ホットスペア検索処理を呼び出したステップに戻る。
【０２７１】
一方、第１ホットスペアＨＳを組み込み済みではない場合（ステップＳ２１０２：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２１０４）、本フローチャートによる一連の処理を終了して、検索処理Ａを呼び出したステップに戻る。
【０２７２】
また、ステップＳ２１０１において、故障ディスクと同一の記憶容量ではない場合（ステップＳ２１０１：Ｎｏ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、検索処理Ａを呼び出したステップに戻る。
【０２７３】
＜検索処理Ｂの具体的処理手順＞
つぎに、図１６に示したステップＳ１６１１、図１７に示したステップＳ１７１１および図１８に示したステップＳ１８０８の検索処理Ｂの具体的な処理手順について説明する。
【０２７４】
図２２は、検索処理Ｂの具体的処理手順の一例を示すフローチャートである。図２２のフローチャートにおいて、まず、ストレージ制御装置１０１は、ホットスペアＨＳｊの記憶容量が、ＲＡＩＤグループＧの故障ディスクの記憶容量以上か否かを判断する（ステップＳ２２０１）。
【０２７５】
ここで、故障ディスクの記憶容量以上の場合（ステップＳ２２０１：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクを設定済みか否かを判断する（ステップＳ２２０２）。そして、第１候補ディスクを設定済みの場合（ステップＳ２２０２：Ｙｅｓ）、ストレージ制御装置１０１は、第２候補ディスクを設定済みか否かを判断する（ステップＳ２２０３）。
【０２７６】
ここで、第２候補ディスクを設定済みの場合（ステップＳ２２０３：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペアＨＳｊの記憶容量が、第２候補ディスクの記憶容量未満か否かを判断する（ステップＳ２２０４）。そして、第２候補ディスクの記憶容量未満の場合（ステップＳ２２０４：Ｙｅｓ）、ストレージ制御装置１０１は、ホットスペアＨＳｊの記憶容量が、第１候補ディスクの記憶容量未満か否かを判断する（ステップＳ２２０５）。
【０２７７】
ここで、第１候補ディスクの記憶容量未満の場合（ステップＳ２２０５：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクのホットスペアＨＳを第２候補ディスクに設定する（ステップＳ２２０６）。そして、ストレージ制御装置１０１は、ホットスペアＨＳｊを第１候補ディスクに設定して（ステップＳ２２０７）、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２７８】
また、ステップＳ２２０５において、第１候補ディスクの記憶容量以上の場合（ステップＳ２２０５：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを第２候補ディスクに設定して（ステップＳ２２０８）、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２７９】
また、ステップＳ２２０４において、第２候補ディスクの記憶容量以上の場合（ステップＳ２２０４：Ｎｏ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２８０】
また、ステップＳ２２０３において、第２候補ディスクを設定済みではない場合（ステップＳ２２０３：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊの記憶容量が、第１候補ディスクの記憶容量未満か否かを判断する（ステップＳ２２０９）。
【０２８１】
ここで、第１候補ディスクの記憶容量未満の場合（ステップＳ２２０９：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクのホットスペアＨＳを第２候補ディスクに設定する（ステップＳ２２１０）。そして、ストレージ制御装置１０１は、ホットスペアＨＳｊを第１候補ディスクに設定して（ステップＳ２２１１）、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２８２】
一方、第１候補ディスクの記憶容量以上の場合（ステップＳ２２０９：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを第２候補ディスクに設定して（ステップＳ２２１２）、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２８３】
また、ステップＳ２２０２において、第１候補ディスクを設定済みではない場合（ステップＳ２２０２：Ｎｏ）、ストレージ制御装置１０１は、ホットスペアＨＳｊを第１候補ディスクに設定して（ステップＳ２２１３）、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２８４】
また、ステップＳ２２０１において、故障ディスクの記憶容量未満の場合（ステップＳ２２０１：Ｎｏ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、検索処理Ｂを呼び出したステップに戻る。
【０２８５】
＜割当処理の具体的な処理手順＞
つぎに、図１６に示したステップＳ１６１４および図１７に示したステップＳ１７１４の割当処理の具体的な処理手順について説明する。
【０２８６】
図２３は、割当処理の具体的処理手順の一例を示すフローチャートである。図２３のフローチャートにおいて、まず、ストレージ制御装置１０１は、第１ホットスペアＨＳを組み込み済みか否かを判断する（ステップＳ２３０１）。ここで、第１ホットスペアＨＳを組み込み済みの場合（ステップＳ２３０１：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクを設定済みか否かを判断する（ステップＳ２３０２）。
【０２８７】
そして、第１候補ディスクを設定済みの場合（ステップＳ２３０２：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクを第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２３０３）、本フローチャートによる一連の処理を終了して、割当処理を呼び出したステップに戻る。
【０２８８】
一方、第１候補ディスクを設定済みではない場合（ステップＳ２３０２：Ｎｏ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、割当処理を呼び出したステップに戻る。
【０２８９】
また、ステップＳ２３０１において、第１ホットスペアＨＳを組み込み済みではない場合（ステップＳ２３０１：Ｎｏ）、ストレージ制御装置１０１は、第１候補ディスクを設定済みか否かを判断する（ステップＳ２３０４）。そして、第１候補ディスクを設定済みの場合（ステップＳ２３０４：Ｙｅｓ）、第２候補ディスクを設定済みか否かを判断する（ステップＳ２３０５）。
【０２９０】
ここで、第２候補ディスクを設定済みの場合（ステップＳ２３０５：Ｙｅｓ）、ストレージ制御装置１０１は、第１候補ディスクを第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込む（ステップＳ２３０６）。つぎに、ストレージ制御装置１０１は、第２候補ディスクを第２ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２３０７）、本フローチャートによる一連の処理を終了して、割当処理を呼び出したステップに戻る。
【０２９１】
また、ステップＳ２３０５において、第２候補ディスクを設定済みではない場合（ステップＳ２３０５：Ｎｏ）、ストレージ制御装置１０１は、第１候補ディスクを第１ホットスペアＨＳとしてＲＡＩＤグループＧに組み込み（ステップＳ２３０８）、本フローチャートによる一連の処理を終了して、割当処理を呼び出したステップに戻る。
【０２９２】
また、ステップＳ２３０４において、第１候補ディスクを設定済みではない場合（ステップＳ２３０４：Ｎｏ）、ストレージ制御装置１０１は、本フローチャートによる一連の処理を終了して、割当処理を呼び出したステップに戻る。
【０２９３】
＜ＲＡＩＤグループ構成復帰処理手順＞
つぎに、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順について説明する。
【０２９４】
図２４〜図２７は、ストレージ制御装置１０１のＲＡＩＤグループ構成復帰処理手順の一例を示すフローチャートである。図２４のフローチャートにおいて、まず、ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ディスクの交換作業の開始通知を受け付けたか否かを判断する（ステップＳ２４０１）。
【０２９５】
ここで、ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ディスクの交換作業の開始通知を受け付けるのを待つ（ステップＳ２４０１：Ｎｏ）。そして、ＲＡＩＤグループＧの故障ディスクの交換作業の開始通知を受け付けた場合（ステップＳ２４０１：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスが「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」か否かを判断する（ステップＳ２４０２）。
【０２９６】
ここで、ＲＡＩＤグループＧのステータスが「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」の場合（ステップＳ２４０２：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのビットマップテーブル９００を作成する（ステップＳ２４０３）。そして、ストレージ制御装置１０１は、新規Ｗｒｉｔｅ  Ｉ／Ｏの監視を開始する（ステップＳ２４０４）。
【０２９７】
つぎに、ストレージ制御装置１０１は、選択ポリシー１１００を参照して、ＲＡＩＤグループＧに組み込まれている第１ホットスペアＨＳまたは／および第２ホットスペアＨＳから移設対象ホットスペアを選択する（ステップＳ２４０５）。そして、ストレージ制御装置１０１は、選択した移設対象ホットスペアのＷＷＮを保持する（ステップＳ２４０６）。
【０２９８】
つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループから移設対象ホットスペアを切り離して、ストレージ装置３０１から移設対象ホットスペアを切り離し可能な状態にして（ステップＳ２４０７）、図２５に示すステップＳ２５０１に移行する。
【０２９９】
また、ステップＳ２４０２において、ＲＡＩＤグループＧのステータスが「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」ではない場合（ステップＳ２４０２：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスが「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」か否かを判断する（ステップＳ２４０８）。
【０３００】
ここで、ＲＡＩＤグループＧのステータスが「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」の場合（ステップＳ２４０８：Ｙｅｓ）、ストレージ制御装置１０１は、ステップＳ２４０３に移行する。一方、ＲＡＩＤグループＧのステータスが「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」ではない場合（ステップＳ２４０８：Ｎｏ）、ストレージ制御装置１０１は、移設オペレーションが実施不可であることを示すアラームを出力して（ステップＳ２４０９）、本フローチャートによる一連の処理を終了する。
【０３０１】
図２５のフローチャートにおいて、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスが「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」か否かを判断する（ステップＳ２５０１）。ここで、「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」の場合（ステップＳ２５０１：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」から「ＨＳ移設中（冗長）」に変更する（ステップＳ２５０２）。
【０３０２】
つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧの故障ディスクが交換されたか否かを判断する（ステップＳ２５０３）。ここで、ストレージ制御装置１０１は、故障ディスクが交換されるのを待つ（ステップＳ２５０３：Ｎｏ）。そして、故障ディスクが交換された場合（ステップＳ２５０３：Ｙｅｓ）、ストレージ制御装置１０１は、故障ディスクと交換された交換ディスクをストレージ装置３０１に組み込む（ステップＳ２５０４）。
【０３０３】
つぎに、ストレージ制御装置１０１は、交換ディスクのＷＷＮが移設対象ホットスペアのＷＷＮと一致するか否かを判定する（ステップＳ２５０５）。ここで、交換ディスクのＷＷＮが移設対象ホットスペアのＷＷＮと一致する場合（ステップＳ２５０５：Ｙｅｓ）、ストレージ制御装置１０１は、図２６に示すステップＳ２６０１に移行する。
【０３０４】
一方、交換ディスクのＷＷＮが移設対象ホットスペアのＷＷＮと不一致の場合（ステップＳ２５０５：Ｎｏ）、ストレージ制御装置１０１は、交換ディスクをストレージ装置３０１から切り離し可能な状態にする（ステップＳ２５０６）。そして、ストレージ制御装置１０１は、交換作業のリトライ指示を受け付けたか否かを判断する（ステップＳ２５０７）。
【０３０５】
ここで、交換作業のリトライ指示を受け付けた場合（ステップＳ２５０７：Ｙｅｓ）、ストレージ制御装置１０１は、ステップＳ２５０３に戻る。一方、交換作業のリトライ指示を受け付けなかった場合（ステップＳ２５０７：Ｎｏ）、ストレージ制御装置１０１は、図２７に示すステップＳ２７０１に移行する。
【０３０６】
また、ステップＳ２５０１において、「重複Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」ではない場合（ステップＳ２５０１：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」から「ＨＳ移設中（非冗長）」に変更して（ステップＳ２５０８）、ステップＳ２５０３に移行する。
【０３０７】
図２６に示すフローチャートにおいて、ストレージ制御装置１０１は、ＲＡＩＤグループＧに交換ディスクを組み込む（ステップＳ２６０１）。そして、ストレージ制御装置１０１は、新規Ｗｒｉｔｅ  Ｉ／Ｏの監視を停止する（ステップＳ２６０２）。
【０３０８】
つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスが「ＨＳ移設中（冗長）」か否かを判断する（ステップＳ２６０３）。ここで、「ＨＳ移設中（冗長）」の場合（ステップＳ２６０３：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「ＨＳ移設中（冗長）」から「更新反映中（冗長）」に変更する（ステップＳ２６０４）。
【０３０９】
そして、ストレージ制御装置１０１は、ビットマップテーブル９００を参照して、新規Ｗｒｉｔｅ  Ｉ／Ｏを移設対象外ホットスペアから交換ディスクにアップデート（更新処理）する（ステップＳ２６０５）。つぎに、ストレージ制御装置１０１は、移設対象外ホットスペアをＲＡＩＤグループＧから切り離す（ステップＳ２６０６）。
【０３１０】
そして、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「更新反映中（冗長）」から「正常」に変更する（ステップＳ２６０７）。つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧのビットマップテーブル９００を削除して（ステップＳ２６０８）、本フローチャートによる一連の処理を終了する。
【０３１１】
また、ステップＳ２６０３において、「ＨＳ移設中（冗長）」ではない場合（ステップＳ２６０３：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「ＨＳ移設中（非冗長）」から「更新反映中（非冗長）」に変更する（ステップＳ２６０９）。
【０３１２】
そして、ストレージ制御装置１０１は、ビットマップテーブル９００を参照して、新規Ｗｒｉｔｅ  Ｉ／Ｏを正常ディスクから交換ディスクにアップデート（更新処理）する（ステップＳ２６１０）。つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「更新反映中（非冗長）」から「正常」に変更して（ステップＳ２６１１）、ステップＳ２６０８に移行する。
【０３１３】
図２７のフローチャートにおいて、ストレージ制御装置１０１は、新規Ｗｒｉｔｅ  Ｉ／Ｏの監視を停止する（ステップＳ２７０１）。つぎに、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスが「ＨＳ移設中（冗長）」か否かを判断する（ステップＳ２７０２）。
【０３１４】
ここで、「ＨＳ移設中（冗長）」の場合（ステップＳ２７０２：Ｙｅｓ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「ＨＳ移設中（冗長）」から「通常Ｓｐａｒｅ  Ｉｎ  Ｕｓｅ」に変更する（ステップＳ２７０３）。そして、ストレージ制御装置１０１は、ＲＡＩＤグループＧのビットマップテーブル９００を削除して（ステップＳ２７０４）、本フローチャートによる一連の処理を終了する。
【０３１５】
また、ステップＳ２７０２において、「ＨＳ移設中（冗長）」ではない場合（ステップＳ２７０２：Ｎｏ）、ストレージ制御装置１０１は、ＲＡＩＤグループＧのステータスを「ＨＳ移設中（非冗長）」から「縮退」に変更して（ステップＳ２７０５）、ステップＳ２７０４に移行する。
【０３１６】
これにより、故障ディスクと交換された交換ディスクの記憶内容を移設対象外ホットスペアの記憶内容と等価にして、ＲＡＩＤグループＧの構成をディスク故障前の状態に復帰させることができる。
【０３１７】
以上説明したように、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧのディスクＤｉが故障した場合、故障ディスクの代替ストレージとして、第１ホットスペアＨＳおよび第２ホットスペアＨＳをＲＡＩＤグループＧに組み込むことができる。また、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧに組み込んだ第１ホットスペアＨＳおよび第２ホットスペアＨＳに、故障ディスクの記憶内容を復元することができる。
【０３１８】
これにより、故障ディスクの代替ディスクとしてＲＡＩＤグループＧに組み込まれた第１ホットスペアＨＳおよび第２ホットスペアＨＳを使用してＲＡＩＤグループＧの冗長性を回復することができる。
【０３１９】
また、ストレージ制御装置１０１によれば、故障ディスクの交換作業中に移設対象外ホットスペアに書き込まれた書込データの書込先を表す書込先情報を保持することができる。これにより、故障ディスクの交換作業中に移設対象外ホットスペアに書き込まれた書込データの書込先を特定することができる。
【０３２０】
また、ストレージ制御装置１０１によれば、ビットマップテーブル９００を用いて、故障ディスクの交換作業中に移設対象外ホットスペアに書き込まれた書込データの書込先を管理することができる。これにより、書込データの書込先を表す書込先情報を保持するためのメモリ４０２の使用量を抑制することができる。
【０３２１】
また、ストレージ制御装置１０１によれば、故障ディスクの交換作業の開始通知を受け付けた場合、ＲＡＩＤグループＧから移設対象ホットスペアを切り離して、ストレージ装置３０１から切り離し可能な状態にすることができる。また、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧの故障ディスクが交換ディスクと交換された場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことができる。これにより、ＲＡＩＤグループＧの構成をディスク故障の発生前の状態に復旧することができる。
【０３２２】
また、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧへの交換ディスクの組み込みが完了した場合、書込先情報を参照して、移設対象外ホットスペアに記憶されている書込データを交換ディスクに書き込むことができる。これにより、移設対象ホットスペアの記憶内容を、移設対象外ホットスペアの記憶内容と等価とすることができる。
【０３２３】
また、ストレージ制御装置１０１によれば、交換ディスクへの書込データの書き込みが完了した場合、ＲＡＩＤグループＧから移設対象外ホットスペアを切り離すことができる。これにより、ＲＡＩＤグループＧに組み込んだ移設対象外ホットスペアを解放することができ、代替ストレージとして使用することができるようになる。
【０３２４】
また、ストレージ制御装置１０１によれば、ＲＡＩＤグループＧから移設対象外ホットスペアが切り離された場合、ＲＡＩＤグループＧのビットマップテーブル９００をメモリ４０２から削除することができる。これにより、ディスク故障の発生前の状態に復旧したＲＡＩＤグループＧのビットマップテーブル９００をメモリ４０２から削除して、メモリ４０２の使用量を削減することができる。
【０３２５】
また、ストレージ制御装置１０１によれば、交換ディスクのＷＷＮが移設対象ホットスペアのＷＷＮと一致する場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことができる。これにより、交換ディスクとして移設対象ホットスペアが取り付けられた場合に、ＲＡＩＤグループＧに交換ディスクを組み込むことができ、故障ディスクの記憶内容が復元されていない誤ったディスクがＲＡＩＤグループＧに組み込まれることを防ぐことができる。
【０３２６】
また、ストレージ制御装置１０１によれば、各ホットスペアＨＳｊの記憶容量と故障ディスクの記憶容量とに基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することができる。これにより、第１ホットスペアＨＳおよび第２ホットスペアＨＳとして故障ディスクの記憶容量以上のホットスペアＨＳを検索することができ、故障ディスクの記憶内容が復元不能となることを回避することができる。
【０３２７】
また、ストレージ制御装置１０１によれば、故障ディスクの設置位置情報や正常ディスクの設置位置情報に基づいて、第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することができる。これにより、同一エンクロージャ／同一バックエンドループ上にＲＡＩＤグループＧのストレージＳＴが偏らないように第１ホットスペアＨＳおよび第２ホットスペアＨＳを検索することができる。このため、エンクロージャがダウンした時にＲＡＩＤグループＧが故障状態となるリスクを低減させることができる。
【０３２８】
また、ストレージ制御装置１０１によれば、第１ホットスペアＨＳおよび第２ホットスペアＨＳのいずれかのホットスペアＨＳとして、代替ディスクとして使用されていない未使用のホットスペアＨＳを用いて仮想ディスクを作成することができる。これにより、ＲＡＩＤグループＧに組み込む２本目のホットスペアＨＳを用意できない場合に、故障ディスクの記憶容量未満の複数のホットスペアＨＳを組み合わせた仮想ディスクを、２本目のホットスペアＨＳとしてＲＡＩＤグループＧに組み込むことができる。
【０３２９】
また、ストレージ制御装置１０１によれば、他のＲＡＩＤグループＧに組み込まれている２本のホットスペアＨＳのうちの１本のホットスペアＨＳを奪取して、ＲＡＩＤグループＧに組み込むことができる。これにより、ＲＡＩＤグループＧに組み込むホットスペアＨＳを１本も用意できない場合に、他のＲＡＩＤグループＧからホットスペアＨＳを１本奪取して、ＲＡＩＤグループＧの冗長性を回復することができる。
【０３３０】
これらのことから、本実施の形態にかかるストレージ装置３０１によれば、ＲＡＩＤグループＧのディスクＤｉが故障した場合に、ＲＡＩＤグループＧの冗長性を回復するとともに、ＲＡＩＤグループＧの構成を故障発生前の状態に戻すことができる。また、従来のコピーバック処理に比べて、ＲＡＩＤグループＧの構成をストレージＳＴの故障発生前の状態に戻すための復旧処理にかかる処理時間を短縮でき、ホスト３０２からのＩ／Ｏに対するレスポンスの低下を抑制することができる。
【０３３１】
なお、本実施の形態で説明したストレージ制御方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本ストレージ制御プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本ストレージ制御プログラムは、インターネット等のネットワークを介して配布してもよい。
【０３３２】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０３３３】
（付記１）冗長構成のストレージグループに属する複数のストレージと、
前記ストレージグループに属さない第１のストレージおよび第２のストレージと、
前記ストレージグループに前記第１のストレージまたは／および前記第２のストレージを組み込む、または前記ストレージグループから前記第１のストレージまたは／および前記第２のストレージを切り離す構成制御部と、
前記ストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属する複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記構成制御部によって前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元する復元部と、を備え、
前記構成制御部は、前記復元部による復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換ストレージとして前記ストレージグループに組み込む、
ことを特徴とするストレージ装置。
【０３３４】
（付記２）前記第１のストレージの切り離しから前記交換ストレージの組み込みまでの間に、前記第２のストレージに書き込まれたデータの書込先を表す書込先情報を記憶する記憶部と、
前記ストレージグループへの前記交換ストレージの組み込みが完了した場合、前記記憶部に記憶されている前記書込先情報を参照して、前記第２のストレージに記憶されている前記データを前記交換ストレージに書き込む更新部と、
を有することを特徴とする付記１に記載のストレージ装置。
【０３３５】
（付記３）前記構成制御部は、
前記更新部による前記交換ストレージへの前記データの書き込みが完了した場合、前記第２のストレージを前記ストレージグループから切り離すことを特徴とする付記２に記載のストレージ装置。
【０３３６】
（付記４）前記故障ストレージが前記交換ストレージと交換された場合、前記交換ストレージの識別情報が前記第１のストレージの識別情報と一致するか否かを判定する判定部を有し、
前記構成制御部は、
前記判定部によって前記交換ストレージの識別情報が前記第１のストレージの識別情報と一致すると判定された場合、前記交換ストレージを前記ストレージグループに組み込むことを特徴とする付記１〜３のいずれか一つに記載のストレージ装置。
【０３３７】
（付記５）前記ストレージ装置に搭載された、代替ストレージとして使用可能な複数のストレージの各々のストレージの記憶容量と前記故障ストレージの記憶容量とに基づいて、前記複数のストレージから前記第１のストレージおよび前記第２のストレージを検索する検索部を有し、
前記構成制御部は、
前記検索部によって検索された前記第１のストレージおよび前記第２のストレージを前記ストレージグループに組み込むことを特徴とする付記１〜４のいずれか一つに記載のストレージ装置。
【０３３８】
（付記６）前記検索部によって前記第２のストレージが検索されなかった場合、前記複数のストレージのうち前記代替ストレージとして使用されていない未使用のストレージを用いて、前記故障ストレージの記憶容量以上の仮想ストレージを作成する作成部を有し、
前記構成制御部は、
前記検索部によって検索された前記第１のストレージを前記ストレージグループに組み込むとともに、前記作成部によって作成された前記仮想ストレージを前記第２のストレージとして前記ストレージグループに組み込むことを特徴とする付記５に記載のストレージ装置。
【０３３９】
（付記７）前記検索部は、
さらに、前記故障ストレージの設置位置に基づいて、前記複数のストレージから前記第１のストレージおよび前記第２のストレージを検索することを特徴とする付記５または６に記載のストレージ装置。
【０３４０】
（付記８）前記検索部は、
さらに、前記残余のストレージの設置位置に基づいて、前記複数のストレージから前記第１のストレージおよび前記第２のストレージを検索することを特徴とする付記５〜７のいずれか一つに記載のストレージ装置。
【０３４１】
（付記９）前記復元部による復元中に、前記故障ストレージへのデータの書込要求が発生した場合、前記第１のストレージおよび前記第２のストレージに前記データを書き込む書込部を有することを特徴とする付記１〜８のいずれか一つに記載のストレージ装置。
【０３４２】
（付記１０）前記書込部は、
前記第１のストレージの切り離しから前記交換ストレージの組み込みまでの間に、前記故障ストレージへのデータの書込要求が発生した場合、前記第２のストレージに前記データを書き込むことを特徴とする付記９に記載のストレージ装置。
【０３４３】
（付記１１）前記第２のストレージが前記ストレージグループから切り離された場合、前記記憶部に記憶されている前記書込先情報を削除する削除部を有することを特徴とする付記３に記載のストレージ装置。
【０３４４】
（付記１２）コンピュータに、
複数のストレージが属する冗長構成のストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属さない第１のストレージおよび第２のストレージを前記ストレージグループに組み込み、
前記複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元し、
前記第１のストレージおよび前記第２のストレージに復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換先ストレージとして前記ストレージグループに組み込む、
処理を実行させることを特徴とするストレージ制御プログラム。
【０３４５】
（付記１３）コンピュータが、
複数のストレージが属する冗長構成のストレージグループのいずれかのストレージが故障した場合、前記ストレージグループに属さない第１のストレージおよび第２のストレージを前記ストレージグループに組み込み、
前記複数のストレージのうち、故障ストレージを除く残余のストレージの記憶内容に基づいて、前記ストレージグループに組み込まれた前記第１のストレージおよび前記第２のストレージに復元し、
前記第１のストレージおよび前記第２のストレージに復元後に、前記ストレージグループから前記第２のストレージを切り離さずに前記第１のストレージを切り離し、前記故障ストレージが前記第１のストレージに交換された場合に前記第１のストレージを交換先ストレージとして前記ストレージグループに組み込む、
処理を実行することを特徴とするストレージ制御方法。
【符号の説明】
【０３４６】
１０１  ストレージ制御装置
８０１  故障検出部
８０２  検索部
８０３  割当部
８０４  復元部
８０５  書込部
８０６  通知部
８０７  受付部
８０８  交換検出部
８０９  判定部
８１０  組込部
８１１  更新部
【図１】
2014056445.tif 000003
【図２】
2014056445.tif 000004
【図３】
2014056445.tif 000005
【図４】
2014056445.tif 000006
【図５】
2014056445.tif 000007
【図６】
2014056445.tif 000008
【図７】
2014056445.tif 000009
【図８】
2014056445.tif 000010
【図９】
2014056445.tif 000011
【図１０】
2014056445.tif 000012
【図１１】
2014056445.tif 000013
【図１２】
2014056445.tif 000014
【図１３】
2014056445.tif 000015
【図１４】
2014056445.tif 000016
【図１５】
2014056445.tif 000017
【図１６】
2014056445.tif 000018
【図１７】
2014056445.tif 000019
【図１８】
2014056445.tif 000020
【図１９】
2014056445.tif 000021
【図２０】
2014056445.tif 000022
【図２１】
2014056445.tif 000023
【図２２】
2014056445.tif 000024
【図２３】
2014056445.tif 000025
【図２４】
2014056445.tif 000026
【図２５】
2014056445.tif 000027
【図２６】
2014056445.tif 000028
【図２７】
2014056445.tif 000029