(57)【要約】【課題】組み込みコピーに要する時間を当該組み込みコピーの期間に更新コピーが発生しない場合に要する時間に限りなく近づける。【解決手段】第１の計算機の検出部４０４は組み込みコピー中に発生した更新コピー要求を検出する。検出された更新コピー要求はキュー２０２に記憶される。ビットマップテーブル２０１は更新コピーが発生する領域の情報を保持する。重複判定部４１０は、カウンタ４０９によって示される次の組み込みコピー位置への組み込みコピーが更新コピーと重複するかを判定する。重複しない場合、対応する組み込みコピー要求がキュー２０３に記憶される。発行部４０８は、キュー２０２に記憶されている更新コピー要求を第２の計算機に発行する。発行部４１３は、キュー２０２に更新コピー要求が記憶されていない場合に、キュー２０３に記憶されている組み込みコピー要求を第２の計算機に発行する。【選択図】      図４
2007241828.tif 000002
【特許請求の範囲】
【請求項１】
第１のディスクストレージを有する第１の計算機と第２のディスクストレージを有する第２の算機とがネットワークにより相互接続される非共有ディスク型のクラスタシステムであって、
前記第１の計算機は、
前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出する更新コピー要求検出手段と、
前記更新コピー要求検出手段によって検出された更新コピー要求の指定する更新コピーが発生する領域の情報を更新コピー領域の情報として記憶する更新コピー状況記憶手段と、
前記更新コピー要求検出手段によって検出された更新コピー要求を要求順に記憶する更新コピー要求記憶手段と、
次に組み込みコピーが実行されるべき組み込みコピー位置をシーケンシャルに指定するカウンタと、
前記カウンタによって示される組み込みコピー位置への組み込みコピーが更新コピーと重複するかを前記更新コピー状況記憶手段に記憶されている情報に基づき判定する重複判定手段と、
前記組み込みコピーが更新コピーと重複しない非重複が判定された場合、当該組み込みコピーを指定する組み込みコピー要求を記憶する組み込みコピー要求記憶手段と、
前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に前記第２の計算機に発行する更新コピー要求発行手段と、
前記更新コピー要求記憶手段に更新コピー要求が記憶されていない場合に、前記組み込みコピー要求記憶手段に記憶されている組み込みコピー要求を要求順に前記第２の計算機に発行する組み込みコピー要求発行手段とを具備する
ことを特徴とする非共有ディスク型のクラスタシステム。
【請求項２】
前記第１の計算機は、前記更新コピー要求検出手段によって検出された更新コピー要求の指定する更新コピー領域が組み込みコピー未完了領域であるかを前記カウンタによって示される組み込みコピー位置に基づいて判定する組み込みコピー状態判定手段を更に具備し、
前記更新コピー状況記憶手段は、前記検出された更新コピー要求の指定する更新コピー領域が組み込みコピー未完了領域である場合だけ、当該更新コピー領域の情報を記憶する
ことを特徴とする請求項１記載の非共有ディスク型のクラスタシステム。
【請求項３】
前記第１のディスクストレージ及び前記第２のディスクストレージの記憶領域はブロック単位で管理され、
前記更新コピー状況記憶手段はブロック単位に割り当てられるビットから構成されるビットマップテーブルを含み、当該ビットマップテーブルの各ビットは前記組み込みコピー中に対応するブロックで更新コピーが発生したかを示す
ことを特徴とする請求項１記載の非共有ディスク型のクラスタシステム。
【請求項４】
前記第１のディスクストレージ及び前記第２のディスクストレージの記憶領域はブロック単位で管理され、
前記更新コピー状況記憶手段は連続する一定数のブロック毎に割り当てられるグループを単位に割り当てられるビットから構成されるビットマップテーブルを含み、当該ビットマップテーブルの各ビットは前記組み込みコピー中に対応するグループで更新コピーが発生したかを示す
ことを特徴とする請求項１記載の非共有ディスク型のクラスタシステム。
【請求項５】
前記第１の計算機は、
前記一定数として任意の値を入力可能な入力手段と、
前記入力手段によって入力された値を管理ブロック数として記憶する管理ブロック数記憶手段と、
前記検出された更新コピー要求によって指定される更新コピー領域に対応するグループを当該更新コピー領域及び前記管理ブロック数記憶手段に記憶されている前記管理ブロック数に基づいて特定するグループ特定手段と、
前記特定されたグループに対応する前記ビットマップテーブルのビットを更新コピーを示す状態に設定するビットセット手段と
前記特定されたグループを対象とする更新コピー要求を前記更新コピー要求記憶手段に設定する更新コピー要求設定手段とを更に具備し、
前記重複判定手段は、前記カウンタによって示される組み込みコピー位置が属するグループを当該組み込み位置及び前記管理ブロック数記憶手段に記憶されている前記管理ブロック数に基づいて特定し、当該特定されたグループに対応する前記ビットマップテーブルのビットに基づいて、前記カウンタによって示される組み込みコピー位置への組み込みコピーが更新コピーと重複するかを判定する
ことを特徴とする請求項４記載の非共有ディスク型のクラスタシステム。
【請求項６】
第１のディスクストレージを有する第１の計算機と第２のディスクストレージを有する第２の算機とがネットワークにより相互接続される非共有ディスク型のクラスタシステムであって、
前記第１の計算機は、
前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出する更新コピー要求検出手段と、
次に組み込みコピーが実行されるべき組み込みコピー位置をシーケンシャルに指定するカウンタと、
前記更新コピー要求検出手段によって検出された更新コピー要求を要求順に記憶する更新コピー要求記憶手段と、
組み込みコピーを指定する組み込みコピー要求を前記カウンタによってシーケンシャルに指定される組み込みコピー位置に従って前記第２の計算機に順次発行する組み込みコピー要求発行手段と、
前記組み込みコピー要求発行手段によって発行された組み込みコピー要求の指定する組み込みコピーブロックの総数が第１のブロック数の倍数となる都度、その時点において前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に第２のブロック数に対応する数だけ前記第２の計算機に発行する更新コピー要求発行手段とを具備する
ことを特徴とする非共有ディスク型のクラスタシステム。
【請求項７】
前記第１の計算機は、
前記更新コピー要求検出手段によって検出された更新コピー要求の指定する更新コピーが発生する領域が組み込みコピー済みであるかを前記カウンタによって示される組み込みコピー位置に基づいて判定する重複判定手段と、
前記重複判定手段によって組み込みコピー済みと判定された場合だけ、対応する更新コピー要求を前記更新コピー要求記憶手段に設定する更新コピー要求設定手段とを更に具備する
ことを特徴とする請求項６記載の非共有ディスク型のクラスタシステム。
【請求項８】
前記第１の計算機は、前記カウンタによって示される組み込みコピー位置に基づき、前記組み込みコピー要求発行手段によって発行された組み込みコピー要求の指定する組み込みコピーブロックの総数が第１のブロック数の倍数となったかにより、更新タイミングの到来を判定する更新コピータイミング判定手段を更に具備し、
前記更新コピー要求発行手段は、前記更新コピータイミング判定手段によって前記更新タイミングの到来が判定された場合、その時点において前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に前記第２のブロック数に対応する数だけ前記第２の計算機に発行する
ことを特徴とする請求項６記載の非共有ディスク型のクラスタシステム。
【請求項９】
前記第１の計算機は、
前記第１のブロック数を指定する第１のパラメータ及び前記第２のブロック数を指定する第２のパラメータを入力可能な入力手段と、
前記入力手段によって入力された前記第１のパラメータ及び第２のパラメータを記憶するパラメータ記憶手段とを更に具備し、
前記更新コピー要求発行手段は、前記パラメータ記憶手段に記憶されている前記第１及び第２のパラメータに基づいて動作する
ことを特徴とする請求項８記載の非共有ディスク型のクラスタシステム。
【請求項１０】
第１のディスクストレージを有する第１の計算機と第２のディスクストレージを有する第２の算機とがネットワークにより相互接続される非共有ディスク型のクラスタシステムにおいて前記第１の計算機に適用されるプログラムであって、
前記第１の計算機に、
前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出するステップと、
前記検出された更新コピー要求の指定する更新コピーが発生する領域の情報を更新コピー領域の情報として更新コピー状況記憶手段に記憶するステップと、
前記更新コピー要求が検出される都度当該更新コピー要求を更新コピー要求記憶手段に記憶するステップと、
カウンタによって示される次の組み込みコピー位置への組み込みコピーが更新コピーと重複するかを前記更新コピー状況記憶手段に記憶されている情報に基づき判定するステップと、
前記組み込みコピーが更新コピーと重複しない非重複が判定された場合、当該組み込みコピーを指定する組み込みコピー要求を組み込みコピー要求記憶手段に記憶するステップと、
前記更新コピー要求記憶手段に更新コピー要求が記憶されているかを判定するステップと、
前記更新コピー要求記憶手段に更新コピー要求が記憶されていると判定される都度、その時点において当該更新コピー要求記憶手段に記憶されている最も古い更新コピー要求を前記第２の計算機に発行するステップと、
前記更新コピー要求記憶手段に更新コピー要求が記憶されていないと判定された場合、その時点において前記組み込みコピー要求記憶手段に記憶されている最も古い組み込みコピー要求を前記第２の計算機に発行するステップと
前記組み込みコピーがシーケンシャルに実行されるように前記カウンタを操作するステップと、
前記カウンタが操作される都度、当該カウンタによって示される組み込みコピー位置から一連の組み込みコピーが終了したかを判定し、組み込みコピーが未終了ならば前記重複するかを判定するステップを再実行させるステップと、
を実行させるプログラム。
【請求項１１】
前記第１のディスクストレージ及び前記第２のディスクストレージの記憶領域はブロック単位で管理され、
前記更新コピー状況記憶手段はブロック単位に割り当てられるビットから構成されるビットマップテーブルを含み、
前記更新コピーが発生する領域の情報を記憶するステップでは、当該更新コピーが発生する領域に対応する前記ビットマップテーブルのビットが更新コピー発生を示す状態に設定され、
前記カウンタによって示される次の組み込みコピー位置に対応する前記ビットマップテーブルのビットが更新コピー発生を示す状態に設定されているかにより、前記次の組み込みコピー位置への組み込みコピーが更新コピーと重複するかが判定される
ことを特徴とする請求項１０記載のプログラム。
【請求項１２】
前記第１のディスクストレージ及び前記第２のディスクストレージの記憶領域はブロック単位で管理され、
前記更新コピー状況記憶手段は連続する一定数のブロック毎に割り当てられるグループを単位に割り当てられるビットから構成されるビットマップテーブルを含み、
前記領域の情報を記憶するステップでは、前記検出された更新コピー要求の指定する更新コピーが発生する領域が属するグループに対応する前記ビットマップテーブルのビットが更新コピー発生を示す状態に設定され、
前記カウンタによって示される次の組み込みコピー位置が属するグループに対応する前記ビットマップテーブルのビットが更新コピー発生を示す状態に設定されているかにより、前記次の組み込みコピー位置への組み込みコピーが更新コピーと重複するかが判定され、
前記検出された更新コピー要求の指定する更新コピーが発生する領域が属するグループを対象とする更新コピー要求が前記更新コピー要求記憶手段に記憶される
ことを特徴とする請求項１０記載のプログラム。
【請求項１３】
第１のディスクストレージを有する第１の計算機と第２のディスクストレージを有する第２の算機とがネットワークにより相互接続される非共有ディスク型のクラスタシステムにおいて前記第１の計算機に適用されるプログラムであって、
前記第１の計算機に、
前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出するステップと、
前記検出された更新コピー要求を更新コピー要求記憶手段に記憶するステップと、
カウンタによって示される組み込みコピー位置への組み込みコピーを指定する組み込みコピー要求を前記第２の計算機に発行するステップと、
前記組み込みコピー要求が発行される都度、前記カウンタを次の組み込みコピー位置を示すように操作するステップと、
前記カウンタが操作される都度、当該カウンタによって示される組み込みコピー位置から一連の組み込みコピーが終了したかを判定し、当該一連の組み込みコピーが未終了ならば前記検出するステップを再実行させるステップと、
前記検出するステップで前記更新コピー要求が検出されなかった場合、前記組み込みコピー中に発行された組み込みコピー要求の指定する組み込みコピーブロックの総数が第１のブロック数の倍数となったかを判定するステップと、
前記組み込みコピーブロックの総数が前記第１のブロック数の倍数となった場合、前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に第２のブロック数に対応する数だけ前記第２の計算機に発行するステップと
を実行させるプログラム。
【請求項１４】
前記第１の計算機に実行させるための、前記検出された更新コピー要求の指定する更新コピーが発生する領域が組み込みコピー済みであるかを前記カウンタによって示される組み込みコピー位置に基づいて判定するステップを更に具備し
組み込みコピー済みと判定された場合だけ、対応する更新コピー要求が前記更新コピー要求記憶手段に記憶される
ことを特徴とする請求項１３記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非共有ディスク型のクラスタシステム及びプログラムに関する。
【背景技術】
【０００２】
非共有ディスク型のクラスタシステムは、分散配置された複数の計算機を備えている。これら複数の計算機はネットワークにより接続される。複数の計算機の各々は、ディスクストレージを有する。クラスタシステムでは、ある計算機（例えば稼動系の計算機）で障害が発生した場合、当該計算機（障害発生計算機）で実行されていた処理をシステム内の他の計算機（例えば待機系の計算機）が引き継ぐことができる。このような処理の引き継ぎを可能とするクラスタシステムの構成を、高可用性（High availability: HA）構成と呼ぶ。
【０００３】
ここで、非共有ディスク型のクラスタシステムが、稼動系（マスタ系）計算機と待機系（スレーブ系）計算機とを備えているものとする。このクラスタシステムにおいてＨＡ構成を実現するには、一般に組み込みコピーと呼ばれる処理を必要とする。組み込みコピーとは、待機系系計算機のディスクストレージの内容を稼動系計算機のディスクストレージの内容に一致化するための処理である。組み込みコピーは、主として、（１）システムの初期化時、（２）障害が発生した計算機が当該障害から待機系計算機として復帰した場合、（３）障害が発生したディスクストレージが別のディスクストレージに交換された場合に、それぞれ実行される。
【０００４】
組み込みコピーでは、稼動系計算機及び待機系計算機の各ディスクストレージの記憶領域は、一定サイズのブロック単位に分割して管理される。この組み込みコピーは次のように実行される。まず、稼動系のディスクストレージのデータが先頭からブロック単位に逐次読み出される。読み出されたデータは待機系計算機のディスクストレージにコピー（反映）される。
【０００５】
また、非共有ディスク型のクラスタシステムにおいてＨＡ構成の状態（つまりＨＡ状態）を維持するには、当該システム内の複数の計算機の各々が有するディスクストレージ（ディスクボリューム）の内容を常時一致化する必要がある。そのため非共有ディスク型のクラスタシステムでは、ある計算機（例えば稼動系計算機）のディスクストレージに対するデータ更新が発生した場合、更新されたブロックのデータをシステム内の他の計算機（例えば待機系計算機）のディスクストレージにコピーする処理（更新コピー）が実行される。
【０００６】
一方、組み込みコピーが行われるシステムとして、例えば特許文献１に記載されているような分散ミラードディスクシステムが知られている。この分散ミラードディスクシステムでは、当該システム内のある計算機が障害から復帰した場合に組み込みコピーが行われる。この組み込みコピーにより、障害から復帰した計算機のディスクストレージの内容が稼動系計算機のディスクストレージの内容に一致化される。
【０００７】
特許文献１に記載のシステムでは、当該システム内の計算機のディスクストレージ間でデータが不一致のブロックが管理される。例えば、システム内のある計算機で障害が発生した場合、当該計算機が障害から復帰するまでの間は、当該計算機のディスクストレージへの更新コピーが行われない。このため、システム内の計算機のディスクストレージ間でデータが不一致のブロックが発生する。そこで、特許文献１に記載のシステムでは、このデータが不一致のブロックを管理して当該不一致のブロックのみを組み込みコピーの対象とすることで、組み込みコピーの高速化を図っている。
【特許文献１】特開２００３−６０１５号公報（段落００３２−００４８）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述の特許文献１に記載された組み込みコピーの技術（先行技術）を、非共有ディスク型のクラスタシステムにおける組み込みコピーに適用することが考えられる。しかし、システムの初期化時、或いはディスクストレージの交換時における組み込みコピーを実行する場合には、ディスクストレージの間で全ブロックが不一致であると見なされる。この場合、ディスクストレージの全ブロックが組み込みコピーの対象となるため、上記先行技術のメリットを生かすことができない。
【０００９】
また、非共有ディスク型のクラスタシステムでは、組み込みコピーの期間中も、アプリケーションプログラム（アプリケーション）の実行に伴って稼動系計算機のディスクストレージに対するデータ更新が頻繁に発生する。ところが、特許文献１に記載された分散ミラードディスクシステムでは、組み込みコピー期間中におけるデータ更新については考慮されていない。
【００１０】
一方、従来の非共有ディスク型のクラスタシステムでは、組み込みコピー時にデータ更新が発生した場合、組み込みコピーが中断されて、更新コピーが先に行われる。つまり、稼動系計算機のディスクストレージで更新されたブロックのデータを待機系計算機のディスクストレージにコピーする処理が組み込みコピーより優先される。その理由は次の通りである。
【００１１】
更新コピーは同期コピーとも呼ばれ、稼動系計算機のディスクストレージへのデータ書き込みＩ／Ｏは、待機系計算機のディスクストレージへのコピーが完了して初めてターミネートされる。つまり、待機系への更新データの反映が完了した後、稼動系で実行中のアプリケーションに書き込みＩ／Ｏが復帰することになる。このため、従来の非共有ディスク型のクラスタシステムでは、更新コピーを組み込みコピーに優先させることで、アプリケーションのスループットに影響を与えないようにしている。
【００１２】
しかし、更新コピーを優先させると組み込みコピーの完了が遅れる。この場合、システムがＨＡ状態となるまでに長時間を要する。そもそもＨＡ構成（ＨＡ状態化）を必要とするクラスタシステムでは、頻繁にデータ更新が行われる可能性が高い。したがって、従来の非共有ディスク型のクラスタシステムでは、組み込みコピーが速やかに完了しない状態が生じる。
【００１３】
また、従来の非共有ディスク型のクラスタシステムでは、組み込みコピー位置と更新コピー位置との関係は考慮されない。このため、組み込みコピーの期間において組み込みコピー前のブロックに対して更新コピーが行われた場合、その後当該ブロックに対して組み込みコピーが行われることになる。つまり従来の非共有ディスク型のクラスタシステムでは、同一ブロックに対して同一データによる更新コピーと組み込みコピーとが重複して行われる可能性がある。この更新コピーと組み込みコピーとが重複するブロックが発生する確率は、データ更新の頻度が高いほど高くなり、システムのＨＡ状態化が完了するまでに要する時間に影響を与える。
【００１４】
本発明は上記事情を考慮してなされたものでその目的は、組み込みコピーに要する時間を当該組み込みコピーの期間に更新コピーが発生しない場合に要する時間に限りなく近づけることができる非共有ディスク型のクラスタシステム及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明の１つの観点によれば、第１のディスクストレージを有する第１の計算機と第２のディスクストレージを有する第２の算機とがネットワークにより相互接続される非共有ディスク型のクラスタシステムが提供される。このシステムの前記第１の計算機は、更新コピー要求検出手段と、更新コピー状況記憶手段と、更新コピー要求記憶手段と、カウンタと、重複判定手段と、組み込みコピー要求記憶手段と、更新コピー要求発行手段と、組み込みコピー要求発行手段とを具備する。前記更新コピー要求検出手段は、前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出する。前記更新コピー状況記憶手段は、前記更新コピー要求検出手段によって検出された更新コピー要求の指定する更新コピーが発生する領域の情報を更新コピー領域の情報として記憶する。前記更新コピー要求記憶手段は、前記更新コピー要求検出手段によって検出された更新コピー要求を要求順に記憶する。前記カウンタは、次に組み込みコピーが実行されるべき組み込みコピー位置をシーケンシャルに指定する。前記重複判定手段は、前記カウンタによって示される組み込みコピー位置への組み込みコピーが更新コピーと重複するかを前記更新コピー状況記憶手段に記憶されている情報に基づき判定する。前記組み込みコピー要求記憶手段は、前記組み込みコピーが更新コピーと重複しない非重複が判定された場合、当該組み込みコピーを指定する組み込みコピー要求を記憶する。前記更新コピー要求発行手段は、前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に前記第２の計算機に発行する。前記組み込みコピー要求発行手段は、前記更新コピー要求記憶手段に更新コピー要求が記憶されていない場合に、前記組み込みコピー要求記憶手段に記憶されている組み込みコピー要求を要求順に前記第２の計算機に発行する。
【００１６】
ここで、前記第１の計算機が、前記第２のディスクストレージの内容を前記第１のディスクストレージの内容に一致化させる組み込みコピー中に発生した更新コピー要求であって、前記第１のディスクストレージにおけるデータ更新を前記第２のディスクストレージの対応する領域に反映させるための更新コピー要求を検出する更新コピー要求検出手段と、次に組み込みコピーが実行されるべき組み込みコピー位置をシーケンシャルに指定するためのカウンタと、前記更新コピー要求検出手段によって検出された更新コピー要求を要求順に記憶する更新コピー要求記憶手段と、組み込みコピーを指定する組み込みコピー要求を前記カウンタによってシーケンシャルに指定される組み込みコピー位置に従って前記第２の計算機に順次発行する組み込みコピー要求発行手段と、前記組み込みコピー要求発行手段によって発行された組み込みコピー要求の指定する組み込みコピーブロックの総数が第１のブロック数の倍数となる都度、その時点において前記更新コピー要求記憶手段に記憶されている更新コピー要求を要求順に第２のブロック数に対応する数だけ前記第２の計算機に発行する更新コピー要求発行手段とを具備する構成を適用しても良い。
【発明の効果】
【００１７】
本発明によれば、組み込みコピーと更新コピーとが重複する領域を極力少なくすることができるため、組み込みコピーに要する時間を当該組み込みコピーの期間に更新コピーが発生しない場合に要する時間（最短時間）に限りなく近づけることができる。これにより組み込みコピーの完了時期を早めて、非共有ディスク型のクラスタシステムを速やかにＨＡ（高可用性）状態化することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態につき図面を参照して説明する。  
図１は本発明の一実施形態に係る非共有ディスク型のクラスタシステムの構成を示すブロック図である。このシステムは、分散配置された複数の計算機（分散ノード）、例えば２つの計算機１０-1及び１０-2を備えている。ここでは、計算機１０-1は稼動系（マスタ系）計算機、計算機１０-2は待機系（スレーブ系）計算機であるものとする。この稼動系計算機と待機系計算機とは固定的なものではなく、例えば計算機１０-1に障害が発生した場合には、計算機１０-2が稼動系に切り替わる。この状態で、計算機１０-1が障害から復帰した場合には、当該計算機１０-1は待機系として動作する。
【００１９】
計算機１０-1及び１０-2は、それぞれディスクストレージ２０-1及び２０-2を有する。本実施形態においてディスクストレージ２０-1及び２０-2の記憶領域（ディスクボリューム）のサイズは等しい。計算機１０-1及び１０-2はディスクストレージ２０-1及び２０-2と、それぞれＳＣＳＩ（small computer system interface）或いはファイバチャネルのようなホストインタフェース２１-1及び２１-2によって接続されている。ディスクストレージ２０-1及びディスクストレージ２０-2は、それぞれ、少なくとも１台のディスクドライブ（例えばハードディスクドライブ）から構成される。計算機１０-1及び１０-2はネットワーク３０によって相互接続されている。
【００２０】
計算機１０-1では、ディスクストレージ２０-1へのアクセスを必要とする、アプリケーション１１を始めとする複数のアプリケーションが実行される。計算機１０-1は、書き込み検知ドライバ１２、ミラーリング管理部１３、ミラーリング部１４-1及び入力部１５を有する。計算機１０-2も計算機１０-1と同様の構成を有する。但し図１では、書き込み検知ドライバ及びミラーリング管理部など、ミラーリング部１４-2以外の構成については省略されている。
【００２１】
書き込み検知ドライバ１２は、計算機１０-1上で実行されるアプリケーション、例えばアプリケーション１１によって発行される書き込み要求（更新要求）１０１を検出する。書き込み要求１０１は、ディスクストレージ２０-1に書き込まれるべきデータのデータ長と書き込み開始位置（データ位置）の情報を含む。書き込み検知ドライバ１２は、検出された書き込み要求１０１に対応する書き込み要求１０２をディスクストレージ２０-1に送出する。書き込み検知ドライバ１２は、書き込み要求１０２に対してディスクストレージ２０-1からディスク書き込み完了通知１０３が返されると、ミラーリング管理部１３に対して書き込み要求（更新要求）１０４を送出する。書き込み検知ドライバ１２は、書き込み要求１０４に対してミラーリング管理部１３から計算機１０-2のディスクストレージ２０-1への書き込み完了（更新コピー完了）を示す通知（書き込み完了通知）１１１が返されると、書き込み要求１０１を発行したアプリケーション１１に対して書き込み完了通知１１２を返す。
【００２２】
ミラーリング管理部１３は、書き込み検知ドライバ１２からの書き込み要求１０４に対応する書き込み要求（更新コピー要求）１０５をミラーリング部１４-1に送出する。ミラーリング管理部１３は、書き込み要求１０５に対してミラーリング部１４-1から計算機１０-2のディスクストレージ２０-1への書き込み完了（更新コピー完了）を示す通知（書き込み完了通知）１１０が返されると、ミラーリング管理部１３に対して書き込み完了通知１１１を返す。
【００２３】
ミラーリング部１４-1は、ミラーリング管理部１３からの書き込み要求（更新コピー要求）１０５を受け取ると、当該書き込み要求１０５に対応する上記書き込み要求１０２に従ってディスクストレージ２０-1に書き込まれたデータを読み出すための読み出し要求１０６を当該ストレージ２０-1に発行する。ミラーリング部１４-1は、この読み出し要求１０６に応じてディスクストレージ２０-1から読み出されるデータ１０７を受け取ると、当該データ１０７を計算機１０-2のディスクストレージ２０-2に書き込む（コピーする）ための書き込み要求（更新コピー要求）１０８を計算機１０-2のミラーリング部１４-2にネットワーク３０を介して送出する。ミラーリング部１４-1は、書き込み要求１０８に対して計算機１０-2のミラーリング部１４-2から書き込み完了通知（更新コピー完了通知）１０９が返されると、当該完了通知１０９に対応する書き込み完了通知１１０をミラーリング管理部１３に返す。
【００２４】
入力部１５は、ユーザの操作により計算機１０-2に対して各種の指示、データ等を入力するのに用いられる。
【００２５】
計算機１０-2のミラーリング部１４-2は、計算機１０-1のミラーリング部１４-1からの書き込み要求１０８に応じて、ディスクストレージ２０-2へのデータ書き込み（更新コピー）を実行する。ミラーリング部１４-2は、ディスクストレージ２０-2へのデータ書き込み（更新コピー）を完了すると、ミラーリング部１４-1に対して書き込み完了通知（更新コピー完了通知）１０９を返す。
【００２６】
本実施形態において、ディスクストレージ２０-1には、リモートミラーリング（分散ミラーリング）のためのプログラムが格納されている。計算機１０-1のミラーリング管理部１３及びミラーリング部１４-1は、当該計算機１０-1がディスクストレージ２０-1から当該計算機１０-1の主メモリ（図示せず）に上記リモートミラーリングのためのプログラムを読み込んで実行することにより実現される。この点は、計算機１０-2においても同様である。上記リモートミラーリングのためのプログラムは、計算機読み取り可能な記憶媒体に予め格納して頒布可能である。また、このプログラムが、ネットワーク３０を介してディスクストレージ２０-1及び２０-2にダウンロードされても構わない。
【００２７】
図２は図１中のミラーリング部１４-1の構成を示すブロック図である。  
ミラーリング部１４-1は、ビットマップテーブル２０１、更新コピーキュー２０２、組み込みコピーキュー２０３、ビットマップ制御部２０４、更新コピーキュー制御部２０５、組み込みコピーキュー制御部２０６及びミラーリング制御部２０７から構成される。
【００２８】
ビットマップテーブル２０１は、ディスクストレージ２０-1の記憶領域（ディスクボリューム）をブロック単位で区切った場合に、各ブロックをビット単位で管理するのに用いられる。ビットマップテーブル２０１は、例えば主メモリ（図示せず）のような、計算機１０-1が有するメモリに格納される。
【００２９】
ディスクストレージ２０-1の記憶領域のサイズをＸバイト、１ブロックのサイズをＹバイト、Ｘ／Ｙ＝Ｎとすると、ディスクストレージ２０-1はブロック番号がそれぞれ０，１，２，…，Ｎ−１のＮ個のブロックＢ0，Ｂ1，Ｂ2，…，ＢN-1に分割される。この場合、ビットマップテーブル２０１はビットｂ0，ｂ1，ｂ2，…，ｂN-1のＮビットで構成され、当該ビットｂ0，ｂ1，ｂ2，…，ｂN-1により、それぞれブロックＢ0，Ｂ1，Ｂ2，…ＢN-1が管理される。ディスクストレージ２０-1のブロックＢ0，Ｂ1，Ｂ2，…，ＢN-1とビットマップテーブル２０１のビットｂ0，ｂ1，ｂ2，…，ｂN-1との対応例を図３に示す。
【００３０】
本実施形態において、ビットマップテーブル２０１の各ビットｂi（ｉ＝０，１，２，…，Ｎ−１）は、組み込みコピー期間におけるディスクストレージ２０-1のブロックＢiでのデータ更新の発生の有無を示すのに用いられる。本実施形態では、更新コピーが組み込みコピーに優先して行われる。このため、ディスクストレージ２０-1でデータ更新が発生した場合、そのデータ更新に同期して、そのデータ更新をディスクストレージ２０-2に反映するための更新コピーが発生する。したがって、ビットマップテーブル２０１の各ビットｂiは、組み込みコピー期間におけるディスクストレージ２０-2のブロックＢiでの更新コピーの発生の有無をも示す。そこで以下の説明では、ディスクストレージ２０-1及び２０-2を区別せずに、ビットマップテーブル２０１の各ビットｂiにより、組み込みコピー期間におけるブロックＢiでの更新コピーの発生の有無が示されると表現する。ビットマップテーブル２０１は、更新コピーが発生する領域の情報を更新コピー領域の情報として記憶する更新コピー状況記憶手段として用いられる。
【００３１】
更新コピーキュー２０２は、例えばブロック単位の更新コピー要求を時系列順に保持する更新コピー要求記憶手段として用いられる先入れ先出し（ＦＩＦＯ）バッファである。組み込みコピーキュー２０３は、例えばブロック単位の組み込みコピー要求を時系列順に保持する組み込みコピー要求記憶手段として用いられるＦＩＦＯバッファである。更新コピーキュー２０２及び組み込みコピーキュー２０３は、例えば主メモリのような、計算機１０-1が有するメモリの領域に確保される。
【００３２】
ビットマップ制御部２０４は、ミラーリング制御部２０７からの要求に応じてビットマップテーブル２０１へのアクセスを制御する。更新コピーキュー制御部２０５は、ミラーリング制御部２０６からの要求に応じて更新コピーキュー２０２へのアクセスを制御する。組み込みコピーキュー制御部２０６は、ミラーリング制御部２０７からの要求に応じて組み込みコピーキュー２０３へのアクセスを制御する。ミラーリング制御部２０７は、ビットマップテーブル２０１、更新コピーキュー２０２及び組み込みコピーキュー２０３を利用して、計算機１０-2のディスクストレージ２０-2に対する更新コピー及び組み込みコピー、つまりディスクストレージ２０-2の内容をディスクストレージ２０-1の内容に一致化させるためのミラーリングを制御する。
【００３３】
図４は、図２中のミラーリング制御部２０７の構成を示すブロック図である。ミラーリング制御部２０７は、更新コピーを組み込みコピーに優先させながら、組み込みコピーに要する時間を“最短時間”に限りなく近づけることを可能とするために、次のような構成を有する。“最短時間”とは、組み込みコピーの期間に更新コピーが発生しない場合に組み込みコピー要する時間を指す。
【００３４】
ミラーリング制御部２０７は、ビットセット制御部４０１、分散データ同期制御部４０２及び組み込みコピー制御部４０３を有する。ビットセット制御部４０１は、更新コピー要求の発生に応じてビットマップテーブル２０１中の更新コピー領域に対応するビット（）を“１”にセットするためのビットセット処理を制御する。分散データ同期制御部４０２は、ディスクストレージ２０-1でのデータ更新を計算機１０-2のディスクストレージ２０-2に反映させるための更新コピー処理（分散データの同期処理）を制御する。組み込みコピー制御部４０３は、組み込みコピー処理を制御する。組み込みコピー制御部４０３は組み込みコピーフラグレジスタ４０３ａを含む。このレジスタ４０３ａは、組み込みコピー中であることを示す組み込みコピーフラグを保持する記憶手段として用いられる。
【００３５】
ミラーリング制御部２０７はまた、更新コピー要求検出部４０４、更新コピー要求設定部４０５及びビットセット部４０６を有する。更新コピー要求検出部４０４は、ミラーリング管理部１３からの更新コピー要求（図１の書き込み要求１０５に相当）を検出する。更新コピー要求設定部４０５は、検出された更新コピー要求に対応する更新コピー要求（図１の書き込み要求１０８に相当）を更新コピーキュー２０２に設定する。ビットセット部４０６は、検出された更新コピー要求で指定される更新コピー領域に対応するビットマップテーブル２０１のビットを“１”に設定する。
【００３６】
ミラーリング制御部２０７はまた、更新コピーキュー状態判定部４０７及び更新コピー要求発行部４０８を有する。更新コピーキュー状態判定部４０７は、更新コピーキュー２０２の状態を判定する。更新コピー要求発行部４０８は、更新コピーキュー２０２に更新コピー要求が保持されていると判定された場合、先頭の更新コピー要求（つまり最も古い更新コピー要求）を取り出して計算機１０-2のミラーリング部１４-2に送出する。
【００３７】
ミラーリング制御部２０７はまた、組み込みコピーブロックカウンタ４０９、重複判定部４１０及び組み込みコピー要求設定部４１１を有する。組み込みコピーブロックカウンタ４０９は、次に組み込みコピーが実行されるべきブロックの番号（つまり次の組み込みコピー位置）をシーケンシャルに指定する。重複判定部４１０は、次に実行されるべき組み込みコピーのブロックが更新コピー済みであるか否か、つまり組み込みコピーが更新コピー済みのブロックに対して重複して行われるか否かを判定する。組み込みコピー要求設定部４１１は、非重複が判定された場合だけ、対応する組み込みコピー要求を組み込みコピーキュー２０３に設定する。
【００３８】
ミラーリング制御部２０７は更に、組み込みコピーキュー状態判定部４１２、組み込みコピー要求発行部４１３及び組み込みコピー終了判定部４１４を有する。組み込みコピーキュー状態判定部４１２は、分散データ同期処理において、更新コピーキュー２０２に更新コピー要求が保持されていないと判定された場合に、組み込みコピーキュー２０３の状態を判定する。組み込みコピー要求発行部４１３は、組み込みコピーキュー２０３に組み込みコピー要求が保持されていると判定された場合、先頭の組み込みコピー要求（つまり最も古い組み込みコピー要求）を取り出して計算機１０-2のミラーリング部１４-2に送出する。組み込みコピー終了判定部４１４は、組み込みコピーが最終ブロックまで行われたか否か、つまり一連の組み込みコピーが終了したか否かを判定する。
【００３９】
次に、本実施形態の動作について、図５、図６及び図７のフローチャートを参照して説明する。図５は同実施形態におけるビットセット処理の手順を示すフローチャート、図６は同実施形態における組み込みコピー処理の手順を示すフローチャート、図７は同実施形態における分散データ同期処理の手順を示すフローチャートである。
【００４０】
まず、［背景技術］で挙げられた組み込みコピーが実行される条件のうち、例えば（１）または（２）に示す条件が成立したものとする。すると組み込みコピー制御部４０３は、組み込みコピーフラグレジスタ４０３ａに保持されている組み込みコピーフラグを組み込みコピー中を示す状態に設定する（ステップＳ１１）。そして組み込みコピー制御部４０３は、組み込みコピー処理の制御を開始して、組み込みコピーブロックカウンタ４０９を例えば先頭ブロックＢ0を示す０に初期化する（ステップＳ１２）。この場合、カウンタ４０９により、ブロックＢ0が組み込みコピーの対象となることが示される。
【００４１】
ビットセット制御部４０１は、組み込みコピーフラグにより組み込みコピー中が示されると、ビットセット処理の制御を開始して、更新コピー要求検出部４０４を起動する。すると更新コピー要求検出部４０４は、ミラーリング管理部１３からの更新コピー要求を検出する動作を行う（ステップＳ１）。そして更新コピー要求検出部４０４は更新コピー要求を検出できたか否か（つまり更新コピーの発生を検出できたか否か）をビットセット制御部４０１に通知する。
【００４２】
ビットセット制御部４０１は、更新コピー要求が検出できたことが通知された場合、まずビットセット部４０６を起動する。ビットセット部４０６は、更新コピー要求検出部４０４によって検出された更新コピー要求で指定される更新コピー領域に対応するビットマップテーブル２０１のビット（ビットフラグ）を、ビットマップ制御部２０４を介して“１”に設定する（ステップＳ２）。
【００４３】
次にビットセット制御部４０１は更新コピー要求設定部４０５を起動する。すると更新コピー要求設定部４０５は、上記検出された更新コピー要求を更新コピーキュー２０２の最後に設定する（ステップＳ３）。なお、更新コピーキュー２０２に更新コピーキューが１つも保持されていない場合、更新コピーキュー２０２の最後は当該更新コピーキュー２０２の先頭でもある。このことは、組み込みコピーキュー２０３においても同様である。
【００４４】
本実施形態において、更新コピーキュー２０２に設定される（つながれる）更新コピー要求は、ディスクストレージ２０-2にコピーされる（書き込まれる）べきデータのデータ長とコピー（書き込み）開始位置の情報を含む。この更新コピー要求には、ディスクストレージ２０-2にコピーされるべきデータが付加される。このデータは、上記検出された更新コピー要求（書き込み要求１０５）に対応する書き込み検知ドライバ１２からの書き込み要求１０２に応じてディスクストレージ２０-1に書き込まれたデータ（更新データ）であり、図１のデータ１０７に相当する。
【００４５】
ビットセット制御部４０１は、更新コピーキュー２０２に更新コピー要求が設定されるとステップＳ４に進む。またビットセット制御部４０１は、更新コピー要求を検出できなかったことが通知された場合にもステップＳ４に進む。ステップＳ４において、ビットセット制御部４０１は、組み込みコピーフラグの状態を参照して、組み込みコピーが終了しているか否かを判定する。もし、組み込みコピーが終了していないならば、つまり組み込みコピー中であるならば、ビットセット制御部４０１は再び更新コピー要求検出部４０４を起動する。これに対し、組み込みコピーが終了しているならば、ビットセット制御部４０１はビットセット処理の制御を終了する。
【００４６】
一方、組み込みコピー制御部４０３は、組み込みコピーブロックカウンタ４０９を初期化すると（ステップＳ１２）、重複判定部４１０を起動する。すると重複判定部４１０は、組み込みコピーブロックカウンタ４０９の示す組み込みコピー位置（つまり次に組み込みコピーが実行されるべきブロックの番号）に対応するビットマップテーブル２０１のビットを参照する（ステップＳ１３）。したがって、組み込みコピーブロックカウンタ４０９の初期化直後では、まずブロックＢ0に対応する、ビットマップテーブル２０１のビットｂ0が参照される。
【００４７】
次に重複判定部４１０は、参照ビットが“１”であるか否かを判定する（ステップＳ１４）。もし、参照ビットが“１”であるならば、重複判定部４１０は、次に実行されるべき組み込みコピーのブロックが組み込みコピー期間に既に更新コピーされており、当該組み込みコピーが更新コピーに重複して行われるものと判定する。これに対し、参照ビットが“０”であるならば、重複判定部４１０は、次に実行されるべき組み込みコピーのブロックは更新コピーされておらず、当該組み込みコピーが更新コピーに重複して行われないものと判定する。つまり重複判定部４１０は、参照ビットが“１”の場合には“重複”を判定し、“０”の場合には“非重複”を判定する（ステップＳ１４）。重複判定部４１０の判定結果は組み込みコピー制御部４０３及び組み込みコピー要求設定部４１１に通知される。
【００４８】
組み込みコピー要求設定部４１１は、重複判定部４１０によって非重複が判定された場合、次に実行されるべき組み込みコピーの要求（組み込みコピー要求）を組み込みコピーキュー制御部２０６を介して組み込みコピーキュー２０３の最後に設定する（ステップＳ１５）。これに対し、重複判定部４１０によって重複が判定された場合には、組み込みコピー要求設定部４１１は次に実行されるべき組み込みコピーは不要であるとして、当該組み込みコピー要求の設定を控える。ここで、組み込みコピーキュー２０３に設定される組み込みコピー要求は、ディスクストレージ２０-2にコピーされるべきデータのデータ長とコピー開始位置の情報を含む。この組み込みコピー要求には、ディスクストレージ２０-2にコピーされるべきデータが付加される。
【００４９】
一方、組み込みコピー制御部４０３は、重複判定部４１０によって重複が判定された場合、直ちに組み込みコピーブロックカウンタ４０９の値を１インクリメントする（ステップＳ１６）。これに対し、重複判定部４１０によって非重複が判定された場合には、組み込みコピー制御部４０３は、組み込みコピー要求設定部４１１による組み込みコピー要求の設定後に、カウンタ４０９の値を１インクリメントする（ステップＳ１６）。
【００５０】
組み込みコピーブロックカウンタ４０９の値がインクリメントされると、組み込みコピー終了判定部４１４は、その際の当該カウンタ４０９の値に基づき、一連の組み込みコピーが終了したか否かを判定する（ステップＳ１７）。この判定は、インクリメント後の組み込みコピーブロックカウンタ４０９の値が組み込みコピーの対象となるブロック群のうちの最終ブロックのブロック番号を超えているか否かを調べることにより行われる。組み込みコピー終了判定部４１４の判定結果は組み込みコピー制御部４０３に通知される。
【００５１】
組み込みコピー制御部４０３は、組み込みコピー終了判定部４１４によって組み込みコピー未終了が判定された場合（ステップＳ１７）、重複判定部４１０を再び起動する。
【００５２】
一方、分散データ同期制御部４０２は、組み込みコピーフラグレジスタ４０３ａに保持されている組み込みコピーフラグにより組み込みコピー中が示されると、分散データ同期処理の制御を開始して、更新コピーキュー状態判定部４０７を起動する。すると更新コピーキュー状態判定部４０７は、更新コピーキュー２０２に更新コピー要求が保持されているか否かを判定する（ステップＳ２１）。更新コピーキュー状態判定部４０７の判定結果は分散データ同期制御部４０２及び更新コピー要求発行部４０８に通知される。
【００５３】
更新コピー要求発行部４０８は、更新コピーキュー２０２に更新コピー要求が保持されている場合、更新コピーキュー制御部２０５を介して当該更新コピーキュー２０２から先頭の更新コピー要求（その時点で最も古い更新コピー要求）を取り出し、計算機１０-2のミラーリング部１４-2に送出する（ステップＳ２２）。次に更新コピー要求発行部４０８は、この更新コピー要求を更新コピーキュー２０２から削除する（ステップＳ２３）。これに対し、更新コピーキュー２０２に更新コピー要求が保持されていない場合、更新コピー要求発行部４０８は上記ステップＳ２１及びＳ２２を実行しない。
【００５４】
一方、分散データ同期制御部４０２は、更新コピーキュー２０２に更新コピー要求が保持されていない場合（ステップＳ２１）、その旨を組み込みコピー制御部４０３に通知する。この通知を受けて、組み込みコピー制御部４０３は組み込みコピーキュー状態判定部４１２を起動する。すると組み込みコピーキュー状態判定部４１２は、組み込みコピーキュー２０３に組み込みコピー要求が保持されているか否かを判定する（ステップＳ２４）。組み込みコピーキュー状態判定部４１２の判定結果は組み込みコピー制御部４０３及び組み込みコピー要求発行部４１３に通知される。
【００５５】
組み込みコピー要求発行部４１３は、組み込みコピーキュー２０３に組み込みコピー要求が保持されている場合、組み込みコピーキュー制御部２０６を介して当該組み込みコピーキュー２０３から先頭の組み込みコピー要求を取り出し、計算機１０-2のミラーリング部１４-2に送出する（ステップＳ２５）。次に組み込みコピー要求発行部４１３は、この組み込みコピー要求を組み込みコピーキュー２０３から削除する（ステップＳ２６）。これに対し、組み込みコピーキュー２０３に組み込みコピー要求が保持されていない場合、組み込みコピー要求発行部４１３は上記ステップＳ２５及びＳ２６を実行しない。
【００５６】
分散データ同期制御部４０２は、更新コピーキュー状態判定部４０７による上記ステップＳ２１の判定を、分散データ同期処理の期間繰り返し実行させる。ここで、分散データ同期処理は、例えば計算機１０-1でのアプリケーション１１等の停止を伴うクラスタシステムの停止、或いは計算機１０-2のクラスタシステムからの切り離し等の発生により終了となる（ステップＳ２７）。
【００５７】
上述したように本実施形態においては、更新コピーキュー２０２に更新コピー要求が保持されている限り、更新コピーが組み込みコピーに優先して行われる。また、本実施形態においては、更新コピー要求が検出された場合、当該更新コピー要求で指定される更新コピー領域に対応するビットマップテーブル２０１のビットが組み込みコピーの進行状況に無関係に必ず“１”に設定される。また本実施形態においては、ブロックＢ0から始まる組み込みコピー処理の期間、ビットマップテーブル２０１の各ビットがブロックＢ0に対応するビットｂ0から順に参照され、“１”に設定されていないビットｂiに対応するブロックＢiのみを対象に組み込みコピーが実行される。即ち本実施形態においては、更新コピーが組み込みコピーに優先して行われると共に、組み込みコピーが更新コピーと重複するブロックについては、組み込みコピーの対象外とされる。これにより、更新コピーを優先しながら、組み込みコピーに要する時間を限りなく“最短時間”に近づけることができる。ビットマップテーブル２０１の値が“１”のビットは、一連の組み込みコピー（組み込みコピー処理）終了後に“０”にリセットされる。
【００５８】
図８は、同実施形態におけるビットセット処理と組み込みコピー処理との対応関係の一例を示す。同図（ａ）及び（ｂ）は、それぞれ更新コピー発生直前におけるディスクストレージ２０-1（２０-2）及びビットマップテーブル２０１の状態例を示し、同図（ｃ）及び（ｄ）は、それぞれ更新コピー発生後におけるディスクストレージ２０-1（２０-2）及びビットマップテーブル２０１の状態例を示す。この例では、ブロックＢ2まで組み込みコピーが実行された直後に、組み込みコピー済みのブロックＢ1に対する更新コピー並びに組み込みコピー前のブロックＢk及びＢk+3に対する更新コピーが続けて発生した場合を想定している。この場合、更新コピーの発生に応じてブロックＢ1，Ｂk及びＢk+3にそれぞれ対応するビットマップテーブル２０１のビットが、図８（ｄ）に示すように“１”に設定される。また、組み込みコピーが中断され、図８（ｃ）に示すようにブロックＢ1，Ｂk及びＢk+3に対する更新コピーが優先的に行われる。
【００５９】
この更新コピーの後、新たな更新コピーが発生しないならば、組み込みコピーがブロックＢ3から再開される。ここでは、ビットマップテーブル２０１のビットがビットｂ3から順に参照されて、組み込みコピーが未実行のブロックのうち、“０”が設定されているビットに対応するブロックのみが組み込みコピーの対象となる。つまり、“１”が設定されているビットｂk及びｂk+3にそれぞれ対応する更新コピー済みブロックＢk及びＢk+3は、組み込みコピーの対象外となる。
【００６０】
［第１の変形例］
上記実施形態では、更新コピーが発生した場合、更新コピー領域に対応するビットマップテーブル２０１のビットが無条件で“１”に設定される。しかし、組み込みコピー済み領域に対応するビットマップテーブル２０１のビットに関しては、“１”を設定する操作（ビットセット）は無用である。そこで、組み込みコピー済み領域への更新コピーの発生時には、当該更新コピー領域に対応するビットマップテーブル２０１のビットを操作しないようにした上記実施形態の第１の変形例について説明する。
【００６１】
図９は、第１の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２１７の構成を示すブロック図である。図９のミラーリング制御部２１７が図４のミラーリング制御部２０７と異なるのは、組み込みコピー状態判定部４１５が追加され、上記実施形態とは異なるビットセット処理が行われる点である。なお、図９において図４と同様の部分には同一符号を付してある。
【００６２】
以下、第１の変形例におけるビットセット処理について、上記実施形態と相違する点を中心に図１０のフローチャートを参照して簡単に説明する。なお、図１０において図５のフローチャートと同様の部分には同一符号を付してある。
【００６３】
まず、更新コピー要求検出部４０４が、ミラーリング管理部１３からの更新コピー要求を検出したものとする（ステップＳ１）。すると組み込みコピー状態判定部４１５は、この更新コピー要求の示す更新コピー領域が組み込みコピー未完了領域であるか否か、つまり組み込みコピー未完了領域への更新コピーであるか否かを判定する（ステップＳ１ａ）。この判定は、更新コピー要求の示す更新コピー領域の先頭ブロック位置と組み込みコピーブロックカウンタ４０９の示すブロック位置とを比較することで行われる。
【００６４】
ビットセット部４０６は、組み込み未完了領域への更新コピーであると判定された場合だけ、更新コピー要求で指定される更新コピー領域に対応するビットマップテーブル２０１のビットを“１”に設定する（ステップＳ２）。つまり、組み込み完了領域（組み込みコピー済みの領域）への更新コピーである場合には、更新コピー領域に対応するビットマップテーブル２０１のビットは操作されない。これにより、ビットセット処理において、上記実施形態と比較して判定処理（ステップＳ１ａ）が増えるものの、ビットマップテーブル２０１内で組み込みコピー終了後にリセットされるべきビットの数を減らすことができる。
【００６５】
［第２の変形例］
上記実施形態では、ディスクストレージ２０-1（２０-2）のブロック数に等しいビット数のビットマップテーブル２０１を必要とする。このため、ディスクストレージ２０-1（２０-2）の容量が大きいほど、ビットマップテーブル２０１に必要なメモリ領域のサイズ（メモリ使用量）が増大する。そこで、このビットマップテーブル２０１に必要なメモリ領域サイズを低減することを可能とした上記実施形態の第２の変形例について説明する。
【００６６】
第２の変形例の特徴は、ビットマップテーブル２０１の各ビットと対応付けられる（各ビットによって管理される）ブロック数（つまり各ビットの記憶粒度）ｎを、入力部１５により任意に設定可能とした点にある。
【００６７】
図１１は、第２の変形例において、ｎブロックを１ビットで管理する場合の、ディスクストレージ２０-1（２０-2）の各ブロックとビットマップテーブル２０１の各ビットとの対応例を、ｎ＝２の場合について示す。ここで、ディスクストレージ２０-1（２０-2）の最終ブロックＢN-1がＢ2M-1（つまりＮ＝２Ｍ）であるものとする。
【００６８】
図１１の例では、連続する２ブロックＢ2j及びＢ2j+1（ｊ＝０，１，…，Ｍ−１）を１グループＧjとして、当該グループＧjにマップテーブル２０１のビットｂjが対応付けられる。ここでは、グループＧj内の２ブロックＢ2j及びＢ2j+1のうち１ブロックでも更新コピーが発生すれば、ビットマップテーブル２０１のビットｂjは“１”に設定される。つまり第２の変形例では、グループ単位で更新コピーの有無が管理される。ディスクストレージ２０-1（２０-2）内のｉ番目のブロック（つまりブロック番号がｉのブロックＢi）に対応付けられるビットマップテーブル２０１のビットは、ｉ／ｎ（＝ｉ／２）の整数部をｊとすると、第ｊ番目のビット（つまりビットｂj）となる。明らかなように、上記実施形態は、第２の変形例においてｎ＝１の場合、つまり１グループＧjが１ブロックから構成される典型的な場合に対応する。
【００６９】
図１２は、第２の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２２７の構成を、当該ミラーリング制御部２０７と相違する部分についてのみ示すブロック図である。図１２において、ビットセット制御部４０１は管理ブロック数レジスタ４０１ａを有する。レジスタ４０１ａは、入力部１５により入力されるｎの値を保持する。このｎは、ビットマップテーブル２０１の各ビットにより管理されるブロック数を表す。図１２のミラーリング制御部２２７では、図４に示す更新コピー要求設定部４０５、ビットセット部４０６及び重複判定部４１０に代えて、それぞれ更新コピー要求設定部５０５、ビットセット部５０６及び重複判定部５１０が用いられる。
【００７０】
ここで、第２の変形例におけるビットセット処理について、上記実施形態で適用された図３のフローチャートを援用して説明する。  
ビットセット部５０６は、更新コピー要求検出部４０４によって更新コピー要求が検出された場合（ステップＳ１）、当該更新コピー要求によって指定される更新コピー領域に対応するグループを特定する。ここで、ブロックＢ2j及びＢ2j+1のいずれか一方のブロックＢi（ｉは２ｊまたは２ｊ＋１）を対象とする更新コピー要求の場合を想定する。この場合、ビットセット部５０６は、ブロックＢiが属するグループＧjを、ブロックＢiのブロック番号ｊ及び管理ブロック数レジスタ４０１ａの示すブロック数ｎとに基づいて特定する。具体的には、ビットセット部５０６は、ｉ／ｎ（＝ｉ／２）の演算結果の整数部からグループＧjを特定する。この場合、ビットセット部５０６は、特定されたグループＧjに対応するビットマップテーブル２０１のビットｂjを“１”に設定する（ステップＳ２）。
【００７１】
一方、更新コピー要求設定部５０５もビットセット部５０６と同様に、ブロックＢiが属するグループＧjをｉ／ｎ（＝ｉ／２）の整数部から特定する。更新コピー要求設定部５０５は、更新コピー要求検出部４０４によって検出された更新コピー要求を、特定されたグループＧjに属する全てのブロックＢ2j及びＢ2j+1を対象とする更新コピー要求であると見なす。この場合、更新コピー要求設定部５０５は、ブロックＢ2j及びＢ2j+1を対象とする更新コピー要求を更新コピーキュー２０２に設定する（ステップＳ３）。なお、上述のグループを特定する処理を、更新コピー要求設定部５０５及びビットセット部５０６が個々に行う代わりに、例えばビットセット制御部４０１または専用のグループ特定部が行うようにしても良い。
【００７２】
次に、組み込みコピー処理における重複判定部５１０による重複判定について説明する。重複判定部５１０は重複判定が必要な場合、組み込みコピーブロックカウンタ４０９の示す次に組み込みコピーが実行されるべきブロックが属するグループを特定する。具体的には、カウンタ４０９の値がｊであるものとすると、重複判定部５１０は、ブロックＢiが属するグループＧjを、ｉ／ｎ（＝ｉ／２）の演算結果の整数部から特定する。重複判定部５１０は、特定されたグループＧjに対応するビットマップテーブル２０１のビットｂjを参照し、当該ビットｂjが“１”であれば上述の重複を判定する。この場合、ブロックＢiの組み込みコピーは省略される。これに対し、ビットｂjが“０”であれば、ブロックＢiを対象とする組み込みコピー要求が組み込みコピーキュー２０３に設定される。なお、重複判定部５１０におけるグループ特定処理を、上記グループ特定部が行うようにしても良い。
【００７３】
第２の変形例によれば、ビットマップテーブル２０１に必要なメモリ領域サイズを、上記実施形態の１／ｎにすることができる。但し、ｎを増やすと、更新コピーブロック数が増加し、計算機１０-1から計算機１０-2に転送されてディスクストレージ２０-2に書き込まれるデータ量が増加する。したがってｎは、ビットマップテーブル２０１に必要なメモリ領域サイズと計算機１０-1から計算機１０-2への転送／書き込みデータ量とのトレードオフによって、実運用に適した値に調整すれば良い。
【００７４】
［第３の変形例］
上記実施形態並びに上記第１及び第２の変形例では、いずれも更新コピーを組み込みコピーに優先させ、ディスクストレージ２０-1に対するデータ更新が発生した場合、そのデータ更新に同期させてディスクストレージ２０-2に対する更新コピーが行われる。ここでは、組み込みコピーに要する時間を可能な限り“最短時間”に近づけるために、組み込みコピー前に更新コピーが発生した領域を組み込みコピーの対象外とする仕組みが適用される。この仕組みの実現には、更新コピー済みの領域を管理するためのビットマップテーブル２０１を必要とする。
【００７５】
そこで、ビットマップテーブル２０１を用いることなく、組み込みコピーに要する時間を可能な限り“最短時間”に近づけることを可能とする上記実施形態の第３の変形例について説明する。
【００７６】
図１３は、第３の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２３７の構成を示すブロック図である。ミラーリング制御部２３７は、組み込みコピー制御部６０１及び更新コピー制御部６０２を有する。組み込みコピー制御部６０１は、組み込みコピー処理が更新コピー処理に優先されるように当該組み込みコピー処理を制御する。更新コピー制御部６０２は、組み込みコピー制御部６０１の制御のもとで更新コピー処理を制御する。更新コピー制御部６０２は、更新コピー処理の制御のためのパラメータＰ及びＱを保持するパラメータレジスタ６０２ａを含む。パラメータＰは、更新コピーのタイミングを表す。より具体的には、パラメータＰは、組み込みコピーがＰブロック実行される毎に更新コピーが実行可能なことを示す。パラメータＱは、更新コピーのタイミングが到来した場合に実行可能な更新コピーの最大ブロック数を示す。
【００７７】
ミラーリング制御部２３７はまた、組み込みコピーブロックカウンタ６０３、組み込みコピー要求発行部６０４及び組み込みコピー終了判定部６０５を含む。組み込みコピーブロックカウンタ６０３は、次に組み込みコピーが実行されるべきブロックの番号を示す。組み込みコピー要求発行部６０４は、組み込みコピーブロックカウンタ６０３によって指定される番号のブロックを対象とする組み込みコピー要求を発行する。組み込みコピー終了判定部６０５は、一連の組み込みコピーが終了したか否かを判定する。
【００７８】
ミラーリング制御部２３７はまた、更新コピー要求検出部６０６、組み込みコピー状態判定部６０７及び更新コピー要求設定部６０８を含む。更新コピー要求検出部６０６は、ミラーリング管理部１３からの更新コピー要求を検出する。組み込みコピー状態判定部６０７は、検出された更新コピー要求で指定されるブロックが組み込みコピー済みであるか否かを判定する。更新コピー要求設定部６０８は、組み込みコピー済みであると判定された場合に、検出された更新コピー要求に対応する更新コピー要求を更新コピーキュー２０２に設定する。
【００７９】
ミラーリング制御部２３７は更に、更新コピータイミング判定部６０９、更新コピーキュー状態判定部６１０及び更新コピー要求発行部６１１を含む。更新コピータイミング判定部６０９は、組み込みコピーブロックカウンタ６０３の示すブロック番号とパラメータレジスタ６０２ａに保持されているパラメータＰとに基づいて、更新コピーのタイミングが到来したか否かを判定する。更新コピーキュー状態判定部６１０は、更新コピーのタイミングの到来が判定された場合に、更新コピーキュー２０２の状態を判定する。更新コピー要求発行部６１１は、更新コピーキュー２０２に更新コピー要求が保持されていると判定された場合、当該キュー２０２の先頭から最大Ｑ個の更新コピーを取り出して計算機１０-2のミラーリング部１４-2に送出する。
【００８０】
次に、第３の変形例における動作について、図１４のフローチャートを参照して説明する。  
まず、［背景技術］で挙げられた組み込みコピーが実行される条件のうち、例えば（１）または（２）に示す条件が成立したものとする。すると組み込みコピー制御部４０３は、組み込みコピーフラグレジスタ（図示せず）に保持されている組み込みコピーフラグを組み込みコピー中を示す状態に設定する。そして組み込みコピー制御部４０３は、組み込みコピー処理の制御を開始して、組み込みコピーブロックカウンタ６０３を例えば先頭ブロックを示す０に初期化する（ステップＳ３１）。次に組み込みコピー制御部４０３は、更新コピー制御部６０２を起動する。
【００８１】
これにより、更新コピー制御部６０２は更新コピー処理の制御を開始して、更新コピー要求検出部６０６を起動する。更新コピー要求検出部６０６は、ミラーリング管理部１３からの更新コピー要求を検出する動作を行う（ステップＳ３２）。組み込みコピー状態判定部６０７は、更新コピー要求検出部６０６によって更新コピー要求が検出された場合、検出された更新コピー要求で指定される更新コピー領域のブロックが組み込みコピー済みであるか否かを判定する（ステップＳ３３）。この判定は、検出された更新コピー要求によって指定される更新コピー領域の開始（先頭）ブロックの番号（以下、更新コピー要求ブロック番号と称する）と組み込みコピーブロックカウンタ６０３の示すブロックの番号（以下、組み込みコピーブロック番号と称する）とを比較することにより行われる。ここでは、更新コピー要求ブロック番号が組み込みコピーブロック番号より小さいならば組み込みコピー済みが判定され、そうでないならば組み込みコピー済みでないと判定される。
【００８２】
明らかなように本実施形態では、更新コピー領域が複数ブロックから構成される場合、少なくとも先頭ブロックが実際に組み込みコピー済みであるならば、更新コピー領域全体として組み込みコピー済みであると判定される。また、更新コピー領域の全ブロックが実際に組み込みコピー済みでない場合に、組み込みコピー済みでないと判定される。
【００８３】
更新コピー要求設定部６０８は、検出された更新コピー要求によって指定される更新コピー領域が組み込みコピー済みであるならば、当該更新コピー要求に対応する更新コピー要求を更新コピーキュー２０２の最後に設定する（ステップＳ３４）。これに対し、上記更新コピー領域が組み込みコピー済みでないならば、更新コピー要求設定部６０８は、当該更新コピー領域がいずれ組み込みコピーの対象となると判断する。この場合、更新コピー要求設定部６０８は検出された更新コピー要求を無視する。これにより、無駄な更新コピーが実行されるのを防止できる。
【００８４】
更新コピー制御部６０２は、組み込みコピー状態判定部６０７によって組み込みコピー済みでないと判定された場合には直ちに、組み込みコピー済みと判定された場合には、更新コピー要求設定部６０８による更新コピー要求設定の後に、更新コピー処理の制御を中断する。
【００８５】
すると組み込みコピー制御部６０１は、組み込みコピー要求発行部６０４を起動する。組み込みコピー要求発行部６０４は、組み込みコピーブロックカウンタ６０３の示すブロックを組み込みコピーの対象とする組み込みコピー要求を生成して、当該組み込みコピー要求を計算機１０-2のミラーリング部１４-2に送出する（ステップＳ３５）。即ち組み込みコピー要求発行部６０４は、組み込みコピーブロックカウンタ６０３の示すブロックの組み込みコピーを実行する。
【００８６】
組み込みコピー制御部６０１は、組み込みコピー要求発行部６０４によって１ブロックの組み込みコピーが実行されると、組み込みコピーブロックカウンタ６０３の値を１インクリメントする（ステップＳ３６）。組み込みコピー終了判定部６０５は、このインクリメント後のカウンタ６０３の値に基づき、上記実施形態における組み込みコピー終了判定部４１４と同様に、一連の組み込みコピーが終了したか否かを判定する（ステップＳ３７）。この判定結果は組み込みコピー制御部６０１に通知される。
【００８７】
組み込みコピー制御部６０１は、組み込みコピーが終了していないと判定された場合、その旨を更新コピー制御部６０２に通知する。すると、更新コピー制御部６０２は更新コピー処理の制御を再開して、更新コピー要求検出部６０６を起動する。これにより更新コピー要求検出部６０６は、ミラーリング管理部１３からの更新コピー要求を検出する動作を行う（ステップＳ３２）。以下、同様にして、更新コピーが発生しても（ステップＳ３２）、組み込みコピーが優先的に実行される（ステップＳ３５）。
【００８８】
やがて、更新コピー要求検出部６０６により更新コピー要求１０５が検出されたものとする（ステップＳ３２）。この場合、更新コピー制御部６０２は更新コピータイミング判定部６０９を起動する。すると更新コピータイミング判定部６０９は、組み込みコピーブロックカウンタ６０３の示すブロック番号（組み込みコピーブロック番号）とパラメータレジスタ６０２ａに保持されているパラメータＰとに基づいて、更新コピーのタイミングが到来したか否かを判定する（ステップＳ３８）。ここでは、カウンタ６０３の示すブロック番号がＰの倍数（つまり組み込みコピーが実行されたブロックの総数がＰの倍数）であるならば、更新コピーのタイミングの到来が判定される。
【００８９】
更新コピーキュー状態判定部６１０は、更新コピーのタイミングの到来が判定された場合、更新コピーキュー２０２に更新コピー要求が保持されているか否かを判定する（ステップＳ３９）。更新コピーキュー２０２に更新コピー要求が保持されている場合、更新コピー要求発行部６１１は当該キュー２０２の先頭から最大Ｑブロックの更新コピーを取り出して計算機１０-2のミラーリング部１４-2に送出する（ステップＳ４０）。即ち更新コピー要求発行部６１１は、更新コピーキュー２０２に保持されている更新コピー要求に従い、最大Ｑブロックの更新コピーを更新コピー要求順に実行する。このＱの値は、パラメータレジスタ６０２ａに保持されているパラメータＱによって指定される。
【００９０】
このように第３の変形例においては、組み込みコピーが優先され、Ｐブロックの組み込みコピーが実行される毎に、最大Ｑブロックの更新コピーが実行される。これによりＱ／Ｐの値（Ｐに対するＱの比率）が小さいほど、組み込みコピーを短時間で終了して、クラスタシステムを速やかにＨＡ状態に設定することができる。但し、Ｑ／Ｐの値が小さいほど、更新コピーが非同期に実行される割合が増加する。これに対し、Ｑ／Ｐの値が大きいほど、更新コピーが非同期に実行される割合を減少することができるものの、組み込みコピーを短時間で終了することができなくなる。第３の変形例では、パラメータＰ及びＱの値を入力部１５から任意に設定可能である。したがってＰ及びＱの値は、組み込みコピーを終了するまでに要する時間と更新コピーが非同期に実行される割合とのトレードオフによって、実運用に適した値に調整すれば良い。
【００９１】
さて更新コピー制御部６０２は、更新コピーのタイミングが到来していないと判定された場合、更新コピーキュー２０２に更新コピー要求が保持されていないと判定された場合、及び更新コピー要求発行部６１１によって最大Ｑブロックの更新コピーが実行された場合のいずれにおいても、更新コピー処理の制御を中断する。更新コピー制御部６０２による更新コピー処理の制御が中断されると、前記したように組み込みコピー要求発行部６０４により１ブロックの組み込みコピーが実行される（ステップＳ３５）。そして、組み込みコピーブロックカウンタ６０３の値が１インクリメントされる（ステップＳ３６）。
【００９２】
組み込みコピー終了判定部６０５は、インクリメント後のカウンタ６０３の値に基づき、一連の組み込みコピーが終了したか否かを判定する（ステップＳ３７）。この判定結果は組み込みコピー制御部６０１に通知される。組み込みコピー制御部６０１は、組み込みコピーが終了したと判定された場合、その旨を更新コピー制御部６０２に通知する。
【００９３】
すると、更新コピー制御部６０２は更新コピー処理の制御を再開して、更新コピーキュー状態判定部６１０を起動する。これにより更新コピーキュー状態判定部６１０は、更新コピーのタイミングの到来が判定された場合と同様に、更新コピーキュー２０２に更新コピー要求が保持されているか否かを判定する（ステップＳ４１）。もし、更新コピーキュー２０２に更新コピー要求が保持されていると判定されたならば、更新コピー要求発行部６１１は、当該キュー２０２に保持されている全ての更新コピー要求を更新コピー要求順に実行する（ステップＳ４２）。更新コピー制御部６０２は、更新コピーキュー２０２に保持されている全ての更新コピー要求が実行されると、更新コピー処理の制御を終了して、その旨を組み込みコピー制御部６０１に通知する。すると組み込みコピー制御部６０１は、組み込みコピー処理の制御を終了する。また、更新コピーキュー２０２に更新コピー要求が保持されていないと判定されたならば（ステップＳ４１）、その時点で更新コピー処理及び組み込み更新処理の制御は終了する。
【００９４】
上記実施形態及びその変形例では、いずれも計算機１０-1が稼動系で計算機１０-2が待機系であり、ディスクストレージ２０-2の内容をディスクストレージ２０-1の内容に一致化させる組み込みコピーを想定している。しかし、ディスクストレージ２０-1の内容をディスクストレージ２０-2の内容に一致化させる組み込みコピーも、ミラーリング部１４-2によって上記ミラーリング部１４-1と同様に行うことが可能である。また、上記実施形態及びその変形例では、２台の計算機１０-1及び１０-2から構成される非共有ディスク型のクラスタシステムを想定している。しかし本発明は、計算機１０-1及び１０-2を含む３台以上の計算機から構成される非共有ディスク型のクラスタシステムにも適用可能である。
【００９５】
なお、本発明は、上記実施形態またはその変形例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態またはその変形例に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態またはその変形例に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００９６】
【図１】本発明の一実施形態に係る非共有ディスク型のクラスタシステムの構成を示すブロック図。
【図２】図１中のミラーリング部１４-1の構成を示すブロック図。
【図３】ディスクストレージ２０-1のブロックとビットマップテーブル２０１のビットとの対応例を示す図。
【図４】図２中のミラーリング制御部２０７の構成を示すブロック図。
【図５】同実施形態におけるビットセット処理の手順を示すフローチャート。
【図６】同実施形態における組み込みコピー処理の手順を示すフローチャート。
【図７】同実施形態における分散データ同期処理の手順を示すフローチャート。
【図８】同実施形態におけるビットセット処理と組み込みコピー処理との対応関係の一例を示す図。
【図９】同実施形態の第１の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２１７の構成を示すブロック図。
【図１０】同第１の変形例におけるビットセット処理の手順を示すフローチャート。
【図１１】同実施形態の第２の変形例において、ｎブロックを１ビットで管理する場合の、ディスクストレージ２０-1の各ブロックとビットマップテーブル２０１の各ビットとの対応例を、ｎ＝２の場合について示す図。
【図１２】同第２の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２２７の構成を、当該ミラーリング制御部２０７と相違する部分についてのみ示すブロック図。
【図１３】同実施形態の第３の変形例において図４のミラーリング制御部２０７に代えて用いられるミラーリング制御部２３７の構成を示すブロック図。
【図１４】同第３の変形例における動作手順を示すフローチャート。
【符号の説明】
【００９７】
１０-1…計算機（第１の計算機）、１０-2…計算機（第２の計算機）、１３…ミラーリング管理部、１４-1，１４-2…ミラーリング部、１５…入力部、２０-1…ディスクストレージ（第１のディスクストレージ）、２０-2…ディスクストレージ（第２のディスクストレージ）、３０…ネットワーク、２０１…ビットマップテーブル（更新コピー状況記憶手段）、２０２…更新コピーキュー（更新コピー要求記憶手段）、２０３…組み込みコピーキュー（組み込みコピー要求記憶手段）、２０７，２１７，２２７，２３７…ミラーリング制御部、４０１…ビットセット制御部、４０１ａ…管理ブロック数レジスタ、４０２…分散データ同期制御部、４０３，６０１…組み込みコピー制御部、４０３ａ…組み込みコピー中フラグレジスタ、４０４，６０６…更新コピー要求検出部、４０５，５０５，６０８…更新コピー要求設定部、４０６，５０６…ビットセット部、４０７，６１０…更新コピーキュー状態判定部、４０８，６１１…更新コピー要求発行部、４０９，６０３…組み込みコピーブロックカウンタ、４１０，５１０…重複判定部、４１１…組み込みコピー要求設定部、４１３，６０４…組み込みコピー要求発行部、４１５，６０７…組み込みコピー状態判定部、６０２ａ…パラメータレジスタ、６０９…更新コピータイミング判定部、
【図１】
2007241828.tif 000003
【図２】
2007241828.tif 000004
【図３】
2007241828.tif 000005
【図４】
2007241828.tif 000006
【図５】
2007241828.tif 000007
【図６】
2007241828.tif 000008
【図７】
2007241828.tif 000009
【図８】
2007241828.tif 000010
【図９】
2007241828.tif 000011
【図１０】
2007241828.tif 000012
【図１１】
2007241828.tif 000013
【図１２】
2007241828.tif 000014
【図１３】
2007241828.tif 000015
【図１４】
2007241828.tif 000016