(57)【特許請求の範囲】
【請求項１】
正システムを構成する１台以上の正側制御装置から副システムを構成する２台以上の副側制御装置へデータのバックアップを行う記憶装置システムのデータ二重化方法であって、
処理装置から前記正側制御装置にライト要求があった場合に、前記ライト要求のデータにライト時刻に関する時刻情報を付与して前記正側制御装置内のキャッシュメモリに格納するステップと、
前記格納された前記ライトデータと前記時刻情報を前記副側制御装置に送るステップと、
前記副側制御装置内のキャッシュメモリに前記ライトデータと前記時刻情報を格納するステップと、
前記副側制御装置内の前記キャッシュメモリに格納された前記時刻情報を、前記副側制御装置間を互いに接続した通信路を通して他の副側制御装置に送るステップと、
第１の正側制御装置から受け取った第１の副側制御装置の時刻情報と、第２の副側制御装置から送られた時刻情報とを比較して、古い方の時刻情報を前記通信路を通して次の副側制御装置に送るステップと、
前記古い方の時刻情報を前記複数の副側制御装置間を一巡させて、前記複数の副側制御装置間に前記ライトデータが二重化されたことを保証するデータ保証時刻を決定するステップと、を備える記憶装置システムにおけるデータの二重化方法。
【請求項２】
前記副側制御装置が、前記通信路で接続された他の副側制御装置に前記データ保証時刻を通知するステップと、
前記複数の副側制御装置間で前記データ保証時刻を前記通信路で一巡させるステップとを備える請求項１記載の記憶装置システムのデータ二重化方法。
【請求項３】
前記副側制御装置が、前記通信路で接続された他の副側制御装置に前記古い方の時刻情報と前記データ保証時刻とを一緒にして送信し、一巡させ、前記複数の副側制御装置間にデータ保証時刻の決定と複数の副側制御装置間での前記データ保証時刻の通知を合せて行う請求項２記載の記憶装置システムのデータ二重化方法。
【請求項４】
前記副側制御装置が、前記データ保証時刻の決定と前記データ保証時刻の通知の一巡とを、任意の時間間隔で複数個並行して実行するステップを備える請求項３記載の記憶装置システムのデータ二重化方法。
【請求項５】
処理装置が書き込むデータを受信する複数の正側制御装置から、複数の副側制御装置へ前記データを二重化する方法であって、
前記複数の正側制御装置が、前記処理装置からデータを受信する第１ステップと、前記複数の正側制御装置が、前記データを処理装置から受領した時刻に関する第１の情報と前記データとを前記複数の副側制御装置へ送信する第２ステップと、前記複数の副側制御装置が、前記第１の情報に関する第２の情報を、前記複数の副側制御装置間で巡回通信する第３ステップとを有するデータ二重化方法。
【請求項６】
前記第３ステップは、前記複数の副側制御装置をリング状に接続する物理的通信路上で実行される請求項５記載のデータ二重化方法。
【請求項７】
前記第３ステップにおいて、第１の副側制御装置が送信した前記第２の情報は、前記第１の情報を受信した第２の副側制御装置によって、前記第１の情報を参照して更新される請求項５記載のデータ二重化方法。
【請求項８】
前記第２の情報を送信した前記第１の副側制御装置は、前記巡回通信により第２の情報を受信したとき、受信した前記第２の情報から、前記複数の副側制御装置が前記データの二重化を保証する時刻を決定する請求項７記載のデータ二重化方法。
【請求項９】
前記第１の副側制御装置は、前記保証した時刻を、前記巡回通信により、前記複数の副側制御装置へ通知する第４ステップを有する請求項８記載のデータ二重化方法。
【請求項１０】
前記第３ステップと前記第４ステップを合せて実行する請求項９記載のデータ二重化方法。
【請求項１１】
前記第３ステップと前記第４ステップを合せたステップが、前記複数の副側制御装置をリング状に接続する物理的通信路上で、複数回実行される請求項９記載のデータ二重化方法。
【請求項１２】
正システムを構成する１台以上の正側制御装置から副システムを構成する２台以上の副側制御装置へデータのバックアップを行う記憶装置システムにおけるデータ二重化方法であって、
前記副側制御装置間を通信手段で互いに接続するステップと、
前記副側制御装置間で前記通信手段を通してデータの管理情報を巡回して通信し、データに関する共通の管理情報を決定するステップと、
を有する記憶装置システムにおけるデータ二重化方法。
【請求項１３】
処理装置が書き込むデータを受信する複数の正側制御装置と、前記データを二重化データとして受信する複数の副側制御装置を有する記憶システムであって、
前記処理装置からデータを受信する、前記複数の正側制御装置内の複数のデータ受信部と、
前記データを処理装置から受領した時刻に関する第１の情報と前記データとを前記複数の副側制御装置へ送信する、前記複数の正側制御装置内の複数のデータ送信部と、
前記第１の情報に関する第２の情報を、第１の副側制御装置から第２の副側制御装置へ送信する、前記第１の副側制御装置内のデータ送信部と、
前記送信された前記第２の情報を受信する、前記第２の副側制御装置内のデータ受信部とを有し、
前記複数の副側制御装置は巡回通信路を形成する記憶システム。
【請求項１４】
前記巡回通信路は、物理的にリング形状の通信路である請求項１３記載の記憶システム。
【請求項１５】
正システムを構成する１台以上の正側制御装置から副システムを構成する２台以上の副側制御装置へデータのバックアップを行う記憶装置システムのデータ二重化方法であって、
処理装置から前記正側制御装置にライト要求があった場合に、前記ライト要求のデータにライト時刻に関する時刻情報を付与して前記正側制御装置内のキャッシュメモリに格納するステップと、
前記格納された前記ライトデータと前記時刻情報を前記副側制御装置に送るステップと、
前記副側制御装置内のキャッシュメモリに前記ライトデータと前記時刻情報を格納するステップと、
前記副側制御装置内の前記キャッシュメモリに格納された前記時刻情報を、前記副側制御装置間を互いに接続した通信路を通して他の副側制御装置に送るステップと、
第１の正側制御装置から受け取った第１の副側制御装置の時刻情報と、第２の副側制御装置から送られた時刻情報とを比較するステップと、
古い方の時刻情報を前記通信路を通して次の副側制御装置に送るステップと、
前記古い方の時刻情報を前記副側制御装置間を一巡させて、前記複数の副側制御装置間に前記ライトデータが二重化されたことを保証するデータ保証時刻を決定するステップと、
前記副側制御装置へ前記通信路で接続された他の副側制御装置に対して前記データ保証時刻を通知するステップと、
前記副側制御装置が、前記データ保証時刻の決定と前記データ保証時刻の通知とを、任意の時間間隔で並行して実行するステップと、
を備える記憶装置システムにおけるデータの二重化方法。
【請求項１６】
前記複数の副側制御装置間で前記データ保証時刻を前記通信路で一巡させるステップを備える請求項１５記載の記憶装置システムのデータ二重化方法。
【請求項１７】
前記副側制御装置が、前記通信路で接続された他の副側制御装置に前記古い方の時刻情報と前記データ保証時刻とを一緒にして送信し、一巡させ、前記副側制御装置間でのデータ保証時刻の決定と前記副側制御装置間での前記データ保証時刻の通知とを合せて行う請求項１６記載の記憶装置システムのデータ二重化方法。
【請求項１８】
正システムを構成する１台以上の正側制御装置から副システムを構成する２台以上の副側制御装置へデータのバックアップを行う記憶装置システムにおけるデータ二重化方法であって、
前記副側制御装置間を通信手段で互いに接続するステップと、
前記副側制御装置間で前記通信手段を通して管理情報データを並行して巡回および通信し、前記データに関する共通の管理情報を決定するステップと、
を有する記憶装置システムにおけるデータ二重化方法。
【請求項１９】
処理装置が書き込むデータを受信する複数の正側制御装置から、複数の副側制御装置へ前記データを二重化する方法であって、
前記複数の正側制御装置が、前記処理装置からデータを受信する第１ステップと、
前記複数の正側制御装置が、前記データを処理装置から受領した時刻に関する第１の情報と前記データとを前記複数の副側制御装置へ送信する第２ステップと、
前記第１の情報に関する第２の情報を、第１の副側制御装置と前記複数の副側制御装置との間で巡回通信する第３ステップであって、前記第１の副側制御装置が、前記複数の副側制御装置から受信した前記第２の情報から、前記データの二重化を保証する時刻を決定する第３ステップと、
前記第１の副側制御装置により、前記保証した時刻を、前記巡回通信で前記複数の副側制御装置へ通知する第４ステップであって、前記第３ステップと前記第４ステップとを合せて実行する前記第４ステップと、
を有するデータ二重化方法。
【請求項２０】
前記第３ステップは、前記複数の副側制御装置をリング状に接続する物理的通信路上で実行される請求項１９記載のデータ二重化方法。
【請求項２１】
前記第３ステップと前記第４ステップを合せたステップが、前記複数の副側制御装置をリング状に接続する物理的通信路上で、複数回実行される請求項１９記載のデータ二重化方法。
【請求項２２】
処理装置と、
前記処理装置が書き込むデータを受信する複数の正側制御装置と、
前記データを二重化データとして前記複数の正側制御装置から受信する複数の副側制御装置と、
前記処理装置から前記データを受信する、前記複数の正側制御装置内の複数のデータ受信部と、
前記データを前記処理装置から受領した時刻に関する第１の情報を前記複数の副側制御装置へ送信する、前記複数の正側制御装置内の複数のデータ送信部と、
前記第１の情報に関する第２の情報を、第１の副側制御装置から第２の副側制御装置へ送信する、前記第１の副側制御装置内のデータ送信部と、
前記送信された前記第２の情報を受信する、前記第２の副側制御装置内のデータ受信部とを有し、
前記複数の副側制御装置は巡回通信路を形成し、
前記第１の副側制御装置は前記第２の情報を生成し、その第２の情報を並行して送信する記憶システム。
【請求項２３】
前記巡回通信路は、物理的にリング形状の通信路である請求項２２記載の記憶システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、処理装置（ホストコンピュータ）に接続された正側制御装置と正側制御装置に接続された副側制御装置との間でデータの２重化（データのバックアップ）を行う記憶装置システムに関する。
【０００２】
【従来の技術】
正・副の制御装置間で、データの２重化を行う方法として、正・副の制御装置をインタフェースケーブルで接続し、正側の制御装置が処理装置から受領したライト要求を副側の制御装置に発行することでデータの２重化を行う方法が一般的に知られている。
【０００３】
更に、正・副のシステムが各々複数（Ｍ，Ｎ台）の制御装置を備え、処理装置からＭ台の正側制御装置にライト要求が発行されるシステムで、データの２重化を行う方法も知られている。この方法については、例えば、特開平１１−８５４０８公報に開示がある。
【０００４】
この正・副のシステムが各々複数（Ｍ，Ｎ台）の制御装置を備える場合、各正側制御装置は処理装置（ホスト）から受領したライト要求に、ライト要求が発行されたライト時刻を付与して、インタフェースケーブルで接続された各副側制御装置にライト要求を発行し、副側制御装置にライトデータとライト時刻を送信する。一方、副側システムでは、複数の副側制御装置の中から１台をマスタ制御装置と設定され、その設定されたマスタ制御装置とその他の副側制御装置が、各々データ転送路によって１対１接続されている。そして、マスタ以外の副側制御装置は、正側制御装置から受領したライトデータのライト時刻（ホストから正側制御装置へのライト時刻）に関する情報を、副側のマスタ制御装置にデータ転送路で送信する。マスタ制御装置は、全ての副側制御装置から受領したライト時刻に関する情報（マスタ制御装置自身のライト時刻情報も含む）を参照して保証時刻を決定する。ここで、保証時刻とは、「全副側制御装置において、保証時刻よりも過去のライト時刻（ホストから正側へのライト時刻）が付与されているライトデータについては全て副側制御装置で受領済みであると保証できる時刻」である。即ち、決定された保証時刻は、保証時刻以前に処理装置から各正側制御装置に発行された全ライト要求に関する全ライトデータが副側制御装置で受領済み（２重化済み）であることを保証する。マスタ制御装置は、この決定した保証時刻を全副側制御装置に通知し、各副側制御装置は、保証時刻以前のライト時刻を持つライトデータの２重化が保証されたことを確認できる。そして、この保証時刻を知らされた制御装置は、例えば、正側のデータが何らかの障害で破壊された場合に、この保証時刻以前に正側制御装置から受領したデータを利用することができることになる。
【０００５】
【発明が解決しようとする課題】
上記の方法では、正・副のシステムが複数の制御装置を備えるシステムにおいて、データの２重化を保証し、この副側のデータを使用するためには、保証時刻を決定する必要がある。そして、保証時刻を決定するためには、副側のマスタ制御装置とその他の各副側制御装置との間で、各副側制御装置がライト時刻に関する情報をマスタ制御装置に送信するのと、前記マスタ制御装置が決定した保証時刻を各副側制御装置に通知するので、マスタ副制御装置以外の副制御装置は各々２回の通信が必要であった。
【０００６】
また上記の方法では、データの２重化を保証するための処理・通信がマスタ制御装置に集中してしまうため、特に制御装置を多数備えるようなシステムにおいては、マスタ制御装置における、通信性能と処理性能が低下してしまう課題があった。
【０００７】
更に上記方法では、マスタ制御装置に、他の（Ｎ−１）台の副側制御装置と個々に通信が行える機能及び物理的な構成を持たせなければならず、特に副システムを構成する制御装置の数が多数に及ぶ場合には、マスタ制御装置にその他の全ての副側制御装置と通信を行う機能及び物理的な構成を持たせることは困難となっていた。
【０００８】
更に上記方法では、マスタ制御装置に障害が発生した場合を考慮して、マスタ制御装置としての機能を副側制御装置に分散させ、冗長性を持たせることを考えると、マスタ制御装置としての機能及び物理的な構成を各副側制御装置に分散させて持たせる必要があり、このようなことの実現は非常に困難と考えられる。
【０００９】
本発明の目的は、上記の課題を解決することにあり、副側制御装置間の通信回数を減らして、ライトデータの２重化を保証する処理を効率化することである。本発明の他の目的は、ライトデータの２重化を保証する処理を１台の副側制御装置に集中させず各副側制御装置に処理を分散させることである。
本発明の他の目的は、副側のマスタ制御装置を必要とせず、副システムを構成する制御装置の数が多数に及んでも実現可能（副システム構成する制御装置の数に影響されない）な、データの２重化手段を提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、正システムを構成する１台以上の正側制御装置から副システムを構成する２台以上の副側制御装置へデータのバックアップを行う記憶装置システムにおいて、処理装置から前記正側制御装置にライト要求があった場合に、前記ライト要求のデータにライト時刻に関する時刻情報を付与して前記正側制御装置内のキャッシュメモリに格納するステップと、前記格納された前記ライトデータと前記時刻情報を前記副側制御装置に送るステップと、前記副側制御装置内のキャッシュメモリに前記ライトデータと前記時刻情報を格納するステップと、前記副側制御装置内の前記キャッシュメモリに格納された前記時刻情報を、前記副側制御装置間を互いに接続した通信路を通して他の副側制御装置に送るステップと、第１の正側制御装置から受け取った第１の副側制御装置の時刻情報と、第２の副側制御装置から送られた時刻情報とを比較して、古い方の時刻情報を前記通信路を通して次の副側制御装置に送るステップと、前記古い方の時刻情報を前記複数の副側制御装置間を一巡させて、前記複数の副側制御装置間に前記ライトデータが二重化されたことを保証するデータ保証時刻を決定するステップとを備えるようにする。他の実現方法は、発明の実施の形態の中で、詳しく説明される。
【００１１】
【発明の実施の形態】
図１は、本発明の実施形態におけるデータ２重化システムの構成概要図である。
正側複合記憶装置システムは、複数（Ｍ台、１〜ｍ）の正側制御装置２１０、２２０、２３０、２４０から構成される。各正側制御装置は処理装置１０と各々接続される。副側複合記憶装置システムは、複数（Ｎ台、１〜ｎ）の副側制御装置３１０、３２０、３３０、３４０から構成される。処理装置と正側制御装置間、正側制御装置と副側制御装置間は、それぞれインタフェースケーブル４０によって接続されている。また、副側制御装置間は通信ケーブル５０によってリング状に接続され、副側制御装置間で通信できる。ここで、インタフェースケーブル４０と通信ケーブル５０を便宜上名称を使い分けているが、どちらも情報を通信することが出来るものであれば良い。また、信頼性を高めるため、冗長化されたインタフェースケーブル４０、通信ケーブル５０を使用しても良い。
【００１２】
処理装置がライト要求を発行すると、ライト要求を受けた正側制御装置は、当該正側制御装置とインタフェースケーブルで接続された副側制御装置へ、ライト要求に含まれるデータを二重化するため、ライト要求を副側制御装置へ発行する。正側制御装置から副側制御装置へライト要求のデータがインタフェースケーブル４０上で転送される場合、副側制御装置が受け取るライト要求のデータの受信順序は、ホストが正側制御装置へライト要求を発行した順序とは必ずしも一致しておらず、異なっていることがある。このため、副側制御装置では、これを正しい順序（ライト要求が発行された順序）に並べ替える必要がある。これを実現するため、正側の制御装置は、ホストからライト要求を受け付けた順にシーケンシャル番号を付与し、副側制御装置へライト要求のデータを転送する際は、このシーケンシャル番号も合せて送るようにする。副側制御装置はこのシーケンシャル番号を参照することで、ホストがライト要求を発行した順序を知ることができる。
【００１３】
また、副側複合記憶装置システム内の副側制御装置間の通信手段として、複数の副側制御装置を通信ケーブルでリング状に接続した場合の手段について述べているが、その他の通信手段として、副側制御装置が赤外線や無線による通信手段を用いて副側制御装置間での通信を行う手段や、副側制御装置をバス接続によって接続し、バスを用いて通信を行う手段等も考えられる。いずれの通信プロトコル(通信手段)を用いるにしろ、以下に説明する本実施例ないし実施形態と同様の方法で(本実施例ないし実施形態と同種の情報を通信することで)データの２重化処理を実行することが可能である。
【００１４】
次に、制御装置の構成を詳しく説明する。
【００１５】
図１４は、正側制御装置210の構成図を示す。なお、本実施例における制御装置は正側、副側にかかわらず全て制御装置210と同じ構成である。制御装置は、処理装置10とのデータや制御情報の受け渡し、他制御装置111とデータや制御情報の受け渡し（正副制御装置間でのデータや制御情報の受け渡し）、及び、副側複合記憶装置システム内の複数の副側制御装置間でのデータや制御情報の受け渡しを行う、マイクロコンピュータ制御のチャネルアダプタ112を有する。更に、制御装置は、ディスクドライブ等の外部記憶装置113とのデータの受け渡しを行うマイクロコンピュータ制御のディスクアダプタ114、受領したデータを格納するための不揮発キャッシュメモリ115、制御装置の共有情報を格納するためのシェアドメモリ116、制御装置内でチャネルアダプタ、ディスクアダプタ、不揮発キャッシュメモリ、及び、シェアドメモリ間のデータや制御情報の転送を行うバス119を有する。ここで、図１４の当該装置が正側制御装置の場合は他制御装置111とは副側制御装置に相当し、この２つの正副制御装置間でデータの受け渡しや正副間の制御装置間通信が行われる。また、図１４の当該装置が副側制御装置の場合は、他制御装置としては正側制御装置のほか、副側複合記憶装置システム内の他の副側制御装置に相当することもある。なお、制御装置２１０と外部記憶装置１１３とを合せて、記憶システムを構成する。この記憶システムは処理装置１０から見て、外部記憶装置となる。処理装置がメインフレーム系のコンピュータの場合、外部記憶装置はサブシステムと呼ばれる。
【００１６】
図１５は、図１４で示したチャネルアダプタ112の詳細な構成図である。チャネルアダプタ112は、処理装置10及び他の制御装置111からのデータを受領するデータ受領部211、処理装置10及び他の制御装置111にデータを送信するデータ送信部21２、本発明を実行するためのプログラムを含むプログラムの格納部分である不揮発メモリ117、及び、プログラム実行部分であるマイクロプロセッサ118より構成される。
【００１７】
次に、図２および図３を用いて、ホストがライト要求を発行する際の正側制御装置の動作、および、正側制御装置から副側制御装置へライト要求を発行する際の正副制御装置の動作を説明する。
【００１８】
図２は、正側制御装置１（２１０）における、処理装置１０からのライト要求を受けた場合の処理について表している。正側制御装置１（２１０）のデータ受領部２１３（図１５のデータ受領部２１１）は、処理装置１０からライト要求を受領すると、ライトデータに時刻情報を付与して、冗長化された正側不揮発キャッシュメモリ２１２ａ，２１２ｂ（図１４の不揮発キャッシュメモリ１１５）に格納し、処理装置１０にライト要求の完了報告を行う。時刻情報としては、処理装置がタイマーを有し、タイマーから得た時刻情報を付与したライト要求を発行してくる場合は、このライト要求に付与されている時刻情報を用いることができる。一方、処理装置がタイマーを有していない場合は、複数の正側制御装置が有するタイマーからライト要求を受けた時刻を取得し、取得した時刻情報を用いる。なお、制御装置は、前述したように、処理装置が発行した順序、即ち、正側処理装置がライト要求を受け付けた順序でシーケンシャル番号も合せて格納する。
【００１９】
図３は、正側制御装置１（２１０）から副側制御装置１（３１０）へライト要求を発行した場合の処理を示す。正側制御装置１（２１０）のデータ送信部２１４（図１５のデータ送信部２１２）は、インタフェースケーブル４０で接続された副側制御装置１に対してライト要求を発行し、正側不揮発キャッシュメモリ２１２ａに格納したライトデータ、時刻情報、シーケンシャル番号の転送を行う。副側制御装置１（３１０）のデータ受領部２１５（図１５のデータ受領部２１１）は、受け取ったライトデータ、時刻情報（処理装置から正側へのライト時刻であり、以下に記述する「時刻情報」もすべて処理装置から正側へのライト時刻）、シーケンシャル番号を副側不揮発キャッシュメモリ３１２ａ（図１４の不揮発性キャッシュメモリ１１５）に格納する。このほかの正側制御装置２〜ｍと、副側制御装置２〜ｎの間でも、処理装置からライト要求を受けた場合は、同様に、正側制御装置から副側制御装置へライト要求が発行される。
【００２０】
図４は、副側制御装置１（３１０）の副側不揮発キャッシュメモリ３１２ａ（図１４の不揮発性キャッシュメモリ１１５）上に設けられたライトデータ管理情報テーブル７００の構造を表している。副側制御装置１は、正側制御装置１（２１０）から受領したライトデータを副側不揮発キャッシュメモリ312aに設けられたライトデータ管理情報テーブル７００によって管理する。このライトデータ管理情報テーブルには、シーケンシャル番号７０１、ライトデータの時刻情報７２１、ライトデータが格納されている副側不揮発キャッシュメモリ３１２ａ（図１４の不揮発性キャッシュメモリ１１５）のアドレス情報７１１等が、格納される。副側制御装置３１０は、正側制御装置２１０から送られるライトデータを、必ずしも時刻情報の古いものから順に受領するとは限らず、ライトデータに一時的に抜けが発生する場合がある。そのため、副側制御装置は、ライトデータ管理情報テーブルに格納されているシーケンシャル番号７０１を参照し、この番号に抜けが有るか否かを調べ、このシーケンス番号に抜けが無く連続して受領している最新のライト要求を見つける。そして、副側制御装置は、このライト要求が有する時刻情報が示す時刻までのライトデータを受信していると判断する。即ち、副側制御装置３１０は、ライトデータ管理情報テーブル７００を参照することにより、どの時刻以前の時刻情報を持つライトデータは連続して受領済みで、どの時刻よりも後の時刻情報を持つライトデータには抜けがあるかを確認することが出来る。テーブル７００の例では、シーケンシャル番号７０５に抜けがあり、シーケンシャル番号がＮｏ．５であるライトデータを未受領であり、時刻情報４以前の全ライトデータを、副側制御装置が受領していることが分かる。
【００２１】
副側複合記憶装置システムの各々の副側制御装置は、このライトデータ管理情報テーブルを有し、自身が受領したライトデータ及びその時刻情報の管理を行っている。また、1台の副側制御装置に対して、複数台の正側制御装置が接続されるケースでは、副側制御装置は接続される正側制御装置の台数分のライトデータ管理情報テーブルを持つ。
【００２２】
次に、正側制御装置からライトデータを受領した副側制御装置が保証時刻を決定する動作と保証時刻を通知する動作の説明を通して、受領したライトデータの２重化を保証する方法を以下に説明する。
最初に図１６を用いて、保証時刻の決定と保証時刻の通知のプロセスを行うために副側制御装置間で巡回される情報について説明しておく。図１６は、副側制御装置間で巡回される情報を示しており、制御装置内では副側不揮発キャッシュメモリ312a上に格納される。各情報の詳細・具体的な使われ方などは後述する。Serial#2001は、当該制御装置を識別するための制御装置の固有情報であり、副側不揮発キャッシュメモリ312a上に格納されるほか、各制御装置のシェアドメモリ116にも格納されている。要求種別2002には、「要求種別１＝保証時刻決定」2003及び「要求種別２＝保証時刻通知」2004の２つがあり、要求種別2002を受領した副側制御装置が「保証時刻決定の処理を行うのか」、「保証時刻通知の処理を行うのか」を判断するために使用される情報である。保証時刻2005は、それ以前の時刻情報を持つライトデータについては全て副側制御装置で受領済みであることを保証する時刻である。仮保証時刻2006は、保証時刻決定のプロセスにおいて、正式な保証時刻2005が決定されるまでの仮の保証時刻であり(詳細は後述)、これらの情報は副側不揮発キャッシュメモリ312a上に格納される。
【００２３】
（１）保証時刻を決定する処理
正側制御装置から受け取ったライトデータの２重化を保証する保証時刻の決定する際の各副側制御装置での処理プロセスを以下説明する。なお、この処理プロセスは、図６に示す副側複合記憶装置システムを例にして説明する。ここで、例とする図６のシステムは、データ受領部（３１３、３２３、３３３、３４３）とデータ送信部（３１４、３２４、３３４、３４４）とを有するｎ個の副側制御装置（３１０、３２０、３３０、３４０）が、通信ケーブル５０によってリング状に接続される構成を有するものである。なお、データ受領部（３１３、３２３、３３３、３４３）は図１５のデータ受領部２１１が対応し、とデータ送信部（３１４、３２４、３３４、３４４）は図１５のデータ送信部２１２が対応する。
【００２４】
また、基準時刻を説明しておく。副側制御装置１（３１０）は、ライトデータの２重化を保証するために、副側制御装置１のライトデータ管理情報テーブル７００を参照し、どの時刻までのライトデータが抜けがなく、正側制御装置から連続して到着しているかをシーケンシャル番号を用いて確認し、連続して受領しているライトデータに付与されている時刻を「基準時刻」として副側不揮発キャッシュメモリ312aに記憶する。このようにして決定された基準時刻は、当該副側制御装置に接続された正側制御装置から送信された、それ以前の時刻情報を持つライトデータについては全て当該副側制御装置で受領済みであると保証できる時刻であると言える。ライトデータ管理情報テーブル700は、各副側制御装置が有しており、基準時刻は各副側制御装置ごとに決定され、各副側制御装置の副側不揮発キャッシュメモリに記憶される。
【００２５】
以下、具体的に保証時刻決定のプロセスを説明する。
【００２６】
まず、最初に保証時刻を決定するための情報を送信する副制御装置の動作を説明する。副側制御装置１（３１０）は、副側制御装置間通信送信部３１４より、シェアドメモリ116上に格納されている自身のＳｅｒｉａｌ＃（各制御装置に固有の情報）、要求種別＝保証時刻決定（送信の要求種別を保証時刻決定と云う種別にする）、及び、仮保証時刻（自身が記憶した基準時刻）２００６を、接続先の副側制御装置２（３２０）に転送する（図６のデータ送信部３１４からデータ受領部３２３へ向けての送信）。要求種別には送り側の副側制御装置１（３１０）が何を目的にして送信を行っているかの情報が格納されており、受け側の副側制御装置２（３２０）は要求種別を参照してどういう処理をすれば良いのかを判断することができる。
【００２７】
次に、図５を用いて、副制御装置が送信した情報を順次受信する副制御装置の動作を説明する。副側制御装置２(320)は、副制御装置１から、要求種別1=保証時刻決定をデータ受領部(323)で受け取ると（ステップ802）、受信したSerial#とシェアドメモリに格納されている自Serial#とを比較して、受信したSerial#2001と自身のSerial#が異なるか否かを確認する（ステップ803）。異なる場合、副側制御装置２（３２０）は、自身の基準時刻を決定し（ステップ804）、前段の副側制御装置１(310)から受け取った仮保証時刻2006と比較する（ステップ805）。副側制御装置２（３２０）は、比較した結果、自身の基準時刻の方が受領した仮保証時刻2006よりも過去ならば、仮保証時刻2006を自身の基準時刻で更新する（ステップ806）。そして、副側制御装置２は、ステップ801において、副側制御装置1(310)から受け取った副側制御装置1(310)のSerial#2001、要求種別1=保証時刻決定2003とともにステップ８０６で更新した仮保証時刻を、次副側制御装置3(330)に送信する（ステップ80７）。逆に、ステップ８０５で比較した結果、受領した仮保証時刻2006の方が古いならば受領した仮保証時刻2006は更新せず、副側制御装置1(310)のSerial#2001、要求種別1=保証時刻決定2003とともにステップ８０２で受領した仮保証時刻をそのまま次副側制御装置３(330)に送信する（ステップ80７）。
【００２８】
上記の処理を全副側制御装置間で繰り返し、ステップ80７において最後に副側制御装置n(340)のデータ送信部(343)から副側制御装置1(310)のデータ受領部(314)へ、仮保証時刻2006、副側制御装置1(310)のSerial#2001、要求種別1=保証時刻決定2003を送信する。ステップ802において副側制御装置1(310)が、副側制御装置n(340)より受領したSerial#2001を、ステップ803において自身のSerial#と同一であることを確認することによって、受領した仮保証時刻2006が全副側制御装置を一巡して決定されたものであると認識し、仮保証時刻2006を保証時刻2005として決定する。そして、副制御装置１は、それ自身の不揮発キャッシュメモリ（３１２ａ）に、この保証時刻を格納する。
【００２９】
このようにして決定された保証時刻2005はそれ以前の時刻情報を持つ、全正側制御装置から送信されたライトデータを全て副側制御装置で受領済みであると保証できる時刻である。
【００３０】
また、1台の副側制御装置に複数台の正側制御装置が接続されるケースでは、各副側制御装置の基準時刻は以下のように決定される。その他の保証時刻決定のプロセスは上記と全く同様に行われる。副側制御装置は接続される各正側制御装置に対応する台数分のライトデータ管理情報テーブル700を持ち、各正側制御装置に対応するライトデータ管理情報テーブル700を参照することで、各正側制御装置からどの時刻までのライトデータが抜けがなく、連続して到着しているかを確認することが出来る。その時刻を仮基準時刻と定義すると、副側制御装置は各正側制御装置に対応する仮基準時刻の中から1番古い時刻を持つ仮基準時刻を基準時刻として副側不揮発キャッシュメモリに格納する。このようにしてして決定された基準時刻は、当該副側制御装置に接続された複数の正側制御装置から送信された、それ以前の時刻情報を持つライトデータは全て当該副側制御装置で受領済みであると保証できる時刻であると言える。
【００３１】
（２）保証時刻を通知する処理
上記で保証時刻決定の処理について述べ、保証時刻2005が、保証時刻以前の時刻情報を持つ全ライトデータの2重化が保証されていることを示すこと説明したが、各副側制御装置は決定された保証時刻2005を知らないため、どの時刻までの時刻情報を持つライトデータの2重化が保証されているのかを判断することが出来ない。決定された保証時刻2005を全副側制御装置に通知し、各副側制御装置がどの時刻までのライトデータの2重化が保証出来るのか知ることで、各副制御装置は、保証時刻2005以前の時刻情報を持つライトデータの2重化を保証できる。
【００３２】
まず、保証時刻を決定し不揮発キャッシュメモリにその保証時刻を格納した副制御装置１（３１０）は、副側制御装置間で巡回される情報のうち、要求種別2002を「要求種別＝保証時刻通知」2004（送信の要求を「保証時刻通知」という種別にする）に更新し、決定した保証時刻2005、自身のＳｅｒｉａｌ＃2001とともに更新した要求種別（保証時刻通知）を副側制御装置２（３２０）に送信する。
【００３３】
次に、図７を用いて、保証時刻通知を要求種別にもつ巡回情報を受領した副制御装置の動作を説明する。ステップ９０２において、「要求種別=保証時刻通知」をデータ受領部(323)で受け取った副側制御装置２(320)は、受け取ったSerial#2001と自身のSerial#が異なるか否かを判定する（ステップ９０３）。異なる場合、受領した保証時刻2005を自身の不揮発キャッシュメモリに格納する（ステップ９０４）とともに、ステップ９０２で受信した保証時刻２００５を、要求種別２=保証時刻通知2004、副側制御装置１(310)のSerial#2001とともに副側制御装置３(330)に送信する（ステップ９０５）。
【００３４】
上記の処理をリング状に接続された通信ケーブル５０に沿って全副側制御装置間で繰り返し、最後にステップ901において副側制御装置ｎ(３４０)のデータ送信部(３４４)から副側制御装置１（３１０）のデータ受領部３１３に保証時刻2005、副側制御装置３１０のSerial＃2001、要求種別＝保証時刻通知2004を送信する（ステップ９０５）。そして、副側制御装置1(310)は、ステップ９０２において副側制御装置n(340)からSerial#を受領し、ステップ903において、受領したSerial＃2001が自身のSerial＃と同一であることを確認すると、保証時刻通知がリング状に接続された副制御装置を一巡したとして、保証時刻2005が全副側制御装置に通知されたことを認識する。
【００３５】
以上（１）（２）で説明したように、保証時刻2005を決定し全副側制御装置に通知することによって各副側制御装置は自身の副側不揮発キャッシュメモリ上のライトデータが保証時刻2005以前のものか以後のものかを判断することが可能となり、保証時刻2005以前の時刻情報を持つライトデータの２重化が保証される。
【００３６】
（３）保証時刻の決定と保証時刻の通知を一緒に行う処理
次に、保証時刻の通知と、次回の保証時刻の決定とを一緒にして同時的に行う場合の各副側制御装置での処理プロセスを示す。次回の保証時刻の決定と保証時刻の通知とを一緒に行うことにより、処理の効率化を図ることができる。また、従来の方法では、データの2重化を保証するために、保証時刻の決定のための通信と保証時刻の通知のための通信とでマスタ制御装置と各副側制御装置の間で2回の通信が必要であったのに対し、本処理方法では保証時刻の決定と保証時刻の通知のための通信を一緒に(同時的に)行うことにより、各副側制御装置間で1回の通信を行えばデータの２重化を保証することができる。
【００３７】
まず、副側制御装置１（３１０）は、副側制御装置ｎ（３４０）から受け取った仮保証時刻2006を保証時刻2005として決定し、自身の不揮発キャッシュメモリ３１２ａに格納するとともに、保証時刻2005を要求種別２＝保証時刻通知2004とともに副側制御装置２（３２０）に転送する。この際、更に、副側制御装置１（３１０）は、次の保証時刻決定のための自身の現在の基準時刻である仮保証時刻2006、自身のＳｅｒｉａｌ＃2001、要求種別１＝保証時刻決定2003も合せて、副側制御装置間通信送信部３１４より、接続先の副側制御装置２（３２０）に送信する。即ち、自制御装置のSerial#、要求種別１（保証時刻決定）、仮保証時刻、要求種別２（保証時刻通知）、保証時刻が、次副側制御装置へ、一緒に転送される。
【００３８】
次に、保証時刻通知と保証時刻決定要求とを１つの処理として受領した副制御装置の動作を、図８で説明する。副側制御装置２（３２０）は、要求種別１＝保証時刻決定2003と要求種別２＝保証時刻通知2004をデータ受領部（３２３）で一緒に受け取ると（ステップ1002）、受け取ったＳｅｒｉａｌ＃と自身のＳｅｒｉａｌ＃が異なることを確認し（ステップ１００３）、受領した保証時刻2005を自身の不揮発キャッシュメモリに格納する（ステップ１００４）。更に、副側制御装置２は、自身の基準時刻を決定し、副側制御装置１（３１０）から受け取った仮保証時刻2006と比較する（ステップ１００５）。比較した結果（ステップ１００６）、副側制御装置２自身の基準時刻の方が仮保証時刻2006よりも過去ならば、ステップ1007において仮保証時刻2006を自身の基準時刻で更新し、ステップ１００１へ進む。過去でないなら、受信した仮保証時刻をそのままにし、その仮保証時刻は更新せずに、ステップ１００８へ進む。そして次のステップ１００８において、副側制御装置１（３１０）から受け取った副側制御装置１（３１０）のＳｅｒｉａｌ＃2001、要求種別１＝保証時刻決定2003を仮保証時刻とともに副側制御装置３（３３０）に送信するのと一緒に、要求種別２＝保証時刻通知2004と保証時刻2005も次段の副側制御装置３（３３０）に送信する。
【００３９】
上記の処理を全副側制御装置間で繰り返し、ステップ１００２において最後に副側制御装置ｎ（３４０）のデータ送信部（３４３）から、副側制御装置１（３１０）のデータ受領部（３１４）へ、副側制御装置１（３１０）のＳｅｒｉａｌ＃2001、要求種別１＝保証時刻決定2003、仮保証時刻2006、要求種別２＝保証時刻通知2004、保証時刻2005が送信される。副側制御装置１（３１０）は、副側制御装置n(340)からＳｅｒｉａｌ＃2001を受信し（ステップ１００２）、この受信したＳｅｒｉａｌ＃が自身のＳｅｒｉａｌ＃2001と同一であることを確認することによって（ステップ1003）、保証時刻2005が全副側制御装置に通知されたことを認識する。更に、受領した仮保証時刻2006が全副側制御装置を一巡して決定されたものであると認識し、仮保証時刻2006を次回の保証時刻として決定する。
【００４０】
以上のように保証時刻の決定処理と保証時刻の通知処理とを一緒に行うことにより、ライトデータの２重化を保証するために必要な、各副側制御装置間での通信回数を１回に抑えることが可能となる。
【００４１】
次に、リング状に接続された副側制御装置間で、保証時刻の決定と保証時刻の通知を一緒に行う処理を複数個(例では２個)並行して実行した場合について説明する。処理を複数個並行して実行することにより、ライトデータの2重化を保証する処理の実行間隔を短縮することが可能となる。図９および図１０は、これを説明する図である。図９は、リング状に接続された副側制御装置間で、上記の保証時刻決定と保証時刻の通知を一緒に行う処理を、２つ並行して行った場合の概念図を示す。図10は、図９に示す方法の優位性を示すための比較例を示すものであり、上記の保証時刻決定と保証時刻の通知処理を1つだけ行った場合の概念図を示す。
【００４２】
図９において、副側制御装置間で巡回する情報１(1101)は、処理（３）で説明した保証時刻決定と保証時刻通知を一緒に行うための情報を含んでおり、Serial#2001、要求種別１=保証時刻決定2003、要求種別２=保証時刻通知2004、保証時刻2005、仮保証時刻2006から構成される。また、情報２(1102)も副制御装置間で巡回する、保証時刻決定と保証時刻通知のための情報(情報１と同種の情報だが中身が異なる)である。そして、図９では、これら情報１(1101)と情報２(1102)の２つを、リング状に接続された副側制御装置間(310,320,330,340)で並行して巡回させることによって、保証時刻の決定と保証時刻の通知処理が２つ並行して行われるようになる。これは、２つの情報が同時に巡回しているので、１つの場合と比べて、情報が巡回してくる間隔が短く、保証時刻の決定と保証時刻の通知が速く行われるようになる。
【００４３】
図１０では、１つの情報１だけがリング状に接続された副側制御装置間で巡回しているので、図９のように情報を２つ同時に巡回させている場合と比較して、情報が巡回してくる間隔が長くなり保証時刻の決定と保証時刻の通知が遅くなる。
【００４４】
今、図９および図１０において、リング状に接続された４つの副制御装置間を情報が一巡して保証時刻以前の時刻情報を持つライトデータの2重化が保証されるまでの時間を間隔Ｔ(1201)とする。
【００４５】
この場合、図１０に示す例では、ライトデータの２重化の保証処理を１つの情報1の巡回を繰り返して保証するので、図１１に示すように間隔Ｔでライトデータの２重化保証処理が繰り返されることになる(１２０１、１２０２、・・・)。見方を変えれば、現時刻よりも間隔Ｔ以前のライトデータは、２重化が保証されていることになる。
【００４６】
一方、図９に示す例では、リング状に接続された複数の副側制御装置間で、情報１(1101)と情報２(1102)を、Ｔ/２の間隔で２個並行して巡回することになる。そうすると、情報１が副側制御装置間を一巡し保証時刻以前の時刻情報を持つライトデータの2重化を保証した後、Ｔ／２の間隔で、情報２が副側制御装置間を一巡し、保証時刻以前の時刻情報を持つライトデータの2重化を保証することになる。即ち、ライトデータの2重化保証処理を２つの情報（情報１、情報２）の巡回を繰り返した場合、図１２に示すように間隔Ｔ／２でライトデータの２重化保証処理が繰り返される(１３０１、１３０２、１３０３、１３０４、・・・)。見方を変えれば、現時刻よりも間隔T/2以前のライトデータは２重化が保証されていることになる。
【００４７】
このように、リング状に接続された副側制御装置間で、保証時刻の決定と保証時刻の通知を一緒に行う処理を1個だけ実行した場合（図１０の場合）に比べ、リング状に接続された副側制御装置間で、保証時刻の決定と保証時刻の通知を一緒に行う処理を複数個（図９は２つの場合）並行して実行することによって、より最近のライトデータまで２重化を保証することができる。
【００４８】
上述の説明では、リング状に接続された副側制御装置間で、保証時刻の決定と保証時刻の通知を一緒に行う処理を2個並行して実行した場合の例にとったが、処理を3個,4個と複数個並行して実行することにより、さらに最近のライトデータまで2重化を保証することも可能となる。但し、ここで注意しておきたいのは、保証時刻の決定と保証時刻の通知を一緒に行うための情報が、副制御装置間をリング状に結ぶ通信ケーブル上を、物理的に同時に複数通信できることが必要ということである。もし、副制御装置間が論理的にリング状に結ばれている場合でも、保証時刻の決定と保証時刻の通知を一緒に行う処理のための情報が通信ケーブルの上で、同時に転送できなければ、保証間隔Ｔを短縮することは難しい。例えば、バスを用いて論理的に巡回接続を実施した場合には、負荷が集中する副制御装置は存在しないが、バスは同時には１つの通信しかできないので、保証時刻の決定と保証時刻の通知を一緒に行う処理を２個並行して送信することはできない。
【００４９】
また、２重化の保証された副側不揮発キャッシュメモリのライトデータは、外部記憶装置113に書き込まれた後、副側不揮発キャッシュメモリから破棄されることが許される。そのため、ライトデータの二重化が速く保証されれば、外部記憶装置にライトデータを速く書き込め、不揮発性キャッシュメモリからライトデータを速く破棄できるので、キャッシュメモリの使用率を抑えることができ、システムとしての動作性能を高めることができる。即ち、保証時刻決定及び保証時刻の通知処理を複数個並行して行うことにより、データの二重化を保証するまでの時間を短縮できるので、データ２重化処理に伴う副側不揮発キャッシュメモリの使用率を低くすることが可能であるとともに、万が一、副システムに障害が発生した場合にロストするデータ量（２重化が保証できないデータ量）も少なくすることが可能となる。
【００５０】
図１３はリング状に接続された副側制御装置（３１０、３２０、３３０）によって構成される副システムに、オンラインで副側制御装置４（３４０）を１台増設する場合の説明図である。まず、既存の通信路ａ（１４０１）（実線で示される部分）とは別に、予め、通信ケーブル５０を使って、副側制御装置４（３４０）を１台増設した後の通信路ｂ（１４０２）（破線で示される部分）を構築しておく。そして、副制御装置３（３３０）のデータ送信部に、通信ケーブル５０で接続される２台の副側制御装置１（３１０）および副側制御装置４（３４０）の中から選択的に１台の副側制御装置を指定して情報を送信する機能を設け、指示（コマンド）により、副側制御装置３の情報送信先を副側制御装置１（３１０）から副側制御装置４（３４０）に切り替えるようにする。これにより、オンラインでの副側制御装置の増設が可能となる。
【００５１】
以上説明したように、本発明の実施形態に係る記憶装置システムは、次のような構成上の特徴と機能を奏するものである。
【００５２】
本実施形態では、全ての副側制御装置（Ｎ台）を通信ケーブル等の通信路で接続し、各副側制御装置が接続先の制御装置と通信することによって、全副側制御装置間で情報が巡回可能な構成なっている。このため、各副側制御装置は、自身が正側制御装置から受け取ったライトデータに付与された時刻情報を上記の通信路に沿って、全副側制御装置間で巡回することで保証時刻を決定し、決定した保証時刻に関する情報を上記の通信路に沿って全副側制御装置に巡回して通知することによってデータの２重化を保証することができる。なお、情報を巡回させるための通信路に関し、実施例では、リング状に接続した通信ケーブルとしたが、通信路として赤外線や無線などの通信手段を用いた場合でも、情報を副側制御装置間で巡回可能とする通信手段であればよい。また、副側制御装置をバスに接続し、バスを利用した副側制御装置間の通信により情報を巡回できるような通信手段でもよい。
【００５３】
また、この記憶装置システムでは、データの２重化を保証するための処理・通信は、個々の副側制御装置が分担して行い、１台の副側制御装置に処理・通信が集中するのを防いでいる。
【００５４】
また、このシステムでは、副側制御装置の数が何台であろうと、個々の副側制御装置には、情報の通信元及び通信先の２台の制御装置と通信できる機能が備わっていれば良い。
【００５５】
また、各副側制御装置が時刻情報（次回の保証時刻決定のための時刻情報）と、決定した保証時刻に関する情報とを同時に送・受信することにより、データの２重化を保証する処理における、各副側制御装置間での通信回数を１回に抑えることができる。
【００５６】
また、通信路で接続された２台の副側制御装置ａ，ｂの間に副側制御装置ｃを１台増設する場合に、増設する副側制御装置ｃを２台の副側制御装置ａ，ｂと接続して予め通信路を構築し、副側制御装置ａの通信先を副側制御装置ｂから副側制御装置ｃに切り替えること(１４０３)により、オンラインでの制御装置の増設を可能としている。
【００５７】
また、Ｍ対Ｎ台の複数の正・副制御装置間で、データの２重書きを行う機能に関して、従来の方法ではデータの２重化を保証するためにはマスタ制御装置とその他の各副側制御装置の間で保証時刻の決定と通知とで各々計2回の通信回数が必要であるが、本実施例では、各副側制御装置間で1回の通信で保証時刻の決定と通知とを同時に行うことを可能とし、データ2重化処理の効率化を図り、正・副の制御装置の数が多数に及ぶ場合においても、１台の副側制御装置に負荷を集中させることなく、データの２重化を行えることを示している。
【００５８】
【発明の効果】
全副側制御装置をループ接続し、各副側制御装置は、正側制御装置から受信したデータに付与された時刻を前記ループ通信路で巡回することで保証時刻を決定できる。また、決定した保証時刻をループ通信路で巡回することで、保証時刻を通知できる。また、保証時刻の決定および通知を通して、複数の正側制御装置から、複数の副側制御装置へ、一貫性のとれたデータの非同期コピーを可能とする。
【図面の簡単な説明】
【図１】  本発明の実施例に係るデータ２重化システムの概略を示す図である。
【図２】  処理装置からのライト要求に対する正側制御装置の処理の流れを示す図である。
【図３】  正側制御装置からのライト要求に対する副側制御装置の処理の流れを示す図である。
【図４】  副側制御装置に設けられるライトデータ管理情報テーブルの構成例を示す図である。
【図５】  副側制御装置での保証時刻決定処理のフローチャートである。
【図６】  本実施例に係る、通信ケーブルで接続された複数の副側制御装置の接続関係を示す図である。
【図７】  副側制御装置における保証時刻の通知処理のフローチャートである。
【図８】  副側制御装置において、保証時刻の決定処理と保証時刻の通知処理を一緒にした処理のフローチャートである。
【図９】  保証時刻の決定処理及び保証時刻の通知処理を一緒にした処理を、２つ並行して行った場合の説明図である。
【図１０】  保証時刻の決定処理と保証時刻の通知処理を一緒にした処理を、１つ行った場合の説明図である。
【図１１】  保証時刻の決定処理及び保証時刻の通知処理を一緒にした処理を１つ行った場合の、処理の実行間隔を示す図である。
【図１２】  保証時刻の決定処理及び保証時刻の通知処理を一緒にした処理を、２つ並行して行った場合の、処理の実行間隔を示す図である。
【図１３】  副システムに副制御装置を増設する場合の説明図である。
【図１４】  制御装置の構成を示す図である。
【図１５】  チャネルアダプタの構成を示す図である。
【図１６】  保証時刻の決定処理、及び保証時刻の通知処理に使用する情報を示す図である。
【符号の説明】
１０  処理装置
２１０，２２０，２３０，２４０  正側制御装置
３１０，３２０，３３０，３４０  副側制御装置
４０  インタフェースケーブル
５０  通信ケーブル
２１２ａ，２１２ｂ  正側不揮発キャッシュメモリ
２１３  正側ライトデータ送信部
２１５  副側ライトデータ受領部
３１２ａ  副側不揮発キャッシュメモリ
７００  ライトデータ管理情報テーブル
３１３，３２３，３３３，３４３  副側制御装置間通信受領部
３１４，３２４，３３４，３４４  副側制御装置間通信送信部
１２０１，１２０２  ２重化保証処理実行間隔Ｔ
１３０１，１３０２，１３０３，１３０４  ２重化保証処理実行間隔Ｔ／２
１４０１  通信路ａ
【図１】
0003970535.tif 000002
【図２】
0003970535.tif 000003
【図３】
0003970535.tif 000004
【図４】
0003970535.tif 000005
【図５】
0003970535.tif 000006
【図６】
0003970535.tif 000007
【図７】
0003970535.tif 000008
【図８】
0003970535.tif 000009
【図９】
0003970535.tif 000010
【図１０】
0003970535.tif 000011
【図１１】
0003970535.tif 000012
【図１２】
0003970535.tif 000013
【図１３】
0003970535.tif 000014
【図１４】
0003970535.tif 000015
【図１５】
0003970535.tif 000016
【図１６】
0003970535.tif 000017