(57)【要約】【課題】複数のディスク制御装置クラスタが結合されたディスク制御システムにおいて、ディスク制御装置内部のみならず、複数のディスク制御装置にまたがるＩＯリクエストに関しても、ユーザ要求に応じて、システム全体のリソース配分を最適化する。 【解決手段】ディスク制御装置クラスタ内に、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタを設け、システムのリソースを監視するシステム内リソース利用状況モニタを設ける。そして、複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、前記システム内リソース利用状況モニタのモニタ情報とし、そのモニタ情報に基づいて、複数のディスク制御装置クラスタ間にまたがるＩＯジョブの発行間隔を調整する。【選択図】        図２
2006318012.tif 000002
【特許請求の範囲】
【請求項１】
ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが複数接続されたディスク制御システムにおいて、
前記ディスク制御装置クラスタに、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタを設け、
システム全体のリソースを監視するシステム内リソース利用状況モニタを設け、
前記複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、前記システム内リソース利用状況モニタのモニタ情報とし、
前記システム内リソース利用状況モニタのモニタ情報に基づいて、前記複数のディスク制御装置クラスタ間にまたがるＩＯジョブの発行間隔を調整することを特徴とするディスク制御システム。
【請求項２】
前記ディスク制御装置クラスタは、
前記ホストコンピュータとの接続インターフェースを有するチャネルアダプタを備え、
前記複数のディスク制御装置クラスタは、前記チャネルアダプタ間で結合され、
前記複数のディスク制御装置クラスタ間で、前記クラスタ内リソース利用状況モニタのモニタ情報を交換することを特徴とする請求項１記載のディスク制御システム。
【請求項３】
前記ディスク制御装置クラスタは、
前記ホストコンピュータとの接続インターフェースを有するチャネルアダプタと、
前記ディスクドライブ装置との接続インターフェースを有するディスクアダプタと、
前記ホストコンピュータ、および、前記ディスクドライブ装置の間で転送されるデータを一時的に格納するメモリアダプタと、
前記チャネルアダプタ、前記ディスクアダプタ、および、前記メモリアダプタとの間を接続して内部ネットワークを構成するためのスイッチアダプタとを備え、
前記複数のディスク制御装置クラスタは、前記スイッチアダプタ間で結合され、
前記複数のディスク制御装置クラスタ間で、前記クラスタ内リソース利用状況モニタの情報を交換することを特徴とする請求項１記載のディスク制御システム。
【請求項４】
前記ディスク制御装置クラスタの各々に、前記システム内リソース利用状況モニタを設けたことを特徴とする請求項１記載のディスク制御システム。
【請求項５】
前記ディスク制御装置クラスタは、クラスタ間スイッチを介して接続され、
前記システム内リソース利用状況モニタは、前記クラスタ間スイッチ内に設けられることを特徴とする請求項１記載のディスク制御システム。
【請求項６】
前記ホストコンピュータは、前記クラスタ間スイッチに接続されたことを特徴とする請求項５記載のディスク制御システム。
【請求項７】
ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが、クラスタ間コントローラを介して複数接続されたディスク制御システムにおいて、
前記ディスク制御装置クラスタに、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタを設け、
前記クラスタ間コントローラ内に、システムのリソースを監視するシステム内リソース利用状況モニタを設け、
前記複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、前記システム内リソース利用状況モニタのモニタ情報とし、
前記システム内リソース利用状況モニタのモニタ情報に基づいて、前記複数のディスク制御装置クラスタ間にまたがるＩＯジョブの発行間隔を調整することを特徴とするディスク制御システム。
【請求項８】
前記複数のディスク制御装置クラスタ間にまたがるＩＯジョブの実行に際し、該当するＩＯジョブに必要なリソース利用率を規定するリソース利用率制約条件を、前記システム内リソース利用状況モニタでの値が満たしていない場合には、そのＩＯジョブの発行数を制限することを特徴とする請求項１記載のディスク制御システム。
【請求項９】
前記制限を解除するために必要なリソース利用率を規定するリソース利用率解除条件を、前記システム内リソース利用状況モニタでの値が満たすまで、そのＩＯジョブの発行数を制限することを継続することを特徴とする請求項８記載のディスク制御システム。
【請求項１０】
監視の対象となるリソースが、前記ディスク制御装置クラスタ間のネットワーク帯域、論理ボリュームのアクセスパス帯域、前記ディスク制御装置クラスタ内のスイッチのポート帯域のいずれかであることを特徴とする請求項１記載のディスク制御システム。
【請求項１１】
ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが複数接続されたディスク制御システムにおいて、
前記ディスク制御装置クラスタに、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタを設け、
システム全体のリソースを監視するシステム内リソース利用状況モニタを設け、
前記複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、前記システム内リソース利用状況モニタのモニタ情報とすることを特徴とするディスク制御システム。
【請求項１２】
ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが複数接続されたディスク制御システムにおいて、
前記ディスク制御装置クラスタは、
サービスプロセッサユニットと、
前記ホストコンピュータとの接続インターフェースを有するチャネルアダプタと、
前記ディスクドライブ装置との接続インターフェースを有するディスクアダプタと、
前記ホストコンピュータ、および、前記ディスクドライブ装置の間で転送されるデータを一時的に格納するメモリアダプタと、
前記チャネルアダプタ、前記ディスクアダプタ、および、前記メモリアダプタとの間を接続して内部ネットワークを構成するためのスイッチアダプタとを備え、
前記ディスク制御装置クラスタのサービスプロセッサユニットに、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタと、リソース利用率制約条件およびリソース利用率解除条件を保持するテーブルとを設け、
かつ、前記各々のディスク制御装置クラスタのサービスプロセッサユニットに、システム全体のリソースを監視するシステム内リソース利用状況モニタを設け、
前記複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、前記システム内リソース利用状況モニタのモニタ情報とし、
前記システム内リソース利用状況モニタのモニタ情報と前記リソース利用率制約条件およびリソース利用率解除条件を保持するテーブルの値とに基づいて、前記複数のディスク制御装置クラスタ間にまたがるＩＯジョブの発行するモードを切り替えることを特徴とするディスク制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスク制御システムに係り、ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが複数台接続されるシステムであって、クラスタ間のＩＯジョブが頻発する大規模なストレージシステムに用いて好適なディスク制御システムに関する。
【背景技術】
【０００２】
近年、ストレージコンソリデーション（Storage Consolidation）によるＴＣＯ削減・データの戦略的活用など、大規模ストレージの重要性は、ますます高まっている。コンソリデーションの進展に伴い、ストレージ装置には、ポート数増加、大容量化・高性能化・高機能化など、一層の高スケーラブル化が必要となる。
【０００３】
その一方で、市場のストレージハードウェア価格低減の要求は非常に強い。ストレージの容量単価は、毎期−２０％で減少しており、このトレンドを実現するためには、ストレージ装置のアーキテクチャも含めたシステム全般にわたるコスト低減が必須となっている。
【０００４】
このようなストレージ装置の高スケーラブル化と、低コスト化を両立させる一つの解として、複数のディスク制御装置をクラスタ接続するマルチディスク制御装置という方式が提案されている。マルチディスク制御装置では、複数のディスク制御装置を接続することで、飛躍的にスケーラビリティを高めることができる。また、ユーザのニーズに見合った数のディスク制御装置を用意することで、むだなハードウェアリソースを無くすことができ、コスト低減が可能となる。したがって、マルチディスク制御装置を用いることで、スケーラビリティとコストを両立させることができる。
【０００５】
このようなクラスタ方式によるディスク制御装置については、例えば、下記の特許文献１に記載されている。
【０００６】
【特許文献１】特開２００４−２４０９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のようなストレージコンソリデーションによるＴＣＯ削減のためには、必要十分な規模のストレージ装置を導入し、その能力を最大限に活用することが重要である。しかしながら、大規模ストレージ装置では、多種多様な要求が同時に処理されるため、その一部分のリソースに要求が集中した場合、リソース競合が発生して、ストレージの持つ能力を最大限に発揮できない可能性もある。
【０００８】
このような場合、ユーザの要求を解析し、その要求に適合するようにリソース配分、タスク割り振りをおこなうという技術が有効となる。あらかじめ、ユーザは、ストレージ装置に対して、リソース競合が発生した場合の処理について規定しておき、ストレージ装置は、リソース競合が発生しても、ユーザの要求にできるだけ沿うような形で処理を実行する。
【０００９】
このようなリソース管理をおこなうために、従来、一つディスク制御装置内において、リソース利用率を把握するための技術は知られていたが、複数のディスク制御装置をクラスタ接続するディスク制御システムにおいては、ディスク制御システム全体のリソース（特に、複数のディスク制御装置にまたがるリクエストに関するリソース）を把握・管理するための技術は知られていなかった。そのため、複数のディスク制御装置をクラスタ接続するディスク制御システムにおいては、ユーザ要求に応じて、システム全体のリソース配分の最適化をおこなうことが不可能であった。すなわち、複数のディスク制御装置をクラスタ接続するディスク制御システムによるスケーラビリティ・コストの改善と、リソース利用率把握によるシステム全体の効率最適化との両立が困難であった。そこで、従来は、複数のディスク制御装置にまたがるようなＩＯリクエストを、できるだけ発生させないように、データ・ポートを配置するということでこの課題に対処しようとする試みがおこなわれていた。しかしながら、システムを運用していくうちに、これらの制約を守ることができなくなり、複数のディスク制御装置にまたがるＩＯリクエストが頻発してしまうという状況になっていた。
【００１０】
本発明は、上記問題点を解決するためになされたもので、その目的は、複数のディスク制御装置にまたがるＩＯリクエストに関しても、ユーザ要求に応じて、システム全体のリソース配分を最適化することのできるディスク制御システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明のディスク制御システムおいては、ホストコンピュータとディスクドライブ装置との間のデータ転送を制御するディスク制御装置クラスタが複数接続されたディスク制御システムであって、それらのディスク制御装置クラスタに、そのディスク制御装置クラスタにおける使用リソースを監視するクラスタ内リソース利用状況モニタを設ける。そして、システムのリソースを監視するシステム内リソース利用状況モニタを設けて、複数のクラスタ内リソース利用状況モニタのモニタ情報を収集して、システム内リソース利用状況モニタのモニタ情報とする。そして、そのシステム内リソース利用状況モニタのモニタ情報に基づいて、前記複数のディスク制御装置クラスタ間にまたがるＩＯジョブの発行間隔を調整するようにする。
【００１２】
ディスク制御装置クラスタは、ホストコンピュータとの接続インターフェースを有するチャネルアダプタに結合されて、クラスタ内リソース利用状況モニタのモニタ情報を交換するようにしてもよく、クラスタ内部で各アダプタを接続するスイッチアダプタ間で結合され、クラスタ内リソース利用状況モニタの情報を交換するようにしてもよい。
【００１３】
また、ディスク制御装置クラスタを結合するクラスタ間スイッチに、システム内リソース利用状況モニタを設けるようにしてもよい。
【００１４】
さらに、ディスク制御装置クラスタ間にクラスタ間コントローラを配して、そのクラスタ間コントローラにシステム内リソース利用状況モニタを設けるようにしてもよい。
【００１５】
監視の対象となるリソースは、ディスク制御装置クラスタ間のネットワーク帯域、論理ボリュームのアクセスパス帯域、ディスク制御装置クラスタ内のスイッチのポート帯域などであり、ＩＯジョブの発行間隔を調整するときには、サービスプロセッサユニットなどが、リソース利用率制約条件およびリソース利用率解除条件を参照して、ＩＯジョブを発行するモードを制御する。
【発明の効果】
【００１６】
本発明によれば、複数のディスク制御装置にまたがるＩＯリクエストに関しても、ユーザ要求に応じて、システム全体のリソース配分を最適化することのできるディスク制御システムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る各実施形態を、図１ないし図１４を用いて説明する。
【００１８】
〔ディスク制御システムのシステム構成とリソース利用状況モニタの概要〕
先ず、図１および図２を用いて本発明に係るディスク制御システムとリソース利用状況モニタの概要について説明する。
図１は、本発明に係るディスク制御システムの構成図である。
図２は、本発明に係るディスク制御システムのディスク制御装置クラスタの詳細な構成図である。
【００１９】
ディスク制御装置クラスタ１０は、ホストコンピュータ３０、および、ディスクドライブ装置２０と接続されており、ホストコンピュータからのデータのＲＥＡＤ要求に対して、ディスクドライブ装置２０から読み出したデータをホストに返し、ホストコンピュータからのデータのＷＲＩＴＥ要求に対して、ディスクドライブ装置２０にデータを書き込んで、終了ステータスをホストに返す。各ディスク制御装置クラスタ１０は、サービスプロセッサユニット１００を有し、リソース利用率モニタ１００１とプロセッサ１００２を用いて、自クラスタ内のリソース利用状況をモニタ・管理している。
【００２０】
本明細書中では、専ら自クラスタ内の監視をおこなうためのモニタを「クラスタ内リソース利用状況モニタ」と言い、ディスク制御システム全体の監視をおこなうためのモニタを「システム内リソース利用状況モニタ」と言うことにする。
【００２１】
各ディスク制御装置クラスタ１０は、ディスク制御装置クラスタ間ネットワーク１を介して、サービスプロセッサ内に設けられたクラスタ内リソース利用状況モニタのモニタ情報を相互に通信し、複数の前記クラスタ内リソース利用状況モニタのモニタ情報を集約して、システム内リソース利用状況モニタを構成する。
【００２２】
ディスクドライブ装置２０内では、複数のハードディスクドライブで冗長構成を組むことによりパリティグループ２００を形成している。ユーザへのストレージ割り当ての単位である論理ボリューム２１０は、パリティグループ２００内に構成される。
【００２３】
ディスク制御装置クラスタが複数構成されたシステムにおいては、各ディスク制御装置クラスタ１０に属する論理ボリューム２１０が、一つの仮想ストレージプール２を形成する。そのため、ホストコンピュータ３０は、アクセス対象の論理ボリューム２１０がどのディスク制御装置クラスタの配下にあるかを意識することなく、マルチディスク制御装置システム管理下のすべての仮想ストレージプール２内の論理ボリュームにアクセス可能となる。アクセス対象の論理ボリュームがアクセス要求元のホストコンピュータと同じディスク制御装置クラスタに属している場合には、一つのディスク制御装置クラスタ内のリソース利用状況モニタを参照することにより、リソース配分の最適化をおこなうことができる。
【００２４】
一方、アクセス対象の論理ボリュームとアクセス要求元のホストコンピュータが異なるディスク制御装置クラスタ１０に属している場合は、クラスタ間で通信することで構成されたシステム内リソース利用状況モニタを参照することにより、ディスク制御システム全体のリソース配分の最適化をおこなうことができる。より具体的には、各ディスク制御装置クラスタ１０は、システム内リソース利用状況モニタを参照しながら、ＩＯジョブの制御モードを切り替えることにより、複数のディスク制御装置クラスタ１０間にまたがるＩＯジョブの発行間隔を調整する。
【００２５】
ディスク制御装置クラスタ１０の詳細な構成は、図２に示されるようになる。
【００２６】
ディスク制御装置クラスタ１０は、チャネルアダプタ１１０と、ディスクアダプタ１２０と、メモリアダプタ１３０と、これらのチャネルアダプタ１１０、ディスクアダプタ１２０、メモリアダプタ１３０とを接続するスイッチアダプタ１４０と、サービスプロセッサユニット１００からなる。
【００２７】
チャネルアダプタ１１０は、ホストコンピュータ３０との接続インターフェースを司る部分である。ディスクアダプタ１２０は、ディスクドライブ装置２０との接続インターフェース司る部分である。メモリアダプタ１３０は、ホストコンピュータ３０・ディスクドライブ装置２０との間でやりとりするデータを一時的に格納する部分である。スイッチアダプタ１４０は、チャネルアダプタ１１０、ディスクアダプタ１２０、メモリアダプタ１３０とを接続し、データ交換の制御をおこなう部分である。サービスプロセッサユニット１００は、クラスタ内のリソースとシステム全体のリソースを監視し、リソース情報として保存する機能を有する。
【００２８】
チャネルアダプタ１１０は、プロトコルエンジン１１０６と、マイクロプロセッサ１１０２と、マイクロプロセッサ１１０２の作業メモリ１１０３と、ＤＭＡコントローラ１１０４と、ＤＭＡコントローラ１１０４の作業メモリ１１０５とを有する。
【００２９】
プロトコルエンジン１１０６は、ホストコンピュータ３０との通信プロトコルを制御する。マイクロプロセッサ１１０２は、このチャネルアダプタ１１０を制御するためのプロセッサである。 ＤＭＡコントローラ１１０４は、他のアダプタとのＤＭＡ転送を制御する。
【００３０】
同様に、ディスクアダプタ１２０は、プロトコルエンジン１２０６と、マイクロプロセッサ１２０２と、マイクロプロセッサ１２０２の作業メモリ１２０３と、ＤＭＡコントローラ１２０４と、ＤＭＡコントローラ１２０４の作業メモリ１２０５とを有する。
【００３１】
プロトコルエンジン１２０６と、ディスクドライブ装置２０との通信プロトコルを制御する。マイクロプロセッサ１２０２は、ディスクアダプタ１２０を制御するためのプロセッサである。 ＤＭＡコントローラ１２０４は、他のアダプタとのＤＭＡ転送を制御する。
【００３２】
サービスプロセッサユニット１００は、スイッチ１０１０と、マイクロプロセッサ１００２とその作業メモリ１００３とを有している。
【００３３】
スイッチ１０１０は、チャネルアダプタ１１０、ディスクアダプタ１２０、および、他のサービスプロセッサユニットを互いに接続して、データ交換をおこなう。マイクロプロセッサ１００２は、各種のサービスを実行するためのプロセッサである。
【００３４】
また、サービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワーク９を介して、チャネルアダプタ１１０、ディスクアダプタ１２０と、また、ディスク制御装置クラスタ間リソース管理ネットワーク３を介して、他のディスク制御装置クラスタ１０のサービスプロセッサユニット１００と接続されている。
【００３５】
ディスク制御装置クラスタ１０内のチャネルアダプタ１１０、ディスク制御アダプタ１２０、メモリアダプタ１３０、スイッチアダプタ１４０は、各アダプタ内のリソース利用率などをモニタしており、その状況を各アダプタ内に存在するリソースモニタ領域１１０１に格納している。
【００３６】
サービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワーク９を介して、各アダプタ内に存在するリソースモニタ領域１１０１に格納されたリソース情報を収集して、作業メモリ１００３に保持する。そして、収集されたリソース情報により、クラスタ内のリソース利用状況モニタを構成する。リソース情報を収集するときには、リソースモニタ領域１１０１に格納されたリソース情報をそのまま取り込むこともあるし、一定の期間の平均値や最大値をリソース情報として取り込むなどの加工処理をおこなうこともある。
【００３７】
また、作業メモリ１００３には、ＩＯジョブを制御するためのリソース条件テーブル１００４も格納されている。
【００３８】
そして、ディスク制御装置クラスタ間リソース管理ネットワーク９を介して、各ディスク制御装置クラスタに存在するクラスタ内リソースモニタのモニタ情報を集約することにより、システム内のリソース利用状況モニタを構成する。
【００３９】
このように、本発明のディスク制御システムにおいては、ディスク制御装置クラスタ１０のそれぞれにクラスタ内リソース利用状況モニタを設け、複数のクラスタ内リソース利用状況モニタのモニタ情報を集約して、システム内リソース利用状況モニタを構成することにより、複数のディスク制御装置クラスタから構成されるシステム全体のリソース利用状況を把握・管理することができる。また、このシステム内リソース利用状況モニタとリソース条件テーブル１００４を参照して、複数のディスク制御装置クラスタ間にまたがるIＯジョブの発行間隔を調整することで、ユーザ要求に適合した、システム全体のリソース配分最適化が可能となる。これにより、最適な負荷分散をおこない、トータルのスループットを上げ、ＩＯ数を最適化することにより、ユーザ要求に見合った性能を保証することが可能となる。
【００４０】
〔リソース利用率モニタとリソース条件テーブルの具体例〕
次に、図３ないし図８を用いて本発明のディスク制御システムのリソース利用率モニタとリソース条件テーブルの具体例について説明する。
図３は、チャネルアダプタ１１０のポート利用率のモニタ状況を示す図である。
図４は、ディスク制御装置クラスタ間データネットワークに関するリソース利用率条件テーブルを示す図である。
図５は、ディスクアダプタ１２０の論理ボリュームアクセスパス利用率のモニタ状況を示す図である。
図６は、論理ボリュームへのアクセスパスに関するリソース利用率条件テーブルを示す図である。
図７は、スイッチアダプタ１４０のポート利用率のモニタ状況を示す図である。
図８は、スイッチアダプタ１４０のスイッチポートに関するリソース利用率条件テーブルを示す図である。
【００４１】
チャネルアダプタ１１０では、図３に示されるように、リソースとしてポートの入力方向と出力方向の利用率が管理される。ここでは、Ｐ１ポートへのホストコンピュータ名（例えば、Fibre ChannelプロトコルのWorld Wide Name）がホストＷＷＮ−１からのＷＲＩＴＥアクセス利用率が１０％、ＲＥＡＤアクセス利用率が３０％であることを示している。
【００４２】
また、これに関するＩＯジョブの制約条件と解除条件は、図４のテーブルに示されている如くであり、ここでは、ホストＷＷＮ−１の場合、ＤＫＣ１／ＤＫＣ２間データネットワークの利用率５０％以上で、ＤＫＣ１／ＤＫＣ２間データネットワークを用いるようなＩＯジョブのＩＯリクエストを制限し、２０％以下ならＤＫＣ１／ＤＫＣ２間データネットワークを用いるようなＩＯジョブの発行の制限が解除される。
【００４３】
このチャネルアダプタ１１０でのポートの利用率を管理し、制限することにより、ディスク制御装置クラスタ間のデータのやり取りを伴うＩＯジョブが適切にスケジューリングされ、トータルスループットの向上を図ることができる。
【００４４】
ディスクアダプタ１２０では、図５に示されるように、リソースとしては論理ボリュームアクセスパス利用率が管理される。ここでは、ＬＵ３論理ボリュームへのホストＷＷＮ−１からのＷＲＩＴＥアクセス利用率が１０％、ＲＥＡＤアクセス利用率が３０％であることを示している。
【００４５】
また、これに関するＩＯジョブの制約条件と解除条件は、図４のテーブルに示されている如くであり、ここでは、ホストコンピュータＷＷＮ−１からのＩＯリクエストに関し、ＬＵ３論理ボリュームに対してはアクセスパス利用率７０％まで、ＬＵ４論理ボリュームに対してはアクセスパス利用率５０％までのアクセスを許可しており、それぞれのアクセスパス利用率５０％、３０％までに下がったときアクセスパスの利用制限が解除される。
【００４６】
このようにディスクアダプタ１２０内の論理ボリュームアクセスパスを管理し、その利用を制限することにより、論理ボリュームへのアクセス競合の最適な調停をおこなうことが可能となる。
【００４７】
スイッチアダプタ１４０では、図７に示されるように、リソースとして、スイッチポートに関する利用率が、管理される。ここでは、スイッチポートＰ１のホストＷＷＮ−１からの利用率が１０％であることを示している。
【００４８】
また、これに関するＩＯジョブの制約条件と解除条件は、図８のテーブルに示されている如くであり、ここでは、ＤＫＣ２のホストコンピュータＷＷＮ−１へのスイッチポート帯域が利用率５０％までは許可しており、利用率２０％までに下がったときスイッチポートの利用制限が解除される。
【００４９】
このようにスイッチアダプタ１４０内のポート帯域を管理し、その利用を制限することにより、スイッチアダプタ１４０を利用する際の最適な調停をおこなうことが可能となる。
【００５０】
〔ＩＯジョブの制御処理〕
次に、図９を用いてＩＯジョブの制御処理について説明する。
図９は、本発明に係るディスク制御システムのＩＯジョブの制御処理を示すフローチャートである。
【００５１】
サービスプロセッサユニットでは、上記のリソース利用率モニタの具体例で示したような各リソースに関する利用率状況モニタのリソース情報を収集して、上記のリソース利用率条件テーブルに示された当該リソースに関する制約条件と解除条件を参照しながら、リソース配分の最適化をおこなう。
【００５２】
具体的には、図９のフローチャートに示されるアルゴリズムにより、ＩＯジョブに関する制御モードを切り替えることにより、ＩＯ発行間隔の調整をおこなう。先ず、当該ＩＯリクエストが、リソース利用率制約対象であるか否かを判定する（ステップ３００）。制約対象の場合には、当該ＩＯリクエストの制約判定をおこなうのに必要なターゲットリソースの利用状況が収集済みであるか否かのチェックをおこない（ステップ３０１）、未収集であればリソース管理ネットワーク（後述）を通してターゲットリソースの利用状況モニタから必要な情報を集める（ステップ３０４）。その後、リソース利用率制約条件と、現在のリソース利用状況とを比較し（ステップ３０２）、当該ＩＯジョブに関するリソースが制約条件を超えていた場合には、当該ＩＯジョブの実行をＩＯ発行制約モード下で制御されるように設定することにより（ステップ３０５）、当該ＩＯジョブの発行間隔を調整する。
【００５３】
また、リソース解除条件と、現在のリソース利用状況とを比較し（ステップ３０３）、当該ＩＯジョブに関するリソース解除条件を下回っている場合には、当該ＩＯジョブの実行のＩＯ発行制約モードを解除して（ステップ３０６）、通常の動作モード下で制御されるようにする。
【００５４】
このように、複数のディスク制御装置クラスタ間にまたがるＩＯジョブの実行に際し、当該ＩＯジョブに必要なリソース利用率を規定するリソース利用率制約条件を、現状のリソース利用状況を反映しているシステム内リソース利用状況モニタでの値が満たしていない場合、当該ジョブの発行数を制限し、その制限を解除するために必要なリソース利用率を規定するリソース利用率解除条件を、システム内リソース利用状況モニタでの値が満たすまで、その制限を継続することにより、一時的なリソース利用率の変動にも対応した、安定的な運用が可能となる。
【００５５】
〔ディスク制御システムのシステム形態のバリエーション〕
以下、図１０ないし図１４を用いて本発明のディスク制御システムの様々なシステム形態について説明する。
（I）チャネルアダプタのホストポート経由によりディスク制御装置クラスタが結合された形態
図１０は、本発明に係るディスク制御システムの構成で、チャネルアダプタのホストポート経由によりディスク制御装置クラスタが結合された形態の構成図である。
【００５６】
このシステム形態は、各々のディスク制御装置クラスタ１０がチャネルアダプタのホストポート経由により接続されており、ディスク制御装置クラスタ間データネットワーク４により、データのやり取りをおこない、リソースは、各々のディスク制御装置クラスタ１０のサービスプロセッサユニット１００を接続するディスク制御装置クラスタ間リソース管理ネットワーク３によりやり取りされる例である。
【００５７】
ディスク制御装置クラスタ１０は、チャネルアダプタ１１０と、ディスクアダプタ１２０と、メモリアダプタ１３０と、これらのチャネルアダプタ１１０、ディスクアダプタ１２０、メモリアダプタ１３０とを接続するスイッチアダプタ１４０と、サービスプロセッサユニット１００からなる。
【００５８】
各々の部位の機能については、図２に示したものと同様である。
【００５９】
複数のディスク制御装置クラスタ１０は、ディスク制御装置クラスタ間データネットワーク４によって、チャネルアダプタ１１０間で結合されおり、サービスプロセッサユニット１００間は、ディスク制御装置クラスタ間リソース管理ネットワーク３によって結合されている。
【００６０】
サービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワーク９を介してクラスタ内リソース利用状況モニタのモニタ情報を収集する。また、サービスプロセッサユニット１００は、他のサービスプロセッサユニット１００との間で、クラスタ内リソース利用状況モニタの情報を交換することによって、システム内リソース利用状況モニタを構成する。
【００６１】
複数のディスク制御装置クラスタ１０が結合されたディスク制御装置システムにおいては、ホストコンピュータ３０は、アクセス対象の論理ボリューム２１０がどのディスク制御装置クラスタの配下にあるかを意識することなく、ディスク制御装置システム管理下のすべての仮想ストレージプール２にアクセス可能である。アクセス対象の論理ボリュームがアクセス要求元のホストコンピュータと同じディスク制御装置クラスタに属している場合は、一つのディスク制御装置クラスタ内のリソース利用状況モニタを参照することで、リソース配分の最適化をおこなうことができる。
【００６２】
一方、アクセス対象の論理ボリュームとアクセス要求元のホストコンピュータが異なるディスク制御装置クラスタに属している場合は、ディスク制御装置クラスタ間データネットワーク４を介して、複数のディスク制御装置クラスタのリソースを利用することになる。この場合、ディスク制御装置クラスタ間リソース管理ネットワーク３を介して通信することで構成されたシステム内リソース利用状況モニタのモニタ情報を参照することで、ディスク制御システム全体のリソース配分の最適化をおこなうことができる。
【００６３】
例えば、図３に示したチャネルアダプタのポートの利用率が大きくなり、ディスク制御装置クラスタ間データネットワーク４のネットワーク帯域が図４に示した利用率制約条件を超えるときには、ＩＯ発行制約モードに移行して、ＤＫＣ１とＤＫＣ２をまたがってディスク制御装置クラスタ間データネットワーク４上のデータフローが発生するようなＩＯジョブの発行を抑制する。
【００６４】
本形態のディスク制御システムでは、複数のディスク制御装置クラスタを、チャネルアダプタ間で結合することで、ディスク制御システムを構成するのに特別な結合機構ハードウェアを必要としない。このように、複数のディスク制御装置クラスタをチャネルアダプタ間で結合させることによって、システムの機能をユーザ要求に適合させ、システム全体のリソース配分最適化をおこないつつ、ハードウェアコストを低減させることが可能となる。
（II）スイッチアダプタの内部スイッチポート経由によりディスク制御装置クラスタが結合された形態
図１１は、本発明に係るディスク制御システムの構成で、スイッチアダプタの内部スイッチポート経由によりディスク制御装置クラスタが結合された形態の構成図である。
【００６５】
このシステム形態は、各々のディスク制御装置クラスタ１０がスイッチアダプタの内部スイッチポート経由により接続されており、ディスク制御装置クラスタ間データネットワーク４により、データのやり取りをおこない、リソースは、各々のディスク制御装置クラスタ１０のサービスプロセッサユニット１００を接続するディスク制御装置クラスタ間リソース管理ネットワーク３によりやり取りされる例である。
【００６６】
個々のディスク制御装置クラスタ１０の構成と、各々の部位の機能は、（I）の場合と同様である。
【００６７】
複数のディスク制御装置クラスタ１０は、ディスク制御装置クラスタ間データネットワーク４によってスイッチアダプタ１４０間で結合されており、ディスク制御装置クラスタ間リソース管理ネットワーク３によってサービスプロセッサユニット１００間で結合されている。
【００６８】
サービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワーク９を介してクラスタ内リソース利用状況モニタのモニタ情報を収集する。また、サービスプロセッサユニット１００は、他のサービスプロセッサユニット１００との間で、前記クラスタ内リソース利用状況モニタのモニタ情報を交換することによって、システム内リソース利用状況モニタを構成する。
【００６９】
このシステム形態においても、（I）と同様に、アクセス対象の論理ボリュームがアクセス要求元のホストコンピュータと同じディスク制御装置クラスタに属している場合は、一つのディスク制御装置クラスタ内のリソース利用状況モニタを参照することで、リソース配分の最適化をおこなうことができる。
【００７０】
一方、（I）と同様に、アクセス対象の論理ボリュームとアクセス要求元のホストコンピュータが異なるディスク制御装置クラスタに属している場合には、ディスク制御装置クラスタ間データネットワーク４を介して、複数のディスク制御装置クラスタのリソースを利用することになる。この場合にも、ディスク制御装置クラスタ間リソース管理ネットワーク３を介して通信することで構成されたシステム内リソース利用状況モニタのモニタ情報を参照することで、ディスク制御システム全体のリソース配分の最適化をおこなうことができる。
【００７１】
例えば、図７に示したスイッチアダプタのポートの利用率が大きくなり、 ＤＫＣ２のスイッチポート帯域が図８に示した利用率制約条件を超えるときには、ＩＯ発行制約モードに移行して、関連するＤＫＣ２のスイッチポートを利用するようなＩＯジョブの発行を抑制する。
【００７２】
本形態のディスク制御システムでは、複数のディスク制御装置クラスタを、スイッチアダプタ間で結合することで、ディスク制御システムを構成するのにチャネルアダプタのホストポートのネットワーク帯域を消費しない。このように複数のディスク制御装置クラスタをスイッチアダプタ間で結合することで、システムの機能をユーザ要求に適合させ、システム全体のリソース配分最適化をおこないつつ、貴重なホストポートのネットワーク帯域を節約することができ、ハードウェアコストを低減させることが可能となる。
【００７３】
さらに、このシステム形態では、クラスタ内リソース利用率モニタだけではなく、システム内リソース利用状況モニタも、各々のディスク制御装置クラスタ１０内のサービスプロセッサユニット１００内に分散配置されている。
【００７４】
このシステム形態によれば、複数のディスク制御装置クラスタ１０それぞれにシステム内リソース利用状況モニタを構成することで、システム全体にまたがるリソース配分最適化が、一つのディスク制御装置クラスタ内のモニタ情報を参照するだけで可能となる。このように、システム内リソース利用状況モニタを複数ディスク制御装置クラスタ１０へ分散配置することにより、システム全体にまたがるリソース配分最適化を効率よく実行することが可能となる。
（III）クラスタ間スイッチによりディスク制御装置クラスタが結合された形態
図１２は、本発明に係るディスク制御システムの構成で、クラスタ間スイッチによりディスク制御装置クラスタが結合された形態の構成図である。
【００７５】
（I）（II）のシステム形態の例では、システム内リソース利用状況モニタを、各々のディスク制御装置クラスタ１０内のサービスプロセッサユニット１００内に分散配置した。
【００７６】
このシステム形態は、ディスク制御装置クラスタ１０間に、クラスタ間スイッチを設け、そのクラスタ間スイッチ内にシステム内リソース利用状況モニタを構成し、システム全体にまたがるリソースを集中管理しようとするものである。
【００７７】
個々のディスク制御装置クラスタ１０の構成と、各々の部位の機能は、上記（I）（II）の場合と同様である。
【００７８】
複数のディスク制御装置クラスタ１０は、ディスク制御装置クラスタ間ネットワーク１によってチャネルアダプタ１１０間と、サービスプロセッサユニット１００間で結合されている。
【００７９】
サービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワーク９を介してクラスタ内リソース利用状況モニタのモニタ情報を収集する。また、クラスタ間スイッチ５は、各サービスプロセッサユニット１００から、クラスタ内リソース利用状況モニタのモニタ情報を収集することによって、クラスタ間スイッチ５内部にシステム内リソース利用状況モニタを構成する。
【００８０】
上記のシステム形態と同様に、アクセス対象の論理ボリュームがアクセス要求元のホストコンピュータと同じディスク制御装置クラスタ１０に属している場合は、一つのディスク制御装置クラスタ１０内のリソース利用状況モニタを参照することで、リソース配分の最適化をおこなうことができる。
【００８１】
一方、アクセス対象の論理ボリュームとアクセス要求元のホストコンピュータが異なるディスク制御装置クラスタに属している場合は、クラスタ間スイッチ５によって、複数のディスク制御装置クラスタ１０のリソースを利用することになる。この場合、クラスタ間スイッチ５は、内部に構成されたシステム内リソース利用状況モニタを参照することにより、ディスク制御システム全体のリソース配分の最適化をおこなうことができる。
【００８２】
例えば、クラスタスイッチ５のポートの利用率が大きくなり、ディスク制御装置クラスタ間のスイッチポート帯域が利用率制約条件を超えるときには、ＩＯ発行制約モードに移行して、関連するクラスタスイッチ５のスイッチポートを利用するようなＩＯジョブの発行を抑制する。
【００８３】
このシステム形態によれば、クラスタ間スイッチ５にシステム内リソース利用状況モニタを構成することで、システム内リソース利用状況モニタを効率良く更新することが可能となる。このようにシステム内リソース利用状況モニタをクラスタ間スイッチへ集中配置することにより、システム全体にまたがるリソース配分最適化をより容易に実行することができる。特に、ディスク制御装置クラスタの数が多い場合には、効果は大きくなる。
（IV）クラスタ間スイッチによりディスク制御装置クラスタが結合され、かつ、ホストもクラスタ間スイッチによりディスク制御装置クラスタが結合された形態
図１３は、本発明に係るディスク制御システムの構成で、クラスタ間スイッチによりディスク制御装置クラスタが結合され、かつ、ホストもクラスタ間スイッチによりディスク制御装置クラスタが結合された形態の構成図である。
【００８４】
このシステム形態は、（III）の形態に類似するが、ホストコンピュータがチャネルアダプタに直接には接続されておらず、クラスタ間スイッチに接続された形態である。
【００８５】
クラスタ間スイッチ５は、図１３に示されるように、ホストコンピュータ３０とディスク制御装置クラスタ１０との間を接続されている。そして、ディスク制御装置クラスタ１０のチャネルアダプタ１１０は、クラスタ間スイッチ５との接続インターフェースを有している。
【００８６】
複数のディスク制御装置クラスタ１０は、ディスク制御装置クラスタ間ネットワーク１によってチャネルアダプタ１１０間と、サービスプロセッサユニット１００間で結合されているのは、（III）の場合と同様であり、クラスタ内リソース利用状況モニタのモニタ情報を収集し、クラスタ間スイッチ５内部にシステム内リソース利用状況モニタを構成することも（III）の場合と同様である。
【００８７】
このシステム形態によれば、ホストコンピュータ３０をクラスタ間スイッチ５経由で接続することにより、ディスク制御装置クラスタとホストコンピュータの接続性、管理性を高めることが可能となる。特に、クラスタ間スイッチ５にシステム内リソース利用状況モニタを集中配置する場合、この接続形態との親和性が良い。
（V）クラスタ間コントローラによりディスク制御装置クラスタが結合された形態
図１４は、本発明に係るディスク制御システムの構成で、クラスタ間コントローラによりディスク制御装置クラスタが結合された形態の構成図である。 
このシステム形態は、複数のディスク制御装置クラスタと、ホストコンピュータビューとを接続するクラスタ間コントローラを設け、そのクラスタ間コントローラ内にシステム内リソース利用状況モニタを構成し、システム全体にまたがるリソースを集中管理しようとするものである。
【００８８】
クラスタ間コントローラ４０は、ホストコンピュータ３０とディスク制御装置クラスタ１０との間を接続している。クラスタ間コントローラ４０は、チャネルアダプタ１１０と、メモリアダプタ１３０と、スイッチアダプタ１４０と、サービスプロセッサユニット１００を有している。
【００８９】
チャネルアダプタ１１０は、ホストコンピュータ３０およびディスク制御装置クラスタ１０との接続インターフェースを司る部分である。メモリアダプタ１３０は、ホストコンピュータおよびディスク制御装置クラスタの間で転送されるデータを一時的に格納する部分でる。スイッチアダプタ１４０は、チャネルアダプタ、メモリアダプタとの間を接続して内部ネットワークを構成し、データ交換の制御をおこなう部分である。サービスプロセッサユニット１００は、クラスタ内のリソースとシステム全体のリソースを監視し、リソース情報として保存する機能を有する。
【００９０】
図１４では省略されているが、ディスク制御装置クラスタ１０の構成と、各々の部位の機能については、上記（I）〜（IV）と同様である。
【００９１】
ディスク制御装置クラスタ１０内のサービスプロセッサユニット１００は、ディスク制御装置クラスタ内リソース管理ネットワークを介してクラスタ内リソース利用状況モニタのモニタ情報を収集する。また、クラスタ間コントローラ４０は、各々のディスク制御装置クラスタ１０内のサービスプロセッサユニット１００から、クラスタ内リソース利用状況モニタのモニタ情報を収集することによって、そのクラスタ間コントローラ４０内部のサービスプロセッサユニット１００にシステム内リソース利用状況モニタを構成する。
【００９２】
このシステム形態によれば、複数のディスク制御装置クラスタ１０を、クラスタ間コントローラ４０で結合することにより、クラスタ間の最適化制御をより容易に実装することが可能となる。特に、クラスタ間コントローラの持つキャッシュメモリの機能を活用することにより、ディスク制御システム全体の性能を高めることが可能となる。
【図面の簡単な説明】
【００９３】
【図１】本発明に係るディスク制御システムの構成図である。
【図２】本発明に係るディスク制御システムのディスク制御装置クラスタの詳細な構成図である。
【図３】チャネルアダプタ１１０のポート利用率のモニタ状況を示す図である。
【図４】ディスク制御装置クラスタ間データネットワークに関するリソース利用率条件テーブルを示す図である。
【図５】ディスクアダプタ１２０の論理ボリュームアクセスパス利用率のモニタ状況を示す図である。
【図６】論理ボリュームへのアクセスパスに関するリソース利用率条件テーブルを示す図である。
【図７】スイッチアダプタ１４０のポート利用率のモニタ状況を示す図である。
【図８】スイッチアダプタ１４０のスイッチポートに関するリソース利用率条件テーブルを示す図である。
【図９】本発明に係るディスク制御システムのＩＯジョブの制御処理を示すフローチャートである。
【図１０】本発明に係るディスク制御システムの構成で、チャネルアダプタのホストポート経由によりディスク制御装置クラスタが結合された形態の構成図である。
【図１１】本発明に係るディスク制御システムの構成で、スイッチアダプタの内部スイッチポート経由によりディスク制御装置クラスタが結合された形態の構成図である。
【図１２】本発明に係るディスク制御システムの構成で、クラスタ間スイッチによりディスク制御装置クラスタが結合された形態の構成図である。
【図１３】本発明に係るディスク制御システムの構成で、クラスタ間スイッチによりディスク制御装置クラスタが結合され、かつ、ホストもクラスタ間スイッチによりディスク制御装置クラスタが結合された形態の構成図である。
【図１４】本発明に係るディスク制御システムの構成で、クラスタ間コントローラによりディスク制御装置クラスタが結合された形態の構成図である。
【符号の説明】
【００９４】
１…ディスク制御装置クラスタ間ネットワーク
２…仮想ストレージプール
３…ディスク制御装置クラスタ間リソース管理ネットワーク
４…ディスク制御装置クラスタ間データネットワーク
５…クラスタ間スイッチ
５１…リソース利用率モニタ
５２…プロセッサ
６…外部接続ストレージ
９…ディスク制御装置クラスタ内リソース管理ネットワーク
１０…ディスク制御装置クラスタ
２０…ディスクドライブ装置
３０…ホストコンピュータ
４０…クラスタ間コントローラ
１００…サービスプロセッサユニット
１００１…リソース利用率モニタ
１００２…プロセッサ
１００３…ローカルメモリ
１０１０…スイッチ
１１０…チャネルアダプタ
１１０１…リソース利用率モニタ
１１０２…プロセッサ
１１０３…ローカルメモリ
１１０４…ＤＭＡコントローラ
１１０５…ＤＭＡバッファ
１１０６…プロトコルエンジン
１２０…ディスクアダプタ
１２０１…リソース利用率モニタ
１２０２…プロセッサ
１２０３…ローカルメモリ
１２０４…ＤＭＡコントローラ
１２０５…ＤＭＡバッファ
１２０６…プロトコルエンジン
１３０…キャッシュメモリ
１３０１…リソース利用率モニタ
１４０…スイッチ
１４０１…リソース利用率モニタ
２００…パリティグループ
２１０…論理ボリューム
【図１】
2006318012.tif 000003
【図２】
2006318012.tif 000004
【図３】
2006318012.tif 000005
【図４】
2006318012.tif 000006
【図５】
2006318012.tif 000007
【図６】
2006318012.tif 000008
【図７】
2006318012.tif 000009
【図８】
2006318012.tif 000010
【図９】
2006318012.tif 000011
【図１０】
2006318012.tif 000012
【図１１】
2006318012.tif 000013
【図１２】
2006318012.tif 000014
【図１３】
2006318012.tif 000015
【図１４】
2006318012.tif 000016