(57)【要約】【課題】複数のストレージ装置と計算機からなる計算機システムにおいて、ストレージ装置間でのリソース不均衡をより効果的に解消し、解消に要する時間を短縮する。【解決手段】計算機に対してボリュームを提供する複数のストレージ装置と、ストレージ装置を管理するストレージ管理装置とを備える計算機システムにおいて、ストレージ管理装置は、ボリュームの新規作成指示があった場合に、各ストレージ装置が提供する全ボリュームの特徴量の分散と、仮にその新規作成ボリュームを各々のストレージ装置で提供する場合の全ボリュームの特徴量の分散をそれぞれ比較し、特徴量の分散の差が最も大きくなるストレージ装置にボリュームを作成する。【選択図】図１
2020086849.tif 000002
【特許請求の範囲】
【請求項１】
計算機に対してボリュームを提供する複数のストレージ装置と、前記複数のストレージ装置を管理するストレージ管理装置とを備える計算機システムであって、
前記ストレージ管理装置は、前記複数のストレージ装置の何れかのストレージ装置に新規ボリュームを作成する際、各ストレージ装置が前記計算機に提供する複数のボリュームの特徴量の分散が大きくなるストレージ装置を選択し、
前記選択されたストレージ装置は、前記新規ボリュームを作成することを特徴とする計算機システム。
【請求項２】
前記特徴量は、前記各ストレージ装置におけるボリュームの使用容量とボリューム性能要件であることを特徴とする請求項１に記載の計算機システム。
【請求項３】
前記ボリュームの使用容量はボリュームの実効サイズであり、前記ボリューム性能要件は、ボリュームのＩ／Ｏスループット、ボリュームのＩＯＰＳの何れかであることを特徴とする請求項２記載の計算機システム。
【請求項４】
前記特徴量は、ボリュームの論理サイズ、ボリュームのＩ／ＯのＲｅａｄ／Ｗｒｉｔｅ比率の何れかを加えたものであることを特徴とする請求項３に記載の計算機システム。
【請求項５】
前記ストレージ管理装置は、前記複数のストレージ装置のうち、空きリソースに余裕のあるストレージ装置のグループに対して、現時点のストレージ装置が提供するボリュームの特徴量の第１の分散と、前記新規ボリュームを作成した場合のストレージ装置が提供するボリュームの特徴量の第２の分散を計算し、前記第１及び前記第２の分散の差が最も大きくなるストレージ装置に対してボリュームの作成を指示し、
前記ボリュームの作成指示を受けたストレージ装置は、前記新規ボリュームを作成することを特徴とする請求項２に記載の計算機システム。
【請求項６】
前記ストレージ管理装置は、
ボリュームの特徴量のカテゴリ毎に、ボリュームが最後に作成されたストレージ装置の管理番号の情報を有し、
新規ボリューム作成時に、前記新規ボリュームの特徴量が合致するカテゴリのストレージ装置の管理番号を参照し、その管理番号に一を加えた数字の昇順もしくは一を減じた数字の降順で対応する管理番号を持つストレージ装置を特定し、
前記特定されたストレージ装置が前記新規ボリュームを作成するためのリソースがあるかを確認し、前記新規ボリュームを作成するためのリソースがある場合に、前記特定されたストレージ装置に前記新規ボリュームの作成を指示し、
前記ストレージ管理装置から指示されたストレージ装置は、前記新規ボリュームの作成を行うことを特徴とする請求項２に記載の計算機システム。
【請求項７】
前記ストレージ管理装置は、
ボリュームの特徴量のカテゴリ毎に、各ストレージ装置が提供するボリュームの数の情報を有し、
新規ボリューム作成時に、前記新規ボリュームの特徴量が合致するカテゴリに関して提供するボリュームの数が少ない順にストレージ装置に対してボリュームを作成するためのリソースがあるかを確認し、最初に確認できたリソースの余裕があるストレージ装置に対してボリュームの作成を指示し、
前記ストレージ管理装置から指示を受けたストレージ装置は、前記新規ボリュームの作成を行うことを特徴とする請求項２に記載の計算機システム。
【請求項８】
前記ストレージ管理装置は、
前記複数のストレージ装置の内、空きリソースに余裕のあるストレージ装置のグループに対して、現時点のストレージ装置が提供するボリュームの特徴量の最大値もしくは最小値と、前記新規ボリュームを作成した場合の前記各ストレージ装置が提供するボリュームの特徴量の値との差が最も大きくなるストレージ装置に対してボリュームの作成を指示し、
前記指示を受けたストレージ装置は、前記新規ボリュームを作成することを特徴とする請求項２に記載の計算機システム。
【請求項９】
前記ストレージ管理装置は、
前記複数のストレージ装置に対して、各ストレージ装置が提供するボリュームに関する特徴量を要求し、
要求を受けた各ストレージ装置は、各ストレージ装置が提供するボリュームに関する特徴量を応答する
請求項１に記載の計算機システム。
【請求項１０】
計算機に対してボリュームを提供する複数のストレージ装置と、前記複数のストレージ装置を管理するストレージ管理装置とを備える計算機システムであって、
前記複数のストレージ装置のうちリソース不足となったストレージ装置の移行元ボリュームを、他のストレージ装置に移動させる際に、前記ストレージ管理装置は、移行元ボリュームを移行させた結果、各ストレージ装置が前記計算機に提供する複数のボリュームの特徴量の分散が大きくなるストレージ装置を選択し、
前記選択されたストレージ装置に前記移行元ボリュームを移行させることを特徴とする計算機システム。
【請求項１１】
前記複数のストレージ装置の何れか一台のストレージ装置と、前記複数のストレージ装置を管理するストレージ管理装置とは、同一の物理計算機にて構成されることを特徴とする請求項２に記載の計算機システム。
【請求項１２】
計算機に対してボリュームを提供する複数のストレージ装置と、前記複数のストレージ装置を管理するストレージ管理装置とを備える計算機システムのボリューム配置方法であって、
前記ストレージ管理装置は、
前記複数のストレージ装置の何れかのストレージ装置に新規ボリュームを作成する際、各ストレージ装置が前記計算機に提供する複数のボリュームの特徴量の分散が大きくなるストレージ装置を選択し、
前記選択されたストレージ装置は、
前記新規ボリュームを作成することを特徴とする計算機システムのボリューム配置方法。
【請求項１３】
前記特徴量は、前記各ストレージ装置におけるボリュームの使用容量とボリューム性能要件であることを特徴とする請求項１２に記載の計算機システムのボリューム配置方法。
【請求項１４】
前記ストレージ管理装置は、
ボリュームの特徴量のカテゴリ毎に、各ストレージ装置が提供するボリュームの数の情報を有し、
新規ボリューム作成時に、前記新規ボリュームの特徴量が合致するカテゴリに関して提供するボリュームの数が少ない順にストレージ装置に対してボリュームを作成するためのリソースがあるかを確認し、最初に確認できたリソースの余裕があるストレージ装置に対してボリュームの作成を指示し、
前記ストレージ管理装置から指示を受けたストレージ装置は、前記新規ボリュームの作成を行うことを特徴とする請求項１３に記載の計算機システムのボリューム配置方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システム及び計算機システムのボリューム配置方法に関する。
【背景技術】
【０００２】
ストレージシステムを複数のストレージ装置で構成し、性能と容量が足りない場合にはストレージ装置を増設することにより拡張する分散ストレージシステムがある。分散ストレージシステムでは、ストレージ装置間でストレージサービス負荷や容量などのリソースの偏りが発生することがある。リソースの偏りが発生すると、特定のストレージ装置が提供するボリュームのストレージサービス性能が低下してしまうことがある。
【０００３】
この不均衡を発生させないために、初期配置と再配置で最適化を行うのが一般的である。例えば、ボリューム作成要求時には低負荷もしくは空き容量の多いストレージ装置にボリュームを作成する。またボリュームサービス時には、ストレージサービス負荷や容量の偏りにある閾値を設けて、その閾値を超えた場合に、負荷や使用容量の低いストレージ装置にストレージサービスやボリュームのデータを移動させる。
【０００４】
この際、移動させる対象ボリュームの容量や、対象ボリュームに対する負荷（ストレージサービス負荷）の大きさの粒度が大きすぎたり、小さすぎたりすると、不均衡が十分に改善しないことがある。また、不均衡の解消に時間がかかることがある。
【０００５】
このような不均衡を解消させる技術として特許文献１及び特許文献２がある。
特許文献１では、ボリューム作成要求時にＩ／Ｏレイテンシがなるべく小さく、ネットワークレイテンシとネットワーク帯域利用率の閾値を下回るストレージ装置にボリュームを作成することで、ストレージサービス負荷の偏りを平準化している。
【０００６】
特許文献２では、不均衡が発生した場合には、高負荷ボリューム内のディスクイメージを低負荷ボリュームにマイグレーションすることによってボリューム間負荷の平準化を行う技術が開示されている。特許文献２によると、高負荷ボリュームから低負荷ボリュームに対して、データ移動を実施する際に、高負荷ボリューム内にあるデータ量の最も小さなディスクイメージを移動することによって、不均衡の解消に要する時間を短縮する実施例が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】ＵＳ８，７９３，３７２明細書
【特許文献２】ＵＳ８，９１４，５９８明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された技術によると、ボリューム作成要求時に、その作成要求があったボリュームを提供するストレージ装置を決定する際にボリュームサイズは考慮されていない。したがって、不均衡解消のためにボリュームを移動しようとしても、ボリュームサイズが大きすぎて移動できなかったり、移動に時間がかかるという問題が発生する。
【０００９】
特許文献２に記載された技術によると、データサイズ（ディスクイメージサイズ）を考慮した不均衡の解消については開示されているものの、高負荷ボリューム内にデータ量の大きなディスクイメージしかない場合、不均衡の解消に時間がかってしまう。
【００１０】
そこで、本発明の目的は、複数のストレージ装置の負荷や使用容量の不均衡の解消を容易に行うことができる計算機システム、計算機システムのボリューム配置方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の計算機システムの一態様は、計算機に対してボリュームを提供する複数のストレージ装置と、複数のストレージ装置を管理するストレージ管理装置とを備える計算機システムであって、ストレージ管理装置は、複数のストレージ装置の何れかのストレージ装置に新規ボリュームを作成する際、各ストレージ装置が計算機に提供する複数のボリュームの特徴量の分散が大きくなるストレージ装置を選択し、選択されたストレージ装置は、新規ボリュームを作成するよう構成されている。
【発明の効果】
【００１２】
本発明によれば、複数のストレージ装置が１つ以上の計算機に複数のボリュームを提供するシステムにおいて、ボリュームの再配置を行う必要が生じた場合に、不均衡を改善する特徴量を持つボリュームが選択することで、不均衡の度合いをより改善することができる。また、適切なサイズ、適切な負荷のボリュームを選んでマイグレーションするので、マイグレーション時間を短縮することができ、不均衡解消に要する時間を短縮することができる。
【図面の簡単な説明】
【００１３】
【図１】計算機システムの全体構成図である。
【図２】ストレージ装置またはストレージ管理装置のハードウェア構成図である。
【図３】ストレージ装置のメモリの構成図である。
【図４】ストレージ管理装置のメモリの構成図である。
【図５】特徴量管理テーブルの構成図である。
【図６】ボリューム管理テーブルの構成図である。
【図７】特徴量カテゴリ別インジケータの構成図である。
【図８】ストレージ装置管理テーブルの構成図である。
【図９】特徴量カテゴリ別ボリューム数管理テーブルの構成図である。
【図１０】ボリューム作成指示処理のフローチャートである。
【図１１】ボリューム配置決定処理（分散計算方式）のフローチャートである。
【図１２】ボリューム配置決定処理（カテゴライズ・インジケータ方式）のフローチャートである。
【図１３】ボリューム配置決定処理（カテゴライズ・テーブル方式）のフローチャートである。
【図１４】ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）のフローチャートである。
【図１５】負荷平準化処理のフローチャートである。
【図１６】ボリューム作成処理のフローチャートである。
【図１７】ボリューム移動処理のフローチャートである。
【図１８】特徴量取得処理及び特徴量提供処理のフローチャートである。
【発明を実施するための形態】
【００１４】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。
【００１６】
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
【００１７】
また、以下の説明では、「プログラム」を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）等を用いながら行うため、実際の処理の主体はプロセッサとされてもよい。従って、プログラムを動作の主体として説明された処理は、プロセッサを含む装置が行う処理としてもよい。また、プロセッサが行う処理の一部又は全部を行うハードウェア回路を含んでもよい。コンピュータプログラムは、プログラムソースから装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ、又は、計算機が読み取り可能な記憶メディアであってもよい。
【００１８】
＜概要＞
本技術は、複数のストレージ装置が１つ以上の計算機に複数のボリュームを提供する分散ストレージシステムであって、ボリュームを提供するストレージ装置の割り当てを最適化に関する。つまり、本技術は、将来のリバランスでの均衡不十分を改善しマイグレーション時間を短縮するボリューム配置を行う計算機システムに向けられる。
【００１９】
＜システム構成＞
まず、本発明の一実施形態に係る計算機システムについて説明する。
【００２０】
図１は、一実施形態に係る計算機システムの全体構成図である。
計算機システム１００は、一台以上の計算機１０１と、一台以上のストレージ装置１０２と、ストレージ管理装置１０３と、管理用端末１０４と、それらを接続するネットワーク１０５とを備える。
【００２１】
ストレージ装置１０２には、１つ以上のストレージデバイス１１０が内蔵もしくは外部接続されている。ストレージ装置１０２は、１つ以上のボリューム１１１を計算機１０１に対して提供している。
【００２２】
ボリューム１１１は、複数の論理ブロックから構成される。本実施形態での論理ブロックサイズは、例えば、書き込み時に論理ブロックに対して物理ブロックを割り当てるＴｈｉｎ  Ｐｒｏｖｉｓｉｏｎｉｎｇ（容量仮想化）の管理単位と同じサイズとしている。なお、論理ブロックは、Ｔｈｉｎ  Ｐｒｏｖｉｓｉｏｎｉｎｇの管理単位と同じサイズでなくてもよい。ストレージデバイス１１０の記憶領域に基づいて複数の物理ブロックが形成されている。ボリューム１１１の論理ブロックには、物理ブロックが割り当てられる。
【００２３】
図１に示す計算機システムでは、計算機１０１とストレージ装置１０２、ストレージ管理装置１０３とが別に構成されている例を示しているが、計算機１０１とストレージ装置１０２とストレージ管理装置１０３とを一つのベアメタル（物理計算機）を用いて構成してもよい。例えば、計算機１０１とストレージ装置１０２とストレージ管理装置１０３とのそれぞれを同一の計算機上で動作するＶＭ（Ｖｉｒｔｕａｌ  Ｍａｃｈｉｎｅ）と呼ばれる仮想計算機としてもよく、コンテナ仮想化により構成されたコンテナとしてもよい。また、ストレージ管理装置１０３は必ずしも独立した装置である必要はなく、その機能をストレージ装置１０２のいずれかに内包してもよい。
【００２４】
次に、ストレージ装置１０２のハードウェア構成について説明する。
【００２５】
図２は、一実施形態に係るストレージ装置のハードウェア構成図である。
本実施形態では、ストレージ装置１０２と、ストレージ管理装置１０３のハードウェアの基本的な構成は同じである。
【００２６】
ストレージ装置１０２（１０３）は、例えば、ＰＣやサーバ等の計算機によって構成され、プロセッサ部の一例としてのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、メモリ２０２、ＨＢＡ（Ｈｏｓｔ  Ｂｕｓ  Ａｄａｐｔｅｒ）２０３、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｆｅｒｆａｃｅ  Ｃａｒｄ）２０４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）２０５、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）２０６、及びストレージデバイス１１０を含む。これら構成要素は、内部バスや外部バスで接続されている。
【００２７】
ストレージデバイス１１０としては、例えば、ＮＶＭｅ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  Ｍｅｍｏｒｙ  ｅｘｐｒｅｓｓ）ドライブ２０７、ＳＡＳ（Ｓｅｒｉａｌ  Ａｔｔａｃｈｅｄ  ＳＣＳＩ）ドライブ２０８、ＳＡＴＡ（Ｓｅｒｉａｌ  ＡＴＡ）ドライブ２０９等や、ＨＢＡ２０３で接続された図示しない外部ドライブなどがある。
【００２８】
次に、ストレージ装置１０２のメモリの構成について説明する。
図３は、一実施形態に係るストレージ装置のメモリの構成図である。
【００２９】
ストレージ装置１０２のメモリ２０２（２０２Ａ）は、ボリューム作成プログラム３０１、ボリューム移動プログラム３０２、特徴量提供プログラム３０３、及びボリューム入出力制御プログラム３０４を記憶する。また、メモリ２０２Ａは、特徴量管理テーブル３１１、及びボリュームブロックマッピング管理テーブル３１２を記憶する。また、メモリ２０２Ａは、図示しない、その他ストレージサービスを実現するためのプログラムやテーブルを記憶している。
【００３０】
次に、コピー先のストレージ装置１１２のメモリの構成について説明する。
図４は、一実施形態に係るストレージ管理装置のメモリの構成図である。
【００３１】
ストレージ管理装置１０３のメモリ２０２（２０２Ｂ）は、ボリューム作成指示プログラム４０１、負荷平準化プログラム４０２、ボリューム配置決定プログラム４０３及び特徴量取得プログラム４０４を記憶する。また、メモリ２０２Ｂは、特徴量カテゴリ別インジケータ４１１、ストレージ装置管理テーブル４１２、及び特徴量カテゴリ別ボリューム数管理テーブル４１３を記憶する。また、メモリ２０２Ｂは、図示しない、その他ストレージ管理サービスを実現するためのプログラムやテーブルを記憶している。
【００３２】
次に、特徴量管理テーブル３１１の構成について説明する。
【００３３】
＜各種情報(テーブル)＞
図５は、一実施形態に係る特徴量管理テーブルの構成図である。
【００３４】
特徴量管理テーブル３１１は、ボリューム（Ｌｏｇｉｃａｌ  Ｕｎｉｔ：ＬＵとも呼ばれる）毎に対応する行を格納する。各行は、列として、ＬＵＮ（Ｌｏｇｉａｃｌ  Ｕｎｉｔ  Ｎｕｍｂｅｒ）５０１、平均ＩＯＰＳ５０２、平均Ｒ比率５０３、定義サイズ５０４、実効サイズ５０５、及び平均Ｉ／Ｏスループット５０６の項目を含む。５０２から５０６のそれぞれの列は、それぞれ特徴量の観点である。つまり、特徴量とは、ボリュームサイズ(実効、論理)、ボリュームＩ／Ｏ負荷(スループット、 ＩＯＰＳ、レイテンシ)、Ｉ／ＯのＲｅａｄ／Ｗｒｉｔｅ比率、ボリュームを利用するミドルウェアやアプリケーションの種類によって特徴付けられるボリュームの属性である。
【００３５】
ＬＵＮ５０１には、ボリュームを特定可能なＬＵＮが格納されている。平均ＩＯＰＳ５０２には、そのボリュームに対する平均の単位時間当たりのＩ／Ｏリクエスト処理数が格納される。平均Ｒ比率５０３には、そのボリュームに対するＩ／Ｏリクエストの総数のうちリードリクエストの割合が格納されている。定義サイズ５０４には、ボリュームの定義されたサイズが格納される。つまりそのボリュームの全ての論理ブロックの合計サイズである。実効サイズ５０５には、ボリュームで実際に使用されているサイズが格納される。つまりそのボリュームに割り当てられた全ての物理ブロックの合計サイズである。平均Ｉ／Ｏスループット５０６には、そのボリュームに対する平均の単位時間当たりのデータ入出力量が格納される。
【００３６】
観点１の平均ＩＯＰＳと観点５の平均Ｉ／Ｏスループットはボリュームの性能要件を示し、観点４の実効サイズは、ボリュームの使用容量を示し、ボリュームの特徴量を分散させるためには、必須の観点である。観点２の平均Ｒ比率、観点３の定義サイズは、その何れか、もしくは、両方がストレージ装置のユーザがボリュームに対して求める要件に応じて、考慮されるべき観点である。
【００３７】
尚、特徴量管理テーブル３１１は、ストレージ装置１０２毎に格納され、ストレージ管理装置１０３の特徴量取得プログラム４０４によって特徴量が読み出される際に、各ストレージ装置を識別するＩＤを付与して、ストレージ管理装置１０３に提供されるように構成されていても良い。
【００３８】
図５で例示した特徴量は観点毎にそれぞれスカラー値であるが、観点毎にベクトル値であってもよい。また、観点としてそのボリュームを利用するミドルウェアの種類を表現する値であってもよい。また、そのボリュームを利用するミドルウェアがクラスタ型で構成される場合、観点としてそのボリュームを利用するミドルウェアのノードの種類を表現する値であってもよい。ミドルウェアのノードの種類とは、レプリカセットのプライマリ、セカンダリや、シャーディングの担当領域などの違いである。また、観点としてそのボリュームを利用する計算機の種類を表現する値であってもよい。
【００３９】
次に、ボリュームブロックマッピング管理テーブル３１２の構成について説明する。
図６は、一実施形態に係るボリュームブロックマッピング管理テーブルの構成図である。
【００４０】
ボリュームブロックマッピング管理テーブル３１２は、ボリューム毎に対応する行を格納する。各行は、列として、ＬＵＮ６０１、論理ブロック＃６０２、物理ブロック＃６０３の項目を含む。
【００４１】
ＬＵＮ６０１には、ボリュームを特定するためのＬＵＮが格納される。論理ブロック＃６０２には、そのボリュームの論理ブロック番号が格納される。物理ブロック＃６０３には、そのボリュームの論理ブロック番号に対応する、物理ブロック番号が格納される。この物理ブロック番号は、例えば、ストレージデバイスのＩＤとその物理ブロック番号のペアや、複数のストレージデバイスをまとめたプールにおけるブロック番号である。
【００４２】
次に、特徴量カテゴリ別インジケータ４１１の構成について説明する。
図７は、一実施形態に係る特徴量カテゴリ別インジケータの構成図である。
【００４３】
特徴量カテゴリ別インジケータ４１１は、ボリュームの特徴量カテゴリに対応する行を格納する。各行は、列として、カテゴリ＃７０１、ＶＯＬサイズ７０２、性能要件７０３、及び最終作成装置７０４の項目を含む。つまり、特徴量カテゴリ別インジケータ４１１は、ボリュームの特徴量のカテゴリ毎に、ボリュームが最後に作成されたストレージ装置の管理番号の情報を有する。
【００４４】
カテゴリ＃７０１には、行に対応する特徴量カテゴリの番号が格納される。ＶＯＬサイズ７０２には、行に対応するボリュームのサイズのカテゴリ情報が格納される。例えば１００ＧＢ未満のボリュームを小、１００ＧＢ以上２ＴＢ未満のボリュームを中、２ＴＢ以上のボリュームを大とした場合、それぞれ小、中、大を示す情報が格納される。
【００４５】
性能要件７０３には、行に対応するボリュームの平均ＩＰＯＳ、平均Ｉ／Ｏスループット等の性能要件のカテゴリ情報が格納される。例えば、平均ＩＰＯＳが１００ＩＯＰＳ未満の性能要件のボリュームをＢｒｏｎｚｅ、１００ＩＯＰＳ以上１０００ＩＯＰＳ未満の性能要件のボリュームをＳｉｌｖｅｒ、１０００ＩＯＰＳ以上の性能要件のボリュームをＧｏｌｄとした場合、それぞれＢｒｏｎｚｅ、Ｓｉｌｖｅｒ、Ｇｏｌｄを示す情報が格納される。最終作成装置７０４には、行に対応するカテゴリのボリュームが最後に作成されたストレージ装置の管理番号が格納される。
【００４６】
次に、ストレージ装置管理テーブル４１２の構成について説明する。
図８は、ストレージ装置管理テーブルの構成図である。
【００４７】
ストレージ装置管理テーブル４１２は、ストレージ装置に対応する行を格納する。各行は、列として、ストレージ装置＃８０１、ＩＰアドレス８０２、空き容量８０３、及び空きＣＰＵ利用率８０４の項目を含む。
【００４８】
ストレージ装置＃８０１は、ストレージ装置を特定するＩＤが格納される。ＩＰアドレス８０２には、そのストレージ装置に割り当てられたＩＰアドレスが格納される。空き容量８０３には、そのストレージ装置の現在の空き容量が格納される。空きＣＰＵ利用率８０４には、そのストレージ装置の空きＣＰＵ利用率が格納される。
【００４９】
図９は、一実施形態に係る特徴量カテゴリ別ボリューム数管理テーブルの構成図である。
特徴量カテゴリ別ボリューム数管理テーブル４１３は、カテゴリとストレージ装置に対応する行を格納する。各行は、列として、カテゴリ＃９０１、ストレージ装置＃９０２、ＶＯＬサイズ９０３、性能要件９０４、ボリューム数９０５を含む。
【００５０】
カテゴリ＃９０１には、行に対応する特徴量カテゴリの番号が格納される。ストレージ装置＃９０２には、行に対応するストレージ装置の管理番号が格納される。ＶＯＬサイズ９０３には、行に対応するボリュームのサイズのカテゴリ情報が格納される。例えば１００ＧＢ未満のボリュームを小、１００ＧＢ以上２ＴＢ未満のボリュームを中、２ＴＢ以上のボリュームを大とした場合、それぞれ小、中、大を示す情報が格納される。性能要件９０４には、行に対応するボリュームの平均ＩＰＯＳ、平均Ｉ／Ｏスループット等の性能要件のカテゴリ情報が格納される。例えば、平均ＩＰＯＳが１００ＩＯＰＳ未満の性能要件のボリュームをＢｒｏｎｚｅ、１００ＩＯＰＳ以上１０００ＩＯＰＳ未満の性能要件のボリュームをＳｉｌｖｅｒ、１０００ＩＯＰＳ以上の性能要件のボリュームをＧｏｌｄとした場合、それぞれＢｒｏｎｚｅ、Ｓｉｌｖｅｒ、Ｇｏｌｄを示す情報が格納される。ボリューム数９０５には、行に対応するストレージ装置にある特徴量カテゴリをもつボリュームの数が格納される。
【００５１】
＜各種処理動作＞
次に、本実施形態に係る計算機システムの処理動作について説明する。
【００５２】
＜ボリューム作成指示処理＞
まず、ボリューム作成指示処理について説明する。
図１０は、一実施形態に係るボリューム作成指示処理のフローチャートである。
ボリューム作成指示処理は、ストレージ管理装置１０３のボリューム作成指示プログラム４０１で実行される。ボリューム作成指示プログラム４０１は管理用端末１０４などを経由して管理者からの指示により処理を開始する。
【００５３】
新規ボリューム作成指示処理を開始すると（Ｓ１０００）、ボリューム作成指示プログラム４０１は、各ストレージ装置のボリュームの特徴量（容量や性能要件）を分散させるようにボリューム配置決定処理を実行する（Ｓ１０１０）。ボリューム配置決定処理は複数の実施形態があり、それぞれ図１１、図１２、図１３、図１４を用いて後に説明する。この処理によりボリュームを作成する装置が決定する。本実施の形態では、各ストレージ装置のボリュームの特徴量を分散して配置するため、ボリュームの再配置を行う必要が生じた場合に、不均衡を改善する特徴量を持つボリュームが選択しやすくなり、不均衡の度合いをより改善することができる。また適切なサイズ、適切な負荷のボリュームを選んでマイグレーションするので、マイグレーション時間を短縮することができ、不均衡解消に要する時間を短縮することができる。
【００５４】
次に、ボリューム作成指示プログラム４０１は、決定したストレージ装置１０２に対してボリュームの作成を要求する（Ｓ１０２０）。
【００５５】
次に、ボリュームの作成要求を受信したストレージ装置１０２は、ボリューム作成処理（Ｓ１０３０）を実行する。ボリューム作成処理は図１６を用いて後に説明する。
【００５６】
次に、ボリュームの作成要求を受信したストレージ装置１０２は、作成したボリュームを有効化し、ボリューム作成の結果をストレージ管理装置１０３に通知する（Ｓ１０４０）。ここで有効化とは、同ボリュームに対する計算機からのデータ入出力リクエストを処理可能な状態にすることである。
【００５７】
次に、ボリューム作成指示プログラム４０１は、ボリューム作成の結果を受信し（Ｓ１０５０）、ボリューム作成指示処理を終了する。
【００５８】
＜ボリューム配置決定処理（分散計算方式）＞
次に、ボリューム配置決定処理（分散計算方式）（Ｓ１１００）について説明する。
【００５９】
図１１は、一実施形態に係るボリューム配置決定処理（分散計算方式）のフローチャートである。ストレージ管理装置は、複数のストレージ装置のうち、空きリソースに余裕のあるストレージ装置のグループに対して、現時点のストレージ装置が提供するボリュームの特徴量の分散と、新規ボリュームを作成した場合のストレージ装置が提供するボリュームの特徴量の分散を計算し、その特徴量の分散の差が最も大きくなるストレージ装置に対してボリュームの作成を指示する。
【００６０】
ボリューム配置決定処理（分散計算方式）は、ストレージ管理装置１０３のボリューム配置決定プログラム４０３で実行される。
【００６１】
ボリューム配置決定処理（分散計算方式）では、まず、空きリソースに余裕のある上位α％のストレージ装置グループを選択する（Ｓ１１１０）。空きリソースとは、例えば、ストレージ装置の空き容量、空きＣＰＵ利用率等のストレージ装置管理テーブル４１２の情報である。例えば、αが２０％であった場合、ストレージ装置の全台数が１０台であれば、空きリソースに余裕のある上位２台のストレージ装置が選択される。なお、αはあらかじめストレージ管理装置１０３に設定された値であってもよいし、管理者が設定した値であってもよい。
【００６２】
次に、その選択されたストレージ装置グループの装置の数をチェックする（Ｓ１１２０）。数が１以上の場合はＳ１１３０へ処理を移す。数が１未満、つまり「０」の場合は、空きリソースに余裕のあるストレージ装置は存在しないため、ボリュームを作成可能な装置はないと判断し、処理を終了する。
【００６３】
次に、候補となったストレージ装置グループで装置ごとにループ処理を開始する（Ｓ１１３０）。
【００６４】
次に、現在ループ処理で処理中のストレージ装置１０２に対して特徴量取得処理を実施する（Ｓ１１４０）。
【００６５】
次に、その取得した特徴量の分散Ｓを計算する（Ｓ１１５０）。特徴量としては、図５に示したように複数の観点が存在するため、それぞれの観点毎に特徴量の分散Ｓを計算する。もしくは着目する観点の特徴量のみの分散Ｓを計算してもよい。
【００６６】
例えば、あるストレージ装置に図5に示すようなLUN0、1、2の3つのボリュームがある場合で分散の計算方法の例を述べる。定義サイズを特徴量とした場合、まずボリュームの特徴量の平均xは以下で計算できる。
【００６７】
【数１】
2020086849.tif 000003
【００６８】
ここで、x_iがi番目のボリュームの特徴量、nはそのストレージ装置がもつボリューム数である。
次に、ボリューム作成が仮に行われた場合の特徴量の分散Ｓ’を計算する（Ｓ１１６０）。次にボリュームの特徴量の分散Sは以下で計算できる。
【００６９】
【数２】
2020086849.tif 000004
【００７０】
ここで、200GBの定義サイズのボリュームを作成しようとした場合、平均x'はとなる。
【００７１】
【数３】
2020086849.tif 000005
【００７２】
分散Ｓ’は
【００７３】
【数４】
2020086849.tif 000006
【００７４】
となる。このようにして、特徴量の分散Ｓ’を計算する。
同様に複数の観点のそれぞれで計算しても良いし、着目する観点のみで計算してもよい。
【００７５】
候補となったストレージ装置グループのうち、ループ処理の対象となっていないストレージ装置があれば、Ｓ１１３０に戻り、次のストレージ装置に対して同様の処理を行う（Ｓ１１７０）。
【００７６】
候補となったストレージ装置グループの全てのストレージ装置に対して処理が完了した後、特徴量の分散の差（Ｓ’−Ｓ）を計算し、その差が最も大きくなるストレージ装置を選択する（Ｓ１１８０）。これにより、特徴量を分散させて、新規ボリュームの配置先のストレージ装置を決定することができる。
【００７７】
複数の観点で分散を計算している場合は、それぞれの差の加算平均を取ったり、正の値のみで加重平均を取った上で、最も値が大きくなるストレージ装置を選択する。単一の観点で分散を計算している場合は、単に差が最も大きくなるストレージ装置を選択する。
【００７８】
以上の通り、ボリューム配置決定処理（分散計算方式）によれば、簡単な実装により、ボリュームの特徴量を分散させて、新規ボリュームの配置先のストレージ装置を決定することができる。
【００７９】
＜ボリューム配置決定処理（カテゴライズ・インジケータ方式）＞
次に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）（Ｓ１２００）について説明する。
図１２は、一実施形態に係るボリューム配置決定処理（カテゴライズ・インジケータ方式）のフローチャートである。
【００８０】
ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、ストレージ管理装置１０３のボリューム配置決定プログラム４０３で実行される。
【００８１】
ボリューム配置決定処理（カテゴライズ・インジケータ方式）では、まず、特徴量カテゴリ別インジケータ４１１を参照し、作成指示のあったボリュームの該当カテゴリの行を選択する（Ｓ１２１０）。例えば、作成指示のあったボリュームのサイズが「大」で、平均ＩＰＯＳ、平均Ｉ／Ｏスループット等の性能要件が「Ｓｉｌｖｅｒ」だった場合はカテゴリ＃２の行を選択する。
【００８２】
次に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、該当行の最終作成装置＃７０４の装置番号を取得する（Ｓ１２２０）。例えば、カテゴリ＃「２」が選択されている場合は、装置番号＃は「２」である。
【００８３】
次に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、装置の番号を＋１する（Ｓ１２３０）。例えば、取得した装置番号が「２」の場合は、「３」とする。つまり、本処理が開始される前にボリュームが配置された最終作成装置とは異なるストレージ装置をボリュームの配置先とする（例えば、ラウンドロビン形式でストレージ装置を選択）。ボリュームの配置先の決定は、ラウンドロビン以外であっても、最終作成装置とは異なるストレージ装置を配置先とすればよい、つまり、配置先を平準化すればよい。そのため、例えば、ＶＯＬサイズや、性能要件のＧｏｌｄ、Ｓｉｌｖｅｒ、Ｂｒｏｎｚｅ毎に、最終作成装置の初期値を異ならせておくようにする。これにより、異なる性能要件のボリュームの配置先が同じストレージ装置に集中することを防ぐことができる。
【００８４】
次に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、現在の装置番号に対応するストレージ装置の空きリソースに余裕があるかどうかを確認する（Ｓ１２４０）。空きリソースとは例えばストレージ装置の空き容量であったり、空きＣＰＵ利用率であり、ストレージ装置管理テーブル４１２の情報を利用して確認する。
【００８５】
空きリソースに余裕があると判断された場合は、ステップＳ２３０で求めた現在の装置番号に対応するストレージ装置を選択し、ボリュームを作成することを決定する（Ｓ１２５０）。
【００８６】
次に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、該当カテゴリの最終作成装置＃を決定した装置番号の数字で更新する（Ｓ１２６０）。例えば、作成する装置番号が「３」で決定した場合は、特徴量カテゴリ別インジケータ４１１の最終作成装置番号７０４を「３」に置き換える。
【００８７】
最後に、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、作成する装置番号を呼び出し元に応答して、処理を終了する。
【００８８】
Ｓ１２４０において、空きリソースに余裕がないと判断された場合、空きリソースの確認が全装置で行われたかどうかを確認する（Ｓ１２７０）。空きリソースの確認をしていない装置が残っている場合には、Ｓ１２３０へ処理を移す。全ての装置で空きリソースの確認が終わっている場合は、ボリュームを作成可能なストレージ装置をなしと決定する（Ｓ１２８０）。この場合、ボリューム配置決定処理（カテゴライズ・インジケータ方式）は、作成可能な装置なしという結果を呼び出し元に応答して、処理を終了する。
【００８９】
なお、図１２の説明ではインジケータの数字を昇順でボリューム作成可能なストレージ装置を探索しているが、降順で探索してもよい。
【００９０】
以上の通り、ボリューム配置決定処理（カテゴライズ・インジケータ方式）によれば、ボリューム配置の決定を高速に求めることができる。
【００９１】
＜ボリューム配置決定処理（カテゴライズ・テーブル方式）＞
次に、ボリューム配置決定処理（カテゴライズ・テーブル方式）（Ｓ１３００）について説明する。
図１３は、一実施形態に係るボリューム配置決定処理（カテゴライズ・テーブル方式）のフローチャートである。
【００９２】
ボリューム配置決定処理（カテゴライズ・テーブル方式）は、ストレージ管理装置１０３のボリューム配置決定プログラム４０３で実行される。
【００９３】
ボリューム配置決定処理（カテゴライズ・テーブル方式）では、まず、特徴量カテゴリ別ボリューム数管理テーブル４１３を参照し、作成指示のあったボリュームの該当カテゴリの領域を選択する（Ｓ１３１０）。例えば、作成指示のあったボリュームのサイズが「大」で、性能要件が「Ｇｏｌｄ」だった場合はカテゴリ＃１の領域（図では１行目から１０行目）を選択する。
【００９４】
次に、ボリューム配置決定処理（カテゴライズ・テーブル方式）は、該当領域においてそれぞれの装置が現在保有するボリューム数９０５を確認し、その中でボリューム数が最少の装置を選択する（Ｓ１３２０）。例えば、カテゴリ＃１の領域の場合は、保有するボリューム数が最も少ない装置番号は「１」である。
【００９５】
次に、ボリューム配置決定処理（カテゴライズ・テーブル方式）は、現在の装置番号に対応するストレージ装置の空きリソースに余裕があるかどうかを確認する（Ｓ１３３０）。空きリソースとは、例えばストレージ装置の空き容量であったり、空きＣＰＵ利用率であり、ストレージ装置管理テーブル４１２の情報を利用して確認する。
【００９６】
空きリソースに余裕があると判断された場合は、現在の装置番号に対応するストレージ装置を選択し、ボリュームを作成することを決定する（Ｓ１３４０）。また、特徴量カテゴリ別ボリューム数管理テーブル４１３の該当行のボリューム数９０５の値を＋１に更新する。
【００９７】
最後に、ボリューム配置決定処理（カテゴライズ・テーブル方式）は、作成する装置番号を呼び出し元に応答して、処理を終了する。
【００９８】
Ｓ１３３０において、空きリソースに余裕がないと判断された場合、空きリソースの確認が全装置で行われたかどうかを確認する（Ｓ１３５０）。空きリソースの確認をしていない装置が残っている場合には、次にボリューム数が少ない装置を選択し（Ｓ１３６０）、再度Ｓ１３３０へ処理を移す。全ての装置で空きリソースの確認が終わっている場合は、ボリュームを作成可能なストレージ装置をなしと決定する（Ｓ１３７０）。この場合、ボリューム配置決定処理（カテゴライズ・テーブル方式）は、作成可能な装置なしという結果を呼び出し元に応答して、処理を終了する。
【００９９】
以上の通り、ボリューム配置決定処理（カテゴライズ・テーブル方式）によれば、作成指示のあったボリュームの該当カテゴリに該当する各ストレージ装置のボリュームの数を参照しているため、各ストレージ装置においてボリュームの特徴量を効果的に分散させることができる。
【０１００】
＜ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）＞
次に、ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）（Ｓ１４００）について説明する。
図１４は、一実施形態に係るボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）のフローチャートである。
【０１０１】
ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）は、ストレージ管理装置１０３のボリューム配置決定プログラム４０３で実行される。
【０１０２】
ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）では、まず、空きリソースに余裕のある上位α％のストレージ装置グループを選択する（Ｓ１４１０）。例えばαが２０％であった場合、ストレージ装置の全台数が１０台であれば、空きリソースに余裕のある上位２台のストレージ装置が選択される。空きリソースとは、例えば、ストレージ装置の空き容量、空きＣＰＵ利用率等のストレージ装置管理テーブル４１２の情報である。なお、αはあらかじめストレージ管理装置１０３に設定された値であってもよいし、管理者が設定した値であってもよい。
【０１０３】
次に、その選択されたストレージ装置グループの装置の数をチェックする（Ｓ１４２０）。数が１以上の場合はＳ１４３０へ処理を移す。数が１未満、つまり０の場合は、空きリソースに余裕のあるストレージ装置は存在しないため、ボリュームを作成可能な装置はないと判断し、処理を終了する。
【０１０４】
次に、候補となったストレージ装置グループで装置ごとにループ処理を開始する（Ｓ１４３０）。
【０１０５】
次に、現在ループ処理で処理中のストレージ装置１０２に対して特徴量取得処理を実施する（Ｓ１４４０）。
【０１０６】
次に、その取得した特徴量の最大値もしくは最小値と作成ボリュームとの特徴量の差を計算する（Ｓ１４５０）。特徴量としては、図５に示したように複数の観点が存在するため、それぞれの観点毎に特徴量の差を計算する。もしくは着目する観点の特徴量のみ差を計算してもよい。例えば、作成ボリュームの定義サイズが「５ＧＢ」の場合、現在ループ処理で処理中のストレージ装置(図５)が保有するボリュームの定義サイズの最小値が「２０ＧＢ」、最大値が「１００ＧＢ」であるため、最大値は更新されず、最小値が更新されることになる。従って、最大値の値は無視され、最小値は、２０ＧＢと５ＧＢとの差の「１５ＧＢ」となる。
【０１０７】
候補となったストレージ装置グループのうち、ループ処理の対象となっていないストレージ装置があれば、Ｓ１４３０に戻り、次のストレージ装置に対して同様の処理を行う（Ｓ１４６０）。
【０１０８】
候補となったストレージ装置グループの全てのストレージ装置に対して処理が完了した後、その差の絶対値が最も大きくなるストレージ装置を選択する（Ｓ１４７０）。複数の観点で分散を計算している場合は、それぞれの差の絶対値を正規化した値の加算平均を取ったり、差の絶対値で加重平均を取った上で、最も値が大きくなるストレージ装置を選択する。単一の観点で計算している場合は、単に差の絶対値が最も大きくなるストレージ装置を選択する。
【０１０９】
以上の通り、ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）によれば、より特徴量を分散するストレージ装置にボリュームの配置先を決定することができる。
【０１１０】
＜負荷平準化処理＞
次に、負荷平準化処理（Ｓ１５００）について説明する。
図１５は、一実施形態に係る負荷平準化処理のフローチャートである。
【０１１１】
負荷平準化処理は、ストレージ管理装置１０３の負荷平準化プログラム４０２で実行される。本プログラムは、管理者の指示で実行されたり、定期的に実行されたりする。
【０１１２】
負荷平準化処理では、まず、あるストレージ装置がリソース不足かどうかを判断する（Ｓ１５１０）。どのストレージ装置もリソース不足でない場合は、処理を終了する。リソース不足のストレージ装置がある場合は、Ｓ１５２０へ処理を移す。リソースとは、例えば、ストレージ装置の容量、ＣＰＵの能力である。
【０１１３】
次に、負荷平準化処理は、リソース不足と判断されたストレージ装置に対して、低減したいリソースの量に応じたボリュームグループを１グループ以上選択する（Ｓ１５２０）。例えば、低減したいリソースが容量でその量が１ＴＢだった場合、５００ＧＢのボリューム２つで構成されるグループ、１ＴＢのボリューム１つで構成されるグループ、１００ＧＢのボリューム１つ、２００ＧＢのボリューム１つ、７００ＧＢのボリュームのボリューム１つからなるグループなどを選択する。
【０１１４】
次に、負荷平準化処理は、低減したいリソースの種類以外のリソース量が最も小さなボリュームグループを１グループ選択する（Ｓ１５３０）。例えば、低減したいリソースの種類が容量だった場合には、グループ合計の平均ＩＯＰＳが小さいボリュームグループを選択する。リソースの種類は、図５に示した観点1から５である。
【０１１５】
次に、負荷平準化処理は、決定したボリュームグループの構成ボリューム単位（移行元ボリューム）でループ処理を実行する（Ｓ１５４０）。
【０１１６】
次に、負荷平準化処理は、処理対象の構成ボリュームの移動先のストレージ装置を、ボリューム配置決定処理によって決定する（Ｓ１５５０）。ボリューム配置決定処理は、ボリューム作成指示処理時に実行されるボリューム配置決定処理と同じで、図１１、図１２、図１３、図１４を用いて説明済みである。
【０１１７】
次に、負荷平準化処理は、処理対象の構成ボリュームを現在配置されているストレージ装置から、Ｓ１５５０で決定したストレージ装置へ移動する（Ｓ１５６０）。移動処理については、図１６を用いて後ほど説明する。
【０１１８】
この処理を全ての構成ボリュームに対して実行する（Ｓ１５７０）。
【０１１９】
以上で、負荷平準化処理は終了する。
ただし、他にもリソース不足のストレージ装置が存在する場合は、この処理は繰り返し実行される。
【０１２０】
＜ボリューム作成処理＞
次に、ボリューム作成処理（Ｓ１６００）について説明する。
図１６は、一実施形態に係るボリューム作成処理のフローチャートである。
【０１２１】
ボリューム作成処理は、ストレージ装置１０２のボリューム作成プログラム３０１で実行される。
【０１２２】
ボリューム作成処理では、まず、その装置で未使用のＬＵＮ番号を取得する（Ｓ１６１０）。
【０１２３】
次に、ボリューム作成処理では、ボリューム管理テーブル３１２に割り当てたＬＵＮのエントリを追加する（Ｓ１６２０）。
【０１２４】
次に、ボリューム作成処理では、その他管理テーブルを追加・更新する（Ｓ１６３０）。例えば、特徴量管理テーブル３１１や、その他ストレージサービスを行うための管理テーブルを追加・更新する。
以上で、ボリューム作成処理は処理を終了する。
【０１２５】
＜ボリューム移動処理＞
次に、ボリューム移動処理（Ｓ１７００）について説明する。
図１７は、一実施形態に係るボリューム移動処理のフローチャートである。
【０１２６】
ボリューム移動処理は、ストレージ装置１０２のボリューム移動プログラム３０２で実行される。
【０１２７】
ボリューム移動処理では、まず、移行元ストレージ装置において、移行先ストレージ装置に対してボリュームの作成指示を行う（Ｓ１７１０）。
【０１２８】
次に、ボリューム移動処理は、移行先ストレージ装置において、ボリューム作成処理を実行する（Ｓ１７２０）。ボリューム作成処理の詳細については、図１６にて説明済みである。
【０１２９】
次に、ボリューム移動処理は、移行元ストレージ装置において、ボリューム作成処理の結果を受信する（Ｓ１７３０）。
【０１３０】
次に、ボリューム移動処理は、移行元ストレージ装置において、移行対象となっているボリュームを無効化する（Ｓ１７４０）。ここで無効化とは、同ボリュームに対する計算機からのデータ入出力リクエストを処理不可な状態にすることである。
【０１３１】
次に、ボリューム移動処理は、移行元ストレージ装置において、移行先ストレージ装置で作成したボリュームに対して、移行対象となっているボリュームのデータ送信する（Ｓ１７５０）。
【０１３２】
次に、ボリューム移動処理は、移行先ストレージ装置において、移行対象となっているボリュームのデータを受信し、作成したボリュームにそのデータを格納する（Ｓ１７６０）。
【０１３３】
次に、ボリューム移動処理は、移行先ストレージ装置において、作成したボリュームを有効化する（Ｓ１７７０）。ここで有効化とは、同ボリュームに対する計算機からのデータ入出力リクエストを処理可能な状態にすることである。
以上で、ボリューム移動処理は処理を終了する。
【０１３４】
＜特徴量取得処理＞
次に、特徴量取得処理（Ｓ１８００）及び特徴量提供処理（Ｓ１８２０）について説明する。
図１８は、一実施形態に係る特徴量取得処理及び特徴量提供処理のフローチャートである。
【０１３５】
特徴量取得処理は、ストレージ管理装置１０３の特徴量取得プログラム４０４で実行される。特徴量提供処理は、ストレージ装置１０２の特徴量提供プログラム３０３で実行される。
【０１３６】
特徴量取得処理では、まず、指定されたボリュームグループの特徴量をストレージ装置に対して要求する。ここでボリュームグループとは例えば、要求先ストレージ装置が保持する全ボリュームである。
【０１３７】
リクエストを受信したストレージ装置は、特徴量提供処理を実施する。
【０１３８】
特徴量提供処理では、まず、指定されたボリュームグループの特徴量を特徴量管理テーブル３１１から取得する（Ｓ１８３０）。
【０１３９】
次に、特徴量提供処理では、取得した特徴量を、リクエスト元のストレージ管理装置に送信する（Ｓ１８４０）。この際、特徴量提供処理を実施するストレージ装置の識別子を特徴量に付加することで、ストレージ管理装置はストレージ装置毎に特徴量を管理することができる。
【０１４０】
次に、特徴量取得処理では、その特徴量を受信して（Ｓ１８５０）、処理を終了する。
【０１４１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【０１４２】
本実施形態によれば、複数のストレージ装置が１つ以上の計算機に複数のボリュームを提供するシステムにおいて、ボリュームの再配置を行う必要が生じた場合に、不均衡を改善する特徴量を持つボリュームが選択しやすくなり、不均衡の度合いをより改善することができる。また適切なサイズ、適切な負荷のボリュームを選んでマイグレーションするので、マイグレーション時間を短縮することができ、不均衡解消に要する時間を短縮することができる。
【０１４３】
ボリューム配置決定処理（分散計算方式）によれば、簡単な実装により、ボリュームの特徴量を分散させて、新規ボリュームの配置先のストレージ装置を決定することができる。
【０１４４】
ボリューム配置決定処理（カテゴライズ・インジケータ方式）によれば、ボリューム配置の決定を高速に求めることができる。
【０１４５】
ボリューム配置決定処理（カテゴライズ・テーブル方式）によれば、作成指示のあったボリュームの該当カテゴリに該当する各ストレージ装置のボリュームの数を参照しているため、各ストレージ装置においてボリュームの特徴量の分散を効果的に行うことができる。
【０１４６】
ボリューム配置決定処理（Ｍｉｎ−Ｍａｘ拡大方式）によれば、より特徴量を分散するストレージ装置にボリュームの配置先を決定することができる。
【符号の説明】
【０１４７】
１００：計算機システム、１０１：計算機、１０２：ストレージ装置、１０３：ストレージ管理装置、１０４：管理用端末、１０５：ネットワーク、１１０：ストレージデバイス、１１１：ボリューム、２０１：ＣＰＵ、２０２：メモリ。
【図１】
2020086849.tif 000007
【図２】
2020086849.tif 000008
【図３】
2020086849.tif 000009
【図４】
2020086849.tif 000010
【図５】
2020086849.tif 000011
【図６】
2020086849.tif 000012
【図７】
2020086849.tif 000013
【図８】
2020086849.tif 000014
【図９】
2020086849.tif 000015
【図１０】
2020086849.tif 000016
【図１１】
2020086849.tif 000017
【図１２】
2020086849.tif 000018
【図１３】
2020086849.tif 000019
【図１４】
2020086849.tif 000020
【図１５】
2020086849.tif 000021
【図１６】
2020086849.tif 000022
【図１７】
2020086849.tif 000023
【図１８】
2020086849.tif 000024