(57)【要約】【課題】ストレージ装置を構成する物理記憶媒体ごとに負荷検査及び性能改善を可能とする計算機システムの性能管理方法を提供する。【解決手段】物理記憶媒体によって構成される物理記憶デバイスに作成された論理記憶領域にデータを記録するストレージ装置と、論理記憶領域にネットワークを介してデータを読み書きするホスト計算機と、ストレージ装置及びホスト計算機を管理する管理計算機とを含む計算機システムで、管理計算機は、ホスト計算機がデータを読み書きする通信経路に含まれるストレージ装置の構成部位及び構成部位の接続関係と、論理記憶領域と構成部位との対応関係と、構成部位ごとの負荷とを記録し、これらの記録された情報に基づいて、ストレージ装置がネットワークと接続するインタフェースから物理記憶媒体までの経路に含まれる構成部位を特定し、特定された構成部位の負荷を検査し、性能を改善する。【選択図】図１５
2008033412.tif 000002
【特許請求の範囲】
【請求項１】
物理記憶媒体によって構成される物理記憶デバイスに作成された論理記憶領域にデータを記録するストレージ装置と、前記ストレージ装置の論理記憶領域にネットワークを介してデータを読み書きするホスト計算機と、前記ストレージ装置及び前記ホスト計算機を管理する管理計算機と、を含む計算機システムの性能管理方法であって、
前記管理計算機は、
前記ストレージ装置と通信し、
前記ホスト計算機がデータを読み書きするための通信経路に含まれる、前記ストレージ装置の構成部位、及び前記構成部位の接続関係を含む物理記憶領域構成情報を記録し、
前記論理記憶領域と前記構成部位との対応を含む論理記憶領域構成情報を記録し、
前記ストレージ装置の各構成部位の負荷を前記構成部位ごとに稼働情報として記録し、
前記論理記憶領域の負荷を診断するために、前記物理記憶領域構成情報及び前記論理記憶領域構成情報に基づいて、前記ストレージ装置が前記ネットワークと接続するインタフェースから前記物理記憶媒体までの経路に含まれる構成部位を特定し、
前記稼働情報に基づいて、前記特定された構成部位の負荷を検査することを特徴とする計算機システムの性能管理方法。
【請求項２】
前記物理記憶媒体は、半導体記憶素子であることを特徴とする請求項１に記載の計算機システムの性能管理方法。
【請求項３】
前記管理計算機は、前記負荷が診断される対象の論理記憶領域を別の物理記憶媒体に移動させるとき、前記負荷が診断される対象の論理記憶領域に対する書き込みを停止し、前記ストレージ装置に移動先の物理記憶媒体を通知し、
前記ストレージ装置は、前記移動先の物理記憶媒体の通知を受けると、前記負荷が診断される対象の論理記憶領域を前記移動先の物理記憶媒体に移動させ、
その後、前記管理計算機は、
前記負荷が診断される対象の論理記憶領域と前記移動先の物理記憶媒体との対応を、前記論理記憶領域構成情報に反映させ、
前記負荷が診断される対象の論理記憶領域に対する書き込みを再開することを特徴とする請求項１に記載の計算機システムの性能管理方法。
【請求項４】
前記管理計算機は、
前記物理記憶媒体の性能判定閾値を格納し、
前記負荷が診断される対象の論理記憶領域の負荷が前記性能判定閾値を超えると判定されたとき、前記負荷が診断される対象の論理記憶領域を別の物理記憶媒体に移動させるために、移動先の物理記憶媒体を特定し、
前記移動先の物理記憶媒体は、移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体であって、前記診断対象の論理記憶領域が移動したとき、移動後の負荷が前記性能判定閾値を超えないように特定されることを特徴とする請求項１に記載の計算機システムの性能管理方法。
【請求項５】
前記管理計算機は、前記負荷が診断される対象の論理記憶領域を前記移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体に移動させることができないとき、前記稼働情報に基づいて、前記負荷が診断される対象の論理記憶領域を異なる物理記憶デバイスを構成する物理記憶媒体に移動させることを特徴とする請求項４に記載の計算機システムの性能管理方法。
【請求項６】
前記管理計算機は、前記物理記憶媒体ごとに使用する論理記憶領域の負荷を表示することを特徴とする請求項１に記載の計算機システムの性能管理方法。
【請求項７】
物理記憶媒体によって構成される物理記憶デバイスに作成された論理記憶領域にデータを記録するストレージ装置と、前記ストレージ装置の論理記憶領域にネットワークを介してデータを読み書きするホスト計算機と、前記ストレージ装置及び前記ホスト計算機を管理し、管理ネットワークを介して接続する管理計算機と、を含む計算機システムの管理計算機であって、
前記管理ネットワークに接続されるインタフェースと、前記インタフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を備え、
前記プロセッサは、
前記ストレージ装置と通信し、
前記ホスト計算機がデータを読み書きするための通信経路に含まれる、前記ストレージ装置の構成部位、及び前記構成部位の接続関係を含む物理記憶領域構成情報を記録し、
前記論理記憶領域と前記構成部位との対応を含む論理記憶領域構成情報を記録し、
前記ストレージ装置の負荷を前記構成部位ごとに稼働情報として記録し、
前記論理記憶領域の負荷状態を診断するために、前記物理記憶領域構成情報及び前記論理記憶領域構成情報に基づいて、前記ネットワークと接続するインタフェースから前記物理記憶デバイスを構成する物理記憶媒体までの経路に含まれる構成部位を特定し、前記稼働情報に基づいて、前記特定された構成部位の負荷を検査することを特徴とする管理計算機。
【請求項８】
前記物理記憶媒体は、半導体記憶素子であることを特徴とする請求項７に記載の管理計算機。
【請求項９】
前記プロセッサは、
前記負荷が診断される対象の論理記憶領域を別の物理記憶媒体に移動させるとき、前記負荷が診断される対象の論理記憶領域に対する書き込みを停止し、前記ストレージ装置に移動先の物理記憶媒体を通知し、
その後、前記負荷が診断される対象の論理記憶領域の移動が完了した旨の通知を前記ストレージ装置から受信したとき、前記論理記憶領域構成情報に格納された前記負荷が診断される対象の論理記憶領域と前記構成部位との対応を更新し、
前記負荷が診断される対象の論理記憶領域に対する書き込みを再開することを特徴とする請求項７に記載の管理計算機。
【請求項１０】
前記メモリは、前記物理記憶媒体の性能判定閾値を格納し、
前記プロセッサは、
前記負荷が診断される対象の論理記憶領域の負荷が前記性能判定閾値を超えると判定されたとき、前記負荷が診断される対象の論理記憶領域を別の物理記憶媒体に移動させるために、移動先の物理記憶媒体を特定し、
前記移動先の物理記憶媒体は、移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体であって、前記負荷が診断される対象の論理記憶領域が移動したとき、移動後の負荷が前記性能判定閾値を超えないように特定されることを特徴とする請求項７に記載の管理計算機。
【請求項１１】
前記プロセッサは、前記負荷が診断される対象の論理記憶領域を前記移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体に移動させることができないとき、前記稼働情報に基づいて、前記負荷が診断される対象の論理記憶領域を異なる物理記憶デバイスを構成する物理記憶媒体に移動させることを特徴とする請求項１０に記載の管理計算機。
【請求項１２】
前記プロセッサは、前記物理記憶媒体ごとに使用する論理記憶領域の負荷を表示することを特徴とする請求項７に記載の管理計算機。
【請求項１３】
物理記憶媒体によって構成される物理記憶デバイスに作成された論理記憶領域にデータを記録するストレージ装置と、前記ストレージ装置の論理記憶領域にネットワークを介してデータを読み書きするホスト計算機と、を含む計算機システムのストレージ装置であって、
前記ネットワークに接続されるインタフェースと、前記インタフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を備え、
前記プロセッサは、
前記ホスト計算機が前記論理記憶領域に記録されたデータを読み書きするための通信経路に含まれる構成部位、及び前記構成部位の接続関係を含む物理記憶領域構成情報を記録し、
前記論理記憶領域と前記構成部位との対応を含む論理記憶領域構成情報を記録し、
前記論理記憶領域を別の構成部位に移動させるとき、移動先の構成部位を受け付け、前記物理記憶領域構成情報及び前記論理記憶領域構成情報に基づいて、前記移動対象の論理記憶領域を前記受け付けた移動先の構成部位に移動させることを特徴とするストレージ装置。
【請求項１４】
前記物理記憶媒体は、半導体記憶素子であることを特徴とする請求項１３に記載のストレージ装置。
【請求項１５】
前記プロセッサは、
前記論理記憶領域を別の構成部位に移動させるとき、
前記移動対象の論理記憶領域に対する書き込みを停止し、
前記移動対象の論理記憶領域を移動先の構成部位に移動させ、
前記移動対象の論理記憶領域と前記移動先の構成部位との対応を前記論理記憶領域構成情報に反映させ、
前記移動対象の論理記憶領域に対する書き込みを再開することを特徴とする請求項１３に記載のストレージ装置。
【請求項１６】
前記プロセッサは、
前記構成部位ごとの負荷を稼働情報として記録し、
前記構成部位の性能判定閾値を格納し、
前記移動対象の論理記憶領域の負荷が前記性能判定閾値を超えると判定されたとき、前記移動対象の論理記憶領域を別の物理記憶媒体に移動させるために、移動先の物理記憶媒体を特定し、
前記移動先の物理記憶媒体は、移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体であって、前記移動対象の論理記憶領域が移動したとき、移動後の負荷が前記性能判定閾値を超えないように特定されることを特徴とする請求項１３に記載のストレージ装置。
【請求項１７】
前記プロセッサは、前記移動対象の論理記憶領域を前記移動元の物理記憶媒体と同じ物理記憶デバイスを構成する物理記憶媒体に移動させることができないとき、前記稼働情報に基づいて、前記移動対象の論理記憶領域を異なる物理記憶デバイスを構成する物理記憶媒体に移動させることを特徴とする請求項１６に記載のストレージ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システムの性能管理方法に関し、特に、システム性能を最適に維持するための管理方法に関する。
【背景技術】
【０００２】
複数の計算機が一つの大容量記憶装置を共有するために、ストレージエリアネットワーク（ＳＡＮ：Storage Area Network）が利用される。ＳＡＮには、記憶資源及び計算機資源を追加、削除及び交換することが容易であり、拡張性に優れるという利点がある。
【０００３】
また、ＳＡＮに接続する外部記憶装置には、ディスクアレイ装置が一般的に利用される。ディスクアレイ装置は、ハードディスクなどの磁気記憶デバイスを多数搭載する。ディスクアレイ装置は、ＲＡＩＤ（Redundant Array of Independent Disks）技術によって、数台の磁気記憶デバイスごとにパリティグループとして管理する。パリティグループは、一つ以上の論理記憶領域を形成する。ＳＡＮに接続された計算機は、形成された論理記憶領域に対し、データを入出力する。
【０００４】
さらに、ＳＡＮにおいて、１台以上の計算機が外部記憶装置にデータを入出力するとき、接続経路上の特定の箇所にトラフィックが集中すると、当該箇所がボトルネックとなるおそれがある。そこで、特許文献１では、接続経路上の通信ポート（通信インタフェース）を通過するトラフィック量（転送データ量）を計測し、一定量を超過する場合には別の接続経路に切り替えることで性能劣化を回避する技術が開示されている。
【０００５】
一方、記憶装置には、ハードディスクなどの磁気記憶デバイスの他に、フラッシュメモリなどの半導体記憶媒体を搭載したものがある。フラッシュメモリは、磁気記憶デバイスと比較して小型及び軽量であるため、デジタルカメラなどに利用されている。しかし、フラッシュメモリは、磁気記憶デバイスと比較して容量が小さいため、計算機システムの外部記憶装置としては利用されることは多くなかった。しかし、近年、フラッシュメモリなどの半導体記憶媒体の容量は大容量化が進み、特許文献２には、フラッシュメモリ（記憶チップ、半導体記憶素子）を多数積載し、ハードディスクと互換性を有する入出力インタフェースを備えた記憶デバイスが開示されている。
【特許文献１】特開２００４−０７２１３５号公報
【特許文献２】米国第６５２９４１６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
今後、ハードディスクなどの磁気記憶デバイスの替わりに、半導体記憶媒体を搭載した外部記憶装置によって構成されたＳＡＮが登場することが考えられる。このようなＳＡＮに特許文献１に開示された性能管理技術を適用すると、以下の課題が考えられる。
【０００７】
ハードディスクを搭載したディスクアレイ装置の性能管理では、通信インタフェースからハードディスクに至るまでの接続経路上の構成部位の性能検査を実施する。したがって、経路上の検査対象は通信インタフェースにおける転送データ量、及びハードディスクの稼働率が該当する。したがって、検査対象部位は、通信インタフェース及びハードディスクとすればよい。
【０００８】
一方、ハードディスクに替えてフラッシュメモリを複数備える記憶デバイスを搭載する記憶装置では、単に記憶デバイスの稼働率のみを検査するだけでは足りない。具体的には、記憶デバイスを構成する個々のフラッシュメモリ（記憶チップ、半導体記憶素子）を検査し、問題箇所を特定する必要がある。特許文献１に開示された技術では、記憶デバイス内部の構成部位に対する性能管理手段が欠如している。
【０００９】
さらに、性能検査にあっては、検査対象部位ごとの稼働情報を記憶装置の構成情報に関連付け、経路上の部位を順に辿ることによって一連の操作を提供することが望ましい。しかしながら、記憶デバイス内部のフラッシュメモリを接続経路に関連付ける手段がないため、一連のドリルダウン操作による問題箇所の特定ができない。
【００１０】
また、性能問題部位が特定されたとき、引き続き性能が改善するように構成を最適化することが望ましい。特許文献１では、接続経路上の通信インタフェースがボトルネックとなっているとき、当該ポートを回避するように別の経路を設定する。同じく、特定のハードディスクにアクセスが集中して当該ハードディスクがボトルネックとなっていれば、別のハードディスクにアクセスが分散するように構成を変更する。特許文献１に開示された技術では、記憶デバイス内部の構成部位を対象とする性能改善手段が欠如している。
【００１１】
さらに、このような構成変更は事前の綿密な準備を必要とする。構成を誤って変更すると、かえって性能が悪化したり、データを入出力できなくなるおそれがあるためである。したがって、構成変更時には、システムに対する影響を極力少なくすることが望ましい。
【００１２】
本発明は、記憶デバイス内部の構成部位に対する性能管理手段及び性能改善手段を備えるストレージシステムの性能管理技術を提供する。
【課題を解決するための手段】
【００１３】
本発明の代表的な一形態では、物理記憶媒体によって構成される物理記憶デバイスに作成された論理記憶領域にデータを記録するストレージ装置と、前記ストレージ装置の論理記憶領域にネットワークを介してデータを読み書きするホスト計算機と、前記ストレージ装置及び前記ホスト計算機を管理する管理計算機と、を含む計算機システムの性能管理方法であって、前記管理計算機は、前記ストレージ装置と通信し、前記ホスト計算機がデータを読み書きするための通信経路に含まれる、前記ストレージ装置の構成部位、及び前記構成部位の接続関係を含む物理記憶領域構成情報を記録し、前記論理記憶領域と前記構成部位との対応を含む論理記憶領域構成情報を記録し、前記ストレージ装置の各構成部位の負荷を前記構成部位ごとに稼働情報として記録し、前記論理記憶領域の負荷を診断するために、前記物理記憶領域構成情報及び前記論理記憶領域構成情報に基づいて、前記ストレージ装置が前記ネットワークと接続するインタフェースから前記物理記憶媒体までの経路に含まれる構成部位を特定し、前記稼働情報に基づいて、前記特定された構成部位の負荷を検査し、性能を改善する。
【発明の効果】
【００１４】
本発明の一形態によれば、通信インターフェースから物理記憶デバイスを構成する物理記憶媒体までの経路に含まれる構成部位に対して性能検査を実行することができる。また、物理記憶デバイスから物理記憶媒体までの構成部位の接続情報を備えることによって、一連のドリルダウン操作による性能検査を実行することができる。
【発明を実施するための最良の形態】
【００１５】
以下に図面を参照しながら本発明の実施形態を説明する。なお、以下の説明により本発明が限定されるものではない。
【００１６】
（第１の実施の形態）
図１は、第１の実施の形態のストレージエリアネットワークの構成を表す図である。ストレージエリアネットワークは、データ入出力用ネットワーク及び管理用ネットワーク６００によって構成される。
【００１７】
データ入出力用ネットワークは、ストレージ装置１００、ホスト計算機３００及びネットワーク接続装置４００を含む。ホスト計算機３００及びストレージ装置１００は、ネットワーク接続装置４００を介して互いに接続することによって、相互にデータを入出力する。データ入出力用ネットワークは、図１では太線で表示されている。データ入出力用ネットワークは、ファイバチャネル又はイーサネット(登録商標）などの従来技術によるネットワークである。
【００１８】
管理用ネットワーク６００は、ファイバチャネル又はイーサネットなどの従来技術によるネットワークである。ストレージ装置１００、ホスト計算機３００及びネットワーク接続装置４００は、管理用ネットワーク６００を介して管理計算機５００に接続する。
【００１９】
ホスト計算機３００は、データベース又はファイルサーバなどのアプリケーションが稼働し、記憶領域に対するデータの入出力を実行する。ストレージ装置１００は、磁気記憶装置又は半導体記憶装置などの記憶デバイスを搭載し、データの記憶領域を提供する。ネットワーク接続装置４００は、ホスト計算機３００とストレージ装置１００とを接続する機器であって、例えば、ファイバチャネルスイッチである。
【００２０】
なお、第１の実施の形態では、管理用ネットワーク６００と、データ入出力用ネットワークとが、それぞれ独立した形態となっているが、双方の機能を兼ねる単一のネットワークであってもよい。
【００２１】
図２は、第１の実施の形態のストレージ装置１００の構成を示す図である。ストレージ装置１００は、データ入出力用通信インタフェース１４０、管理用通信インタフェース１５０、ストレージコントローラ１９０、プログラムメモリ１０００、データ入出力用キャッシュメモリ１６０及び記憶装置コントローラ１３０を含む。データ入出力用通信インタフェース１４０、管理用通信インタフェース１５０、プログラムメモリ１０００、データ入出力用キャッシュメモリ１６０及び記憶装置コントローラ１３０は、ストレージコントローラ１９０を介して互いに接続される。
【００２２】
データ入出力用通信インタフェース１４０は、データ入出力用ネットワークを介してネットワーク接続装置４００に接続する。管理用通信インタフェース１５０は、管理用ネットワーク６００を介して管理計算機５００に接続する。なお、データ入出力用通信インタフェース１４０及び管理用通信インタフェース１５０の数は任意である。また、データ入出力用通信インタフェース１４０は、管理用通信インタフェース１５０と独立した構成とする必要はなく、データ入出力用通信インタフェース１４０から管理情報を入出力し、管理用通信インタフェース１５０と共用してもよい。
【００２３】
ストレージコントローラ１９０は、ストレージ装置１００を制御するプロセッサを搭載する。データ入出力用キャッシュメモリ１６０は、ホスト計算機３００から記憶領域に対する入出力を高速化するための一時記憶領域である。記憶装置コントローラ１３０は、磁気記憶装置１２０又は半導体記憶装置１１０を制御する。データ入出力用キャッシュメモリ１６０は、揮発性メモリによる実装が一般的であるが、不揮発性メモリ又は磁気記憶装置で代用することも可能である。なお、データ入出力用キャッシュメモリ１６０の個数及び容量に制限は設けない。
【００２４】
プログラムメモリ１０００は、ストレージ装置１００で実行される処理に必要なプログラムを格納する。プログラムメモリ１０００は、磁気記憶装置又は揮発性半導体メモリによって実装される。プログラムメモリ１０００は、外部との通信を制御する通信制御プログラム１０１７を格納する。通信制御プログラム１０１７は、通信対象と要求メッセージ及びデータ転送メッセージをネットワーク上で送受信する。
【００２５】
磁気記憶装置１２０は、磁気ディスクによって構成される磁気記憶媒体１２１を搭載する。磁気記憶媒体１２１は、磁気記憶装置１２０ごとに１個ずつ備えられる。半導体記憶装置１１０は、フラッシュメモリなどの半導体記憶媒体１１１を備える。半導体記憶装置１１０は、複数の半導体記憶媒体１１１を備えることができる。磁気記憶媒体１２１及び半導体記憶媒体１１１は、ホスト計算機３００が読み書きするデータを格納する。データ入出力用通信インタフェース１４０から、磁気記憶媒体１２１又は半導体記憶媒体１１１までの経路に含まれる構成部位が性能検査の対象となる。
【００２６】
次に、プログラムメモリ１０００に格納されたプログラム及び情報について説明する。プログラムメモリ１０００は、前述した通信制御プログラム１０１７の他に、物理記憶領域構成情報１００１、論理記憶領域構成情報１００３、記憶ボリューム構成情報１００５、記憶装置稼働監視プログラム１００９、通信インタフェース稼働情報１０１１、物理記憶デバイス稼働情報１０１２、稼働負荷判定閾値定義情報１０１４、及び記憶領域構成変更プログラム１０１５を格納する。
【００２７】
物理記憶領域構成情報１００１は、ストレージ装置１００に搭載された磁気記憶装置１２０及び半導体記憶装置１１０の構成情報を格納する。論理記憶領域構成情報１００３は、記憶装置の物理的な構成と論理的な記憶領域と対応を格納する。記憶ボリューム構成情報１００５は、ホスト計算機３００に提供するために論理記憶領域に付された識別子と、データ入出力通信インターフェース識別情報との対応を格納する。
【００２８】
記憶装置稼働監視プログラム１００９は、ストレージ装置１００の性能実績及び稼働状態を監視する。通信インタフェース稼働情報１０１１は、データ入出力用通信インタフェース１４０のデータ転送量及びプロセッサ稼働率などの性能データを格納する。通信インタフェース稼働情報１０１１は、記憶装置稼働監視プログラム１００９によって随時更新される。物理記憶デバイス稼働情報１０１２は、記憶領域のデータ転送量及びディスク稼働率などの性能データを格納する。物理記憶デバイス稼働情報１０１２は、記憶装置稼働監視プログラム１００９によって随時更新される。
【００２９】
稼働負荷判定閾値定義情報１０１４は、論理記憶領域ごとに定義された負荷の閾値である。記憶領域構成変更プログラム１０１５は、記憶領域の構成を管理計算機５００の要求に従って変更する。
【００３０】
図３は、第１の実施の形態のホスト計算機３００の構成を示す図である。ホスト計算機３００は、データ入出力用通信インタフェース３４０、管理用通信インタフェース３５０、入力用インタフェース３７０、出力用インタフェース３７５、演算処理装置３８０、磁気記憶装置３２０、プログラムメモリ３０００及びデータ入出力用キャッシュメモリ３６０を含む。
【００３１】
データ入出力用通信インタフェース３４０、管理用通信インタフェース３５０、入力用インタフェース３７０、出力用インタフェース３７５、演算処理装置３８０、磁気記憶装置３２０、プログラムメモリ３０００及びデータ入出力用キャッシュメモリ３６０は、通信バス３９０を介して互いに接続される。ホスト計算機３００は、汎用計算機（ＰＣ）で実現可能なハードウェア構成である。
【００３２】
データ入出力用通信インタフェース３４０は、データ入出力用ネットワークを介してネットワーク接続装置４００に接続し、データを入出力する。管理用通信インタフェース１５０は、管理用ネットワーク６００を介して管理計算機５００に接続し、管理情報を入出力する。なお、データ入出力用通信インタフェース３４０及び管理用通信インタフェース３５０の数は任意である。また、データ入出力用通信インタフェース３４０は、管理用通信インタフェース３５０と独立した構成とする必要はなく、データ入出力用通信インタフェース３４０から管理情報を入出力し、管理用通信インタフェース３５０と共用してもよい。
【００３３】
入力用インタフェース３７０は、操作者が情報を入力するための機器と接続し、例えば、キーボード及びマウスなどと接続する。出力用インタフェース３７５は、操作者に情報を出力するための機器と接続し、例えば、汎用ディスプレイなどと接続する。演算処理装置３８０は、各種演算を実行し、ＣＰＵに相当する。磁気記憶装置３２０は、オペレーティングシステム及びアプリケーションなどのソフトウェアを格納する。
【００３４】
データ入出力用キャッシュメモリ３６０は、揮発性メモリなどによって実装され、データ入出力を高速化する。データ入出力用キャッシュメモリ３６０は、揮発性メモリによる実装が一般的であるが、不揮発性メモリ又は磁気記憶装置で代用してもよい。なお、データ入出力用キャッシュメモリ３６０の個数及び容量に制限は設けない。
【００３５】
プログラムメモリ３０００は、磁気記憶装置又は揮発性半導体メモリによって実装され、ホスト計算機３００の処理に必要なプログラム及び情報を保持する。プログラムメモリ３０００は、ホスト計算機記憶ボリューム構成情報３００１及び記憶ボリューム構成変更プログラム３００３を格納する。
【００３６】
ホスト計算機記憶ボリューム構成情報３００１は、ホスト計算機３００で稼働するファイルシステムにマウントされた論理記憶領域、すなわち、論理ボリュームの構成情報を格納する。記憶ボリューム構成変更プログラム３００３は、ホスト計算機記憶ボリュームの構成を管理計算機５００の要求に従って変更する。
【００３７】
図４は、第１の実施の形態の管理計算機３００の構成を示す図である。管理計算機５００は、データ入出力用通信インタフェース５４０、管理用通信インタフェース５５０、入力用インタフェース５７０、出力用インタフェース５７５、演算処理装置５８０、磁気記憶装置５２０、プログラムメモリ５０００及びデータ入出力用キャッシュメモリ５６０を含む。
【００３８】
データ入出力用通信インタフェース５４０、管理用通信インタフェース５５０、入力用インタフェース５７０、出力用インタフェース５７５、演算処理装置５８０、磁気記憶装置５２０、プログラムメモリ５０００及びデータ入出力用キャッシュメモリ５６０は、通信バス５９０を介して互いに接続される。管理計算機５００は、汎用計算機（ＰＣ）で実現可能なハードウェア構成となっており、各部の機能は、図３に示したホスト計算機と同じである。
【００３９】
プログラムメモリ５０００は、構成監視プログラム５００１、構成情報５００３、稼働監視プログラム５００５、稼働情報５００７、稼働報告プログラム５００９、稼働負荷判定閾値定義情報５０１１及び記憶領域構成変更プログラム５０１３を格納する。
【００４０】
構成監視プログラム５００１は、監視対象のストレージ装置１００及びホスト計算機３００と随時通信し、構成情報５００３を最新の状態に更新する。構成情報５００３は、ストレージ装置１００及びホスト計算機３００に格納された構成情報と同じである。具体的には、ストレージ装置１００に格納された物理記憶領域構成情報１００１、論理記憶領域構成情報１００３、記憶ボリューム構成情報１００５、及びホスト計算機３００に格納されたホスト計算機記憶ボリューム構成情報３００１である。
【００４１】
稼働監視プログラム５００５は、ストレージ装置１００と随時通信し、稼働情報を最新の状態に更新する。稼働情報５００７は、ストレージ装置１００に格納される通信インタフェース稼働情報１０１１及び物理記憶デバイス稼働情報１０１２と同じである。稼働報告プログラム５００９は、構成情報５００３及び稼働情報５００７に基づいて、利用者に対するＧＵＩ又は紙面によるレポートなどによって稼働データを出力する。
【００４２】
稼働負荷判定閾値定義情報５０１１は、システム管理者が入力用インタフェース５７０から入力されるデータであり、論理記憶領域ごとに定義された負荷の閾値である。記憶領域構成変更プログラム５０１３は、システム管理者による入力又は稼働負荷判定閾値に基づいて、ストレージ装置１００に定義された論理記憶領域の構成を変更する。
【００４３】
図５は、第１の実施の形態の物理記憶領域構成情報１００１の構成を示す図である。物理記憶領域構成情報１００１は、パリティグループ識別情報１００１１、ＲＡＩＤレベル１００１２、及び物理記憶デバイス識別情報１００１３を含む。
【００４４】
パリティグループ識別情報１００１１は、パリティグループを識別する識別子を格納する。ＲＡＩＤレベル１００１２は、パリティグループのＲＡＩＤ構成を格納する。
【００４５】
物理記憶デバイス識別情報１００１３は、パリティグループを構成する物理記憶デバイスの識別情報を格納する。第１の実施の形態では、物理記憶デバイスには、磁気記憶装置１２０及び半導体記憶装置１１０が該当する。
【００４６】
さらに、物理記憶デバイス識別情報１００１３は、物理記憶デバイスが格納する物理記憶媒体の構成情報１００２へのポインタを含む。物理記憶媒体構成情報１００２は、物理記憶媒体の識別情報１００２１及び物理記憶媒体の記憶容量１００２２を含む。半導体記憶装置１１０は、前述のように、磁気記憶装置１２０のように１つの物理記憶デバイスに１つの物理記憶媒体を含むのではなく、１つの物理記憶デバイスに複数の物理記憶媒体を含む。そこで、物理記憶媒体構成情報１００２を備えることによって、物理記憶媒体単位に性能検査を実行することができる。
【００４７】
ここで、パリティグループ１８０Ｂの構成について詳しく説明すると、パリティグループ１８０Ｂは、４個の半導体記憶装置ＦＤ−１１０Ａ〜ＦＤ−１１０Ｄによって構成される。また、半導体記憶装置は、物理記憶媒体として、フラッシュメモリなどの半導体記憶素子によって構成される。具体的には、図５に示すように、半導体記憶装置ＦＤ−１１０Ｂは、３個の物理記憶媒体Ｆ０２１、Ｆ０２２及びＦ０２３によって構成される。
【００４８】
図６は、第１の実施の形態の論理記憶領域構成情報１００３の構成を示す図である。論理記憶領域構成情報１００３は、物理記憶デバイスに定義された論理的な記憶領域の単位である論理記憶領域に関する情報を格納する。
【００４９】
論理記憶領域構成情報１００３は、論理記憶領域識別情報１００３１、容量１００３２、パリティグループ識別情報１００３３、及び物理記憶媒体識別情報１００３４を含む。論理記憶領域識別情報１００３１は、論理記憶領域の識別子を格納する。容量１００３２は、論理記憶領域の容量を格納する。パリティグループ識別情報１００３３は、当該論理記憶領域が属するパリティグループの識別子を格納する。物理記憶媒体識別情報１００３４は、論理記憶領域を格納する物理記憶媒体の識別子を格納する。
【００５０】
図７は、第１の実施の形態の記憶ボリューム構成情報１００５の構成を示す図である。記憶ボリューム構成情報１００５は、データ入出力用通信インタフェース１４０の識別情報１００５１、記憶ボリューム識別情報１００５２、及び論理記憶領域の識別情報１００５３を含む。記憶ボリューム識別情報１００５２は、ホスト計算機３００に提供するための記憶ボリュームの識別子である。記憶ボリューム構成情報１００５は、データ入出力用通信インタフェース１４０と、記憶ボリュームと、論理記憶領域との対応を格納する。
【００５１】
図８は、第１の実施の形態の物理記憶媒体と論理記憶領域との関係を説明する図である。図８では、パリティグループ１８０Ａ及びパリティグループ１８０Ｂについて、物理記憶媒体と論理記憶領域との関係を説明する。
【００５２】
パリティグループ１８０Ａは、４個の物理記憶デバイス１２０Ａ、１２０Ｂ、１２０Ｃ及び１２０Ｄによって構成される。同じく、パリティグループ１８０Ｂは、４個の物理記憶デバイス１１０Ａ、１１０Ｂ、１１０Ｃ及び１１０Ｄによって構成される。パリティグループ１８０Ａを構成する物理記憶デバイスは、磁気記憶装置１２０である。一方、パリティグループ１８０Ｂを構成する物理記憶デバイスは、半導体記憶装置１１０である。また、半導体記憶装置１１０は、物理記憶媒体に相当する半導体記憶素子によって構成される。
【００５３】
パリティグループ１８０Ｂに含まれる論理記憶領域ＬＤＥＶ−１０Ｈは、物理記憶デバイス１１０Ａに含まれる物理記憶媒体Ｆ０１３、１１０Ｂに含まれるＦ０２２、１１０Ｃに含まれるＦ０３２、及び１１０Ｄに含まれるＦ０４３によって構成される。
【００５４】
また、図７を参照すると、論理記憶領域ＬＤＥＶ−１０Ｈは、ストレージ装置１００のデータ入出力用通信インタフェース“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”と対応付けられている。ホスト計算機３００は、データ入出力用通信インタフェース“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”と対応付けられた記憶ボリューム２２と接続することによって、論理記憶領域ＬＤＥＶ−１０Ｈに格納されたデータの読み書きを実行することができる。
【００５５】
図９は、第１の実施の形態の通信インタフェース稼働情報１０１１を示す図である。通信インタフェース稼働情報１０１１は、記憶装置稼働監視プログラム１００９によって、データ入出力用通信インタフェース１４０を経由して転送されたデータ量の観測値を格納される。第１の実施の形態のように、一定の観測時間ごとに転送データ量を記録する場合には、観測時間の長さを適宜決定し、特に制限を設けない。なお、第１の実施の形態では、観測時間を１分としている。
【００５６】
なお、第１の実施の形態では、通信インタフェースの稼働データを転送データ量によって表現したが、観測する性能指標は、単位時間ごとの入出力数又はプロセッサの稼働率であってもよい。
【００５７】
第１の実施の形態の物理記憶デバイス稼働情報は、階層化されたテーブル構成となっている。物理記憶デバイス稼働情報１０１２は、パリティグループごとの稼働情報１０１２Ａ、物理記憶デバイスごとの稼働情報１０１２Ｂ、物理記憶媒体ごとの稼働情報１０１２Ｃ、及び論理記憶領域ごとの稼働情報１０１２Ｄによって構成される。
【００５８】
物理記憶デバイス稼働情報には、物理記憶デバイスに読み書きされたデータ量を転送データ量として格納される。転送データ量は、記憶装置稼働監視プログラム１００９によって観測される。
【００５９】
図１０は、第１の実施の形態の物理記憶デバイスの稼働情報１０１２Ａ及び１０１２Ｂを示す図である。物理記憶デバイスは、ストレージ装置１００が搭載する磁気記憶装置１２０及び半導体記憶装置１１０に相当する。
【００６０】
図１１は、第１の実施の形態の物理記憶媒体の稼働情報１０１２Ｃ及び１０１２Ｄを示す図である。半導体記憶装置は、前述のように、物理記憶デバイスに複数の物理記憶媒体を含むため、磁気記憶装置よりも管理する対象が一階層多くなる。
【００６１】
物理記憶デバイス稼働情報１０１２Ａ〜１０１２Ｄは、観測日１０１２１、時間１０１２２及び各テーブルごとの転送データ量１０１２３〜１０１２６によって構成される。
【００６２】
前述のように、物理記憶デバイス稼働情報は階層化されており、パリティグループ転送データ量１０１２３は、同じ観測時刻の物理記憶デバイス転送データ量１０１２４の和と一致する。パリティグループと物理記憶デバイスとの関係は、物理記憶領域構成情報１００１に定義される。具体的には、パリティグループ１８０Ｂは、物理記憶デバイスＦＤ−１１０Ａ〜ＦＤ−１１０Ｄによって構成されるため、同じ時刻の物理記憶デバイスＦＤ−１１０Ａ〜ＦＤ−１１０Ｄのデータ転送量の総和がパリティグループ１８０Ｂのデータ転送量となる。
【００６３】
同様に、物理記憶デバイス転送データ量１０１２４は、同じ観測時刻の物理記憶媒体転送データ量１０１２５の和に一致する。物理記憶デバイスと物理記憶媒体との関係は、論理記憶領域構成情報１００３に定義される。同じく、物理記憶媒体転送データ量１０１２５は、同じ観測時刻の論理記憶領域転送データ量１０１２６の和に一致する。物理記憶媒体と論理記憶領域との関係は、論理記憶領域構成情報１００３によって定義されている。
【００６４】
図１２は、第１の実施の形態のホスト計算機記憶ボリューム構成情報３００１の構成を示す図である。ホスト計算機記憶ボリューム構成情報３００１は、ホスト計算機３００がデータを読み書きする記憶ボリュームの構成を格納する。
【００６５】
ホスト計算機記憶ボリューム構成情報３００１は、ホスト計算機識別情報３００１４、計算機記憶ボリューム識別情報３００１１、接続先データ入出力用通信インタフェース識別情報３００１２、及び接続先記憶ボリューム識別情報３００１３を含む。
【００６６】
ホスト計算機識別情報３００１４は、ホスト計算機３００の識別子である。ホスト計算機記憶ボリューム識別情報３００１１は、ホスト計算機３００からアクセスするための記憶ボリュームの識別子を格納する。
【００６７】
接続先データ入出力用通信インタフェース識別情報３００１２は、接続先となるストレージ装置１００のデータ入出力用通信インタフェース１４０を一意に識別する識別子を格納する。接続先記憶ボリューム識別情報３００１３は、ストレージ装置１００からホスト計算機３００のために提供された記憶ボリュームの識別子を格納する。
【００６８】
例えば、図１２を参照すると、データ入出力用通信インタフェース“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”を経由してアクセスされる記憶ボリューム２２は、ホスト計算機３００のファイルシステムにおいて、“/dev/sdb1”として利用することができる。なお、図７に示したように、識別情報が“２２”である記憶ボリュームは、論理記憶領域ＬＤＥＶ−１０Ｈに対応している。
【００６９】
図１３は、第１の実施の形態の通信インタフェース稼働報告インターフェースＶ０１を示す図である。通信インタフェース稼働報告インターフェースＶ０１は、管理計算機５００の出力用インターフェース３７５から出力される。通信インタフェース稼働報告インターフェースＶ０１は、稼働実績チャート表示部３７５１、移動先ボリュームＩＤ指定欄３７５２、Ｍｏｖｅボタン３７５３、及びＮｅｘｔボタン３７５４を含む。Ｍｏｖｅボタン３７５３を操作すると、指定された記憶ボリュームを別のデータ入出力用通信インタフェースに移動させることができる。また、Ｎｅｘｔボタン３７５４を操作すると、物理記憶デバイスごとの稼働実績を参照することができる。
【００７０】
システム管理者が稼働実績を参照する記憶ボリュームの識別子を指定すると、管理計算機５００は、ホスト計算機記憶ボリューム構成情報３００１を参照し、対応するデータ入出力用通信インターフェースの識別子を特定する。管理計算機５００は、特定されたデータ入出力用通信インターフェースの識別子に基づいて、通信インターフェース稼働情報１０１１を取得する。そして、管理計算機５００は、稼働報告プログラム５００９によって、稼働実績チャート表示部３７５１に稼働実績チャートを表示する。
【００７１】
ここで、システム管理者が指定した記憶領域を“/dev/sdb1”とする。図１２のホスト計算機記憶ボリューム構成情報３００１を参照すると、データ入出力用通信インタフェースは、“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”となる。また、接続先記憶ボリューム識別情報３００１３は“２２”であるため、記憶ボリューム構成情報１００５を参照すると、論理記憶領域ＬＤＥＶ−１０Ｈに対応することがわかる。
【００７２】
図１４は、第１の実施の形態の物理記憶デバイス稼働報告インターフェースＶ０２を示す図である。
【００７３】
物理記憶デバイス稼働報告インターフェースＶ０２は、通信インタフェース稼働報告インターフェースＶ０１のＮｅｘｔボタン３７５４を操作することによって表示される。物理記憶デバイス稼働報告インターフェースＶ０２は、指定された記憶ボリュームを格納する物理記憶デバイスの稼働実績チャートを出力する。記憶ボリューム“２２”、すなわち、論理記憶領域ＬＤＥＶ−１０Ｈが格納される物理記憶デバイスは、図７及び図６を参照すると、ＦＤ−１１０Ａ、ＦＤ−１１０Ｂ、ＦＤ−１１０Ｃ、及びＦＤ−１１０Ｄとなる。図１４には、ＦＤ−１１０Ｂに格納される論理記憶領域ＬＤＥＶ−１０Ｅ〜ＬＤＥＶ−１０Ｉの稼働実績が積み上げチャートによって表現されている。
【００７４】
図１５は、第１の実施の形態の物理記憶媒体稼働報告インターフェースＶ０３の一例を示す図である。
【００７５】
物理記憶媒体稼働報告インターフェースＶ０３は、物理記憶デバイス稼働報告インターフェースＶ０２のＮｅｘｔボタン３７５４を操作することによって表示される。物理記憶媒体稼働報告インターフェースＶ０３は、指定された記憶ボリュームを格納する物理記憶媒体の稼働実績チャートを出力する。記憶ボリューム“２２”が格納される物理記憶領域は、図６を参照すると、Ｆ０１３、Ｆ０２２、Ｆ０３２、及びＦ０４３となる。図１５には、Ｆ０２２に格納される論理記憶領域ＬＤＥＶ−１０Ｆ、ＬＤＥＶ−１０Ｇ及びＬＤＥＶ−１０Ｈの稼働実績が積み上げチャートによって表現されている。そして、物理記憶媒体稼働報告インターフェースＶ０３は、Ｆｉｎｉｓｈボタン３７５５が操作されると、性能検査を終了する。
【００７６】
続いて、稼働負荷判定処理を実行する際のシステム管理者の操作手順について説明する。
【００７７】
図１６は、第１の実施の形態のデータ入出力用通信インターフェースの稼働情報を出力する手順を示すフローチャートである。
【００７８】
システム管理者は、入力用インタフェース５７０によって、負荷を判定しようとするホスト計算機記憶ボリュームの識別情報を入力する（Ｓ００１）。例えば、図１２に示したホスト計算機記憶ボリューム構成情報３００１のホスト計算機記憶ボリューム識別情報３００１１の“/dev/sdb1”を入力する。
【００７９】
管理計算機５００は、構成情報５００３に含まれるホスト計算機記憶ボリューム構成情報３００１を参照し、Ｓ００１の処理で入力されたホスト計算機記憶ボリュームが接続するデータ入出力用通信インタフェース１４０を取得する（Ｓ００３）。例えば、“/dev/sdb1”が接続するデータ入出力用通信インタフェース１４０は、図１２に示すように、“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”となる。
【００８０】
管理計算機５００は、通信インタフェース稼働情報１０１１を参照し、Ｓ００３の処理で取得したデータ入出力用通信インタフェース１４０の稼働情報を取得する（Ｓ００７）。そして、管理計算機５００は、出力用インタフェース５７５を介して、Ｓ００７の処理で取得したデータ入出力用通信インタフェース１４０の稼働情報を通信インタフェース稼働報告インターフェースＶ０１に表示する（Ｓ００９）。
【００８１】
その後、システム管理者は、通信インタフェース稼働報告インターフェースＶ０１を参照し、データ入出力用通信インタフェースの負荷が過大であるか否かを判定する（Ｓ０１１）。システム管理者は、接続中のデータ入出力用通信インタフェース１４０の負荷が過大と判定した場合には（Ｓ０１１の結果が「Ｙｅｓ」）、論理記憶領域を別のデータ入出力用通信インタフェース１４０に接続する処理を実行する（Ｓ０１３）。別のデータ入出力用通信インタフェース１４０に接続する処理は、通信インタフェース稼働報告インターフェースＶ０１のＭｏｖｅボタン３７５３を操作することによって実行される。なお、移動処理の手順は、図１９にて後述する。
【００８２】
さらに、システム管理者は、物理記憶デバイスごとの稼働情報を参照する場合には、Ｎｅｘｔボタン３７５４を操作し、物理記憶デバイス稼働報告インターフェースＶ０２を表示する。
【００８３】
図１７は、第１の実施の形態の物理記憶デバイスの稼働情報を出力する手順を示すフローチャートである。
【００８４】
管理計算機５００は、データ入出力用通信インタフェース１４０の負荷が過大でないと判定された場合には（図１６のＳ０１１の結果が「Ｎｏ」）、診断対象のホスト計算機記憶ボリュームを構成する論理記憶領域を取得する（Ｓ０１５）。なお、診断対象のホスト計算機記憶ボリュームには、図１６のＳ００１の処理で入力された値を使用する。
【００８５】
管理計算機５００は、ホスト計算機記憶ボリュームを構成する論理記憶領域を取得するために、ホスト計算機記憶ボリューム構成情報３００１を参照し、診断対象のホスト計算機記憶ボリュームに該当する接続先記憶ボリューム３００１３を取得する。そして、管理計算機５００は、記憶ボリューム構成情報１００５から該当する論理記憶領域を検索する。
【００８６】
具体的には、診断対象のホスト計算機記憶ボリュームとして“/dev/sdb1”が指定された場合、ホスト計算機記憶ボリューム構成情報３００１を参照すると、接続先データ入出力用通信インタフェース１４０は、“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ”となり、接続先記憶ボリュームは“２２”となる。そして、記憶ボリューム構成情報１００５から接続先記憶ボリュームが“２２”である論理記憶領域を検索すると、“ＬＤＥＶ−１０Ｈ”であることがわかる。
【００８７】
管理計算機５００は、物理記憶領域構成情報１００１及び論理記憶領域構成情報１００３を参照し、Ｓ０１５の処理で取得した論理記憶領域を構成する物理記憶デバイスを取得する（Ｓ０１７）。具体的には、“ＬＤＥＶ―１０Ｈ”が含まれるパリティグループは、論理記憶領域構成情報１００３のパリティグループ識別情報１００３３を参照すると、“１８０Ｂ”であることがわかる。そして、パリティグループ“１８０Ｂ”を構成する物理記憶デバイスは、物理記憶領域構成情報１００１の物理記憶デバイス識別情報１００１３を参照すると、“ＦＤ−１１０Ａ”、“ＦＤ−１１０Ｂ”、“ＦＤ−１１０Ｃ”及び“ＦＤ−１１０Ｄ”であることがわかる。
【００８８】
管理計算機５００は、論理記憶領域構成情報１００３を参照し、物理記憶デバイス、すなわち、パリティグループに定義された論理記憶領域を取得する（Ｓ０１９）。具体的には、パリティグループ“１８０Ｂ”に属する論理記憶領域は、“ＬＤＥＶ−１０Ｅ”、“ＬＤＥＶ−１０Ｆ”、“ＬＤＥＶ−１０Ｇ”、“ＬＤＥＶ−１０Ｈ”及び“ＬＤＥＶ−１０Ｉ”である。
【００８９】
管理計算機５００は、稼働情報５００７を参照し、Ｓ０１９の処理で取得した論理記憶領域の稼働情報を取得する（Ｓ０２１）。そして、管理計算機５００は、出力用インタフェース５７５を介して、Ｓ０２１の処理で取得した論理記憶領域の稼働情報の積算値によって、物理記憶デバイスの稼働情報を物理記憶デバイス稼働報告インターフェースＶ０２に表示する（Ｓ０２３）。
【００９０】
その後、システム管理者は、物理記憶デバイス稼働報告インターフェースＶ０２を参照し、物理記憶デバイスの負荷が過大であるか否かを判定する（Ｓ０２５）。システム管理者は、物理記憶デバイスの負荷が過大と判定した場合には（Ｓ０２５の結果が「Ｙｅｓ」）、論理記憶領域を物理記憶デバイス、すなわち、パリティグループに移動する処理を実行する（Ｓ０２７）。論理記憶領域を別のパリティグループに移動する処理は、物理記憶デバイス稼働報告インターフェースＶ０２のＭｏｖｅボタン３７５３を操作することによって実行される。なお、移動処理の手順は、図２０にて後述する。
【００９１】
図１８は、第１の実施の形態の物理記憶媒体の稼働情報を出力する手順を示すフローチャートである。
【００９２】
管理計算機５００は、物理記憶デバイスの負荷が過大でないと判定された場合には（図１７のＳ０２５の結果が「Ｎｏ」）、図１７のＳ０１７で取得した物理記憶デバイスを構成する物理記憶媒体を取得する（Ｓ０２９）。管理計算機５００は、物理記憶デバイスを構成する物理記憶媒体を取得するために、物理記憶領域構成情報１００１の物理記憶媒体識別情報１００２１を参照する。例えば、診断対象の物理記憶デバイスが“ＦＤ−１１０Ｂ”であるとき、物理記憶デバイスに搭載される物理記憶媒体は、“Ｆ０２１”、“Ｆ０２２”及び“Ｆ０２３”となる。
【００９３】
続いて、管理計算機５００は、Ｓ０２９の処理で取得したすべての物理記憶媒体について、以下の処理を実行する。
【００９４】
管理計算機５００は、論理記憶領域構成情報１００３を参照し、Ｓ０２９の処理で取得された物理記憶媒体に定義された論理記憶領域を取得する（Ｓ０３１）。例えば、物理記憶媒体“Ｆ０２２”に定義された論理記憶領域は、“ＬＤＥＶ−１０Ｆ”、“ＬＤＥＶ−１０Ｇ”、“ＬＤＥＶ−１０Ｈ”となる。
【００９５】
管理計算機５００は、稼働情報５００７を参照し、Ｓ０３１の処理で取得した論理記憶領域の稼働情報を取得する（Ｓ０３３）。そして、管理計算機５００は、出力用インタフェース５７５を介して、Ｓ０３３の処理で取得した論理記憶領域の稼働情報の積算値によって、物理記憶媒体の稼働情報を物理記憶媒体稼働報告インターフェースＶ０３に表示する（Ｓ０３５）。
【００９６】
その後、システム管理者は、物理記憶媒体稼働報告インターフェースＶ０３を参照し、物理記憶媒体の負荷が過大であるか否かを判定する（Ｓ０３７）。システム管理者は、物理記憶媒体の負荷が過大と判定した場合には（Ｓ０３７の結果が「Ｙｅｓ」）、論理記憶領域を別の物理記憶媒体に移動する処理を実行する（Ｓ０３９）。論理記憶領域を別の物理記憶媒体に移動する処理は、物理記憶媒体稼働報告インターフェースＶ０３のＭｏｖｅボタン３７５３を操作することによって実行される。なお、移動処理の手順は、図２１にて後述する。
【００９７】
図１９は、第１の実施の形態の記憶ボリュームの接続先を異なるデータ入出力用通信インタフェース１４０に移動させる処理のフローチャートである。図１９の処理は、図１６のＳ０１３の処理に対応する。
【００９８】
システム管理者は、管理計算機５００の入力用インタフェース５７０から移動先のデータ入出力用通信インタフェース１４０を入力する（Ｓ０４１）。管理計算機５００は、移動対象の記憶ボリュームを構成する論理記憶領域に対する書き込みを一時的に停止する（Ｓ０４３）。具体的には、移動対象記憶ボリュームがデータ入出力用通信インタフェース“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”に接続された記憶ボリューム“２２”である場合、記憶ボリュームを構成する論理記憶領域“ＬＤＥＶ−１０Ｈ”に対する書き込みを停止する。
【００９９】
管理計算機５００は、移動対象の記憶ボリュームを別のデータ入出力用通信インタフェース１４０に移動させるための構成変更要求メッセージをストレージ装置１００に送信する（Ｓ０４５）。構成変更要求メッセージには、移動対象記憶ボリュームのデータ入出力用通信インタフェース識別情報、記憶ボリューム接続情報、移動先データ入出力用通信インタフェース識別情報が含まれる。
【０１００】
ストレージ装置１００は、管理計算機５００から送信された構成変更要求メッセージを受信すると、記憶ボリューム構成情報１００５を更新する（Ｓ０４７）。例えば、記憶ボリューム“２２”が接続するデータ入出力用通信インタフェースを“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”から“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０３”に移動させる場合を考える。このとき、ストレージ装置１００は、記憶ボリューム構成情報１００５の該当するレコードのデータ入出力通信インタフェース識別情報１００５１を“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０３”に更新すればよい。
【０１０１】
ストレージ装置１００は、記憶ボリューム構成情報１００５の更新が完了すると、構成変更完了メッセージを管理計算機５００に送信する（Ｓ０４９）。
【０１０２】
管理計算機５００は、構成変更完了メッセージを受信すると、構成情報５００３を更新する（Ｓ０５１）。具体的には、Ｓ０４７の処理と同様に、構成情報５００３に含まれる記憶ボリューム構成情報１００５を更新する。
【０１０３】
管理計算機５００は、構成情報５００３を参照し、移動対象のホスト計算機記憶ボリュームに接続するホスト計算機を取得する（Ｓ０５３）。具体的には、管理計算機５００は、移動対象の記憶ボリュームの識別情報に基づいて、構成情報５００３に含まれるホスト計算機記憶ボリューム構成情報３００１を検索する。例えば、移動対象の記憶ボリュームの識別情報が“２２”であれば、該当するレコードのホスト計算機識別情報３００１４の値から移動対象記憶ボリュームに接続するホスト計算機３００が“１９２．１６８．１０．１００”及び“１９２．１６８．１０．１０１”であることわかる。
【０１０４】
管理計算機５００は、Ｓ０５３の処理で取得したすべてのホスト計算機３００に対し、記憶ボリュームの接続先データ入出力用通信インタフェースを移動するための構成変更要求メッセージを送信する（Ｓ０５５）。
【０１０５】
ホスト計算機３００は、構成変更要求メッセージを受信すると、受信した移動先データ入出力用通信インタフェースが接続先となるように、ホスト計算機記憶ボリューム構成情報３００１を更新する（Ｓ０５７）。具体的には、接続先データ入出力用通信インタフェース“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０２”に接続する記憶ボリューム“２２”について、接続先データ入出力用通信インタフェース識別情報３００１２の値を移動先の“５０：０６：０Ａ：０Ｂ：０Ｃ：０Ｄ：１４：０３”に更新する。
【０１０６】
ホスト計算機３００は、ホスト計算機記憶ボリューム構成情報３００１を更新が完了すると、構成変更処理完了メッセージを管理計算機５００に送信する（Ｓ０５９）。
【０１０７】
管理計算機５００は、構成変更処理完了メッセージを受信すると、構成情報５００３を更新する（Ｓ０６１）。具体的には、Ｓ０５７の処理と同様に、構成情報５００３に含まれるホスト計算機記憶ボリューム構成情報３００１を更新する。そして、管理計算機５００は、Ｓ０４３の処理で停止した論理記憶領域に対する書き込みを再開する（Ｓ０６３）。
【０１０８】
図２０は、第１の実施の形態の論理記憶領域を異なるパリティグループに移動する処理の手順を示すフローチャートである。図２０の処理は、図１７のＳ０２７の処理に対応する。
【０１０９】
システム管理者は、管理計算機５００の入力用インタフェース５７０から移動先のパリティグループを入力する（Ｓ０６５）。
【０１１０】
管理計算機５００は、移動対象の論理記憶領域に対する書き込みを一時的に停止する（Ｓ０６７）。管理計算機５００は、指定されたパリティグループに移動対象の論理記憶領域を移動させる構成変更要求メッセージをストレージ装置１００に送信する（Ｓ０６９）。構成変更要求メッセージは、移動対象の論理記憶領域の識別情報及び移動先パリティグループ識別情報を含む。
【０１１１】
ストレージ装置１００は、構成変更要求メッセージを受信すると、移動対象論理記憶領域を別のパリティグループに移動させ、論理記憶領域構成情報１００３を更新する（Ｓ０７１）。具体的には、移動対象の論理記憶領域に該当するレコードのパリティグループ識別情報１００３３を、受信した構成変更要求メッセージに含まれる移動先パリティグループ識別情報に更新する。ストレージ装置１００は、論理記憶領域構成情報１００３の更新が完了すると、構成変更完了メッセージを管理計算機５００に送信する（Ｓ０７３）。
【０１１２】
管理計算機５００は、構成変更完了メッセージを受信すると、構成情報５００３を更新する（Ｓ０７５）。具体的には、Ｓ０７１の処理と同様に、構成情報５００３に含まれる論理記憶領域構成情報１００３を更新する。そして、管理計算機５００は、Ｓ０６７の処理で停止した論理記憶領域に対する書き込みを再開する（Ｓ０７６）。
【０１１３】
図２１は、第１の実施の形態の論理記憶領域を別の物理記憶媒体に移動する処理の手順を示すフローチャートである。図２１の処理は、図１８のＳ０３９の処理に対応する。
【０１１４】
システム管理者は、管理計算機５００の入力用インタフェース５７０から移動先の物理記憶媒体を入力する（Ｓ０７７）。このとき、同じ物理記憶デバイスを構成する物理記憶媒体を移動先とすることによって、構成変更による影響を少なくすることができる。
【０１１５】
管理計算機５００は、移動対象の論理記憶領域に対する書き込みを一時的に停止する（Ｓ０７９）。管理計算機５００は、指定された物理記憶媒体に移動対象論理記憶領域を移動させる構成変更要求メッセージをストレージ装置１００に送信する（Ｓ０８１）。構成変更要求メッセージは、移動対象論理記憶領域識別情報及び移動先物理記憶媒体識別情報を含む。
【０１１６】
ストレージ装置１００は、構成変更要求メッセージを受信すると、移動対象論理記憶領域を別の物理記憶媒体に移動させ、論理記憶領域構成情報１００３を更新する（Ｓ０８３）。具体的には、構成変更要求メッセージの移動対象論理記憶領域識別情報に“ＬＤＥＶ−１０Ｈ”及び移動先物理記憶媒体識別情報が“Ｆ０２３”が指定されている場合、物理記憶媒体識別情報１００３４のデバイス＃２を“Ｆ０２２”から“Ｆ０２３”に更新する。ストレージ装置１００は、論理記憶領域構成情報１００３の更新が完了すると、構成変更完了メッセージを管理計算機５００に送信する（Ｓ０８５）。
【０１１７】
管理計算機５００は、構成変更完了メッセージを受信すると、構成情報５００３を更新する（Ｓ０８７）。具体的には、Ｓ０８３の処理と同様に、構成情報５００３に含まれる論理記憶領域構成情報１００３を更新する。そして、管理計算機５００は、Ｓ０７９の処理で停止した論理記憶領域に対する書き込みを再開する（Ｓ０８９）。
【０１１８】
第１の実施の形態によれば、構成部位の性能検査を物理記憶デバイスだけでなく、物理記憶デバイスを構成する物理記憶媒体を対象に性能検査を実行することができる。したがって、物理記憶デバイスを半導体記憶装置としたときに、物理記憶媒体であるフラッシュメモリ（記憶チップ、半導体記憶素子）単位の性能検査を実行することができる。
【０１１９】
また、第１の実施の形態によれば、データ入出力用通信インタフェースからフラッシュメモリに至るまでの経路に含まれる構成部位を関連付けることによって、一連のドリルダウン操作による性能検査を容易に実行することができる。
【０１２０】
さらに、第１の実施の形態によれば、物理記憶媒体単位に構成を変更することができる。したがって、性能改善に向けた構成変更の範囲を同一の物理記憶デバイスに範囲を限定することによって、構成変更に伴う影響範囲を極小化でき、周囲のシステム環境に与える影響を軽減することができる。例えば、あるフラッシュメモリに作成された論理記憶領域の負荷が大きいとき、同じ半導体記憶装置に含まれる別のフラッシュメモリに論理記憶領域を移動させることができる。
【０１２１】
（第２の実施の形態）
第１の実施の形態では、移動先の物理記憶媒体などをシステム管理者が入力する場合について説明したが、第２の実施の形態では、管理計算機５００が移動先を自動的に特定する方法について説明する。第２の実施の形態では、管理計算機５００は、稼働データ観測対象の構成部位ごとに稼働負荷の閾値を定義し、稼働負荷が閾値を超えた場合には、接続先を稼働負荷の低い構成部位に変更する。
【０１２２】
図２２Ａは、第２の実施の形態の通信インターフェースの稼働負荷判定閾値の定義情報５０１１Ａの構成を示す図である。通信インターフェース稼働負荷判定閾値定義情報５０１１Ａは、通信インターフェースの負荷が過大であるか否かを判定するために用いられる。通信インターフェース稼働負荷判定閾値定義情報５０１１Ａは、通信インターフェース識別情報５０１１１及び通信インターフェース稼働負荷閾値５０１１２を含む。
【０１２３】
図２２Ｂは、第２の実施の形態の物理記憶デバイスの稼働負荷判定閾値の定義情報５０１１Ｂの構成を示す図である。物理記憶デバイス稼働負荷判定閾値定義情報５０１１Ｂは、物理記憶デバイスの負荷が過大であるか否かを判定するために用いられる。物理記憶デバイス稼働負荷判定閾値定義情報５０１１Ｂは、物理記憶デバイス識別情報５０１１３及び物理記憶デバイス稼働負荷閾値５０１１４を含む。
【０１２４】
図２２Ｃは、第２の実施の形態の物理記憶媒体の稼働負荷判定閾値の定義情報５０１１Ｃの構成を示す図である。物理記憶媒体稼働負荷判定閾値定義情報５０１１Ｃは、物理記憶媒体の負荷が過大であるか否かを判定するために用いられる。物理記憶媒体稼働負荷判定閾値定義情報５０１１Ｃは、物理記憶媒体識別情報５０１１５及び物理記憶媒体稼働負荷閾値５０１１６を含む。
【０１２５】
なお、ストレージ装置１００に格納された稼働負荷判定閾値定義情報１０１４についても、図２２Ａ〜２２Ｃに示した稼働負荷判定閾値定義情報５０１１と同じ構造である。
【０１２６】
図２３は、第２の実施の形態の論理記憶領域の移動先となる物理記憶媒体を管理計算機５００が自動的に特定する処理の手順を示すフローチャートである。
【０１２７】
管理計算機５００は、移動対象の論理記憶領域が決定すると、移動対象の論理記憶領域が格納された物理記憶デバイスを取得する（Ｓ１０３）。具体的には、構成情報５００３の論理記憶領域構成情報１００３を参照し、移動対象の論理記憶領域の識別情報に基づいてパリティグループを取得する。そして、物理記憶領域構成情報１００１を参照し、取得したパリティグループに基づいて、物理記憶デバイスを取得する。
【０１２８】
次に、管理計算機５００は、物理記憶領域構成情報１００１を参照し、物理記憶デバイスが格納するすべての物理記憶媒体を取得する（Ｓ１０５）。具体的には、該当する物理記憶デバイスの構成情報１００２から、構成する物理記憶媒体を取得する。
【０１２９】
管理計算機５００は、Ｓ１０５で取得した物理記憶媒体について、物理記憶媒体の負荷を判定する（Ｓ１０７）。具体的には、移動先物理記憶媒体が決定、又はすべての物理記憶媒体の負荷の判定が終了するまで、Ｓ１０９及びＳ１１１の処理を繰り返す。
【０１３０】
管理計算機５００は、稼働情報５００７を参照し、物理記憶媒体の稼働情報を取得する（Ｓ１０９）。続いて、管理計算機５００は、取得した物理記憶媒体の稼働情報の平均値を算出する。そして、算出した平均値が稼働負荷判定閾値定義情報５０１１Ｃに定義された物理記憶媒体稼働負荷閾値よりも小さいか否かを判定する（Ｓ１１１）。
【０１３１】
管理計算機５００は、平均値が閾値よりも小さい場合には（Ｓ１１１の結果が「Ｙｅｓ」）、取得した物理記憶媒体を移動先と決定する（Ｓ１１７）。また、管理計算機５００は、平均値が閾値を大きい場合には（Ｓ１１１の結果が「Ｎｏ」）、別の物理記憶媒体を判定する（Ｓ１１３）。
【０１３２】
管理計算機５００は、Ｓ１０５の処理で取得したすべての物理記憶媒体について、稼働負荷の平均値が閾値よりも大きい場合には、別のパリティグループに論理記憶領域を移動する処理を実行する（Ｓ１１５）。別のパリティグループに論理記憶領域を移動する処理は、図２４に後述する処理と同じである。
【０１３３】
図２４は、本発明の第２の実施の形態の論理記憶領域の移動先パリティグループを自動的に特定する処理の手順を示すフローチャートである。第１の実施の形態では、移動先のパリティグループをシステム管理者が入力して指定したが、第２の実施の形態では、稼働負荷判定閾値定義情報５０１１Ｂを用いて移動先のパリティグループを自動的に判定する。
【０１３４】
管理計算機５００は、移動対象の論理記憶領域が決定すると、すべてのパリティグループについて稼働負荷を計算し、移動先となりうるか否かを判定する（Ｓ０８９）。
【０１３５】
管理計算機５００は、稼働情報５００７を参照し、稼働負荷を判定するパリティグループの稼働情報を取得する（Ｓ０９１）。次に、管理計算機５００は、取得した稼働情報の平均値を算出する。算出した平均値が稼働負荷判定閾値定義情報５０１１に定義された物理記憶デバイス稼働負荷閾値から算出したパリティグループ稼働負荷閾値よりも小さいか否かを判定する（Ｓ０９３）。
【０１３６】
管理計算機５００は、平均値が閾値よりも小さい場合には（Ｓ０９３の結果が「Ｙｅｓ」）、対象のパリティグループを移動先と決定する（Ｓ０９７）。管理計算機５００は、平均値が閾値よりも大きい場合には（Ｓ０９３の結果が「Ｎｏ」）、他のパリティグループを判定する（Ｓ０９５）。
【０１３７】
管理計算機５００は、物理記憶領域構成情報１００１を参照し、パリティグループを構成する物理記憶デバイスを取得する（Ｓ０９９）。管理計算機５００は、物理記憶デバイスごとに、論理記憶領域の移動先とする物理記憶媒体を決定する（Ｓ１０１）。Ｓ１０１の処理は、図２３のフローチャートに示した処理と同じである。
【０１３８】
なお、図２３及び図２４のフローチャートに示した手順をストレージ装置１００に実行させることも可能である。ストレージ装置１００が移動対象の論理記憶領域の移動先を自動的に決定することによって、管理計算機５００は、ストレージ装置１００に論理記憶領域を通知するのみで、論理記憶領域を移動させることができる。
【０１３９】
第２の実施の形態によれば、稼働データ観測対象部位ごとに稼働負荷の閾値を定義し、稼働負荷が過大であるか否かを判定することによって、管理計算機５００は、自動的に接続経路を変更先を決定することができる。したがって、管理計算機５００は、システム管理者を介さずに、稼働データ観測対象部位の負荷を監視し、ボトルネックとなっている構成部位の負荷を軽減させることができる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の第１の実施の形態のストレージネットワークの構成を示す図である。
【図２】本発明の第１の実施の形態のストレージ装置の構成を示す図である。
【図３】本発明の第１の実施の形態のホスト計算機の構成を示す図である。
【図４】本発明の第１の実施の形態の管理計算機の構成を示す図である。
【図５】本発明の第１の実施の形態の物理記憶領域構成情報の構成を示す図である。
【図６】本発明の第１の実施の形態の論理記憶領域構成情報の構成を示す図である。
【図７】本発明の第１の実施の形態の記憶ボリューム構成情報の構成を示す図である。
【図８】本発明の第１の実施の形態の物理記憶領域と論理記憶領域との対応を説明する図である。
【図９】本発明の第１の実施の形態の通信インタフェース稼働情報の構成を示す図である。
【図１０】本発明の第１の実施の形態の物理記憶デバイス稼働情報の構成を示す図である。
【図１１】本発明の第１の実施の形態の物理記憶媒体稼働情報の構成を示す図である。
【図１２】本発明の第１の実施の形態のホスト計算機記憶ボリューム構成情報の構成を示す図である。
【図１３】本発明の第１の実施の形態の通信インタフェース稼働報告インタフェースの構成を示す図である。
【図１４】本発明の第１の実施の形態の物理記憶デバイス稼働報告インタフェースの構成を示す図である。
【図１５】本発明の第１の実施の形態の物理記憶媒体稼働報告インタフェースの構成を示す図である。
【図１６】本発明の第１の実施の形態の通信インタフェース稼働負荷診断処理の構成を示す図である。
【図１７】本発明の第１の実施の形態の物理記憶デバイス稼働負荷診断処理の構成を示す図である。
【図１８】本発明の第１の実施の形態の物理記憶媒体稼働負荷診断処理の手順を示すフローチャートである。
【図１９】本発明の第１の実施の形態の通信インタフェース構成変更処理の手順を示すフローチャートである。
【図２０】本発明の第１の実施の形態の物理記憶デバイスを移動させる論理記憶領域構成変更処理の手順を示すフローチャートである。
【図２１】本発明の第１の実施の形態の物理記憶媒体を移動させる論理記憶領域構成変更処理の手順を示すフローチャートである。
【図２２Ａ】本発明の第２の実施の形態の通信インターフェースの稼働負荷判定閾値定義情報の構成を示す図である。
【図２２Ｂ】本発明の第２の実施の形態の物理記憶デバイスの稼働負荷判定閾値定義情報の構成を示す図である。
【図２２Ｃ】本発明の第２の実施の形態の物理記憶媒体の稼働負荷判定閾値定義情報の構成を示す図である。
【図２３】本発明の第２の実施の形態の移動先物理記憶媒体決定処理の手順を示すフローチャートである。
【図２４】本発明の第２の実施の形態の移動先物理記憶デバイス決定処理の手順を示すフローチャートである。
【符号の説明】
【０１４１】
１０          論理記憶領域
１００        ストレージ装置
１１０        半導体記憶装置
１１１        半導体記憶媒体
１２０        磁気記憶装置
１２１        磁気記憶媒体
１３０        記憶装置コントローラ
１４０        データ入出力用通信インタフェース
１５０        管理用通信インタフェース
１６０        データ入出力用キャッシュメモリ
１８０        パリティグループ
１９０        ストレージコントローラ
３００        ホスト計算機
３２０        磁気記憶装置
３４０        データ入出力用通信インタフェース
３５０        管理用通信インタフェース
３６０        データ入出力用キャッシュメモリ
３７０        入力用インタフェース
３７５        出力用インタフェース
３８０        演算処理装置
３９０        通信バス
４００        ネットワーク接続装置
５００        管理計算機
５２０        磁気記憶装置
５５０        管理用通信インタフェース
５７０        入力用インタフェース
５７５        出力用インタフェース
５８０        演算処理装置
６００        管理用ネットワーク
１０００、３０００、５０００  プログラムメモリ
１００１      物理記憶領域構成情報
１００２      物理記憶媒体構成情報
１００３      論理記憶領域構成情報
１００５      記憶ボリューム構成情報
１００９      記憶装置稼働監視プログラム
１０１１      通信インタフェース稼働情報
１０１２      物理記憶デバイス稼働情報
１０１５      記憶領域構成変更プログラム
１０１７      通信制御プログラム
３００１      ホスト計算機記憶ボリューム構成情報
３００３      記憶ボリューム構成変更プログラム
５００１      構成監視プログラム
５００３      構成情報
５００５      稼働監視プログラム
５００７      稼働情報
５００９      稼働報告プログラム
５０１１      稼働負荷判定閾値定義情報
５０１３      記憶領域構成変更プログラム
１００１１    パリティグループ識別情報
１００１２    ＲＡＩＤレベル
１００１３    物理記憶デバイス識別情報
１００２１    物理記憶媒体識別情報
１００２２、１００３２  容量
１００３１    論理記憶領域識別情報
１００３３    パリティグループ識別情報
１００３４    物理記憶媒体識別情報
１００５１    データ入出力用通信インタフェース識別情報
１００５２    記憶ボリューム識別情報
１００５３    論理記憶領域識別情報
１０１１１、１０１２１  日付
１０１１２、１０１２２  時間
１０１１３    通信インタフェース転送データ量
１０１２３    パリティグループ転送データ量
１０１２４    物理記憶デバイス転送データ量
１０１２５    物理記憶媒体転送データ量
１０１２６    論理記憶領域転送データ量
３００１１    ホスト計算機記憶ボリューム識別情報
３００１２    接続先データ入出力用通信インタフェース識別情報
３００１３    接続先記憶ボリューム識別情報
３００１４    ホスト計算機識別情報
５０１１１    通信インタフェース識別情報
５０１１２    通信インタフェース稼働負荷閾値
５０１１３    物理記憶デバイス識別情報
５０１１４    物理記憶デバイス稼働負荷閾値
５０１１５    物理記憶媒体識別情報
５０１１６    物理記憶媒体稼働負荷閾値
【図１】
2008033412.tif 000003
【図２】
2008033412.tif 000004
【図３】
2008033412.tif 000005
【図４】
2008033412.tif 000006
【図５】
2008033412.tif 000007
【図６】
2008033412.tif 000008
【図７】
2008033412.tif 000009
【図８】
2008033412.tif 000010
【図９】
2008033412.tif 000011
【図１０】
2008033412.tif 000012
【図１１】
2008033412.tif 000013
【図１２】
2008033412.tif 000014
【図１３】
2008033412.tif 000015
【図１４】
2008033412.tif 000016
【図１５】
2008033412.tif 000017
【図１６】
2008033412.tif 000018
【図１７】
2008033412.tif 000019
【図１８】
2008033412.tif 000020
【図１９】
2008033412.tif 000021
【図２０】
2008033412.tif 000022
【図２１】
2008033412.tif 000023
【図２２Ａ】
2008033412.tif 000024
【図２２Ｂ】
2008033412.tif 000025
【図２２Ｃ】
2008033412.tif 000026
【図２３】
2008033412.tif 000027
【図２４】
2008033412.tif 000028