(57)【要約】【課題】  システム内のすべての資産のデータを、定められたデータ構造を用いて集約し、その構造に対応させて一元管理する。【解決手段】  システム内の１つ以上の各ホストコンピュータ２が定められたデータ構造に従って、自装置上の資産のデータを管理サーバ１に通知する手段４を、システム内の１つ以上のハードウェア装置３が手段４と同様の手段５を備え、管理サーバ１が手段４、手段５から通知された資産のデータを、定められたデータ構造に対応づけて管理する手段６を備える。【選択図】図１
2006202293.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステム内の資源管理を行うコンピュータに、
コンピュータシステム内の各装置に設けられた情報収集手段より、各装置の各資源が使用しているデータ情報を受信する受信ステップと、
前記情報受信ステップにて受信した、各装置の各資源が使用しているデータ情報を基に、資源同士の関連付けを行い資源情報として記憶する資源関連付けステップと、
コンピュータシステム内の各装置からのデータ情報を基に、資源の状態を判定する資源状態判定ステップと、
前記資源状態判定ステップにて検出した資源の状態が所定の状態の場合、前記資源関連付けステップで記憶した資源情報を基に、所定の状態にある資源に関連する資源を抽出する関連資源情報抽出ステップと、
を実行させることを特徴とする資源管理プログラム。
【請求項２】
前記資源状態判定ステップでは、
同じ資源に関して所定の現象が所定以上回起こったことを検出した場合、障害の予兆と判定し、
前記関連資源情報抽出ステップでは、
前記資源状態判定ステップが障害の予兆と判定した場合、前記資源関連付けステップで記憶した資源情報を基に、障害の予兆と判定された資源に関連する資源を抽出することを特徴とする請求項１記載の資源管理プログラム。
【請求項３】
前記資源状態判定ステップでは、
少なくとも資源の状態として、各装置から送られてくるデータ情報を基に、所定の資源の所定事象におけるスループットの低下の有無の判定を行うことが可能であるとともに、
前記関連資源情報抽出ステップでは、
前記資源状態判定ステップが所定資源の所定事象においてスループットの低下があると判定した場合、前記資源関連付けステップで記憶した資源情報を基に、該記憶装置に関連する資源を抽出する、
ことを特徴とする請求項１記載の資源管理プログラム。
【請求項４】
前記資源状態判定ステップでは、
少なくともシステム内の各記憶装置に所定容量以上の記憶が成されているかを判定し、
前記関連資源情報抽出ステップでは、
前記資源状態判定ステップが何れかの記憶装置において所定容量以上の記憶が成されていると判定した場合、前記資源関連付けステップで記憶した資源情報を基に、該記憶装置に関連する資源を抽出する、
ことを特徴とする請求項１記載の資源管理プログラム。
【請求項５】
コンピュータシステム内の資源管理を行うコンピュータが、
コンピュータシステム内の各装置に設けられた情報収集手段より、各装置の各資源が使用しているデータ情報を受信する受信するステップと、
前記情報受信ステップにて受信した、各装置の各資源が使用しているデータ情報を基に、資源同士の関連付けを行い資源情報として記憶する資源関連付けステップと、
コンピュータシステム内の各装置からのデータ情報を基に、資源の状態を判定する資源状態判定ステップと、
前記資源状態判定ステップにて検出した資源の状態が所定の状態の場合、前記資源関連付けステップで記憶した資源情報を基に、所定の状態にある資源に関連する資源を抽出する関連資源情報抽出ステップと、
を実行することを特徴とする資源管理方法。
【請求項６】
コンピュータシステム内の各装置に設けられた情報収集手段より、各装置の各資源が使用しているデータ情報を受信する受信手段と、
前記受信手段にて受信した、各装置の各資源が使用しているデータ情報を基に、資源同士の関連付けを行い資源情報として記憶する資源関連付け手段と、
コンピュータシステム内の各装置からのデータ情報を基に、資源の状態を判定する資源状態判定手段と、
前記資源状態判定手段にて検出した資源の状態が所定の状態の場合、前記資源関連付け手段で記憶した資源情報を基に、所定の状態にある資源に関連する資源を抽出する関連資源情報抽出手段と、
を有することを特徴とする資源管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコンピュータシステムにおける資産の管理方式に係り、更に詳しくは、ファイバチャネルなどを用いて複数のホストコンピュータと複数のディスクアレイ装置が接続されているようなコンピュータシステムにおける資産の一元管理方式に関する。
【背景技術】
【０００２】
コンピュータシステムにおける資産管理の従来の方式では、ホストコンピュータ、ネットワークストレージなどの各装置の情報が部分的に管理され、例えばシステムの管理者が部分的な情報をつなぎ合わせることによって、全体の情報の関連づけが行われていた。
【０００３】
図３１は従来の資産管理方法の説明図である。同図において、１つのベンダ（ＯＥＭを含む）内でホスト１０１とストレージ１０３とが、Ａに示すようにシステムとして構成されている場合には、各装置の情報をユニークに定めた形式で管理可能であるが、Ｂのようなホストベンダ、Ｃのようなストレージベンダが混在しているようなシステム構成においては、情報は各ベンダ固有の形式で管理され、情報をユニークな形式で関係づけることはできず、人間が介在して、各ベンダ固有の形式の情報をつなぎ合わせる必要があるという問題点があった。
【０００４】
また、例えば複数のホストコンピュータと複数のディスクアレイ装置がファイバチャネル接続されているようなシステムでは、ストレージが集約化されていても、コンピュータシステム内には様々なベンダの装置があり、その装置にはＯＳ（オペレーティングシステム）が異なるものもある。そのためにＯＳ毎にデータの形式やホストからストレージに対するアクセス方法なども異なり、どの資産をどのホストコンピュータ、ＯＳ、あるいはアプリケーションが使用しているか把握することが困難であるという問題点があった。またある資産に障害が発生した場合などに、その障害がどのＯＳ、あるいはアプリケーションに影響するかを把握するのに手数がかかるという問題点があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、上述の問題点に鑑み、システム内の全ての資産の情報を、ユニークなデータ構造を用いて、例えばシステム内の管理サーバに集約し、管理サーバが集約された情報をそのユニークなデータ構造に対応して関係づけて管理することにより、コンピュータシステム内での資産の一元管理を実現することである。
【課題を解決するための手段】
【０００６】
図１は本発明の原理構成ブロック図である。同図は１つ以上のホストコンピュータ２と、１つ以上のハードウェア装置３とが、例えばローカルエリアネットワーク（ＬＡＮ）７を介して接続され、またシステム内の資産管理を行う管理サーバ１を備えるコンピュータシステムの原理構成ブロック図である。
【０００７】
図１において、各ホストコンピュータ２はエージェント手段４を備える。エージェント手段４は、管理サーバ１からの要求に対応して、自コンピュータ、すなわち自装置上の資産に関する情報を、定められたデータ構造に従って管理サーバ１に通知するものである。
【０００８】
各ハードウェア装置３は資産情報通知手段５を備える。資産情報通知手段５は、管理サーバ１からの要求に対応して、自装置上の資産に関する情報を、定められたデータ構造に従って管理サーバ１に通知するものである。
【０００９】
更に管理サーバ１は情報管理手段６を備える。情報管理手段６は、各ホストコンピュータ２の内部のエージェント手段４、各ハードウェア装置３内部の資産情報通知手段５から通知された情報を、前述の定められたデータ構造に対応させて関係づけて管理するものである。
【００１０】
本発明において、前述の定められたデータ構造は、システム内で自資産から見て上位、および下位の資産が何であるかを示すデータを格納する領域を備えている。
発明の実施の形態においては、各ホストコンピュータ２、および各ハードウェア装置３は障害管理手段をそれぞれ備えることができる。障害管理手段は、自装置の障害の発生時に障害に関する情報を、または自装置が障害に至る可能性のある障害予兆状態となるたびに、その予兆を示す情報を管理サーバに通知するものである。
【００１１】
管理サーバ１の情報管理手段６は、障害に関する情報を受け取った時、または予兆を示す情報を受け取るごとに該当する装置に対するカウント値をインクリメントし、そのカウント値が閾値をこえた時に、前述の定められたデータ構造に対応して関係づけられた情報のうち、障害に関する資産の情報、または予兆を示す情報を通知した装置の資産の情報に加えて、その情報に関係のあるすべての資産の情報のステータスをエラー状態とするものである。
【００１２】
実施の形態においては、各ホストコンピュータ２、および各ハードウェア装置３が、それぞれ自装置の性能を監視する性能管理手段を、また管理サーバがシステム全体の性能を管理するシステム性能管理手段を備え、各装置上の性能管理手段が、管理サーバの要求によって自装置の性能情報を収集して管理サーバに送り、システム性能管理手段が性能情報を送ってきた装置の資産に関する情報と、前述の情報管理手段によって関係づけられた他の資産に関する情報とを対応させて、システム全体の性能管理を行うこともできる。
【００１３】
更に実施の形態においては、各ホストコンピュータ２、および各ハードウェア装置３がそれぞれ自装置内の資産の容量を管理する容量管理手段を備え、管理サーバがシステム全体における資産の容量を管理するシステム資産容量管理手段を備え、各装置の容量管理手段が管理サーバの要求によって自装置内の資産の容量が閾値をこえたか否かを監視し、閾値をこえた時にそれを管理サーバに通知し、システム資産容量管理手段が前述の定められたデータ構造に対応させて関係づけられた情報のうちで、該閾値超過が通知された資産の情報に加えて、その資産に関係のある資産の情報のステータスをエラー状態とすることもできる。
【００１４】
本発明の管理サーバによって使用されるプログラムとして、システム内の各ホストコンピュータ、および各ハードウェア装置から定められたデータ構造に従って送られる各装置上の資産に関する情報を受け取る手順と、受け取った情報を定められたデータ構造に対応させて関連づける手順とを計算機に実行させるためのプログラムが用いられる。また発明の実施の形態においては、このプログラムを格納した計算機読み出し可能可搬型記憶媒体を用いることもできる。
【発明の効果】
【００１５】
以上のように本発明によれば、システム内で定められたデータ構造に従って各資産に関する情報を管理サーバに集約し、管理サーバがその定められた構造に対応して、集約された資産に関する情報を関係づけることになる。
【発明を実施するための最良の形態】
【００１６】
図２は本発明のコンピュータシステムの原理的な構成ブロック図である。同図において、複数のホスト１０，１４によって利用されるストレージ１１は集約化されており、ホスト１０とストレージ１１とはローカルエリアネットワーク（ＬＡＮ）１２で結ばれ、ストレージ１１は記憶装置を連結するためのストレージエリアネットワーク（ＳＡＮ）１３の図示しないサーバによって管理される。
【００１７】
図２のシステムでは、例えばホスト１０のＯＳ（オペレーティングシステム）はマイクロソフト社のＷｉｎｄｏｗｓ（登録商標）、ホスト１４のＯＳはＵＮＩＸ系（ＵＮＩＸ（登録商標），Ｌｉｎｕｘ，Ｓｏｌａｒｉｓ等）のようにＯＳが異なることもあり、ＯＳの異なるホスト１０，１４で１つのストレージ１１を競合して使用することも行われる。
【００１８】
図３は、一般的に複数のホストやディスクアレイなどのハードウェアによって構成されるコンピュータシステムの構成ブロック図である。同図におていホスト１５は一台しか示されていないが、基本的にはホスト１５がシステム内に複数存在するものとする。
【００１９】
図３のコンピュータシステムはホスト１５、管理サーバ１６、ディスクアレイ１７、ファイバチャネル接続のスイッチ（ＦＣ−ＳＷ）１８、管理サーバ１６によって用いられる情報保存用データベース１９によって構成され、ホスト１５の内部には、スイッチ１８を介してディスクアレイにアクセスするためのホストバスアダプタ（ＨＢＡ）２０が備えられている。
【００２０】
ホスト１５の内部には、本実施形態においてコンピュータ資産の一元資産を行うためのエージェント２１が備えられ、エージェント２１は情報収集部２２、情報記録部２３、通信制御部２４、イベント処理部２５、障害管理部２６、性能管理部２７、および容量管理部２８によって構成されている。
【００２１】
管理サーバ１６の内部にも、エージェント２１の構成にほぼ対応して、情報収集部３１、情報管理部３２、入出力処理部３３、通信制御部３４、イベント処理部３５、障害管理部３６、性能管理部３７、および容量管理部３８が備えられている。
【００２２】
図４は、図３のディスクアレイ１７、スイッチ１８、およびホストバスアダプタ２０などのハードウェアの内部で、本実施形態における資産の一元管理を行うための部分の構造を示す。
【００２３】
すなわちハードウェア４１の内部には、エージェント２１や管理サーバ１６の構造にほぼ対応して、入出力処理部４２、情報記録部４３、通信制御部４４、イベント処理部４５、障害管理部４６、性能管理部４７、および容量管理部４８が備えられている。
【００２４】
図５は資産の一元管理を行うための情報収集処理の基本フローチャートである。同図において処理が開始されると、まずステップＳ１で各装置からの情報の収集が行われる。ホスト１５のエージェント２１によって情報が収集されると資産としては、アプリケーション、すなわち業務名と、アクセスファイル、データベース関係でデータベースマネージメントシステム（ＤＢＭＳ）、ホストの内部で下位のデバイスとしてのローデバイス、およびファイルシステム、オペレーティングシステム（ＯＳ）の関係でアクセスファイル、ファイルシステム、ローデバイスがある。
【００２５】
ホスト１５とディスクアレイ１７との間の中間経路的な役割を果たす資産として、ホストバスアダプタ、およびスイッチ１８を含むストレージアクセス経路がある。
更にディスクアレイ１７側の資産として、チャネルアダプタ、レイド（ＲＡＩＤ；リ・ダンダント・アレイズ・オブ・インエクスペンシブ・ディスク）コントローラ、デバイスアダプタ、論理ユニット（ＬＵＮ−Ｒ，物理層対応）、およびハードディスクドライブ（ＨＤＤ）がある。
【００２６】
ここでホスト１５のエージェント２１は、複数のホストにおいてＯＳが異なる場合には、それぞれのＯＳに対応したコマンドを発行して情報を収集する処理を実行する。そして得られた情報を、管理サーバ１６で一元管理可能な同一の情報形式、すなわち本実施形態のシステム固有のユニークな情報形式に変換して、変換後の情報を管理サーバ１６に送信する。これによって、ディスクアレイ１７（ストレージ１１）を利用するホスト１５のＯＳが異なったとしても、管理サーバ１６は同一形式の情報をＯＳの異なる各ホスト１５から収集することが可能となる。
【００２７】
図５においてステップＳ１において各装置からの情報が収集されると、ステップＳ２で収集された情報は本発明実施形態に特有のデータ構造、すなわちデータを関連づける形式にあわせＣＳＶ（コンマ・セパレーテッド・バリュー）や、ＸＭＬ（エクステンシブル・マークアップ・ランゲージ）などの形式で格納管理されて、処理を終了する。
【００２８】
図６は本実施形態におけるデータ構造、すなわち資産のデータの関連づけの説明図である。同図においては、図３においてホスト１５から見て上位の層、または下位の層から資産の間の関連づけが行われる。
【００２９】
図６において、ホスト上の業務名、すなわちその業務によって使用されているファイル名、またはデータベースの資産と、その下位層の資産としてのファイルシステムやローデバイスが、ファイル名などによって関連づけられる。これらの資産に関するデータは、ホスト１５上のエージェント２１によって収集される。
【００３０】
図６においてローデバイスより下位の層の資産としてのホストバスアダプタ、ストレージアクセス経路のデータがローデバイスと関連づけられ、また更に下位の層のチャネルアダプタ、ＲＡＩＤコントローラ、デバイスアダプタ、ＬＵＮ−Ｒ、およびＨＤＤがストレージアクセス経路に関連づけられる。これらの資産に関するデータはハードウェア装置、例えばディスクアレイ１７側からＬＡＮを介して収集される。
【００３１】
図７は本実施形態におけるデータ構造、すなわち資産に関するデータの関連づけの全体説明図である。同図においてはホストはホスト１とホスト２の２台あるものとし、ホスト側１ではアプリケーションとして業務名１と業務名２の２つのアプリケーションが動作しており、ホスト２においては業務名３のアプリケーションが動作しており、それぞれのアプリケーションの下にファイル名、ファイルシステム、ローデバイス、ホストバスアダプタ、ストレージアクセス経路、チャネルアダプタ、ＲＡＩＤコントローラ、デバイスアダプタ、ＬＵＮ−Ｒ、およびＨＤＤの資産に関するデータが図のように関連づけられる。
【００３２】
図８〜図１０は、図７に示されたデータ構造、すなわちデータの関連づけの詳細説明図であり、図８は図３のエージェント２１内の情報記録部２３によって記録されるデータの関連づけを示す。同図において、例えば中央にホスト１のあるデータとして、下側に業務名１があるデータと、業務名２があるデータとの２種の３つのデータが最上位のデータとして記録される。
【００３３】
これらのデータのうち上側の“なし”はホスト１の上位に資産がないことを示し、例えば“業務名１”はホスト１の下位の資産として業務名１の資産があることを示している。これに対してホスト２のデータとしては下位に業務名３の資産がある、１つだけのデータが情報記録部２３によって記録される。
【００３４】
ホスト１のデータの下位には業務名１の資産が存在するが、図７において業務名１の下位にはファイル名１、ファイル名２、およびファイル名３の３つのファイル資産が存在するため、業務名１のデータは３つとなり、その上位にはホスト１が、下位にはそれぞれファイル名１、ファイル名２、およびファイル名３のファイル資産が存在することが各データの上側と下側、および矢印によって示されている。以下同様にして、エージェント内の情報記録部２３によって管理されるデータの関連づけが図８に示されている。
【００３５】
図９は、図３のホストバスアダプタ２０、スイッチ１８内の情報記録部によって管理されるデータと、ディスクアレイ１７内の情報記録部によって管理されるデータの一部の間の関連づけの説明図である。
【００３６】
同図において、例えばホストバスアダプタ１の上位資産はローデバイス１であり、下位資産はストレージアクセス経路１であること、またストレージアクセス経路１のデータとしては、上位資産がホストバスアダプタ１であり、下位資産がチャネルアダプタ１であること、チャネルアダプタ１のデータとしては、上位資産がストレージアクセス経路１であり、下位資産がＲＡＩＤコントローラ１であること、ＲＡＩＤコントローラ１のデータとしては、上位資産がチャネルアダプタ１であり、下位資産がデバイスアダプタ１であることが各データの上側と下側および矢印で示されるように関連づけられている。
【００３７】
図１０は、ディスクアレイ１７内の情報記録部４３によって管理されるデータのうち、図９に続く部分の説明図である。同図において、例えばデバイスアダプタ１のデータとしては、上位資産がＲＡＩＤコントローラ１であり、下位の資産がＬＵＮ−Ｒ１であること、ＬＵＮ−Ｒ１のデータとしては、上位資産がデバイスアダプタ１であり、下位資産がＨＤＤ１であること、ＨＤＤ１のデータとしては、上位資産がＬＵＮ−Ｒ１であり、下位資産が存在しないことが矢印などによって関連づけられている。
【００３８】
図１１は、本実施形態においてコンピュータシステム内で行われる情報収集の全体処理フローチャートである。同図において処理が開始されると、ステップＳ１０でまずホスト１５、スイッチ１８、ディスクアレイ１７の電源がオンとされ、ステップＳ１１におけるハードウエア上でのハードウエア情報設定処理と、ホスト１５上でのエージェント情報収集処理（１）が並行して実行される。これらの処理については後述する。
【００３９】
続いてステップＳ１３で、管理サーバ１６上で管理サーバ情報収集処理が開始され、ハードウェアやホストに対して後述するように情報収集をサポートしているか否かが問い合わせられ、ステップＳ１４でハードウエア内でハードウェア情報収集処理（１）が、またステップＳ１５でホスト上でエージェント情報収集処理（２）が行われ、情報収集をサポートしている場合には、その旨が管理サーバに回答される。
【００４０】
続いてステップＳ１６で、管理サーバ上で管理サーバ情報収集処理の続きが行われる。この処理では、情報収集をサポートしているハードウェアやホストに対して実際のデータ、すなわち詳細情報の問い合わせが行われ、ステップＳ１７でハードウェア上でのハードウェア情報収集処理（２）が、ステップＳ１８でホスト上でエージェント情報収集処理（３）が行われ、詳細情報の管理サーバへの回答が行われる。そしてステップＳ１９で管理サーバ上での管理サーバ情報収集処理の更に続きが行われ、ホストや各ハードウェアから受け取った詳細情報の関連づけなどが実行されて処理を終了する。
【００４１】
次に図１１の各ステップの詳細処理について、図１２〜図１８を用いて更に説明する。図１２は、図１１のステップＳ１１のハードウェア情報設定処理の詳細フローチャートである。同図におてい処理が開始されると、まずステップＳ２１でハードウェア上の入出力処理部４２、例えばグラフィックユーザインタフェース（ＧＵＩ）によって、オペレータの指示としてのデータの構成定義が受け付けられ、ステップＳ２２で入力出力処理部４２によって入力されたデータの構成定義、すなわち自データと上位および下位の資産を示す関係の経路などのデータが情報記録部４３に渡されて、処理を終了する。
【００４２】
図１３は、図１１のステップＳ１２におけるエージェント情報収集処理（１）の詳細フローチャートである。同図において処理が開始されると、まずステップＳ２５でアプリケーションによってオープンされたファイル名が、またステップＳ２６でそのファイル名が属しているファイルシステム、およびその下位にあるローデバイスのデータが、図３のホスト１５内のエージェント２１上の情報収集部２２から情報記録部２３に渡され、ステップＳ２７で情報記録部２３によってデータの上下の関係がつなぎ合わされて記録され、処理を終了する。
【００４３】
図１１のステップＳ１３の詳細処理を図１４のステップＳ３０〜Ｓ３３に示す。管理サーバ情報収集処理が開始されると、ステップＳ３０で図３の管理サーバ１６上の入出力処理部３３、例えばグラフィックユーザインタフェース（ＧＵＩ）によってオペレータの指示、すなわち最新情報収集の指示が受け付けられ、ステップＳ３１で入出力処理部３３からその収集処理の実行が情報収集部３１に依頼され、ステップＳ３２で情報収集部３１から通信制御部３４にＬＡＮ上の装置の認識処理が依頼され、ステップＳ３３で通信制御部３４からＬＡＮ上の全ての装置、すなわちハードウェアとホスト内のエージェントに対して、時間制限をつけた上で、ＴＣＰ／ＩＰネットワークにおいて、機器の管理を行うためのシンプル・ネットワーク・マネージメント・プロトコル（ＳＮＭＰ）によって情報収集をサポートしているか否かの問合せが行われる。
【００４４】
図１５は、図１１のステップＳ１４、すなわちハードウェア情報収集処理（１）の詳細フローチャートである。同図において処理が開始されると、ハードウェア上の通信制御部４４によってＬＡＮを経由して管理サーバ１６から送られたＳＮＭＰプロトコルの通信データが受け取られ、その解析が行われる。そしてステップＳ３６で自装置が情報収集をサポートしているか否かが判定され、サポートしている場合には通信制御部４４は情報記録４３から自装置の名称を取り出し、その名称をつけて情報収集をサポートしていることを管理サーバ１６に応答して処理を終了する。
【００４５】
なお情報収集のサポートをしていない場合には、ステップＳ３７の処理を実行することなく、ハードウェア情報収集処理（１）を終了する。これは図１４のステップＳ３３で管理サーバ１６の通信制御部３４が、時間制限をつけた上でサポートの有無を問い合わせ、時間制限を過ぎてもサポートしている旨の回答がない場合には、その装置は情報収集をサポートしていないと一方的に判定するためである。そしてこの場合には、例えば手入力によって情報収集が行われ、図８〜図１０のようにデータが関連づけられる。
【００４６】
図１６は図１１のステップＳ１５、すなわちエージェント情報収集処理（２）の詳細フローチャートである。同図において、まずステップＳ４０でエージェント２１上の通信制御部２４によって、ＬＡＮを介して管理サーバ１６から送られたＳＮＭＰプロトコルの通信データが受け取られて解析され、ステップＳ４１で自ホストが情報収集をサポートしているか否かが判定され、サポートしている場合には、ステップＳ４２で通信制御部２４からホスト名と共に、情報収集をサポートしていることが管理サーバ１６側に応答されて、処理を終了する。ステップＳ４１で、情報収集をサポートしていない場合には、何らかの処理も実行されないことは、図１５におけると同様である。
【００４７】
図１４のステップＳ４５〜Ｓ４７は、図１１のステップＳ１６の処理の詳細フローチャートである。まずステップＳ４５で、管理サーバ１６上の通信制御部３４によって、ステップＳ３３でつけられた時間制限以内に情報収集のサポートを行っていることを示す応答があった装置の一覧が情報収集部３１に通知され、ステップＳ４６で情報収集部３１から、その回答に対応して、装置一覧内の個々の装置に対する詳細情報の収集処理が通信制御部３４に依頼される。
【００４８】
通信制御部３４から、ステップＳ４７で時間制限をつけた上で、該当の個々の装置に対してＳＮＭＰプロトコルを用いて詳細情報の問い合わせが行われる。
図１７は図１１のステップＳ１７、すなわちハードウェア情報収集処理（２）の詳細フローチャートである。同図において、まずステップＳ５０でハードウェア上の通信制御部４４によって、ＬＡＮを経由してＳＮＭＰプロトコルで送られた通信データが受け取られて解析され、ステップＳ５１で通信制御部４４によって情報記録部４３から詳細情報が取り出され、その詳細情報が管理サーバ１６に対して回答されて、処理を終了する。
【００４９】
図１８は、図１１のステップＳ１８、すなわちエージェント情報収集処理（３）の詳細フローチャートである。まずステップＳ５２でエージェント２１上の通信制御部２４によって、ＬＡＮを介して送られたＳＮＭＰプロトコルを用いた通信データが受け取られて解析され、ステップＳ５３で通信制御部２４によって情報記録部２３から全ての関係情報が取り出され、その関係情報が管理サーバ１６に回答されて、処理を終了する。
【００５０】
図１４のステップＳ５５〜Ｓ６１は、図１１のステップＳ１９の詳細フローチャートである。まずステップＳ５５で、ステップＳ４７でつけられた時間制限内の各装置からの応答（詳細情報）が情報収集部３１に通知され、ステップＳ５６で、管理サーバ１６上の情報収集部３１によって、装置名と詳細情報とが、図８〜図１０で説明したように上位の装置と下位の装置を含むデータ構造の形式とされて情報管理部３２に渡され、ステップＳ５７で情報管理部３２によって受け取った情報内で上位データを持たない最上位のデータが１つ見つけられ、ステップＳ５８でその最上位のデータの構造内で下位のデータ、すなわち下位の装置に対するデータであって、かつそのデータのデータ構造内の上位データ、すなわち上位の装置が最上位のにデータに対応する装置であるようなデータがつなぎ合わされ、ステップＳ５９でつなぎ合わされた下位側のデータのデータ構造内にさらに下位データ、すなわち下位の装置が記述されているか否かが判定され、記述されている場合にはステップＳ５８以降の処理が繰り返される。
【００５１】
ステップＳ５９で下位のデータがない、すなわち下位の装置が指定されていない場合には、ステップＳ６０で最上位のデータが他にあるか否かが判定され、ある場合にはステップＳ５７以降の処理、すなわち情報管理部３２によって上位データを持たない最上位のデータが１つ選択される処理以降が繰り返される。ステップＳ６０で他に最上位データがないと判定された場合には、ステップＳ６１で情報管理部３２によってつなぎ合わされた情報が、例えば情報保存用データベース１９に格納されて、処理を終了する。
【００５２】
図１９は障害発生処理、あるいは障害の予兆監視処理の全体的なフローチャートであり、ステップＳ６４でハードウェア上で障害発生処理（１）、または障害予兆監視処理（１）が行われ、ステップＳ６５で管理サーバ上で障害発生処理（２）、または障害予兆監視処理（２）が行われて処理を終了する。これらの処理の詳細については、図２０〜図２３で説明する。
【００５３】
図２０は、図１９のステップＳ６４における障害発生処理（１）のフローチャートである。同図において、障害が発生した時点でステップＳ６７でハードウェアやホスト内のエージェント、すなわち各装置の障害管理部によって、イベント処理部を介して自装置の名称と障害の要因情報を添付して障害が発生したことが、ＳＮＭＰトラップ信号として管理サーバ１６に対して発信されて処理を終了する。このＳＮＭＰトラップ信号は不定期のパケットであり、そのパケット内に障害の発生要因情報などが格納される。
【００５４】
図２１は、図１９のステップＳ６４における障害予兆監視処理（１）のフローチャートである。この障害予兆監視処理とは、その現象が何回もおこった時には障害に至ると見なされるような予兆現象を監視するものであり、そのような予兆現象がおこった時に、各装置の障害管理部によって、イベント処理部を通して自装置の名称と予兆現象の要因情報が添付されて、予兆現象がおこったことがＳＮＭＰトラップ信号として管理サーバ１６に対して発信されて、処理を終了する。
【００５５】
図２２は、図１９のステップＳ６５における管理サーバ上での障害発生処理（２）の詳細フローチャートである。まずステップＳ７０で管理サーバ１６のイベント処理部３５によって、ＬＡＮを介して送られてきたＳＮＭＰトラップ信号が受け取られ、ステップＳ７１で障害管理部３６によって受信データが解析され、情報管理部３２に対して障害発生を通知してきた装置、およびその上位側、下位側で関係づけられている全ての装置に対するデータのステータスをエラー状態にするように依頼が行われ、ステップＳ７２で障害管理部３６によって障害発生に対応して実行すべき登録された処理、例えばグラフィック・ユーザ・インタフェース（ＧＵＩ）表示、Ｅメールや携帯電話などによるユーザへの連絡などが実行されて処理を終了する。
【００５６】
図２３は、図１９のステップＳ６５における管理サーバ上の障害予兆監視処理（２）の詳細フローチャートである。まずステップＳ７４で、図２２のステップＳ７０におけると同様に、イベント処理部３５によってＳＮＭＰトラップ信号が受け取られ、ステップＳ７５で障害管理部３６により受信データが解析され、情報管理部３２に対してその装置に対応するテンポラリーエラーカウントの値のインクリメントが依頼される。
【００５７】
情報管理部３２によって、ステップＳ７６でテンポラリーエラーカウントの値がある閾値を越えたか否かが判定され、超えた場合には対応する装置、およびその上位側、下位側に関係づけられている全て装置のデータのステータスがエラー状態とされると共に、閾値を越えたことが障害管理部３６に通知され、ステップＳ７７で障害管理部３６によってその通知が受け取られ、ステップＳ７２におけると同様に障害発生時に実行すべきものとして登録された処理が実行されて処理を終了する。
【００５８】
図２４は性能監視処理、または容量監視処理の全体的なフローチャートである。同図において、ステップＳ８０で管理サーバ１６上で性能監視処理（１）、または容量監視処理（１）が行われ、ステップＳ８１でハードウェア上、またはホスト上で性能監視処理（２）、または容量監視処理（２）が行われ、ステップＳ８２で管理サーバ１６上で性能監視処理（１）の続き、または容量監視処理（１）の続きが行われ、処理を終了する。これらの処理の詳細は、図２５〜図２８に示される。
【００５９】
図２５のステップＳ８４およびＳ８５は、図２４の図８０における性能監視処理（１）の詳細を示す。まずステップＳ８４で管理サーバ１６のＧＵＩ画面から、例えばユーザによｔて性能を監視したい装置が選択され、ステップＳ８５で情報収集部３１によって通信制御部３４対して、当該装置に性能監視指示を出すことが依頼される。
【００６０】
図２６のステップＳ８６，Ｓ８７は、図２４のステップＳ８０における容量監視処理（１）の詳細であり、まずステップＳ８６で、図２５のステップＳ８４におけると同様に、例えばユーザによって容量を監視したい装置、例えば記憶装置であれば、すでにデータが格納された容量がどのくらいあるかを監視するために装置の選択が行われ、ステップＳ８７で容量管理部３８から通信制御部３４に対して、その装置の資産名や容量の閾値などを指定した上で、選択された装置に対して容量監視指示を出すことが依頼される。
【００６１】
図２７は、図２４のステップＳ８１における性能監視処理（２）の詳細であり、ステップＳ８９で性能を監視するために選択された装置の性能管理部４７によって、例えばユーザによって指示されたポーリング間隔で性能情報が収集され、通信制御部４４を介して管理サーバ１６側に応答が行われる。
【００６２】
図２８はステップＳ８１における容量監視処理（２）の詳細である。ステップＳ９０で容量監視が指示された装置の容量管理部４８によって、指示されたポーリング間隔で容量情報が収集され、管理サーバ１６側から指示された閾値をこえたか否かが監視され、閾値をこえた場合にはステップＳ９１で容量管理部４８からイベント処理部４５を介して、自装置の名称と閾値をこえたことの要因の情報などが添付されたＳＮＭＰ信号が、管理サーバ１６側に発信される。
【００６３】
図２５のステップＳ９３，Ｓ９４は図２４のステップＳ８２における性能監視処理（１）の続きの処理である。ステップＳ９３で情報収集部３１によって、性能監視のための選択された装置から受信した性能情報が性能管理部３７に渡され、ステップＳ９４で性能管理部３７によって、受信した性能情報のグラフ表示などが行われる。また性能監視のために選択された装置の上位側、および下位側の装置などのデータを選択し、それらのデータの状況を示すグラフなどを重ねることによって、ボトルネックの検出などが行われる。このボトルネック検出についてはさらに後述する。
【００６４】
図２６のステップＳ９５，Ｓ９６は、図２４のステップＳ８２における容量監視処理（１）の続きの処理である。ステップＳ９５でイベント処理部３５によってＳＮＭＰトラップ信号が受け取られ、ステップＳ９８で容量管理部３８によって、情報管理部３２に容量が閾値をこえた装置、およびその上位側、下位側に関係づけられた全ての装置のデータのステータスをエラー状態に変更することが依頼されると共に、閾値をこえた時に実行すべきものとして登録された処理、例えばＧＵＩ表示、Ｅメール、携帯電話によるユーザへの連絡などが実行されて、処理を終了する。
【００６５】
図２９は、図２５のステップＳ９４で説明した管理サーバ１６上の性能管理部３７によるボトルネックなどの検出方法の説明図である。図３の管理サーバ１６においては、性能管理部３７による性能管理、および情報管理部３２などによる資産管理と、リソース管理が行われる。また更に、図３に図示しないが、データの他の資産への移行の機能も組み合せ、ボトルネックがおこった場合に、データの他の資産への移行のためのナビゲートサービスを提供する。
【００６６】
図２９において、例えば管理サーバ１６の表示画面上に性能ウィンドウが開かれ、各種のハードウェア装置の性能に関するグラフが組み合わされて表示される。ここではローデバイス（ｃ３ｔ４ｄ０ｓ２）のレスポンス時間、すなわちサーバからの要求に応じてホスト内のエージェントが応答を返すまでの時間のグラフと、仮想ストレージ層に対応する論理ユニット（ＬＵＮ−Ｖ）の性能グラフ、物理ストレージ層に対応する論理ユニット（ＬＵＮ−Ｒ）の性能グラフ、およびＲＡＩＤコントローラ（ＣＭ）の使用率のグラフが表示され、これらのグラフを比較することによって、ボトルネックデバイスの認識が行われる。
【００６７】
前述のナビゲートサービスについて更に説明する。例えば、あるホスト上のアプリケーションのスループットが低下した場合、そのアプリケーションが使用しているＯＳ資源を性能管理部３７が分析し、特定デバイスの劣化が自動的に検出される。そしてそのデバイスのストレージ内部が性能管理部３７によって分析され、例えばＲＡＩＤの構成のボトルネックと断定され、警告表示が行われると共に、ボトルネックの影響する範囲（他のホストやアプリケーション）の点減表示が行われる。
【００６８】
ナビゲートサービスにおいては、データの他の資産への移行などのチューニングが行われた後の想定性能の表示、全体構成の表示、および構成変更による影響箇所などが表示され、ユーザがデータの移行先の資産を選択した後に、データ移行ツールを用いて該当する資産のレプリカが作成され、アプリケーションの運用が継続される。
【００６９】
以上のように本実施形態においては、ホストコンピュータ上の資産、すなわちファイル、およびそのファイルを使用している業務については、個々のホスト上のエージェントによって管理サーバがその資産の情報を必要とする時点での管理サーバからの不定期なポーツリングに対応して、ＬＡＮを介して資産情報がユニークなデータ構成を用いて管理サーバに送られる。
【００７０】
ファイバチャネルの経路とディスクアレイの資産、すなわちチャネルアダプタ、デバイスアダプタなどについては、管理サーバからの不定期なポーリングに対応して、資産情報がユニークなデータ構造を用いて、ＬＡＮを介して管理サーバに集約される。個々のデータの構造においては、上位および下位で相互に隣接する関係情報が格納され、ホストコンピュータ上の業務情報から、ディスクアレイのデバイス情報までの関係づけが行われる。
【００７１】
次にホストとストレージをつなぐ経路に障害が発生した場合、ディスクアレイの特定のデバイスに故障が発生した場合などに、不定期なエラー情報が管理サーバに通知され、管理サーバはユニークなデータ構造を用いてすでに集約されている情報を検索し、その障害が影響を与える範囲の業務に対して、障害発生を通知する仕組みを用意できる。
【００７２】
またホスト側でのオンライン処理などのスループットの劣化が見られた時には、そのアプリケーションによって使用されている資源を検索し、更にその資源の性能などをつき合わせることによってボトルネックを検出することもでき、更に容量の閾値の設定や、テンポラリエラーカウントの累積によって、容量オーバーによる業務の停止や、装置の障害予兆監視も可能となる。
【００７３】
以上において本発明の資産情報の一元管理を行うコンピュータシステムについてその詳細を説明したが、本実施形態で最も重要な管理サーバなどは当然一般的なコンピュータシステムとして構成することが可能である。図３０はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。
【００７４】
図３０においてコンピュータシステムは中央処理装置（ＣＰＵ）８０、リードオンリメモリ（ＲＯＭ）８１、ランダムアクセスメモリ（ＲＡＭ）８２、通信インタフェース８３、記憶装置８４、入出力装置８５、可搬型記憶媒体の読取り装置８６、およびこれらの全てが接続されたバス８７によって構成されている。
【００７５】
記憶装置８４としては、ハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置８４、またはＲＯＭ８１に図５、図１１〜図２８などのフローチャートに示されたプログラムや、本発明の特許請求の範囲の請求項３のプログラムなどが格納され、そのようなプログラムがＣＰＵ８０によって実行されることにより、本実施形態における管理サーバによるデータの一元管理、ホストコンピュータ、ハードウェア装置からのデータ通知などが可能となる。
【００７６】
このようなプログラムは、プログラム提供者８８側からネットワーク８９、および通信インタフェース８３を介して、例えば記憶装置８４に格納されることも、また市販され、流通している可搬型記憶媒体９０に格納され、読取り装置８６にセットされて、ＣＰＵ８０によって実行されることも可能である。可搬型記憶媒体９０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスクなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置８６によって読取られることにより、本実施形態における資産データの一元管理などが可能となる。
【００７７】
（付記１）１つ以上のホストコンピュータと１つ以上のハードウェア装置とが接続され、システム内の資産管理を行う管理サーバを備えるコンピュータシステムにおいて、
前記１つ以上の各ホストコンピュータが、管理サーバからの要求に対応して、自装置上の資産に関する情報を、定められたデータ構造に従って該管理サーバに通知するエージェント手段を備え、
前記１つ以上の各ハードウェア装置が、管理サーバからの要求に対応して、自装置上の資産に関する情報を、定められたデータ構造に従って該管理サーバに通知する資産情報通知手段を備え、
更に該管理サーバが、該エージェント手段、資産情報通知手段から通知された情報を、前記定められたデータ構造に対応させて関係づけて管理する情報管理手段を備えることを特徴とする資産情報の一元管理を行うコンピュータシステム。
【００７８】
（付記２）前記定められたデータ構造が、システム内で自資産から見て上位、および下位の資産を示すデータを格納する領域を備えることを特徴とする請求項１記載の資産情報の一元管理を行うコンピュータシステム。
【００７９】
（付記３）前記各ホストコンピュータのエージェント手段、および各ハードウェア装置が、自装置の障害の発生時に、前記管理サーバに対して障害に関するデータを通知する障害管理手段をそれぞれ備えると共に、
該障害に関するデータを受け取った時、前記管理サーバ上の情報管理手段が、前記定められたデータ構造に対応して関係づけられた情報のうち、該障害に関する資産の情報と、該資産に関係のある資産の情報とのステータスをエラー状態とすることを特徴とする付記１記載の資産情報の一元管理を行うコンピュータシステム。
【００８０】
（付記４）前記各ホストコンピュータのエージェント手段、および各ハードウェア装置が、自装置が障害に至る可能性のある障害予兆状態となるたびに、管理サーバに対して該予兆を示すデータを通知する障害管理手段をそれぞれに備えると共に、
前記管理サーバ上の情報管理手段が、該予兆を示すデータを受け取るたびにインクリメントされる、該当する装置に対応するカウント値が閾値をこえた時、前記定められたデータ構造に対応して関係づけられた情報のうち、該予兆を示すデータを通知した装置の資産に関する情報と、該資産に関係のある資産の情報とのステータスをエラー状態とすることを特徴とする付記１記載の資産情報の一元管理を行うコンピュータシステム。
【００８１】
（付記５）前記各ホストコンピュータのエージェント手段、および各ハードウェア装置がそれぞれ自装置の性能を監視する性能管理手段を備え、また前記管理サーバがシステム全体の性能を管理するシステム性能管理手段を備え、
該各ハードウェア装置、および各ホストコンピュータの性能管理手段が、管理サーバの要求に対して自装置の性能情報を収集して、管理サーバに送り、
前記システム性能管理手段が、該性能情報を送ってきた装置の資産に関する情報に前記情報管理手段によって関係づけられた他の資産に関する情報とを対応させて、システム全体の性能管理を行うことを特徴とする付記１記載の資産情報の一元管理を行うコンピュータシステム。
【００８２】
（付記６）前記各ホストコンピュータのエージェント手段、および各ハードウェア装置がそれぞれ自装置内の資産の容量を管理する容量管理手段を備え、
該各ホストコンピュータ、および各ハードウェア装置の容量管理手段が、管理サーバの要求によって自装置内の資産の容量が閾値をこえたか否かを監視し、閾値をこえた時に該閾値超過を管理サーバに通知し、
前記情報管理手段が、前記定められたデータ構造に対応して関係づけられた情報のうち、該閾値超過が通知された資産に関する情報と、該資産に関係のある資産の情報のステータスをエラー状態とすることを特徴とする付記１記載の資産情報の一元管理を行うコンピュータシステム。
【００８３】
（付記７）１つ以上のホストコンピュータと１つ以上のハードウェア装置とが接続されるシステム内の資産管理を行う管理サーバによって使用されるプログラムにおいて、
該システム内の各ホストコンピュータ、および各ハードウェア装置から、定められたデータ構造に従って送られる、各装置上の資産に関する情報を受け取る手順と、
該受け取った情報を、該定められたデータ構造に対応させて関連づける手順とを計算機に実行させるためのプログラ。
【００８４】
（付記８）１つ以上のホストコンピュータと１つ以上のハードウェア装置とが接続されるシステム内の資産管理を行う管理サーバによって使用される記憶媒体において、
該システム内の各ホストコンピュータ、および各ハードウェア装置から、定められたデータ構造に従って送られる、各装置上の資産に関する情報を受け取るステップと、
該受け取った情報を、該定められたデータ構造に対応させて関連づけるステップとを計算機に実行させるためのプログラムを格納した計算機読み出し可能可搬型記憶媒体。
【００８５】
（付記９）システム内の資産管理を行う管理サーバを備えるコンピュータシステムを構成するホストコンピュータにおいて、
前記管理サーバからの要求に対応して、自装置上の資産に関する情報を、定められたデータ構造に従って該管理サーバに通知するエージェント手段を備えることを特徴とするホストコンピュータ。
【００８６】
（付記１０）１つ以上のホストコンピュータと１つ以上のハードウェア装置とによって構成されるコンピュータシステム内の資産管理を行う管理サーバにおいて、
前記１つ以上のホストコンピュータおよび１つ以上のハードウェア装置のそれぞれから、定められたデータ構造に従って送られる、各装置上の資産に関する情報を、該定められてデータ構造に対応させて関係づけて管理する情報管理手段を備えることを特徴とする管理サーバ。
【００８７】
以上のように本発明によれば、システム全体の資産を相互に関係づける形式でデータの一元管理を行うことによって、第１にどの資産が、例えばどのアプリケーションによって使用されているか容易に把握することが可能となり、第２にどの資産の異常がどのアプリケーションに影響するかを用意に把握することが可能となる。
【００８８】
第３にアプリケーションごとに、またアプリケーションによって使用されるファイルなどの資産毎に、資産の容量に対する閾値を設定することによって、容量オーバーによる業務停止を防止することが可能となる。また装置のテンポラリーエラーを監視、すなわち予兆監視することによって、致命的な問題が発生する前に障害を予測することが可能となり、業務停止を防止することができる。
【図面の簡単な説明】
【００８９】
【図１】本発明の原理構成ブロック図である。
【図２】本発明のコンピュータシステムの基本的な構成を示すブロック図である。
【図３】本実施形態におけるコンピュータシステムの構成を示すブロック図である。
【図４】図３のハードウェア装置の内部で資産の一元管理を行うための構成を示す図である。
【図５】本実施形態における情報収集処理の基本フローチャートである。
【図６】本実施形態における資産データの関連づけの説明図である。
【図７】本実施形態におけるデータ構造の全体説明図である。
【図８】本実施形態におけるデータ構造の詳細を示す図（その１）である。
【図９】本実施形態におけるデータ構造の詳細を示す図（その２）である。
【図１０】本実施形態におけるデータ構造の詳細を示す図（その３）である。
【図１１】情報収集処理の全体フローチャートである。
【図１２】ハードウェア情報設定処理のフローチャートである。
【図１３】エージェント情報収集処理（１）のフローチャートである。
【図１４】管理サーバ情報収集処理のフローチャートである。
【図１５】ハードウェア情報収集処理（１）のフローチャートである。
【図１６】エージェント情報収集処理（２）のフローチャートである。
【図１７】ハードウェア情報収集処理（２）のフローチャートである。
【図１８】エージェント情報収集処理（３）のフローチャートである。
【図１９】障害発生処理または予兆監視処理の全体フローチャートである。
【図２０】障害発生処理（１）のフローチャートである。
【図２１】障害予兆監視処理（１）のフローチャートである。
【図２２】障害発生処理（２）のフローチャートである。
【図２３】障害予兆監視処理（２）のフローチャートである。
【図２４】性能監視処理または容量監視処理の全体フローチャートである。
【図２５】性能監視処理（１）のフローチャートである。
【図２６】容量監視処理（１）のフローチャートである。
【図２７】性能監視処理（２）のフローチャートである。
【図２８】容量監視処理（２）のフローチャートである。
【図２９】管理サーバの性能管理部によるボトルネック検出方法の説明図である。
【図３０】本発明を実現するためのプログラムのコンピュータへのローディングを説明する図である。
【図３１】コンピュータシステムにおける従来の資産データ管理方式の説明図である。
【符号の説明】
【００９０】
１，１６      管理サーバ
２，１０，１４，１５      ホストコンピュータ
３，４１      ハードウェア装置
４      エージェント手段
５      資産情報通知手段
６      情報管理手段
１１      ストレージ
１２      ＬＡＮ（ローカルエリアネットワーク）
１３      ストレージエリアネットワーク（ＳＡＮ）
１７      ディスクアレイ
１８      スイッチ
１９      情報保存用データベース
２０      ホストバスアダプタ（ＨＢＡ）
２１      エージェント
２２，３１      情報収集部
２３，４３      情報記録部
２４，３４，４４      通信制御部
２５，３５，４５      イベント処理部
２６，３６，４６      障害管理部
２７，３７，４７      性能管理部
２８，３８，４８      容量管理部
３２      情報管理部
３３，４２      入出力処理部
【図１】
2006202293.tif 000003
【図２】
2006202293.tif 000004
【図３】
2006202293.tif 000005
【図４】
2006202293.tif 000006
【図５】
2006202293.tif 000007
【図６】
2006202293.tif 000008
【図７】
2006202293.tif 000009
【図８】
2006202293.tif 000010
【図９】
2006202293.tif 000011
【図１０】
2006202293.tif 000012
【図１１】
2006202293.tif 000013
【図１２】
2006202293.tif 000014
【図１３】
2006202293.tif 000015
【図１４】
2006202293.tif 000016
【図１５】
2006202293.tif 000017
【図１６】
2006202293.tif 000018
【図１７】
2006202293.tif 000019
【図１８】
2006202293.tif 000020
【図１９】
2006202293.tif 000021
【図２０】
2006202293.tif 000022
【図２１】
2006202293.tif 000023
【図２２】
2006202293.tif 000024
【図２３】
2006202293.tif 000025
【図２４】
2006202293.tif 000026
【図２５】
2006202293.tif 000027
【図２６】
2006202293.tif 000028
【図２７】
2006202293.tif 000029
【図２８】
2006202293.tif 000030
【図２９】
2006202293.tif 000031
【図３０】
2006202293.tif 000032
【図３１】
2006202293.tif 000033