(57)【特許請求の範囲】
【請求項１】
ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバであって、
前記マルチホスト管理サーバは、
ホストからのパスの障害情報を障害情報受信キューに受信する受信部と、
同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから抽出する抽出部と、  抽出した前記複数のパスの障害情報から、１つのパスの障害情報を検出する検出部と、
前記検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録部と、
前記ホストを示す情報を前記ホストリフレッシュキューに登録した後に、前記同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから削除する削除部と、
前記ホストを示す情報に基づいて、該当するホストのパス情報の更新を実行する実行部と、
を備えることを特徴とするマルチホスト管理サーバ。
【請求項２】
前記抽出部では、
前記障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、前記同一ホストから受信した複数のパスの障害情報を抽出する
ことを特徴とする請求項１に記載のマルチホスト管理サーバ。
【請求項３】
前記マルチホスト管理サーバは、
前記ホストごとに、前記パス情報を更新したか否かを示すフラグを格納するホスト情報テーブルで管理しており、
前記ホスト情報テーブルに格納されるフラグを参照して、前記ホストからのパスの障害情報を受信した後に当該ホストのパス情報が更新されているか否かを、前記マルチホスト管理サーバの画面に表示する画面表示部を更に備える
ことを特徴とする請求項２に記載のマルチホスト管理サーバ。
【請求項４】
前記マルチホスト管理サーバは、
前記ホストからパスの障害情報を受信した後に、前記ホスト情報テーブルに前記パス情報の未更新を示すための未更新フラグを立てる
ことを特徴とする請求項３に記載のマルチホスト管理サーバ。
【請求項５】
前記実行部は、
数に制限を設けたスレッド上でパス情報の更新を実行する
ことを特徴とする請求項１に記載のマルチホスト管理サーバ。
【請求項６】
前記検出部は、
抽出した前記複数のパスの障害情報から、ホストが受信した受信時刻が最新の受信時刻であるパスの障害情報を検出する
ことを特徴とする請求項１に記載のマルチホスト管理サーバ。
【請求項７】
ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバであって、
前記マルチホスト管理サーバは、
ホストからのパスの障害情報を障害情報受信キューに受信する受信部と、
前記ホストごとに前記パス情報を更新したか否かを示す情報を格納するホスト情報テーブルを参照して、前記ホストからのパスの障害情報を受信した後に当該ホストのパス情報が更新されているか否かを、前記マルチホスト管理サーバの画面に表示する画面表示部と、
前記障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから抽出する抽出部と、
抽出した前記複数のパスの障害情報から、１つのパスの障害情報を検出する検出部と、
前記検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録部と、
前記ホストを示す情報を前記ホストリフレッシュキューに登録した後に、前記同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから削除する削除部と、
前記ホストを示す情報に基づいて該当するホストのパス情報の更新を実行する実行部と、
を備えることを特徴とするマルチホスト管理サーバ。
【請求項８】
ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバに実行させるためのマルチホスト管理プログラムであって、
ホストからのパスの障害情報を障害情報受信キューで受信し、
同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから抽出し、
抽出した前記複数のパスの障害情報から、１つのパスの障害情報を検出し、
前記検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録し、
前記ホストを示す情報を前記ホストリフレッシュキューに登録した後に、前記同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから削除し、
前記ホストを示す情報に基づいて該当するホストのパス情報の更新するように、前記マルチホスト管理サーバに実行させる
ことを特徴とするマルチホスト管理プログラム。
【請求項９】
前記障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、前記同一ホストから受信した複数のパスの障害情報を抽出するように前記マルチホスト管理サーバに実行させる
ことを特徴とする請求項８に記載のマルチホスト管理プログラム。
【請求項１０】
前記マルチホスト管理サーバは、
前記ホストごとに、前記パス情報を更新したか否かを示すフラグを格納するホスト情報テーブルで管理しており、
前記ホスト情報テーブルに格納されるフラグを参照して、前記ホストからのパスの障害情報を受信した後に当該ホストのパス情報が更新されているか否かを、前記マルチホスト管理サーバの画面に表示するように前記マルチホスト管理サーバに実行させる
ことを特徴とする請求項９に記載のマルチホスト管理プログラム。
【請求項１１】
前記ホストからパスの障害情報を受信した後に、前記ホスト情報テーブルに前記パス情報の未更新を示すための未更新フラグを立てるように前記マルチホスト管理サーバに実行させる
ことを特徴とする請求項１０に記載のマルチホスト管理プログラム。
【請求項１２】
数に制限を設けたスレッド上でパス情報を更新するように前記マルチホスト管理サーバに実行させる
ことを特徴とする請求項８に記載のマルチホスト管理プログラム。
【請求項１３】
抽出した前記複数のパスの障害情報から、ホストが受信した受信時刻が最新の受信時刻であるパスの障害情報を検出するように前記マルチホスト管理サーバに実行させる
ことを特徴とする請求項８に記載のマルチホスト管理プログラム。
【請求項１４】
ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバのパス情報管理方法であって、
ホストからのパスの障害情報を障害情報受信キューに受信する受信ステップと、
前記ホストごとに前記パス情報を更新したか否かの情報を格納するホスト情報テーブルを参照して、前記ホストからのパスの障害情報を受信した後に、当該ホストのパス情報が更新されているか否かを、前記マルチホスト管理サーバの画面に表示する画面表示ステップと、
前記障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから抽出する抽出ステップと、
抽出した前記複数のパスの障害情報から、１つのパスの障害情報を検出する検出ステップと、
前記検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録ステップと、
前記ホストを示す情報を前記ホストリフレッシュキューに登録した後に前記同一ホストから受信した複数のパスの障害情報を前記障害情報受信キューから削除する削除ステップと、
前記ホストを示す情報に基づいて当該ホストのパス情報の更新を実行する実行ステップと、
を備えることを特徴とするマルチホスト管理サーバのパス情報管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はストレージシステムに関する。特に、複数のホストとストレージ装置との間に複数のパスが設定される環境において、パス情報の更新を効率的に行うストレージシステムのマルチホスト管理サーバに関する。
【背景技術】
【０００２】
企業等においては大量のデータを記録、管理するために、複数のストレージ装置がSAN(Storage Area Network)を介してパスによりホストと接続して、ストレージシステムを構成する。通常、ホストとストレージ装置との間はひとつのパスではなく、複数のパスが設定されている。これを一般的にマルチパスと呼ぶ。
【０００３】
各ホスト３はマルチパスを管理するソフトウェア（以下、マルチパス管理ソフトウェアという）３４を動作させることによって、パス構成やパスの障害検知、パスの切り替え機能などを実現している。
【０００４】
なお、管理計算機がSANを介してホスト及びストレージ装置と接続されるストレージシステムにおいて、管理計算機がホスト又はストレージ装置からパス障害の通知を受信すると新たなパス定義をホスト及びストレージ装置に設定するように指示を出して、マルチパスを管理する技術が特許文献１に開示されている。
【０００５】
大規模なシステム環境では、各ホストに設定されるマルチパスを一元的に管理、監視して、各ホストの正常な稼動を確認するために、マルチホスト管理サーバが設けられている。そしてマルチホスト管理サーバでは、ホストごとのパス情報を格納している。マルチホスト管理サーバで格納しているパス情報を最新の情報に保つために、ユーザがマルチホスト管理サーバから手動で各ホストに対して問い合わせてパス情報を更新する。マルチホスト管理サーバが、各ホストから取得したパス情報をもとに、マルチホスト管理サーバにあるパス情報を更新する処理をホストリフレッシュと呼んでいる。
【０００６】
ここで、各ホストでは各ホストに設定されたパス状態を監視している。このため、各ホストがパスの障害を検知した場合には、各ホストからマルチホスト管理サーバに対して障害情報を通知しているが、ユーザが手動でホストリフレッシュを行わないと、最新のパス情報を取得することが出来ない。すなわち、ユーザは、障害情報を受け取ることによりパスの障害を認識できても、最新のパス情報を取得しなければ、どのパスで障害が生じたかを認識することはできない。
【特許文献１】特開２００７−７２５７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように従来では、マルチホスト管理サーバが各ホストから障害情報を受け取った後、ユーザが手動でホストリフレッシュを行う必要があるため、手間が発生する。このため、マルチホスト管理サーバで自動的にホストリフレッシュが行われることが好ましい。
【０００８】
しかし障害情報を受け取る度にすぐに障害情報の数に応じてホストリフレッシュを行うのは、無駄なパス情報の転送が発生することになる。特に、パスの状態が瞬間的に正常状態から障害状態、障害状態から正常状態に切り替わる現象（以下、パスの瞬断という）が生じる障害は短期間で複数回発生する場合もあるため、障害が発生する度にホストリフレッシュを行うのは、ネットワークに対する負荷も大きい。
【０００９】
またそもそも障害情報に多くのパス情報を入れておけば、マルチホスト管理サーバにあるパス情報は障害情報を参照するだけで更新することができるので、ホストリフレッシュを行わずにすむ。しかし、パス情報のデータ量を増やしてしまうと、ネットワーク負荷が大きくなることから、むやみに障害情報のデータ量を大きくすることもできない。
【００１０】
そこで、自動的に、かつネットワークに対する負荷が大きくないホストリフレッシュを行えるストレージシステムが望まれている。
【課題を解決するための手段】
【００１１】
本発明は以上の点を考慮したもので、任意のホストに関する障害情報を受け取ると一定時間だけ待機させ、この間に同じホストに関するパスの障害情報から１つの障害情報を検出することで、パス情報を更新するホストリフレッシュを効率的に、かつ、自動的に行えるマルチホスト管理サーバを提案しようというものである。
【００１２】
上述の課題を解決するために、本発明は、ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバであって、ホストからのパスの障害情報を障害情報受信キューに受信する受信部と、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから抽出する抽出部と、抽出した複数のパスの障害情報から、１つのパスの障害情報を検出する検出部と、検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録部と、ホストを示す情報をホストリフレッシュキューに登録した後に、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから削除する削除部と、ホストを示す情報に基づいて、該当するホストのパス情報の更新を実行する実行部と、を備えることを特徴とする。
【００１３】
本発明の構成を採ることによって、障害情報を受信するたびにすぐにホストリフレッシュを行うことがなくなる。そして障害情報の通知を受信した後に、同一のホストからの新たな障害情報があった場合には、１つのパスの障害情報を検出して、ホストリフレッシュを行うことができる。これによって、ホストリフレッシュを実行する回数を減らすことができる。パスの瞬断のように、短期間で複数回の障害がある場合には、大幅にホストリフレッシュの実行回数を減らすことができる。
【００１４】
また、本発明は、ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバであって、ホストからのパスの障害情報を障害情報受信キューに受信する受信部と、ホストごとにパス情報を更新したか否かを示す情報を格納するホスト情報テーブルを参照して、ホストからの障害情報を受信した後に当該ホストのパス情報が更新されているか否かを、マルチホスト管理サーバの画面に表示する画面表示部と、障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから抽出する抽出部と、抽出した前記複数のパスの障害情報から、１つのパスの障害情報を検出する検出部と、検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録部と、ホストを示す情報をホストリフレッシュキューに登録した後に、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから削除する削除部と、ホストを示す情報に基づいて該当するホストのパス情報の更新を実行する実行部と、を備えることを特徴とする。
【００１５】
この結果、障害情報を受信するたびにすぐにホストリフレッシュを行うことがなくなる。そして障害情報の通知を受信した後に、同一のホストからの新たな障害情報があった場合には、１つのパスの障害情報を検出して、ホストリフレッシュを行うことができる。これによって、ホストリフレッシュを実行する回数を減らすことができる。パスの瞬断のように、短期間で複数回の障害がある場合には、大幅にホストリフレッシュの実行回数を減らすことができる。さらに、ユーザは任意のホストに設定されるパスの情報が更新されているか否かを認識することもできる。
【００１６】
さらに本発明は、ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバに実行させるためのマルチホスト管理プログラムであって、ホストからのパスの障害情報を障害情報受信キューで受信し、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから抽出し、抽出した複数のパスの障害情報から、１つのパスの障害情報を検出し、検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録し、ホストを示す情報をホストリフレッシュキューに登録した後に、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから削除し、ホストを示す情報に基づいて該当するホストのパス情報の更新するように、マルチホスト管理サーバに実行させることを特徴とする。
【００１７】
この結果、障害情報を受信するたびにすぐにホストリフレッシュを行うことがなくなる。そして障害情報の通知を受信した後に、同一のホストからの新たな障害情報があった場合には、１つのパスの障害情報を検出して、ホストリフレッシュを行うことができる。これによって、ホストリフレッシュを実行する回数を減らすことができる。パスの瞬断のように、短期間で複数回の障害がある場合には、大幅にホストリフレッシュの実行回数を減らすことができる。
【００１８】
加えて、本発明は、ストレージ装置との間に複数のパスが設定された複数のホストを管理し、ホストごとのパス情報を格納するマルチホスト管理サーバのパス情報管理方法であって、ホストからのパスの障害情報を障害情報受信キューに受信する受信ステップと、ホストごとにパス情報を更新したか否かの情報を格納するホスト情報テーブルを参照して、ホストからの障害情報を受信した後に、当該ホストのパス情報が更新されているか否かを、マルチホスト管理サーバの画面に表示する画面表示ステップと、障害情報受信キューでパスの障害情報を受信した受信時刻から所定時間を経過後に、同一ホストから受信した複数のパスの障害情報を障害情報受信キューから抽出する抽出ステップと、抽出した複数のパスの障害情報から、１つのパスの障害情報を検出する検出ステップと、検出した１つのパスの障害情報に基づいてホストを示す情報を、パス情報を更新するためのホストリフレッシュキューに登録する登録ステップと、ホストを示す情報をホストリフレッシュキューに登録した後に同一ホストから受信した複数のパスの障害情報を障害情報受信キューから削除する削除ステップと、ホストを示す情報に基づいて当該ホストのパス情報の更新を実行する実行ステップと、を備えることを特徴とする。
【００１９】
この結果、障害情報を受信するたびにすぐにホストリフレッシュを行うことがなくなる。そして障害情報の通知を受信した後に、同一のホストからの新たな障害情報があった場合には、１つのパスの障害情報を検出して、ホストリフレッシュを行うことができる。これによって、ホストリフレッシュを実行する回数を減らすことができる。パスの瞬断のように、短期間で複数回の障害がある場合には、大幅にホストリフレッシュの実行回数を減らすことができる。
【発明の効果】
【００２０】
本発明のマルチホスト管理サーバは、一時的にキューに障害情報を保存し、所定時間経過後にホストリフレッシュを実行する構成である。これによってマルチホスト管理サーバが、同一ホストに関する最新の障害情報のみを検出し、残りの古い障害情報については削除することができるので、余分なホストリフレッシュを減らすことができる。特に、パスの瞬断のような、短時間で複数回の障害が発生する場合には、ネットワークにかかる負荷を大幅に軽減することができる。
【００２１】
また本発明のマルチホスト管理サーバは、障害情報を受け取っているもののホストリフレッシュを実施していない場合には、ユーザに認識できる構成にした。これにより、ユーザがパスに障害があることを知らぬまま、たとえば断線したパスを利用した操作を行って、各ホストの処理に何らかの不具合が発生する問題を回避することができる。
【発明を実施するための最良の形態】
【００２２】
（１）ストレージシステムの構成
本発明のストレージシステムのシステム全体の概念図を図１に示す。
【００２３】
１は、本発明のストレージシステムを示す。本発明のストレージシステム１は、マルチホスト管理サーバ２がIPネットワーク８を介して複数のホスト３と接続され、複数のホスト３がSAN７を介して複数のストレージ装置４とパスＰにより接続される構成である。
【００２４】
またSAN７においては、ホスト３側のHBA（Host Bus Adapter）ポート１２と、ストレージ装置４側のCHA（Channel Adapter）ポート２０と、がファイバー（Fibre）ケーブルにより接続されている。
【００２５】
なお本明細書における「パスＰ」は論理的なパスである論理パス、物理的なパスである物理パスのいずれであっても良い。
【００２６】
図２に本発明のストレージシステム１のブロック全体図を示す。
【００２７】
マルチホスト管理サーバ２は、システム全体を管理するためのサーバであり、プロセッサ２０、メモリ２１及び記憶デバイス２３のほか、各ホスト３に対する各種設定や実行命令の発行を行うためのＧＵＩ（Graphical User Interface）を表示する管理画面Ｓ１と、各種操作や各種設定入力を行うためのキーボードやマウス等の図示しない入力装置とを備える。
【００２８】
メモリ２１には起動時に記憶デバイス２３から読み出された各種制御プログラムが格納されており、これらの制御プログラムをプロセッサ２０が実行することにより、管理サーバ２全体として各種の処理を実行する。マルチホスト管理ソフトウェア２２も制御プログラムの１つであり、このメモリ２１に格納される。
【００２９】
マルチホスト管理ソフトウェア２２は、各ホスト３におけるパスの監視を行うためのソフトウェアである。マルチホスト管理サーバ２がパスＰに何らかの障害を検知した場合には、障害情報として、少なくともパス情報の一部であるホスト名、パスの識別子を各ホスト３から受信する。
【００３０】
記憶デバイス２３は、例えばハードディスク装置から構成され、各種制御プログラムや各種制御パラメータが格納される。記憶デバイス２３は、後述のホスト情報テーブル２４、統合パス情報テーブル２５及び障害情報テーブル２６も格納する。さらに管理画面Ｓ１としては、例えばＣＲＴ（Cathode-Ray Tube）や液晶モニタなどが適用される。
【００３１】
各ホスト３は、プロセッサ３０、メモリ３１、複数のホストバスアダプタ３２及び記憶デバイス３６等の情報処理資源を備えて構成される。メモリ３１には、業務用のアプリケーションソフトウェアとして業務ソフトウェア３３が格納されており、かかる業務ソフトウェア３３をプロセッサ３０が実行することにより、ホスト３全体として所定の業務処理を実行する。またメモリ３１には、マルチパス管理ソフトウェア３４及び後述するパス管理テーブル３５も格納される。
【００３２】
ホストバスアダプタ３２は、ホスト３がSAN７を介してストレージ装置４にアクセスするためのインタフェースであり、例えばＦＣ（Fibre Channel）カードなどから構成される。
【００３３】
ストレージ装置４は、複数のチャネルアダプタ４０と、コントローラ４１及び図示しない複数の記憶デバイスとから構成される。
【００３４】
チャネルアダプタ４０は、ストレージ装置４がSAN７を介してホスト３と通信するためのインタフェースであり、例えばＦＣカードから構成される。チャネルアダプタ４０には、それぞれ１又は複数のポートが設けられており、これらポートに、それぞれをSAN７上において識別するためのＷＷＮ（World Wide Name）やＩＰ（Internet Protocol）アドレスなどのネットワークアドレスが付与される。
【００３５】
ストレージ装置４に搭載される記憶デバイス（図示せず）は、例えばＦＣディスク等の高価なディスクドライブ、又はＦＡＴＡ（Fibre Attached Technology Adapted）ディスク及びＳＡＴＡ（Serial AT Attachment）ディスクや光ディスクドライブ等の安価なディスクドライブから構成される。１又は複数の記憶デバイスが提供する記憶領域上に１又は複数の論理的なボリューム（以下、これを論理ボリュームと呼ぶ）ＬＵが定義される。そして、この論理ボリュームＬＵは、ホスト３のデータを外部で記憶する外部ボリュームであり、ホスト３からのデータが所定大きさのブロックを単位として読み書きされる。この記憶デバイスは、ホスト３のデータを内部で記憶する記憶デバイス（内部ボリューム）３６と併用して使用される。
【００３６】
各論理ボリュームＬＵには、それぞれ固有の識別子（ＬＵＮ：Logical Unit Number）が割り当てられる。本実施の形態の場合、データの入出力は、この識別子と、各ブロックにそれぞれ割り当てられるそのブロックに固有の番号（ＬＢＡ：Logical Block Address）との組み合わせたものをアドレスとして、当該アドレスを指定して行われる。
【００３７】
コントローラ４１は、ＣＰＵ（Central Processing Unit）及びメモリ等の情報処理資源を備えて構成され、ホスト３からの要求に応じて論理ボリュームＬＵに対するデータの入出力を制御する。
【００３８】
本発明は、マルチホスト管理サーバ２はマルチホスト管理ソフトウェア２２内にあるキューにホスト３からの障害情報を一時的に保存し、所定時間経過後に同一ホストの複数ある障害情報から最新の障害情報を検出して、検出した障害情報からホスト名情報を抽出し、そのホスト３に対してホストリフレッシュを実行する構成であることを特徴とする。
【００３９】
それでは、この特徴を実現するために、まず本発明のマルチホスト管理サーバ２が管理するホスト情報テーブル２４、統合パス情報テーブル２５及び障害情報テーブル２６について具体的に説明する。
【００４０】
（２）ホスト情報テーブル
図３に示すように、ホスト情報テーブル２４は、ホスト３ごとのホスト情報を管理するテーブルであり、「ＨＯＳＴ」欄２４Ａ、「ＩＰアドレス」欄２４Ｂ、「バージョン」欄２４Ｃ及び「フラグ」欄２４Ｄから構成される。
【００４１】
「ＨＯＳＴ」欄２４Ａ、「ＩＰアドレス」欄２４Ｂ及び「バージョン」欄２４Ｃには、ホスト３ごとのホスト名、ホスト３のＩＰアドレス、及びマルチパス管理ソフトウェア３４のソフトウェアバージョンが格納される。また、「フラグ」欄２４Ｄには、ホスト３が管理するパス情報がマルチホスト管理サーバ２内で最新の情報に更新されているか、又は未更新なのかを示す情報が格納される。本実施の形態の「フラグ」欄２４Ｄは、パス情報が更新されていれば「０」、未更新ならば「１」のフラグが立つように設定されている。
【００４２】
（３）パス情報テーブル
図４に示すように、統合パス情報テーブル２５は、複数のパスＰが設定される全てのホスト３のパス情報を統合して管理するテーブルである。具体的に、統合パス情報テーブル２５は、「ＰＡＴＨ」欄２５Ａ、「ＨＯＳＴ」欄２５Ｂ、「ＨＢＡＰ」欄２５Ｃ、「ＩＶＯＬ」欄２５Ｄ、「ＳＴＲＧ」欄２５Ｅ、「ＣＨＡＰ」欄２５Ｆ、「ＥＶＯＬ」欄２５Ｇ及び「ＳＴＡＴ」欄２５Ｈから構成される。
【００４３】
「ＰＡＴＨ」欄２５Ａ、「ＨＯＳＴ」欄２５Ｂ、「ＨＢＡＰ」欄２５Ｃ、「ＩＶＯＬ」欄２５Ｄには、それぞれ、パスＰの識別子、ホスト３のホスト名、ホスト３のHBAポートの識別子、内部ボリュームである記憶デバイス３６の識別子が格納される。また、「ＳＴＲＧ」欄２５Ｅ、「ＣＨＡＰ」欄２５Ｆ、「ＥＶＯＬ」欄２５Ｇには、それぞれ、ストレージ装置４のストレージ名、CHAポートの識別子、外部ボリュームである論理ボリュームＬＵの識別子が格納される。さらに、「ＳＴＡＴ」欄２５Ｈには、パスＰがオンラインであるか否かのパス状態が格納されている。
【００４４】
例えば、図５に示すように、マルチホスト管理サーバ２がホスト３ごとにパス情報の取得又は更新の要求を行うと、パス情報の要求を受信したホスト３が要求に応答する。そしてホスト３は、ホスト３で管理するパス情報をマルチホスト管理サーバ２に送信する。マルチホスト管理サーバ２がパス情報を受信すると、マルチホスト管理サーバ２のプロセッサ２０がマルチホスト管理ソフトウェア２２を動作させる。プロセッサ２０が記憶デバイス２３にある統合パス情報テーブル２５を読み出し、統合パス情報テーブル２５のうち該当するホスト３のパス情報を更新する。
【００４５】
（４）障害情報テーブル
図６に示すように、障害情報テーブル２６は、マルチホスト管理サーバ２が各ホスト３から受け取る障害情報を管理するテーブルである。障害情報テーブル２６は、障害が発生したパスＰと接続されるホスト３のホスト名を示す「ＨＯＳＴ」欄２６Ａ、障害が発生したパスＰの識別子を示す「ＰＡＴＨ」欄２６Ｂ及びホスト３が障害情報を受信した時刻情報を示す「ＤＡＴＥ」欄２６Ｃが格納される。なお、「ＤＡＴＥ」欄２６Ｃには、ホスト３が障害を検知した時刻情報を格納しても良い。
【００４６】
例えば、図７に示すように、複数のパスＰのうち、あるパスＰＦに障害が発生した場合、任意のホスト３は、障害が発生したパスＰＦの障害情報をマルチホスト管理サーバ２に通知する。このとき任意のホスト３は、任意のホスト３の名前、パスＰＦの識別子、任意のホスト３が障害情報を受信した時刻情報を障害情報として通知する。そしてマルチホスト管理サーバ２は、障害情報を受信すると、マルチホスト管理サーバ２のプロセッサ２０がマルチホスト管理ソフトウェア２２を動作させる。プロセッサ２０が記憶デバイス２３にある障害情報テーブル２６を読み出し、障害情報テーブル２６を更新する。
【００４７】
本発明においては、障害情報としてホスト３が受信した時刻情報を含めて説明しているが、パス情報の一部であるホスト名とパスの識別子のみを障害情報としても良い。
【００４８】
（５）パス情報テーブル
次に、ホスト３が管理するパス情報テーブル３５について具体的に説明する。
【００４９】
図８に示すように、パス情報テーブル３５は、１台のホスト３にあるパスＰの状態を常時又は定期的に監視するために、ホスト３ごとがもつパス情報を管理するテーブルである。パス情報テーブル３５は、「ＰＡＴＨ」欄３５Ａ、「ＨＢＡＰ」欄３５Ｂ、「ＩＶＯＬ」欄３５Ｃ、「ＳＴＲＧ」欄３５Ｄ、「ＣＨＡＰ」欄３５Ｅ、「ＥＶＯＬ」欄３５Ｆ及び「ＳＴＡＴ」欄３５Ｇから構成される。
【００５０】
「ＰＡＴＨ」欄３５Ａ、「ＨＢＡＰ」欄３５Ｂ、「ＩＶＯＬ」欄３５Ｃ、「ＳＴＲＧ」欄３５Ｄ、「ＣＨＡＰ」欄３５Ｅ、「ＥＶＯＬ」欄３５Ｆ及び「ＳＴＡＴ」欄３５Ｇは、上述の「ＰＡＴＨ」欄２５Ａ、「ＨＢＡＰ」欄２５Ｃ、「ＩＶＯＬ」欄２５Ｄ、「ＳＴＲＧ」欄２５Ｅ、「ＣＨＡＰ」欄２５Ｆ、「ＥＶＯＬ」欄２５Ｇ及び「ＳＴＡＴ」欄２５Ｈと同様の項目のため、説明を省略する。
【００５１】
（６）マルチホスト管理ソフトウェアの機能
それでは次に、本発明のストレージシステム１におけるマルチホスト管理サーバ２を実現するためのマルチホスト管理ソフトウェア２２の機能を以下に説明する。
【００５２】
まず、マルチホスト管理ソフトウェア２２の機能ブロック図を図９に示す。
【００５３】
なお、マルチホスト管理ソフトウェア２２で説明する機能ブロックに基づいてマルチホスト管理サーバ２のプロセッサ２０が実行することは言うまでもない。
【００５４】
マルチホスト管理ソフトウェア２２は、障害情報受付部２２０、画面表示部２２１、障害情報受信キュー２２２、ホストリフレッシュキュー抽出部２２３、ホストリフレッシュキュー２２４及びホストリフレッシュ実行部２２５を少なくとも備えている。
【００５５】
障害情報受付部２２０は、各ホスト３から、ホスト名、パスの識別子、ホスト３で障害を受信した時刻を障害情報として受け取ると、後述する障害情報受信キュー２２２に障害情報を格納させる機能である。また、障害情報受付部２２０では、記憶デバイス２３の障害情報テーブル２６に受け取った障害情報を登録する。そして障害情報受付部２２０では、記憶デバイス２３内のホスト情報テーブル２４を参照して、障害情報を受け取ったホスト３に対応するホスト情報テーブル２４内の該当箇所に未更新のフラグ「１」を立てる。
【００５６】
画面表示部２２１は、ホスト３の状態をユーザに通知する機能である。具体的には、画面表示部２２１では、障害情報を受け取った後にホスト情報テーブル２４から参照して、当該ホスト３に対してホストリフレッシュが実行されたか、又は、未実行であるかの状態をユーザに通知する。すなわち画面表示部２２１では、当該ホスト３に対してパス情報の更新がされたか、又は、未更新であるかの状態をユーザに通知する。
【００５７】
ユーザに通知する方法としては、マルチホスト管理サーバ２の管理画面Ｓ１において、各ホスト３を示すアイコン上に何らかのマークを付加するなどの、表示処理を行って通知する。マルチホスト管理サーバ２の管理画面Ｓ１において、ユーザにメッセージを通知しても良い。
【００５８】
図１０に、ユーザに通知する方法として、マルチホスト管理サーバ２の管理画面Ｓ１上に表示するアイコンを利用する一例を示す。
【００５９】
図１０の場合、一番上と一番下のアイコンＩＣ１，ＩＣ３が通常状態のホスト３であることを示すアイコンである。真ん中のアイコンＩＣ２には、当該ホスト３について障害情報の通知を受け取っているが、ホストリフレッシュが実行されていない（当該ホストのパス情報が未更新である）ことを示すアイコンＩＣＮが付加されている。加えて、真ん中のアイコンＩＣ２は、「（未更新）」と表示される。
【００６０】
このように、ホスト情報テーブル２４において、ホストリフレッシュが未実行である（パス情報が未更新である）フラグが立っている場合には、図１０の真ん中のアイコンＩＣ２、ＩＣＮを表示させる。ホスト情報テーブル２４において、フラグが立っていない場合、又は、ホストリフレッシュが実行済み（パス情報が更新済み）フラグが立っている場合には、図１０の一番上又は一番下のアイコンＩＣ１，ＩＣ３を表示させる。
【００６１】
図１１に示すように、例えば、マルチホスト管理サーバ２の管理画面Ｓ１内のホスト画面Ｓ２には、ホスト３がツリー表示されている。障害情報をもつホスト３の識別子が「２」の場合、ユーザはホスト画面Ｓ２で統合パス情報テーブル２５の未更新状態を確認することができる。そして、ユーザが、「Host-2」のアイコンＩＣ２をクリックすると、パス情報一覧画面Ｓ３には、統合パス情報テーブル２５のうちHost-2に関するパス情報のみが出力される。
【００６２】
さらに図１２に示すように、障害情報をもつホスト３の識別子が「２」の場合、ユーザはマルチホスト管理サーバ２の管理画面Ｓ１内のホスト画面Ｓ２で障害情報テーブル２６を確認することができる。そして、ユーザが、「Host-2」のアイコンＩＣ２をクリックすると、障害情報一覧画面Ｓ４にHost-2を含めた障害情報テーブル２６が出力される。
【００６３】
図９に戻り、障害情報受信キュー２２２は、ホスト３から受信した障害情報の時刻や障害検知時刻などの時刻情報を登録する機能である。
【００６４】
ホストリフレッシュキュー抽出部２２３は、障害受信時刻から所定時間を経過した障害情報を抽出する機能と、同一ホストの障害情報から最新の障害情報を検索する機能と、を有する。また、ホストリフレッシュ抽出部２２３は、同一ホストに関するホストを示す情報を後述するホストリフレッシュキュー２２４に登録する機能を有する。さらにホストリフレッシュキュー抽出部２２３は、ホストリフレッシュキュー２２４に登録後、同一ホストに関する全ての障害情報を障害情報受信キュー２２２から削除する機能も有する。なお、本発明において、ホストを示す情報は、ホスト名の情報（以下、ホスト名情報という）で示すことにするが、マルチホスト管理サーバ２が所定のホスト３であると認識できる情報であれば良い。
【００６５】
ホストリフレッシュキュー２２４は、ホストリフレッシュの対象となるホスト名情報を格納する機能である。ここに格納されている障害情報をもつホスト３は、後述するホストリフレッシュ実行部２２５によるホストリフレッシュ処理の対象となる。
【００６６】
ホストリフレッシュ実行部２２５は、ホストリフレッシュを実行させる機能である。ホストリフレッシュキュー２２４に登録されているホスト名情報をホストリフレッシュ実行部２２５が取得すると、スレッドＴ１〜Ｔｎが起動する。起動するスレッドＴ１〜Ｔｎの数には、制限を設けてある。スレッドＴ１〜Ｔｎの数は、短い時間で同時に多くのパス情報を更新するホストリフレッシュが複数のホスト３に対して実行されない数を設定する。
【００６７】
そしてホストリフレッシュ実行部２２５では、該当するホスト３に対して、ホストリフレッシュが実行される。すなわち、記憶デバイス２３の統合パス情報テーブル２５が更新される。具体的には、図７に示すように、ある１つのパスＰＦに障害が発生したとする。そうすると、このパスＰＦを管理するホスト３に該当する統合パス情報テーブル２５内のステータスは、「offline」に設定される。
【００６８】
なおホストリフレッシュについては、ホスト３ごとに行うことが好ましいが、パスＰごとに行っても良い。
【００６９】
なお図９に示すマルチホスト管理ソフトウェア２２の各機能は、本発明のストレージシステム１を技術的に特徴づける機能を示しただけであり、マルチホスト管理ソフトウェア２２が通常備える機能については図示していない本発明における各機能は、論理的に区別されているのみであって、物理上あるいは事実上は同一の領域であっても良い。
【００７０】
（６−１）障害情報受信処理
次に、マルチホスト管理サーバ２が、本発明のホストリフレッシュを実現するための障害情報受信処理のフローチャートを図１３及び図１４に示す。マルチパス管理サーバ２のプロセッサ２０がマルチホスト管理ソフトウェア２２に基づいて障害情報受信処理を実行する。
【００７１】
具体的には、マルチホスト管理サーバ２のプロセッサ２０が、各ホスト３からパスＰに関する障害情報を受信するまで待機をする（Ｓ１００）。
【００７２】
そしてプロセッサ２０が、あるホスト３からパスＰに関する障害情報が受信されると、障害情報受付部２２０で障害情報を受け付ける（Ｓ１０１）。
【００７３】
プロセッサ２０が、受け付けた障害情報を受信時刻と共に、障害情報受信キュー２２２に登録すると（Ｓ１０２）、障害情報受付部２２０で、ホスト情報テーブル２４の当該障害情報をもつホスト３に対応する箇所に、未更新フラグ「１」を立てる（Ｓ１０３）。
【００７４】
プロセッサ２０は、ホストリフレッシュキュー抽出部２２３で障害情報受信キュー２２２に格納されている各障害情報の受信時刻を参照し、受信時刻から所定時間経過した障害情報があるか否かを判断する。（Ｓ１０４）。ここで所定時間とは、ホストリフレッシュキュー抽出部２２３で障害情報を受信する受信時刻から１０秒から２０秒ほど経過した時間をいう。
【００７５】
プロセッサ２０は、受信時刻から所定時間経過した障害情報があると判断すると（Ｓ１０４：ＹＥＳ）、プロセッサ２０は、ホストリフレッシュキュー抽出部２２３で、受信した障害情報と同一ホスト３の障害情報が、障害情報受信キュー２２２に複数格納されていないかを検索する（Ｓ１０５）。
【００７６】
プロセッサ２０は、障害情報受信キュー２２２に同一ホスト３の障害情報が複数格納されていることを検出した場合には（Ｓ１０５：ＹＥＳ）、さらに、同一ホスト３に関する複数の障害情報から最新の受信時刻である障害情報を検出する（Ｓ１０６）。そしてプロセッサ２０は、検出した障害情報をもつホスト名情報をホストリフレッシュキュー２２４に登録する（Ｓ１０７）。
【００７７】
その後プロセッサ２０は、同一のホスト３に関する全ての障害情報を障害情報受信キュー２２２から削除し（Ｓ１０８）、再びホスト３からパスＰに関する障害情報を受信するまで待機をすることなる（Ｓ１００）。
【００７８】
一方、プロセッサ２０は、障害情報受信キュー２２２に同一ホスト３の障害情報が複数格納されていないことを検出した場合には（Ｓ１０５：ＮＯ）、受信した障害情報のホスト名情報をホストリフレッシュキュー２２４に登録する（Ｓ１０９）。
【００７９】
そしてプロセッサ２０は、ホスト３の障害情報を障害情報受信キュー２２２から削除し（Ｓ１１０）、再びホスト３からパスに関する障害情報を受信するまで待機をすることなる（Ｓ１００）。
【００８０】
なお、ステップＳ１０４において、プロセッサ２０は、受信時刻から所定時間経過した障害情報がないと判断した場合も（Ｓ１０４：ＮＯ）、再びホスト３からパスに関する障害情報を受信するまで待機をすることなる（Ｓ１００）。
【００８１】
ここで、上述した障害情報受信処理の一例を、図１５を用いて説明する。図１５の障害情報受信キュー２２２には、ホスト名が「１」でパスの識別子が「１」で受信時刻が「５月１日１０時１５分２０秒」の障害情報（「障害情報Ｆ１」とする）と、ホスト名が「２」でパスの識別子が「２」で受信時刻が「５月１日１０時１５分２１秒」の障害情報（「障害情報Ｆ２」とする）と、ホスト名が「１」でパスの識別子が「１」で受信時刻が「５月１日１０時１５分２３秒」の障害情報（「障害情報Ｆ３」とする）と、ホスト名が「３」でパスの識別子が「３」で受信時刻が「５月２日５時１０分２０秒」の障害情報（「障害情報Ｆ４」とする）、の合計４つの障害情報が格納されている。
【００８２】
そしてプロセッサ２０は、ホストリフレッシュキュー抽出部２２３で障害情報受信キュー２２２を常時あるいは定期的に監視している。プロセッサ２０は、障害情報Ｆ１の受信時刻から所定時間を経過すると、障害情報Ｆ１を障害情報受信キュー２２２から抽出する。
【００８３】
そして、プロセッサ２０は、障害情報Ｆ１の障害情報におけるホスト名「１」と同一のホスト名を含む障害情報が障害情報受信キュー２２２に格納されているかを検索する（すなわちホスト名「１」を含むほかの障害情報が障害情報受信キュー２２２に格納されているかを検索する）。そうすると、プロセッサ２０は、障害情報Ｆ３の障害情報におけるホスト名が「１」で同一であると判断する。
【００８４】
プロセッサ２０は、障害情報Ｆ３の障害情報に対応する受信時刻を抽出し、障害情報Ｆ１の障害情報に対応する受信時刻（５月１日１０時１５分２０秒）と、障害情報Ｆ３の障害情報に対応する受信時刻（５月１日１０時１５分２３秒）とを比較し、最新の障害情報を選択する。
【００８５】
そうすると、プロセッサ２０は、障害情報Ｆ３の障害情報が最新の障害情報であると判断できるので、障害情報Ｆ３の障害情報におけるホスト名情報（ここでは「Host=1」）Ｈ３をホストリフレッシュキュー２２４に登録する。
【００８６】
なおホストリフレッシュキュー抽出部２２３がホストリフレッシュキュー２２４にホスト名情報Ｈ１〜Ｈ３を登録する際には、障害情報Ｆ１〜Ｆ４そのものを登録しても良いし、障害情報の一部であるホスト名情報Ｈ１〜Ｈ３を登録することであっても良い。すなわち、どのホスト３がホストリフレッシュの対象となっているかがわかる情報をホストリフレッシュキュー２２４に登録すれば良い。
【００８７】
最新の障害情報Ｆ３に基づいて、プロセッサ２０が、ホストリフレッシュキュー２２４にホスト名情報Ｈ３を登録すると、障害情報Ｆ１および障害情報３は不要となるので、これらの障害情報Ｆ１，Ｆ３を障害情報受信キュー２２２から削除する。
【００８８】
以上の処理をプロセッサ２０がホストリフレッシュキュー抽出部２２３を実行させることで、障害情報受信キュー２２２には障害情報Ｆ２と障害情報Ｆ４とが残り、再度、障害情報受信キュー２２２の監視を継続することとなる。
【００８９】
ホストリフレッシュキュー２２４に格納されたホスト名情報Ｈ１〜Ｈ３により、プロセッサ２０は、どのホストのパス情報を更新しなければならないか判断することができる。
【００９０】
（６−２）パス情報更新処理
そこで次に、プロセッサ２０がスレッドＴ１〜Ｔｎを実行させて、パス情報を更新するパス情報更新処理について説明する。パス情報更新処理は、プロセッサ２０がマルチホスト管理ソフトウェア２２に基づいて実行する。
【００９１】
具体的には、図１６に示すように、プロセッサ２０は、常時又は定期的にホストリフレッシュキュー２２４を監視している（Ｓ２００）。プロセッサ２０は、ホストリフレッシュキュー２２４にホスト名情報Ｈが登録されると、順次スレッドＴ１〜Ｔｎにホスト名情報が取得される（Ｓ２０１）。
【００９２】
プロセッサ２０は、そのホスト名情報を有するホスト３に対して、ホストリフレッシュを実行する（Ｓ２０２）。具体的には、プロセッサ２０は、ホスト名情報を取得したホスト３に対してパス情報の取得要求を行う。そして、パス情報の取得要求を受け取ったホスト３は、記憶デバイス３６に格納されたパス情報を、マルチホスト管理サーバ２に転送する。パス情報を受け取ったマルチホスト管理サーバ２は、記憶デバイス２３にある統合パス情報テーブル２５を更新する。これによってスレッドＴ１〜Ｔｎで取得したホスト３のパス情報が更新されたこととなる。
【００９３】
プロセッサ２０は、ホストリフレッシュを実行後、ホストリフレッシュキュー２２４からは、当該ホスト名情報が削除され（Ｓ２０３）、ホスト情報テーブル２４における、ホストリフレッシュを実行したかを示す未更新フラグを削除して更新フラグ「０」に変更する（Ｓ２０４）。
【００９４】
プロセッサ２０は、ホスト情報テーブル２４を更新すると、再びステップＳ２００に戻り、ホストリフレッシュキュー２２４を監視することとなる。
【００９５】
なおホストリフレッシュ実行部２２５におけるスレッドＴ１〜Ｔｎは、図９に示すように複数備えていることが好ましいが、ひとつであっても良い。またスレッドＴ１〜Ｔｎが複数存在する場合には、各スレッドＴ１〜Ｔｎは各々並行して処理を実行する。更に、スレッドＴ１〜Ｔｎの数は任意に設定可能であるが、その数に制限を設けることによって、短時間に多数のホストリフレッシュが同時に実行されることを防止することもできる。
【００９６】
（７）本実施の形態の効果
本実施の形態のマルチホスト管理サーバは、一時的にキューに障害情報を保存し、所定時間経過後にホストリフレッシュを実行する構成である。この構成により、マルチホスト管理サーバが、所定時間を経過した同一ホストの障害情報を抽出し、この障害情報から最新の障害情報のみを検出する。マルチホスト管理サーバは、同一ホストの最新の障害情報に基づいてホストリフレッシュを実施し、最新の障害情報を含めた全ての障害情報についてはキューから削除する。これにより本実施の形態のストレージシステムでは、余分なホストリフレッシュを減らすことができる。特に、パスの瞬断のような、短時間で複数回の障害が発生する場合には、ネットワークにかかる負荷を大幅に軽減することができる。
【００９７】
また本実施の形態のマルチホスト管理サーバは、障害情報を受信してからすぐにホストリフレッシュを実施するのではなく、一定時間待機をさせてからホストリフレッシュを実施する。そのため、障害情報の受信とホストリフレッシュとの間にタイムラグが存在する。したがってマルチホスト管理サーバは、障害情報を受け取っているもののホストリフレッシュを実施していない場合には、この状態をユーザに認識できる構成にした。これにより、ユーザがパスに障害があることを知らぬまま、たとえば断線したパスを利用した操作を行って、各ホストの処理に何らかの不具合が発生する問題を回避することができる。
【図面の簡単な説明】
【００９８】
【図１】本実施の形態のストレージシステム全体の概念図である。
【図２】本実施の形態のストレージシステム全体のブロック図である。
【図３】本実施の形態のマルチホスト管理サーバが管理するホスト情報テーブルを示す図表である。
【図４】本実施の形態のマルチホスト管理サーバが管理するパス情報テーブルを示す図表である。
【図５】本実施の形態のマルチホスト管理サーバがパス情報の要求を行う概念図である。
【図６】本実施の形態のマルチホスト管理サーバが管理する障害情報テーブルを示す図表である。
【図７】本実施の形態のマルチホスト管理サーバが障害情報を受信する概念図である。
【図８】本実施の形態のホストが管理するパス情報テーブルを示す図表である。
【図９】本実施の形態のマルチホスト管理ウェアがもつ機能ブロック図である。
【図１０】本実施の形態のホストを示すアイコンの管理画面図である。
【図１１】本実施の形態のパス情報テーブルを示す管理画面図である。
【図１２】本実施の形態の障害情報テーブルを示す管理画面図である。
【図１３】本実施の形態の障害受信処理を示すフローチャートである。
【図１４】本実施の形態の障害受信処理を示すフローチャートである。
【図１５】本実施の形態の障害受信処理を示す概念図である。
【図１６】本実施の形態のパス情報更新処理を示すフローチャートである。
【符号の説明】
【００９９】
１…ストレージシステム、  ２…マルチホスト管理サーバ、  ３…ホスト、  ４…ストレージ装置、  ２２…マルチホスト管理ソフトウェア、  ２４…ホスト情報テーブル、  ２５…パス情報テーブル、  ２６…障害情報テーブル、３４…マルチパス管理ソフトウェア、  ２２０…障害情報受付部、  ２２１…画面表示部、  ２２２…障害情報受信キュー、  ２２３…ホストリフレッシュキュー抽出部、  ２２４…ホストリフレッシュキュー、  ２２５…ホストリフレッシュ実行部、  Ｔ…スレッド、  Ｐ…パス、  ＰＦ…障害発生のパス。
【図１】
0004824638.tif 000002
【図２】
0004824638.tif 000003
【図３】
0004824638.tif 000004
【図４】
0004824638.tif 000005
【図５】
0004824638.tif 000006
【図６】
0004824638.tif 000007
【図７】
0004824638.tif 000008
【図８】
0004824638.tif 000009
【図９】
0004824638.tif 000010
【図１０】
0004824638.tif 000011
【図１１】
0004824638.tif 000012
【図１２】
0004824638.tif 000013
【図１３】
0004824638.tif 000014
【図１４】
0004824638.tif 000015
【図１５】
0004824638.tif 000016
【図１６】
0004824638.tif 000017