(57)【要約】【課題】迅速に障害の予兆を検知可能な障害予兆検知装置を得ること。【解決手段】本発明にかかる障害予兆検知装置は、情報システムの障害の予兆を検知する障害予兆検知装置であって、たとえば、測定項目毎の実測定値を周期的に記憶するための監視対象測定値データベース５と、過去の障害発生時における測定項目毎の障害時測定値を過去の障害ケース毎に記憶するための障害特異点データベース３と、障害予兆検知の有無の判断基準となるしきい値を記憶するための通知種別しきい値データベース４と、障害ケース毎に所定の計算式を演算することにより同一測定項目における実測定値と障害時測定値の差分である測定項目毎の差分を単一値として数値化し、さらに、当該単一値としきい値とを比較することにより障害予兆検知の有無を判断する障害監視サーバ部１と、を備える。【選択図】        図１
2010009313.tif 000002
【特許請求の範囲】
【請求項１】
情報システムの障害の予兆を検知する障害予兆検知装置であって、
前記情報システムの状態を監視するための測定項目の測定値である、測定項目毎の実測定値を、周期的に記憶するための実測定値記憶手段と、
過去の障害発生時における前記測定項目の測定値である、測定項目毎の障害時測定値を、過去の障害ケース毎に記憶するための障害時測定値記憶手段と、
障害予兆検知の有無の判断基準となるしきい値を記憶するためのしきい値記憶手段と、
前記障害ケース毎に所定の計算式を演算することにより、同一測定項目における実測定値と障害時測定値の差分である測定項目毎の差分を単一値として数値化し、さらに、当該単一値と前記しきい値とを比較することにより障害予兆検知の有無を判断する障害監視手段と、
を備えることを特徴とする障害予兆検知装置。
【請求項２】
前記しきい値として、障害が発生する可能性の大きさに応じて段階的に規定した複数のしきい値を、前記しきい値記憶手段に記憶することとし、
前記障害監視手段は、前記障害予兆検知の有無の判断結果として、障害が発生する可能性の大きさを通知することを特徴とする請求項１に記載の障害予兆検知装置。
【請求項３】
前記複数のしきい値を、過去の障害ケース毎に個別に記憶することを特徴とする請求項２に記載の障害予兆検知装置。
【請求項４】
前記障害監視手段は、
前記障害ケース毎に、同一測定項目における障害時測定値とその障害発生時の所定時間前に測定した測定値との差分である、測定項目毎の差分を、単一値として数値化する演算を行い、当該障害ケース毎に得られる単一値を、それぞれ前記しきい値として前記しきい値記憶手段に記録し、
前記障害ケース毎に得られるしきい値を用いて、前記障害予兆検知の有無を判断することを特徴とする請求項１に記載の障害予兆検知装置。
【請求項５】
前記所定時間が段階的に複数規定されている場合、
前記障害監視手段は、前記しきい値として、前記障害ケース毎に段階的に得られるしきい値を記録し、前記障害予兆検知の有無の判断結果として、過去の障害発生時の所定時間前の状況と同様の状況であることを通知することを特徴とする請求項４に記載の障害予兆検知装置。
【請求項６】
前記障害監視手段は、前記測定項目毎の実測定値を得るための測定処理を周期的に実施し、測定の都度、過去の全障害ケースについて、前記障害予兆検知の有無を判断することを特徴とする請求項１〜５のいずれか一つに記載の障害予兆検知装置。
【請求項７】
前記障害監視手段は、前記単一値と前記しきい値とを比較する処理において、当該単一値がしきい値より小さい場合に、障害の予兆を検知したと判断することを特徴とする請求項１〜６のいずれか一つに記載の障害予兆検知装置。
【請求項８】
前記所定の計算式として、最小２乗法による演算を行うことを特徴とする請求項１〜７のいずれか一つに記載の障害予兆検知装置。
【請求項９】
前記所定の計算式として、障害ケース毎に異なる計算式を適宜指定して実行可能とすることを特徴とする請求項１〜７のいずれか一つに記載の障害予兆検知装置。
【請求項１０】
前記測定項目を、システムの重要拠点間のＰｉｎｇ応答とトラフィック負荷の２つとすることを特徴とする請求項１〜９のいずれか一つに記載の障害予兆検知装置。
【請求項１１】
前記測定項目の追加および削除を可能とすることを特徴とする請求項１〜１０のいずれか一つに記載の障害予兆検知装置。
【請求項１２】
前記障害時測定値の追加および削除を可能とすることを特徴とする請求項１〜１１のいずれか一つに記載の障害予兆検知装置。
【請求項１３】
前記測定の周期を変更可能とすることを特徴とする請求項１〜１２のいずれか一つに記載の障害予兆検知装置。
【請求項１４】
前記障害監視手段は、前記測定項目の測定値を、測定値の単位の違いや測定項目毎の障害に対する影響度の違いに応じて重み付けし、その結果を前記所定の計算式に反映することを特徴とする請求項１〜１３のいずれか一つに記載の障害予兆検知装置。
【請求項１５】
前記重み付けに使用する重み付け係数を変更可能とすることを特徴とする請求項１４に記載の障害予兆検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報システムにおける障害の予兆を検知する障害予兆検知装置に関する。
【背景技術】
【０００２】
従来の障害監視方式は、監視対象システムを監視するため、単一または複数の測定項目（たとえばルータのＣＰＵ負荷）を設定し、各測定項目で過去の経験から正常値と思われる範囲またはしきい値を設定する。監視装置が周期的に監視対象システムを測定し、測定値が正常値と思われる範囲内か、またはしきい値を超えていないかどうかを確認する。たとえば、測定値が正常値と思われる範囲を外れるか、またはしきい値を超えた場合、監視装置は、障害が発生している、または障害が発生する可能性がある、と判断して監視保守員に通知する。このような障害監視方式が下記特許文献１に開示されている。
【０００３】
【特許文献１】特開２００６−０９９２４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術によれば、監視保守員は、測定項目が正常値と思われる範囲を外れたこと、またはしきい値を超えたことは把握できるが、それらの状況をもってすぐに障害が発生したとは断定できない。また、監視保守員は、通知を受けた測定項目以外の測定項目や複合的な要因を確認して、経験と知識から障害の有無を判断している。そのため、従来技術では、迅速な障害の検出ができない可能性がある、という問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、より迅速に障害の予兆を検知可能な障害予兆検知装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、情報システムの障害の予兆を検知する障害予兆検知装置であって、情報システムの状態を監視するための測定項目の測定値である測定項目毎の実測定値を周期的に記憶するための実測定値記憶手段と、過去の障害発生時における前記測定項目の測定値である測定項目毎の障害時測定値を、過去の障害ケース毎に記憶するための障害時測定値記憶手段と、障害予兆検知の有無の判断基準となるしきい値を記憶するためのしきい値記憶手段と、障害ケース毎に所定の計算式を演算することにより同一測定項目における実測定値と障害時測定値の差分である測定項目毎の差分を単一値として数値化し、さらに、当該単一値としきい値とを比較することにより障害予兆検知の有無を判断する障害監視手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
この発明によれば、監視保守員の経験や知識に頼らない障害の予兆の検知ができる、という効果を奏する。
【発明を実施するための最良の形態】
【０００８】
以下に、本発明にかかる障害予兆検知装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【０００９】
実施の形態１．
図１は、実施の形態１の障害予兆検知装置の構成例を示す図である。障害予兆検知装置は、障害監視サーバ部１と、監視保守員が操作する障害監視端末部２と、障害特異点データベース３と、通知種別しきい値データベース４と、監視対象測定値データベース５と、を備える。
【００１０】
障害監視サーバ部１は、監視対象システムの障害監視を行う装置である。具体的には、障害監視端末部２から受け取った測定項目に基づき、監視対象システムの監視（測定）を行い、測定値を監視対象測定値データベース５に登録する。また、測定値と障害特異点データベース３に登録されている各障害特異点との距離を計算する。そして、求めた距離と通知種別しきい値データベース４に登録されているしきい値とを比較し、求めた距離が登録したしきい値以下の場合、障害監視端末部２を通じて監視保守員に、監視対象システムの障害の予兆を検知したことを通知する。また、障害監視サーバ部１は、障害特異点データベース３と、通知種別しきい値データベース４と、監視対象測定値データベース５について、登録内容の参照および更新を可能とする。
【００１１】
なお、上記「距離」は、測定値と障害特異点との差分である。また、上記「障害特異点」は、障害発生時の測定値の組み合わせである。具体的には、たとえば、測定項目をＸ，Ｙとした場合、過去に障害が発生した際のＸの測定値Ｘ１とＹの測定値Ｙ１との組み合わせ（Ｘ１，Ｙ１）が障害特異点である。本実施の形態では、障害予兆検知装置が測定する項目を、たとえば、ネットワークシステムの重要拠点間のＰｉｎｇ応答とトラフィック負荷の２つとする。それぞれの測定値について、以降、Ｐｉｎｇ応答値を「Ｘ」、トラフィック負荷値を「Ｙ」とする。なお、本実施の形態では、説明の便宜上、測定項目を２つとするが、これに限らず、１つであってもよくまた３つ以上であってもよい。
【００１２】
障害監視端末部２は、障害監視サーバ部１が測定する項目等を入力し、測定開始後は障害監視サーバ部１からの通知を表示する。障害特異点データベース３は、障害特異点を登録したデータベースである。通知種別しきい値データベース４は、距離との比較対象であるしきい値を通知の種別ごとに登録したデータベースである。監視対象測定値データベース５は、障害監視サーバ部１が測定した測定値を登録するデータベースである。
【００１３】
また、障害予兆検知装置は、監視対象システムを監視する場合、上記測定項目の他に、測定周期や監視方法（複数回測定して平均値を測定値とする、最大値または最小値を測定値とする、等の測定値の決定方法）、距離の計算方法についても任意に設定可能である。
【００１４】
つづいて、障害監視処理を図２に基づいて詳細に説明する。図２は、本実施の形態の障害監視処理を示すフローチャートである。まず、監視（測定）を開始する前の事前準備として、障害監視サーバ部１は、障害監視端末部２からの入力に基づき測定条件等の設定を行う（ステップＳ１）。たとえば、設定する測定条件は、測定項目，測定周期，監視方法，距離の計算方法，障害特異点（過去に障害が発生した時点での測定値），通知種別毎のしきい値、である。本実施の形態では、一例として、測定周期を５分周期とし、監視方法としては、測定した１回の結果をそのまま使用する。また、距離の計算方法は最小２乗法とする。
【００１５】
上記ステップＳ１の処理において、障害監視サーバ部１は、上記障害特異点を障害特異点データベース３に登録する。ここでは、障害特異点（Ｘ，Ｙ）として、Ｚ１（１００，１５０），Ｚ２（４００，４００），Ｚ３（７００，１００）の３つの障害特異点を登録する。これは、過去の障害発生時のＰｉｎｇ応答値Ｘとトラフィック負荷値Ｙの測定値が、それぞれ（１００，１５０），（４００，４００），（７００，１００）であったことを示している。
【００１６】
また、上記ステップＳ１の処理において、障害監視サーバ部１は、上記通知種別毎のしきい値を通知種別しきい値データベース４に登録する。ここでは、図１に示すように、３つの障害特異点に共通のしきい値として、注意通知を行うかどうかを判断するためのしきい値である注意通知しきい値を「１００」とし、障害警告通知を行うかどうかを判断するためのしきい値である障害警告通知しきい値を「４５」とする。なお、本実施の形態では、一例として、３つの障害特異点に共通のしきい値を登録することとしたが、これに限らず、しきい値を障害特異点ごとに登録することも可能である。また、障害監視サーバ部１は、測定値と障害特異点との距離を計算した結果、求めた距離が「１００」より大きい場合、監視対象システムの障害の予兆を検知していないと判断して、いずれの通知も行わない。また、距離が「１００」以下で「４５」より大きい場合は、注意通知を障害監視端末部２へ送る。また、距離が「４５」以下の場合は、障害警告通知を障害監視端末部２へ送る。なお、ここでは、通知の種別を２つとしたが、これに限定するものではなく、１つまたは３つ以上としてもよい。
【００１７】
図３は、障害特異点データベース３に登録した障害特異点をプロットした状態を示す図である。過去に発生した３つの障害ケースについて、それぞれの障害発生時の各測定項目の値を、Ｘ，Ｙの２次元グラフにプロットした状態を表している。登録した３点の障害特異点をそれぞれＺ１，Ｚ２，Ｚ３で表す。また、各障害特異点を中心にして２つの円があり、外側の円は半径１００の注意通知しきい値を示す円であり、内側の円は半径４５の障害警告通知しきい値を示す円である。これらのしきい値は、通知種別しきい値データベース４に登録した各しきい値に対応する。
【００１８】
上記ステップＳ１により事前準備を完了した後、つぎに、障害監視サーバ部１は、障害特異点の数を設定する。本実施の形態では、３点の障害特異点を登録しているので、障害特異点数Ｎを「３」に設定する（ステップＳ２）。
【００１９】
つぎに、障害監視サーバ部１は、障害監視端末部２から測定開始指示を受け取った時点より、各測定項目についての１回目の測定を開始し（ステップＳ３）、測定値を監視対象測定値データベース５に登録する。本実施の形態では、一例として、２月２２日の１３：００から１回目の測定を開始する（ステップＳ３）。そして、１回目の測定で、たとえば、ネットワークシステムの重要拠点間のＰｉｎｇ応答値として「１００」が、トラフィック負荷測定値として「４００」が、それぞれ得られた場合、障害監視サーバ部１は、それらの測定値を監視対象測定値データベース５に登録し、障害特異点の番号Ｉを１にする（ステップＳ４）。
【００２０】
つぎに、障害監視サーバ部１は、Ｉの値がステップＳ２で設定した障害特異点数Ｎ（＝３）以下となっているので（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ１から距離を計算し、求めた距離が通知種別しきい値データベース４に登録した注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。測定値と障害特異点の距離は、最小２乗法により、
「（（測定したＰｉｎｇ応答値−障害特異点のＰｉｎｇ応答値）2＋（測定したトラフィック負荷値−障害特異点のトラフィック負荷値）2）の平方根」
を計算する。具体的には、測定値（１００，４００）と障害特異点Ｚ１（１００，１５０）との距離を計算すると、
「（（１００−１００）2＋（４００−１５０）2）の平方根」＝「２５０」
となり、求めた距離「２５０」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝１）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２１】
つぎに、障害監視サーバ部１は、Ｉの値が２であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ２との距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（１００，４００）と障害特異点Ｚ２（４００，４００）との距離を計算すると、
「（（１００−４００）2＋（４００−４００）2）の平方根」＝「３００」
となり、求めた距離「３００」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、上記同様、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝２）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２２】
つぎに、障害監視サーバ部１は、Ｉの値が３であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ３との距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（１００，４００）と障害特異点Ｚ３（７００，１００）との距離を計算すると、
「（（１００−７００）2＋（４００−１００）2）の平方根」＝「６７０．８」
となり、求めた距離「６７０．８」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、上記同様、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝３）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２３】
つぎに、障害監視サーバ部１は、Ｉの値が４であり、Ｎ（＝３）より大きいため（ステップＳ５：Ｙｅｓ）、つぎの測定時間まで待機する（ステップＳ１１）。本実施の形態では、測定周期を５分に設定しているため、１回目の測定から５分経過後に２回目の測定を行う（ステップＳ３）。具体的には、障害監視サーバ部１は、２月２２日の１３：０５に２回目の測定を行う（ステップＳ３）。そして、たとえば、ネットワークシステムの重要拠点間のＰｉｎｇ応答値として「１５０」が、トラフィック負荷測定値として「３００」が、それぞれ得られた場合、障害監視サーバ部１は、それらの測定値を監視対象測定値データベース５に登録し、Ｉの値を「１」に戻す（ステップＳ４）。
【００２４】
つぎに、障害監視サーバ部１は、Ｉの値が１であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、１回目の測定と同様、測定値と障害特異点から距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（１５０，３００）と障害特異点Ｚ１（１００，１５０）との距離を計算すると、
「（（１５０−１００）2＋（３００−１５０）2）の平方根」＝「１５８．１」
となり、求めた距離「１５８．１」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝１）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２５】
つぎに、障害監視サーバ部１は、Ｉの値が２であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ２との距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（１５０，３００）と障害特異点Ｚ２（４００，４００）との距離を計算すると、
「（（１５０−４００）2＋（３００−４００）2）の平方根」＝「２６９．３」
となり、求めた距離「２６９．３」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝２）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２６】
つぎに、障害監視サーバ部１は、Ｉの値が３であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ３との距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（１５０，３００）と障害特異点Ｚ３（７００，１００）との距離を計算すると、
「（（１５０−７００）2＋（３００−１００）2）の平方根」＝「５８５．２」
となり、求めた距離「５８５．２」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝３）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２７】
つぎに、障害監視サーバ部１は、Ｉの値が４であり、Ｎ（＝３）より大きいため（ステップＳ５：Ｙｅｓ）、つぎの測定時間まで待機し（ステップＳ１１）、２回目の測定から５分経過後に３回目の測定を行う（ステップＳ３）。具体的には、障害監視サーバ部１は、２月２２日の１３：１０に３回目の測定を行う（ステップＳ３）。そして、たとえば、ネットワークシステムの重要拠点間のＰｉｎｇ応答値として「３６０」が、トラフィック負荷測定値として「３６０」が、それぞれ得られた場合、障害監視サーバ部１は、それらの測定値を監視対象測定値データベース５に登録し、Ｉの値を「１」に戻す（ステップＳ４）。
【００２８】
つぎに、障害監視サーバ部１は、Ｉの値が１であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点から距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。測定値（３６０，３６０）と障害特異点Ｚ１（１００，１５０）との距離を計算すると、
「（（３６０−１００）2＋（３６０−１５０）2）の平方根」＝「３３４．２」
となり、求めた距離「３３４．２」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝１）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００２９】
つぎに、障害監視サーバ部１は、Ｉの値が２であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ２との距離を計算し、求めた距離が注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（３６０，３６０）と障害特異点Ｚ２（４００，４００）との距離を計算すると、
「（（３６０−４００）2＋（３６０−４００）2）の平方根」＝「５６．６」
となり、求めた距離「５６．６」と注意通知しきい値「１００」を比較すると、求めた距離の方が小さい（ステップＳ６：Ｙｅｓ）。したがって、障害監視サーバ部１は、つぎに、求めた距離が通知種別しきい値データベース４に登録した障害警告通知しきい値以下であるかどうかを比較する（ステップＳ７）。求めた距離「５６．６」と障害警告通知しきい値「４５」を比較すると、求めた距離の方が大きい（ステップＳ７：Ｎｏ）。したがって、障害監視サーバ部１は、注意通知を行う条件と判断し、障害監視端末部２に注意通知を送信する（ステップＳ８）。障害監視端末部２は、受信した注意通知を表示して、監視保守員に監視対象システムの状態を知らせる。なお、上記ステップＳ７の比較処理において、求めた距離が障害警告通知しきい値「４５」以下の場合（ステップＳ７：Ｙｅｓ）。障害監視サーバ部１は、障害警告通知を行う条件と判断し、障害監視端末部２に障害警告通知を送信する（ステップＳ９）。そして、ステップＳ８の処理で注意通知を送信後、障害監視サーバ部１は、Ｉ（＝２）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００３０】
つぎに、障害監視サーバ部１は、Ｉの値が３であり、Ｎ（＝３）以下であるため（ステップＳ５：Ｎｏ）、測定値と障害特異点Ｚ３との距離を計算し、求めた距離が上記注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。上記同様、測定値（３６０，３６０）と障害特異点Ｚ３（７００，１００）との距離を計算すると、
「（（３６０−７００）2＋（３６０−１００）2）の平方根」＝「４２８．０」
となり、求めた距離「４２８．０」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きい（ステップＳ６：Ｎｏ）。したがって、障害監視サーバ部１は、監視保守員に対して注意通知を行う条件に当てはまらないため、Ｉ（＝３）の値に１を加算し（ステップＳ１０）、ステップＳ５へ戻る。
【００３１】
つぎに、障害監視サーバ部１は、Ｉの値が４であり、Ｎ（＝３）より大きいため（ステップＳ５：Ｙｅｓ）、つぎの測定時間まで待機し（ステップＳ１１）、３回目の測定から５分経過後に４回目の測定を行う（ステップＳ３）。
【００３２】
以降、障害監視サーバ部１は、障害監視端末部２から測定停止指示があるまで、上記ステップＳ３〜Ｓ１２の処理を繰り返し実行する。
【００３３】
図４は、障害特異点と測定値をプロットした状態を示す図ある。１回目および２回目の測定値は、各障害特異点の注意通知しきい値の円の外側に位置している。しかしながら、３回目の測定値は、障害特異点Ｚ２の注意通知しきい値の円の内側、かつ障害警告通知しきい値の円の外側、に位置している。
【００３４】
以上説明したように、本実施の形態によれば、障害予兆検知装置は、障害特異点と測定値から距離を計算し、求めた距離が設定したしきい値以下の場合に、監視対象システムの障害の予兆を検出したと判断することとした。これにより、監視保守員の経験と知識に頼らずに、迅速な障害予兆判断を行うことができる。
【００３５】
なお、上記距離の計算式は、３つの障害特異点とも同一の最小２乗法で計算しているが、それぞれで計算式を変更することも可能である。障害特異点毎に計算式を変更する場合は、最小２乗法以外の計算式を用いてもよい。
【００３６】
また、障害監視処理の事前準備（ステップＳ１）で登録した各項目については、手動、または予め定義された判断処理により、障害監視中でも、追加，変更，削除を可能とする。たとえば、監視対象システムの障害発生の状況により、測定項目や障害特異点を追加すること、または、測定周期を変更して監視を行うことで、障害の予兆を検出する確率を向上させることができ、障害発生の傾向が変化する場合であっても、その変化に追随して監視を継続することが可能となる。障害特異点については、監視対象測定値データベース５に登録されている測定値を指定し、指定した測定値を障害特異点データベース３に登録することとしてもよい。
【００３７】
また、実施の形態２以降においては、実施の形態１で説明した内容を前提とし、異なる部分について説明する。
【００３８】
実施の形態２．
本実施の形態では、距離を求める際に測定値に重み付けを行う。図５は、実施の形態２の障害予兆検知装置の構成例を示す図である。このシステムは、障害監視サーバ部１ａと、監視保守員が操作する障害監視端末部２と、障害特異点データベース３ａと、通知種別しきい値データベース４と、監視対象測定値データベース５と、を備える。なお、前述した実施の形態１と同一の構成については、同一の符号を付してその説明を省略する。
【００３９】
障害監視サーバ部１ａは、前述した障害監視サーバ部１と比較して、測定値と障害特異点の距離を計算する際に測定値に対して重み付けを行う点、が異なっている。障害特異点データベース３ａは、障害特異点を登録した障害履歴のデータベースであり、障害特異点ごとに重み付け係数も登録できる。ここでは、Ｘ，Ｙに乗じる重み付け係数をそれぞれＡ，Ｂとする。「重み付け係数」は、障害監視サーバ部１ａが、測定値と障害特異点との距離を計算する場合に適用する係数である。たとえば、測定の単位や障害に対する影響度が測定値ＸとＹでそれぞれ異なる場合であっても、測定値ＸとＹにそれぞれ単位や影響度に応じた重みを持たせることにより、より精度の高い障害監視が可能となる。本実施の形態では、
「（（測定したＰｉｎｇ応答値−障害特異点のＰｉｎｇ応答値）2×重み付け係数Ａ＋（測定したトラフィック負荷値−障害特異点のトラフィック負荷値）2×重み付け係数Ｂ）の平方根」
により距離を計算する。以下、各障害特異点の重み付け係数の組み合わせを（Ａ，Ｂ）と表す。
【００４０】
つづいて、実施の形態２の障害監視処理を図２に基づいて説明する。本実施の形態では、前述した実施の形態１と異なる処理について説明する。
【００４１】
まず、監視（測定）を開始する前の事前準備として、障害監視サーバ部１ａは、障害監視端末部２からの入力に基づき測定条件等の設定を行う（ステップＳ１）。このとき、障害監視サーバ部１ａは、障害特異点（Ｘ，Ｙ）のそれぞれの値に対応する重み付け係数を障害特異点データベース３ａに登録する。具体的には、障害監視サーバ部１ａは、障害特異点Ｚ１のＸに対する重み付け係数Ａを「１」とし、Ｙに対する重み付け係数Ｂを「２」とし、障害特異点Ｚ２のＸに対する重み付け係数Ａを「１」とし、Ｙに対する重み付け係数Ｂを「０．２」とし、障害特異点Ｚ３のＸに対する重み付け係数Ａを「１」とし、Ｙに対する重み付け係数Ｂを「５」として、障害特異点データベース３ａに登録する。
【００４２】
その後、障害監視サーバ部１ａは、実施の形態１と同様の手順で１回目の測定処理を実行し、その測定値、障害特異点Ｚ１および重み付け係数を用いて距離を計算する。そして、求めた距離が通知種別しきい値データベース４に登録した注意通知しきい値以下であるかどうかを比較する（ステップＳ６）。具体的には、１回目の測定値（１００，４００）、障害特異点Ｚ１（１００，１５０）および障害特異点Ｚ１の重み付け係数（１，２）を用いて、下記式により距離を計算する。
「（（１００−１００）2×１＋（４００−１５０）2×２）の平方根」＝「３５３．６」
求めた距離「３５３．６」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４３】
また、障害監視サーバ部１ａは、１回目の測定値（１００，４００）、障害特異点Ｚ２（４００，４００）および障害特異点Ｚ２の重み付け係数（１，０．２）を用いて、下記式により距離を計算する（ステップＳ６）。
「（（１００−４００）2×１＋（４００−４００）2×０．２）の平方根」＝「３００」
求めた距離「３００」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、上記同様、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４４】
また、障害監視サーバ部１ａは、１回目の測定値（１００，４００）、障害特異点Ｚ３（７００，１００）および障害特異点Ｚ３の重み付け係数（１，５）を用いて、下記式により距離を計算する（ステップＳ６）。
「（（１００−７００）2×１＋（４００−１００）2×５）の平方根」＝「９００」
求めた距離「９００」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、上記同様、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４５】
その後、障害監視サーバ部１ａは、実施の形態１と同様の手順で２回目の測定処理を実行し、２回目の測定値（１５０，３００）、障害特異点Ｚ１（１００，１５０）および障害特異点Ｚ１の重み付け係数（１，２）を用いて、下記式により距離を計算する（ステップＳ６）。
「（（１５０−１００）2×１＋（３００−１５０）2×２）の平方根」＝「２１７．９」
求めた距離「２１７．９」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４６】
また、障害監視サーバ部１ａは、２回目の測定値（１５０，３００）、障害特異点Ｚ２（４００，４００）および障害特異点Ｚ２の重み付け係数（１，０．２）を用いて、下記式により距離を計算する（ステップＳ６）。
「（（１５０−４００）2×１＋（３００−４００）2×０．２）の平方根」＝「２５４．０」
求めた距離「２５４．０」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４７】
また、障害監視サーバ部１ａは、２回目の測定値（１５０，３００）、障害特異点Ｚ３（７００，１００）および障害特異点Ｚ３の重み付け係数（１，５）を用いて、下記式により距離を計算する（ステップＳ６）。
「（（１５０−７００）2×１＋（３００−１００）2×５）の平方根」＝「７０８．９」
求めた距離「７０８．９」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４８】
その後、障害監視サーバ部１ａは、実施の形態１と同様の手順で３回目の測定処理を実行し、３回目の測定値（３６０，３６０）、障害特異点Ｚ１（１００，１５０）および障害特異点Ｚ１の重み付け係数（１，２）を用いて、下記式より距離を計算する（ステップＳ６）。
「（（３６０−１００）2×１＋（３６０−１５０）2×２）の平方根」＝「３９４．７」
求めた距離「３９４．７」と注意通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００４９】
また、障害監視サーバ部１ａは、３回目の測定値（３６０，３６０）、障害特異点Ｚ２（４００，４００）および障害特異点Ｚ２の重み付け係数（１，０．２）を用いて、下記式より距離を計算する（ステップＳ６）。
「（（３６０−４００）2×１＋（３６０−４００）2×０．２）の平方根」＝「４３．８」
求めた距離「４３．８」と注意通知しきい値「１００」を比較すると、求めた距離の方が小さいので（ステップＳ６：Ｙｅｓ）、障害監視サーバ部１ａは、つぎに、求めた距離が通知種別しきい値データベース４に登録した障害警告通知しきい値以下であるかどうかを比較する（ステップＳ７）。求めた距離「４３．８」と障害警告通知のしきい値「４５」を比較すると、求めた距離の方が小さいので（ステップＳ７：Ｙｅｓ）、障害監視サーバ部１ａは、障害警告通知を行う条件と判断する。
【００５０】
また、障害監視サーバ部１ａは、３回目の測定値（３６０，３６０）、障害特異点Ｚ３（７００，１００）および障害特異点Ｚ３の重み付け係数（１，５）を用いて、下記式より距離を計算する（ステップＳ６）。
「（（３６０−７００）2×１＋（３６０−１００）2×５）の平方根」＝「６７３．５」
求めた距離「６７３．５」と注意通知しきい値「１００」を比較すると、距離の方が大きいので（ステップＳ６：Ｎｏ）、障害監視サーバ部１ａは、監視保守員に対して注意通知を行う条件に当てはまらないと判断する。
【００５１】
上記のように重み付けを行うことにより、実施の形態１では３回目の測定結果が注意通知として監視保守員に通知されていたが、本実施の形態では、３回目の測定結果が障害警告通知として監視保守員に通知される。
【００５２】
以上説明したように、本実施の形態では、障害予兆検知装置が、距離を計算するときに、測定項目毎に重み付けを行うこととした。これにより、測定値毎に単位や障害に対する影響度が異なる場合であっても、より精度の高い障害監視が可能となる。
【００５３】
なお、ここでは、測定値と障害特異点の差を２乗した後で重み付け係数を乗じたが、２乗する前に重み付け係数を乗じる、または加算する、等の重み付けを行うことも可能である。
【００５４】
また、実施の形態１と同様、障害監視処理の事前準備（ステップＳ１）で登録した各項目については、手動、または予め定義された判断処理により、障害監視中でも、追加，変更，削除を可能とする。たとえば、監視対象システムの障害発生の状況により、重み付け係数を変更して監視を行うことで、障害の予兆を検出する確率を向上させることができ、障害発生の傾向が変化する場合であっても、その変化に追随して監視を継続することが可能となる。
【００５５】
実施の形態３．
実施形態１および２では、現在の監視対象システムの状態（測定値）と障害特異点との差分により、障害発生時の状態と近似しているかどうかを判断した。本実施の形態では、障害発生時よりも所定時間前の状態と近似しているかどうかを判断する。
【００５６】
本実施の形態では、過去に障害が発生した時の測定値（障害特異点）とその障害発生時の所定時間前に測定した測定値とを用いて距離を計算し、この距離をしきい値として登録する。そして、現在の監視対象システムの測定値と障害特異点との距離が登録したしきい値より小さい場合に、過去に障害が発生した時点よりも所定時間前の状態になっていると判断し、所定時間経過後に障害が発生する可能性がある旨を監視保守員に通知する。
【００５７】
図６は、実施の形態３の障害予兆検知装置の構成例を示す図である。このシステムは、障害監視サーバ部１ｂと、監視保守員が操作する障害監視端末部２と、障害特異点データベース３と、通知種別しきい値データベース４ａと、監視対象測定値データベース５と、を備える。なお、前述した実施の形態１と同一の構成については、同一の符号を付してその説明を省略する。
【００５８】
障害監視サーバ部１ｂは、前述した障害監視サーバ部１と比較して、通知種別しきい値データベース４ａに登録されたしきい値にしたがって監視結果の通知を行う点が異なる。通知種別しきい値データベース４ａは、過去の障害発生時の測定値（障害特異点）とその障害発生時よりも所定時間前に測定した測定値との距離をしきい値として登録する。
【００５９】
つづいて、実施の形態３の障害監視処理を図７に基づいて説明する。図７は、本実施の形態の障害監視処理を示すフローチャートである。本実施の形態では、前述した実施の形態１と異なる処理について説明する。
【００６０】
まず、監視（測定）を開始する前の事前準備として、障害監視サーバ部１ｂは、障害監視端末部２からの入力に基づき測定条件等の設定を行う（ステップＳ１）。このとき、通障害監視サーバ部１ｂは、過去に発生した障害時の測定値（障害特異点）とその障害発生時よりも所定時間前に測定した測定値との距離を、通知種別毎のしきい値として通知種別しきい値データベース４ａに登録する。本実施の形態では、上記所定時間を６０分および３０分とし、通知を障害６０分前通知および障害３０分前通知の２種類として登録する。
【００６１】
また、監視対象測定値データベース５には、５分周期で測定が行われているため、過去に障害が発生した時刻の６０分前に測定した測定値および３０分前に測定した測定値（図示せず）も登録されている。そのため、通障害監視サーバ部１ｂは、障害発生６０分前の測定値と障害特異点との間の距離、および障害発生３０分前の測定値と障害特異点との間の距離をそれぞれ計算し、それらの距離を障害６０分前通知および障害３０分前通知に対応したしきい値として通知種別しきい値データベース４ａに登録する。具体的な測定値に基づいて計算するため、障害特異点ごとにしきい値が異なるのが一般的である。
【００６２】
ここでは、障害特異点Ｚ１に対応するしきい値として、障害６０分前通知を行うかどうかを判断するためのしきい値（障害６０分前通知しきい値）を「１００」とし、障害３０分前通知を行うかどうかを判断するためのしきい値（障害３０分前通知しきい値）を「４５」とする。障害監視サーバ部１ｂは、測定値と障害特異点との距離を計算した結果、求めた距離が「１００」より大きい場合、監視対象システムの障害の予兆を検出していないと判断していずれの通知も行わない。求めた距離が「１００」以下で「４５」より大きい場合は、障害６０分前通知を障害監視端末部２へ送る。また、求めた距離が「４５」以下の場合は、障害３０分前通知を障害監視端末部２へ送る。なお、ここでは、通知の種別を２つとしたが、これに限定するものではなく、１つまたは３つ以上としてもよい。
【００６３】
また、障害監視サーバ部１ｂは、障害特異点Ｚ２に対応するしきい値として、障害６０分前通知しきい値を「１０５」とし、障害３０分前通知しきい値を「５０」とする。また、障害監視サーバ部１ｂは、障害特異点Ｚ３に対応するしきい値として、障害６０分前通知しきい値を「９５」とし、障害３０分前通知しきい値を「４０」とする。
【００６４】
その後、障害監視サーバ部１ｂは、実施の形態１と同様の手順で１回目の測定処理と距離の計算を実行する。そして、求めた距離が通知種別しきい値データベース４ａに登録した障害特異点Ｚ１の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。なお、計算式、測定値および障害特異点は実施の形態１と同じであり、この計算式により求められる距離は「２５０」である（以下、各ステップで求めた距離は実施の形態１と同じとする）。したがって、求めた距離「２５０」と障害６０分前通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００６５】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ２の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「３００」と障害６０分前通知しきい値「１０５」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００６６】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ３の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「６７０．８」と障害６０分前通知しきい値「９５」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００６７】
その後、障害監視サーバ部１ｂは、実施の形態１と同様の手順で２回目の測定処理を実行し、２回目の測定値を用いて求めた距離が障害特異点Ｚ１の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「１５８．１」と障害６０分前通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００６８】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ２の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「２６９．３」と障害６０分前通知しきい値「１０５」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００６９】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ３の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「５８５．２」と障害６０分前通知しきい値「９５」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００７０】
その後、障害監視サーバ部１ｂは、実施の形態１と同様の手順で３回目の測定処理を実行し、３回目の測定値を用いて求めた距離が障害特異点Ｚ１の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「３３４．２」と障害６０分前通知しきい値「１００」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００７１】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ２の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「５６．６」と障害６０分前通知しきい値「１０５」を比較すると、求めた距離の方が小さいので（ステップＳ２０：Ｙｅｓ）、障害監視サーバ部１ｂは、つぎに、求めた距離が通知種別しきい値データベース４ａに登録した障害特異点Ｚ２の障害３０分前通知しきい値以下であるかどうかを比較する（ステップＳ２１）。求めた距離「５６．６」と障害３０分前通知しきい値「５０」を比較すると、求めた距離の方が大きいので（ステップＳ２１：Ｎｏ）、障害監視サーバ部１ｂは、障害６０分前通知を行う条件と判断し、障害監視端末部２に障害６０分前通知を送信する（ステップＳ２２）。障害監視端末部２は、受信した障害６０分前通知を表示して、監視保守員に監視対象システムの状態を知らせる。なお、上記ステップＳ２１の比較処理において、求めた距離が障害３０分前通知しきい値「５０」以下の場合（ステップＳ２１：Ｙｅｓ）。障害監視サーバ部１ｂは、障害３０分前通知を行う条件と判断し、障害監視端末部２に障害３０分前通知を送信する（ステップＳ２３）。
【００７２】
また、障害監視サーバ部１ｂは、求めた距離が障害特異点Ｚ３の障害６０分前通知しきい値以下であるかどうかを比較する（ステップＳ２０）。求めた距離「４２８．０」と障害６０分前通知しきい値「９５」を比較すると、求めた距離の方が大きいので（ステップＳ２０：Ｎｏ）、障害監視サーバ部１ｂは、監視保守員に対して障害６０分前通知を行う条件に当てはまらないと判断する。
【００７３】
以上説明したように、本実施の形態によれば、障害予兆検知装置は、所定時間経過後に監視対象システムに障害が発生する可能性があることを、監視保守員に知らせることとした。これにより、監視保守員の経験と知識に頼らずに、迅速な障害予兆判断を行うことができる。
【００７４】
なお、本実施の形態の応用例を図８に示す。図８は、実施の形態３の障害予兆検知装置の応用例を示す図である。このシステムは、障害監視サーバ部１ｃと、監視保守員が操作する障害監視端末部２と、障害特異点データベース３と、通知種別しきい値データベース４ａと、監視対象測定値データベース５と、保守業者影響顧客データベース６と、を備える。
【００７５】
障害監視サーバ部１ｃは、保守業者影響顧客データベース６と接続し、障害の予兆を検知したとき、障害監視端末部２への通知とあわせて保守業者影響顧客データベース６に登録された保守業者および顧客にも連絡する点が、障害監視サーバ部１ｂと異なる。その他の機能については障害監視サーバ部１ｂと同様のため、詳細な説明は省略する。保守業者影響顧客データベース６は、障害特異点ごとに、担当する保守業者とその連絡先，影響を受ける顧客とその連絡先、を登録したデータベースである。ただし、図８では、連絡先を電話番号としているが、ＦＡＸ番号や電子メールアドレスとしてもよい。保守業者影響顧客データベース６への登録は、障害監視サーバ部１ｃが、他の設定と同様、図７のフローチャートのステップＳ１の事前準備で行う。
【００７６】
また、障害監視サーバ部１ｃは、障害６０分前通知または障害３０分前通知を行うと判断をした場合、障害監視端末部２への通知とあわせて、対応する保守業者のベンダおよび影響を受ける顧客へも連絡を行う。この場合、障害監視サーバ部１ｃは、保守業者のベンダおよび影響を受ける顧客に対して自動発信または自動音声呼び出しを行うことにより連絡を行い、対象装置の故障修理を依頼する。これにより、障害発生の事前防止および障害発生する前の事前リスク対策を促進することができる。
【００７７】
また、図８では、障害特異点ごとに保守業者と顧客のデータをデータベースに登録することとしたが、たとえば、事前に設定したプログラムによる判定処理よって、障害特異点に保守業者や顧客を結び付けてもよい。
【００７８】
また、実施の形態１と同様、障害監視処理の事前準備（ステップＳ１）で登録した各項目については、障害監視中でも、追加，変更，削除を可能とする。
【産業上の利用可能性】
【００７９】
以上のように、本発明にかかる障害予兆検知装置は、情報システムの障害を監視するシステムに有用であり、特に、精度の高い障害予兆判断を行う場合に適している。
【図面の簡単な説明】
【００８０】
【図１】障害予兆検知装置の構成例を示す図である。
【図２】障害監視の処理を示すフローチャートである。
【図３】障害特異点を示す図である。
【図４】障害特異点と測定値を示す図である。
【図５】障害予兆検知装置の構成例を示す図である。
【図６】障害予兆検知装置の構成例を示す図である。
【図７】障害監視の処理を示すフローチャートである。
【図８】障害予兆検知装置の構成例を示す図である。
【符号の説明】
【００８１】
１，１ａ，１ｂ，１ｃ  障害監視サーバ部
２  障害監視端末部
３，３ａ  障害特異点データベース
４，４ａ  通知種別しきい値データベース
５  監視対象測定値データベース
６  保守業者影響顧客データベース
【図１】
2010009313.tif 000003
【図２】
2010009313.tif 000004
【図３】
2010009313.tif 000005
【図４】
2010009313.tif 000006
【図５】
2010009313.tif 000007
【図６】
2010009313.tif 000008
【図７】
2010009313.tif 000009
【図８】
2010009313.tif 000010