(57)【要約】  本発明は、管理対象の装置等に問題が生じた場合に、その症状を特定し、対策を決定する処理を自律的におこなうシステム管理プログラム等に関するものであり、対処策を選択する基準を自動的に適正化することを課題とする。この課題を解決するため、システム管理装置１００は、対処策実行部１２４によって実行された対処策が解消されたか否かを評価し、その結果を対処策データベース１１２に記録し、次回、対処策決定部１２３が対処策を決定する際の基準に反映させる対処結果評価部１２６を備える。
2008012903.tif 000002
【特許請求の範囲】
【請求項１】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、
前記管理対象の状況を示す情報を取得する情報取得手順と、
前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、
前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、
前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、
前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順と
をコンピュータに実行させることを特徴とするシステム管理プログラム。
【請求項２】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする請求項１に記載のシステム管理プログラム。
【請求項３】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１に記載のシステム管理プログラム。
【請求項４】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１に記載のシステム管理プログラム。
【請求項５】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行手順によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１に記載のシステム管理プログラム。
【請求項６】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とする請求項１に記載のシステム管理プログラム。
【請求項７】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、
前記症状特定手順は、前記対処結果評価手順によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする請求項１〜６のいずれか一つに記載のシステム管理プログラム。
【請求項８】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理装置であって、
前記管理対象の状況を示す情報を取得する情報取得手段と、
前記情報取得手段によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手段と、
前記症状特定手段によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手段と、
前記対処策決定手段によって決定された対処策を実行する対処策実行手段と、
前記対処策実行手段によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手段と
を備えたことを特徴とするシステム管理装置。
【請求項９】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする請求項８に記載のシステム管理装置。
【請求項１０】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項８に記載のシステム管理装置。
【請求項１１】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項８に記載のシステム管理装置。
【請求項１２】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行手段によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項８に記載のシステム管理装置。
【請求項１３】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とする請求項８に記載のシステム管理装置。
【請求項１４】
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、
前記症状特定手段は、前記対処結果評価手段によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする請求項８〜１３のいずれか一つに記載のシステム管理装置。
【請求項１５】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理方法であって、
前記管理対象の状況を示す情報を取得する情報取得工程と、
前記情報取得工程によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定工程と、
前記症状特定工程によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定工程と、
前記対処策決定工程によって決定された対処策を実行する対処策実行工程と、
前記対処策実行工程によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価工程と
を含んだことを特徴とするシステム管理方法。
【請求項１６】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする請求項１５に記載のシステム管理方法。
【請求項１７】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１５に記載のシステム管理方法。
【請求項１８】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１５に記載のシステム管理方法。
【請求項１９】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行工程によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする請求項１５に記載のシステム管理方法。
【請求項２０】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とする請求項１５に記載のシステム管理方法。
【請求項２１】
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、
前記症状特定工程は、前記対処結果評価工程によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする請求項１５〜２０のいずれか一つに記載のシステム管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理対象の装置等に問題が生じている場合に、その症状を特定し、特定した症状に対応する対処策を決定するシステム管理プログラム、システム管理装置およびシステム管理方法に関し、特に、対処策を選択する基準を自動的に適正化することができるシステム管理プログラム、システム管理装置およびシステム管理方法に関する。
【背景技術】
【０００２】
従来、情報処理システムにおいて問題が発生した場合、システム管理者等の担当者が、自身が保有するノウハウに基づいて対処をおこなってきた。これらのノウハウは、個別の問題に対処した経験に基づいて各担当者ごとに蓄積され、十分に共有されていないことが多かった。そのため、担当者によって、障害への対応レベルに大きな差が生じることがあった。【０００３】
このような個人的なスキルへの依存を解消し、問題への対処の迅速化と均質化を実現するため、情報システムにおいて生じる各種問題に関するノウハウを定型化してデータベースに登録しておき、このデータベースを利用して、問題の症状を特定し、特定した症状に対応する対処策を決定する技術が提案されている。【０００４】
例えば、特許文献１では、ネットワークシステムにおける性能劣化問題を自動的に発見し、その要因を特定し、さらに、その対策をシステム管理者に通知する技術が開示されている。また、非特許文献１では、問題発生時に、自律マネージャが問題解決用のデータベースを参照し、自律的に問題解決をおこなう技術が開示されている。【０００５】
【特許文献１】特開２００４−１４５５３６号公報
【非特許文献１】“An  architectural  blueprint  for  autonomic  computing.”、［online］、IBM  Corporation、［平成１８年６月３０日検索］、インターネット＜URL：http://www-03.ibm.com/autonomic/pdfs/AC%20Blueprint%20White%20Paper%20V7.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１および非特許文献１において開示されている技術は、問題が生じている管理対象の症状を解消する対処策を適切に決定するために、対処策の決定に関するノウハウを十分に吟味してデータベースに登録しておくことが前提となっている。【０００７】
このため、ノウハウが十分に吟味されずにデータベースに登録された場合や、環境変化等によって登録されたノウハウが陳腐化してしまった場合には、不適切な対処策が選択されることが多くなり、システムの信頼性が大きく低下してしまうという問題があった。【０００８】
本発明は、上記に鑑みてなされたものであって、対処策を選択する基準を自動的に適正化することができるシステム管理プログラム、システム管理装置およびシステム管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明の一つの態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、前記管理対象の状況を示す情報を取得する情報取得手順と、前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順とをコンピュータに実行させることを特徴とする。【００１０】
また、本発明の他の態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理装置であって、前記管理対象の状況を示す情報を取得する情報取得手段と、前記情報取得手段によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手段と、前記症状特定手段によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手段と、前記対処策決定手段によって決定された対処策を実行する対処策実行手段と、前記対処策実行手段によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手段とを備えたことを特徴とする。【００１１】
また、本発明の他の態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理方法であって、前記管理対象の状況を示す情報を取得する情報取得工程と、前記情報取得工程によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定工程と、前記症状特定工程によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定工程と、前記対処策決定工程によって決定された対処策を実行する対処策実行工程と、前記対処策実行工程によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価工程とを含んだことを特徴とする。【００１２】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする。【００１３】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする。【００１４】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。【００１５】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。【００１６】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。【００１７】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行手順によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。【００１８】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とする。【００１９】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、前記症状特定手順は、前記対処結果評価手順によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、対処策を実行した結果、管理対象の症状が解消されたか否かを対処策データベースへ反映させ、次回、管理対象に何らかの対処策が必要になった場合に、反映後の対処策データベースに基づいて対処策を選択するように構成したので、対処策を選択する基準を自動的に適正化することができるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】図１は、本実施例に係るシステム管理方法が適用される情報処理システムの一例を示す図である。
【図２】図２は、図１に示したシステム管理装置の構成を示す機能ブロック図である。
【図３】図３は、症状データベースの一例を示す図である。
【図４】図４は、対処策データベースの一例を示す図である。
【図５】図５は、通知イベントの一例を示す図である。
【図６】図６は、システム管理装置の処理手順を示すフローチャートである。
【図７】図７は、対処策実行処理の処理手順を示すフローチャートである。
【図８】図８は、システム管理プログラムを実行するコンピュータを示す機能ブロック図である。
【符号の説明】
【００２２】
１０  ネットワーク
２０  サーバプール
１００  システム管理装置
１１０  記憶部
１１１  症状データベース
１１２  対処策データベース
１２０  制御部
１２１  情報取得部
１２２  症状特定部
１２３  対処策決定部
１２４  対処策実行部
１２５  情報補完部
１２６  対処結果評価部
２０１〜２０６、３０１〜３０３  サーバ装置
１０００  コンピュータ
１０１０  ＣＰＵ
１０２０  入力装置
１０３０  モニタ
１０４０  媒体読取り装置
１０５０  ネットワークインターフェース装置
１０６０  ＲＡＭ
１０６１  システム管理プロセス
１０７０  ハードディスク装置
１０７１  システム管理プログラム
１０７２  システム管理用データ
１０８０  バス
【発明を実施するための最良の形態】
【００２３】
以下に、本発明に係るシステム管理プログラム、システム管理装置およびシステム管理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００２４】
まず、本実施例に係るシステム管理方法が適用される情報処理システムの一例について説明する。図１は、本実施例に係るシステム管理方法が適用される情報処理システムの一例を示す図である。【００２５】
同図に示す情報処理システムは、システム管理装置１００と、サーバ装置２０１〜２０６と、サーバ装置３０１〜３０３とをＬＡＮ（Local  Area  Network）等のネットワーク１０で接続して構成されている。【００２６】
システム管理装置１００は、本実施例に係るシステム管理方法を実行する装置である。システム管理装置１００は、サーバ装置２０１〜２０６およびサーバ装置３０１〜３０３を監視し、これらの装置、もしくは、そこで実行されるサービスに問題が発生した場合には、自身が備えるデータベースを参照して、その症状を特定し、特定した症状に対応した対処を決定し、その対処を実行するという一連の処理を自律的に実行する。【００２７】
サーバ装置２０１〜２０６は、割り当てられた所定のサービスを実行するサーバ装置である。この例では、サーバ装置２０１と２０２は、業務Ａサービスを実行し、サーバ装置２０３は、業務Ｂサービスを実行し、サーバ装置２０４〜２０６は、業務Ｃサービスを実行している。【００２８】
サーバ装置３０１〜３０３は、特定のサービスが割り当てられていないサーバ装置であり、サーバプール２０に属する。サーバプールとは、用途が特定されておらず、必要に応じて利用することが可能なサーバ装置の集合を意味する。【００２９】
システム管理装置１００は、サーバ装置２０１〜２０６のいずれかのサーバ装置に何らかの問題が生じ、そのサーバ装置に割り当てられているサービスを他のサーバ装置で実行する対処が必要であると判断した場合、サーバプール２０に属しているサーバ装置の一つにそのサービスを実行させる。【００３０】
用途が特定されていないサーバ装置であるサーバ装置３０１〜３０３に指定したサービスを実行させることは、例えば、グリッド技術を利用することにより実現することができる。グリッド技術は、公知技術であるので、ここでは詳しい説明を省略する。【００３１】
なお、上記の例では、各種業務サービスを実行するサーバ装置群を本実施例に係るシステム管理方法の管理対象としているが、本実施例に係るシステム管理方法は、この他にもクライアント端末や通信制御装置等の各種装置を管理対象とすることができる。【００３２】
次に、本実施例に係るシステム管理方法を実行するシステム管理装置の構成について説明する。図２は、図１に示したシステム管理装置１００の構成を示す機能ブロック図である。同図に示すように、システム管理装置１００は、記憶部１１０と、制御部１２０とを有する。【００３３】
記憶部１１０は、各種情報を記憶する記憶部であり、症状データベース１１１と、対処策データベース１１２とを有する。症状データベース１１１は、管理対象にて発生している問題の症状を特定するための情報が登録されたデータベースである。症状データベース１１１の一例を図３に示す。【００３４】
同図に示すように、症状データベース１１１は、エントリ番号、判定条件、症状名、対処回数、解消回数、解消日時といった項目を有する。エントリ番号は、エントリを識別するための識別番号である。判定条件は、症状を特定するための条件であり、症状データベース１１１は、一つのエントリに複数の条件を組み合わせて設定できるように構成されている。症状名は、同一エントリの判定条件によって特定される症状の識別名である。【００３５】
対処回数は、当該のエントリによって特定された症状に対して何らかの対処策が実行された回数を示し、解消回数は、その対処策によって症状が解消された回数を示す。そして、解消日時は、当該のエントリによって特定された症状に対して実行された対処策によって、最後に症状が解消された日時を示す。【００３６】
例えば、「Ａ００１」というエントリ番号で識別されるエントリは、管理対象のＣＰＵ（Central  Processing  Unit）の温度が８０℃を超えている場合に、その管理対象において「高熱」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して１７回対処策が実行され、そのうち１７回症状が解消され、最後に症状が解消されたのが２００６年４月１３日８時５１分であったことを示している。【００３７】
また、「Ａ００２」というエントリ番号で識別されるエントリは、管理対象のＣＰＵの使用率が７０％を超えており、かつ、プロセス数が２００を超えている場合に、その管理対象において「プロセス過多」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して５２回対処策が実行され、そのうち３９回症状が解消され、最後に症状が解消されたのが２００６年５月２５日１５時３３分であったことを示している。【００３８】
また、「Ａ００３」というエントリ番号で識別されるエントリは、管理対象のＣＰＵの使用率が７０％を超えており、かつ、メモリの使用率が８０％を超えている場合に、その管理対象において「高負荷」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して４５回対処策が実行され、そのうち３６回症状が解消され、最後に症状が解消されたのが２００６年５月１日１９時２８分であったことを示している。【００３９】
なお、同一の症状を特定するための判定条件が複数パターンある場合は、それぞれの判定パターンごとにエントリを設けて判定条件を登録することができる。この場合、複数のエントリの症状名に、同一の名前が設定されることになる。【００４０】
対処策データベース１１２は、特定された症状を解消するための対処策と、対処策の選択ルールとが登録されたデータベースである。対処策データベース１１２の一例を図４に示す。同図に示すように、対処策データベース１１２は、症状名、対処策、有効度、副作用、対処回数、解消回数、解消日時といった項目を有し、一つの症状名に対して、対処策〜解消日時の組み合わせを複数登録できる構成になっている。【００４１】
症状名は、管理対象にて発生している症状を示す識別名であり、症状データベース１１１の症状名と対応する。対処策は、症状を解消して管理対象を正常に戻すために適用しうる対処策を示す。有効度は、その対処策の有効性の高さを示し、副作用は、その対処策によって副次的に生じる効果の大きさを示す。副次的に生じる効果とは、その対策を実行した場合に、問題が生じている対象以外の装置やサービスに与える効果等を意味する。【００４２】
副作用が正の値をとる場合、対処策によって好ましい効果が副次的に生じることを意味し、副作用が負の値をとる場合、対処策によって好ましくない効果が副次的に生じることを意味する。対処策によって直接的に得られる効果の大きさを有効度として登録し、副次的に生じる効果の大きさを副作用として別個に登録することにより、対処策の評価意図が明確化され、対処策の評価を見直す際に、誤評価が生じにくくなる。【００４３】
対処回数は、対処策が実行された回数を示し、解消回数は、対処策によって症状が解消された回数を示す。そして、解消日時は、対処策によって最後に症状が解消された日時を示す。【００４４】
図４の、１番目のエントリは、「高熱」という名前で識別される症状に対して、「クロックを落とす」という対処策を適用でき、この対処策の有効度は「１０」であり、副作用は「０」であることを示している。そして、この対処策が１７回実行され、そのうち１７回症状が解消され、最後に症状が解消されたのが２００６年４月１３日８時５１分であったことを示している。【００４５】
また、同図の、２番目のエントリは、「プロセス過多」という名前で識別される症状に対して、「サーバを追加する」という対処策と「トランザクションを制限する」という対処策を適用できることを示している。そして、「サーバを追加する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「８」、「−３」、「３」、「２」、「２００６／２／１７  ４：４７」であることを示している。また、「トランザクションを制限する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「９」、「−１」、「４９」、「３７」、「２００６／５／２５  １５：３３」であることを示している。【００４６】
また、同図の、３番目のエントリは、「高負荷」という名前で識別される症状に対して、「サーバを追加する」という対処策と「トランザクションを制限する」という対処策を適用できることを示している。そして、「サーバを追加する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「８」、「−３」、「２６」、「２３」、「２００６／５／１  １９：２８」であることを示している。また、「トランザクションを制限する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「７」、「−１」、「１９」、「１３」、「２００６／４／２２  ２１：４３」であることを示している。【００４７】
なお、図２においては、症状データベース１１１と、対処策データベース１１２とが独立した構成となっているが、この２つのデータベースを併合し、１つのデータベースとして構成することもできる。【００４８】
制御部１２０は、システム管理装置１００を全体制御する制御部であり、情報取得部１２１と、症状特定部１２２と、対処策決定部１２３と、対処策実行部１２４と、情報補完部１２５と、対処結果評価部１２６とを有する。情報取得部１２１は、管理対象から送信される通知イベントを受信することにより、管理対象の状況を示す情報を取得する処理部である。【００４９】
管理対象から送信される通知イベントの一例を図５に示す。同図に示すように、通知イベントは、イベントＩＤ、サーバ名、現象といった項目を有している。イベントＩＤは、通知イベントを識別すための識別番号である。サーバ名は、通知イベントの送信元のサーバ装置のホスト名である。現象は、通知イベントの送信元のサーバ装置に生じている具体的な状況を示す。【００５０】
なお、管理対象からシステム管理装置１００への通知イベントの送信は、管理対象において特異的な現象が発生した場合に、その内容を通知するためにおこなうものであってもよいし、予め定められた事象について定期的に通知するものであってもよい。また、情報取得部１２１が、管理対象に対して状況を問い合せて能動的に情報収集するように構成してもよいし、システム管理者が、キーボード等の入力装置を介して、通知イベントに相当する情報を情報取得部１２１に入力するように構成してもよい。【００５１】
症状特定部１２２は、情報取得部１２１において取得された管理対象の状況を示す情報と、症状データベース１１１とを照合して、管理対象にて発生している症状を特定する処理部である。既に説明したように、症状データベース１１１は、複数の判定条件の組み合わせによって症状を特定することができるように構成されており、通知イベントに含まれていた情報だけでは、複数の判定条件の組み合わせの一部について条件が充足されるか否かを判定できない場合がある。【００５２】
そこで、症状特定部１２２は、情報取得部１２１において取得された情報だけでは、複数の判定条件の組み合わせの一部の適合／不適合を判定できない場合に、不足している情報の補完を情報補完部１２５に依頼する。【００５３】
このように、本実施例に係るシステム管理方法では、単純なイベントドリブン型の問題解決モデルと異なり、情報補完部１２５が、不足している情報を必要に応じて能動的に取得するので、情報取得部１２１において取得された情報がわずかであっても、実際に生じている症状を正しく絞り込むことができる。また、必要最小限の情報を用いて症状の特定をおこなうので、管理対象が増加した場合であっても、情報収集による大きな負荷が発生することはない。【００５４】
また、症状特定部１２２は、情報取得部１２１において取得された情報が症状データベース１１１の複数エントリの判定条件と合致する場合、それぞれのエントリの解消率を計算し、最も解消率が高いエントリの症状が発生しているものと特定する。それぞれのエントリの解消率は、例えば、以下の数式１によって計算される。【００５５】
【数１】
2008012903.tif 000003
【００５６】
ここで、解消回数と対処回数に１を加算しているのは、解消回数と対処回数の一方、もしくは、両方の値が０の場合でも、他のエントリとの比較が適正におこなわれるようにするためである。【００５７】
対処策決定部１２３は、症状特定部１２２において特定された症状と、対処策データベース１１２とを照合して、管理対象にて発生している症状を解消するための対処策を決定する処理部である。【００５８】
対処策決定部１２３は、症状特定部１２２において特定された症状に対して、複数の対処策が対処策データベース１１２に登録されている場合、それぞれの対処策ごとに優先度を計算し、この優先度が大きいものを優先して採用する。それぞれの対処策の優先度は、例えば、以下の数式２によって計算される。【００５９】
【数２】
2008012903.tif 000004
【００６０】
ここで、解消率は、対処策に対応する対処回数と解消回数を数式１に適用して計算され、対処策を実行することによって症状が解消された確率を表す。【００６１】
このように、有効度に解消率を乗じることにより、有効度の設定値が適正でない場合や、環境変化等によって陳腐化した場合であっても、優先度が適正に補正されることになる。ある対処策の有効度が不適切に高い値となっていても、何度かその対処策を実行して症状が解消されなければ、解消率が低下し、優先度の値が小さくなるからである。【００６２】
対処策実行部１２４は、対処策決定部１２３において決定された対処策を実行する処理部である。情報補完部１２５は、症状特定部１２２から補完を依頼された情報を管理対象に問い合せて、管理対象の状況を示す情報を能動的に取得する処理部である。【００６３】
対処結果評価部１２６は、対処策実行部１２４によって実行された対処策の実行結果を対処策データベース１１２に反映させる処理部である。具体的には、対処結果評価部１２６は、実行された対処策の対処回数に１を加算し、対処策の実行によって症状が解消された場合は、解消回数の値にも１を加算して、解消日時を現在日時へ更新する。【００６４】
また、対処結果評価部１２６は、対処策実行部１２４によって実行された対処策の実行結果を症状データベース１１１にも反映させる。具体的には、対処結果評価部１２６は、実行された対処策が選択される基となった症状データベース１１１のエントリの対処回数に１を加算し、対処策の実行によって症状が解消された場合は、解消回数の値にも１を加算して、解消日時を現在日時へ更新する。【００６５】
なお、対処策実行部１２４によって実行された対処策の実行によって症状が解消されたか否かは、実行された対処策が選択される基となった症状データベース１１１のエントリの判定条件が充足されなくなったか否かを検証することによって判定することができる。また、対処策データベース１１２の各対処策ごとに症状が解消されたか否かを判定する条件を登録しておき、この条件が充足されるか否かを検証することによって判定することもできる。【００６６】
次に、図２に示したシステム管理装置１００の処理手順について説明する。図６は、システム管理装置１００の処理手順を示すフローチャートである。同図は、システム管理装置１００が管理対象から通知イベントを受信した後の処理手順を示している。【００６７】
同図に示すように、情報取得部１２１が、受信した通知イベントから管理対象の状況を示す情報を取得すると（ステップＳ１０１）、症状特定部１２２が、症状データベース１１１から判定条件が一部でもその情報に一致するエントリを抽出し（ステップＳ１０２）、エントリごとに解消率を計算する（ステップＳ１０３）。【００６８】
そして、抽出されたエントリの中から、解消率が最も高い未選択のエントリを１つ選択する（ステップＳ１０４）。ここで、全エントリを選択済みであれば（ステップＳ１０５肯定）、管理対象に問題はないものとして処理を終了する。【００６９】
未選択のエントリを選択できた場合は（ステップＳ１０５否定）、そのエントリの判定条件が充足されているか否かを判定するのに必要な情報が一部不足していれば（ステップＳ１０６肯定）、情報補完部１２５が、管理対象の状況を示す情報を能動的に取得して、必要な情報を補完する（ステップＳ１０７）。【００７０】
そして、必要な情報が全て揃った状態で、判定条件が充足されることが確認されれば（ステップＳ１０８肯定）、症状特定部１２２は、当該のエントリの症状名が示す症状が管理対象に発生していると特定し（ステップＳ１０９）、システム管理装置１００は、後述する対処策実行処理を実行する（ステップＳ１１０）。【００７１】
また、必要な情報が全て揃った状態で、判定条件が充足されないことが確認されれば（ステップＳ１０８否定）、症状特定部１２２は、ステップＳ１０４に戻って次のエントリの処理に移行する。【００７２】
図７は、対処策実行処理の処理手順を示すフローチャートである。同図に示すように、対処策決定部１２３は、症状特定部１２２が特定した症状に対応する対処策データベース１１２のエントリをリードし（ステップＳ２０１）、有効度、解消率および副作用に基づいて各対処策の優先度を計算する（ステップＳ２０２）。【００７３】
そして、対処策決定部１２３は、未選択の対処策の中で最も優先度の高い対処策を一つ選択し（ステップＳ２０３）、その対処策を対処策実行部１２４に実行させる（ステップＳ２０４）。【００７４】
そして、対処結果評価部１２６が、ステップＳ１０９で特定された症状に対応する症状データベース１１１のエントリの対処回数に１を加算し、ステップＳ２０３で選択された対処策に対応する対処策データベース１１２の情報の対処回数に１を加算する（ステップＳ２０５）。【００７５】
さらに、対処策の実行によって症状が解消されたと判定した場合は（ステップＳ２０６肯定）、症状データベース１１１の上記エントリと対処策データベース１１２の上記情報の解消回数に１を加算し（ステップＳ２０７）、解消日時を現在日時に更新する（ステップＳ２０８）。【００７６】
次に、情報取得部１２１が、図５に示した通知イベントを受信した場合を例にして、システム管理装置１００の具体的な動作例について説明する。図５に示した通知イベントは、「サーバＡ」というホスト名をもつサーバ装置においてＣＰＵ使用率が８３％になっていることを示している。【００７７】
症状特定部１２２は、この情報が示す症状を特定するため、症状データベース１１１のエントリをリードし、判定条件が一部でも合致するエントリを抽出する。この結果、「ＣＰＵ使用率＞７０％」という判定条件をもつエントリ番号「Ａ００２」のエントリとエントリ番号「Ａ００３」のエントリが抽出される。【００７８】
そして、症状特定部１２２は、有効な対処策が選択される可能性を高めるため、抽出された各エントリの解消率を計算する。数式１を用いて解消率を計算すると、エントリ番号「Ａ００２」のエントリの解消率は約７５％であり、エントリ番号「Ａ００３」のエントリの解消率は約８０％である。【００７９】
そこで、症状特定部１２２は、まず、解消率が高いエントリ番号「Ａ００３」のエントリを選択し、このエントリの判定条件全体が充足されるか否かを検証するため、不足している情報を情報補完部１２５に取得させる。この場合、具体的には、「サーバＡ」というホスト名をもつサーバ装置のメモリ使用率が取得される。【００８０】
ここで、取得されたメモリ使用率が、例えば９０％であれば、エントリ番号「Ａ００３」のエントリの判定条件が完全に充足されることとなり、症状特定部１２２は、「サーバＡ」というホスト名をもつサーバ装置において、「高負荷」という症状名に対応する症状が発生していると特定する。【００８１】
こうして、症状が特定された後、対処策決定部１２３が、対処策データベース１１２を参照して対処策を決定する。図４に示した対処策データベース１１２の例の症状名「高負荷」のエントリには、２つの対処策が登録されている。【００８２】
ここで、数式２を用いて各対処策の優先度を計算すると、対処策「サーバを追加する」の優先度は、約４．１であり、対処策「トランザクションを制限する」の優先度は、約３．８であるので、対処策決定部１２３は、優先度の値が最も大きい対処策「サーバを追加する」を対処策として選択する。【００８３】
なお、対処回数と解消回数が０の場合、対処策「サーバを追加する」の優先度は５になり、対処策「トランザクションを制限する」の優先度は６になる。すなわち、この例は、対処策「トランザクションを制限する」の有効度が不適切に高い値に設定されていたが、対処策の実行とその結果のフィードバックが繰り返された結果、対処策「サーバを追加する」の優先度の方が高く評価されるようになった場合を示している。【００８４】
こうして、対処策が決定された後、対処策実行部１２４がその対処策を実行し、対処結果評価部１２６がその結果を評価して、症状データベース１１１と対処策データベース１１２を更新する。【００８５】
なお、図２に示した本実施例に係るシステム管理装置１００の構成は、本発明の要旨を逸脱しない範囲で種々に変更することができる。例えば、システム管理装置１００の制御部１２０の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、システム管理装置１００と同等の機能を実現することもできる。以下に、制御部１２０の機能をソフトウェアとして実装したシステム管理プログラム１０７１を実行するコンピュータの一例を示す。【００８６】
図８は、システム管理プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受をおこなうネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random  Access  Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。【００８７】
そして、ハードディスク装置１０７０には、図２に示した制御部１２０と同様の機能を有するシステム管理プログラム１０７１と、図２に示した記憶部１１０に記憶される各種データベースに対応するシステム管理用データ１０７２とが記憶される。なお、システム管理用データ１０７２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。【００８８】
そして、ＣＰＵ１０１０がシステム管理プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、システム管理プログラム１０７１は、システム管理プロセス１０６１として機能するようになる。そして、システム管理プロセス１０６１は、システム管理用データ１０７２から読み出した情報等を適宜ＲＡＭ１０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。【００８９】
なお、上記のシステム管理プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。【００９０】
なお、上記の実施例では、対処策の実行結果によって各対処策の有効度の値を補正する例を示したが、解消率の大きさをそのまま優先度とみなして対処策を選択することとしてもよい。この場合、優先度や副作用の設定の必要がなくなり、システム管理者の負荷が軽減される。また、対処策データベース１１２から副作用の項目のみをなくし、有効度に解消率を乗じた値を優先度とみなして対処策を選択することとしてもよい。【００９１】
また、上記の実施例では、対処策の実行結果によって各対処策の有効度の値を補正する例を示したが、対処策の実行結果によって副作用の値も補正することとしてもよい。副作用の補正は、例えば、副作用の具体的な現象を各対処策と対応付けて登録しておき、対処策の実行後にその現象が発生しているか否かを解消回数と同様に記録し、この回数と対処回数から計算した副作用の発生率を副作用の値に乗じることにより実現することができる。【００９２】
また、有効度等に代えて、もしくは、これらに加えて、解消日時に基づいて対処策を決定することとしてもよい。解消日時が新しいということは、比較的最近の環境において対処策が有効であったことを示しているので、解消日時が新しい対処策を優先して選択することは、現在発生している症状に対しても有効な対処策を選択することにつながると期待される。同様に、情報取得部１２１にて取得された情報を症状データベース１１１に照合する際に複数の症状が適合した場合、有効な対処策が選択されることを期待して、解消日時が最も新しい症状が発生しているものと特定してもよい。
【産業上の利用可能性】
【００９３】
以上のように、本発明に係るシステム管理プログラム、システム管理装置およびシステム管理方法は、管理対象に生じている症状を特定し、その症状に対応する対処策を決定する処理を自律的におこなわせる場合に有用であり、特に、対処策を選択する基準を自動的に適正化することが必要な場合に適している。
【図１】
2008012903.tif 000005
【図２】
2008012903.tif 000006
【図３】
2008012903.tif 000007
【図４】
2008012903.tif 000008
【図５】
2008012903.tif 000009
【図６】
2008012903.tif 000010
【図７】
2008012903.tif 000011
【図８】
2008012903.tif 000012
【手続補正書】
【提出日】平成20年9月2日(2008.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、
前記管理対象の状況を示す情報を取得する情報取得手順と、
前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、
前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、
前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、
前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順と
をコンピュータに実行させ、
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とするシステム管理プログラム。
【請求項２】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、
前記管理対象の状況を示す情報を取得する情報取得手順と、
前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、
前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、
前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、
前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順と
をコンピュータに実行させ、
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とするシステム管理プログラム。
【請求項３】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、
前記管理対象の状況を示す情報を取得する情報取得手順と、
前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、
前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、
前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、
前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順と
をコンピュータに実行させ、
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行手順によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とするシステム管理プログラム。
【請求項４】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、
前記管理対象の状況を示す情報を取得する情報取得手順と、
前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、
前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、
前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、
前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順と
をコンピュータに実行させ、
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、
前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とするシステム管理プログラム。
【請求項５】
前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、
前記症状特定手順は、前記対処結果評価手順によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする請求項１〜４のいずれか一つに記載のシステム管理プログラム。
【請求項６】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理装置であって、
前記管理対象の状況を示す情報を取得する情報取得手段と、
前記情報取得手段によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手段と、
前記症状特定手段によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手段と、
前記対処策決定手段によって決定された対処策を実行する対処策実行手段と、
前記対処策実行手段によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手段と
を備え、
前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とするシステム管理装置。
【請求項７】
管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理方法であって、
前記管理対象の状況を示す情報を取得する情報取得工程と、
前記情報取得工程によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定工程と、
前記症状特定工程によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定工程と、
前記対処策決定工程によって決定された対処策を実行する対処策実行工程と、
前記対処策実行工程によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価工程と
を含み、
前記対処結果評価工程は、前記対処策実行工程によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、
前記対処策決定工程は、前記症状特定工程によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とするシステム管理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理対象の装置等に問題が生じている場合に、その症状を特定し、特定した症状に対応する対処策を決定するシステム管理プログラム、システム管理装置およびシステム管理方法に関し、特に、対処策を選択する基準を自動的に適正化することができるシステム管理プログラム、システム管理装置およびシステム管理方法に関する。
【背景技術】
【０００２】
従来、情報処理システムにおいて問題が発生した場合、システム管理者等の担当者が、自身が保有するノウハウに基づいて対処をおこなってきた。これらのノウハウは、個別の問題に対処した経験に基づいて各担当者ごとに蓄積され、十分に共有されていないことが多かった。そのため、担当者によって、障害への対応レベルに大きな差が生じることがあった。
【０００３】
このような個人的なスキルへの依存を解消し、問題への対処の迅速化と均質化を実現するため、情報システムにおいて生じる各種問題に関するノウハウを定型化してデータベースに登録しておき、このデータベースを利用して、問題の症状を特定し、特定した症状に対応する対処策を決定する技術が提案されている。
【０００４】
例えば、特許文献１では、ネットワークシステムにおける性能劣化問題を自動的に発見し、その要因を特定し、さらに、その対策をシステム管理者に通知する技術が開示されている。また、非特許文献１では、問題発生時に、自律マネージャが問題解決用のデータベースを参照し、自律的に問題解決をおこなう技術が開示されている。
【０００５】
【特許文献１】特開２００４−１４５５３６号公報
【非特許文献１】“An  architectural  blueprint  for  autonomic  computing.”、［online］、IBM  Corporation、［平成１８年６月３０日検索］、インターネット＜URL：http://www-03.ibm.com/autonomic/pdfs/AC%20Blueprint%20White%20Paper%20V7.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１および非特許文献１において開示されている技術は、問題が生じている管理対象の症状を解消する対処策を適切に決定するために、対処策の決定に関するノウハウを十分に吟味してデータベースに登録しておくことが前提となっている。
【０００７】
このため、ノウハウが十分に吟味されずにデータベースに登録された場合や、環境変化等によって登録されたノウハウが陳腐化してしまった場合には、不適切な対処策が選択されることが多くなり、システムの信頼性が大きく低下してしまうという問題があった。
【０００８】
本発明は、上記に鑑みてなされたものであって、対処策を選択する基準を自動的に適正化することができるシステム管理プログラム、システム管理装置およびシステム管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明の一つの態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理プログラムであって、前記管理対象の状況を示す情報を取得する情報取得手順と、前記情報取得手順によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手順と、前記症状特定手順によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手順と、前記対処策決定手順によって決定された対処策を実行する対処策実行手順と、前記対処策実行手順によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手順とをコンピュータに実行させることを特徴とする。
【００１０】
また、本発明の他の態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理装置であって、前記管理対象の状況を示す情報を取得する情報取得手段と、前記情報取得手段によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定手段と、前記症状特定手段によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定手段と、前記対処策決定手段によって決定された対処策を実行する対処策実行手段と、前記対処策実行手段によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価手段とを備えたことを特徴とする。
【００１１】
また、本発明の他の態様では、管理対象において発生している問題の症状を特定し、その症状を解消するための対処策を決定して実行するシステム管理方法であって、前記管理対象の状況を示す情報を取得する情報取得工程と、前記情報取得工程によって取得された情報を、前記管理対象の状況と該状況によって特定される前記管理対象の症状とが対応付けて登録された症状データベースと照合することにより、前記管理対象に発生している症状を特定する症状特定工程と、前記症状特定工程によって特定された症状を、対処策の決定に係る情報が症状ごとに登録された対処策データベースと照合することにより、前記管理対象に発生している症状を解消するための対処策を決定する対処策決定工程と、前記対処策決定工程によって決定された対処策を実行する対処策実行工程と、前記対処策実行工程によって実行された対処策が前記症状を解消させたか否かを評価し、その評価結果に基づいて前記対処策データベースを更新する対処結果評価工程とを含んだことを特徴とする。
【００１２】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする。
【００１３】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、その確率が最も高い対処策を実行すべき対処策として決定することを特徴とする。
【００１４】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。
【００１５】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手段は、前記対処策実行手段によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手段は、前記症状特定手段によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。
【００１６】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された確率を算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度にその確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された副作用の影響の大きさを示す値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。
【００１７】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策ごとに、実行された回数と、実行によって管理対象の症状が解消された回数とを前記対処策データベースに記録するとともに、前記対処策実行手順によって実行された対処策が該対処策と対応付けて予め前記対処策データベースに登録された副作用を生じさせたか否かをさらに評価して、該対処策が前記副作用を生じさせた回数を対処策ごとに前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策の実行によって管理対象の症状が解消された第１の確率と、該対処策と対応付けられた副作用が生じた第２の確率とを算出し、それぞれの対処策ごとに予め前記対処策データベースに登録された有効度に前記第１の確率を乗じた値と、それぞれの対処策ごとに予め前記対処策データベースに登録された前記副作用の影響の大きさを示す値に前記第２の確率を乗じた値とを加算して得られた値が最も大きい対処策を実行すべき対処策として決定することを特徴とする。
【００１８】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策によって前記管理対象の症状が解消された場合に、現在の日時を前記対処策と対応付けて前記対処策データベースに記録し、前記対処策決定手順は、前記症状特定手順によって特定された症状に対応する対処策が前記対処策データベースに複数登録されている場合に、それぞれの対処策と対応付けて前記対処策データベースに記録されている前記日時を取得し、その日時が最も新しい対処策を実行すべき対処策として決定することを特徴とする。
【００１９】
また、本発明の他の態様では、上記の発明の態様において、前記対処結果評価手順は、前記対処策実行手順によって実行された対処策の評価結果に基づいて、対処策が解消しようとしていた症状ごとに、対処策が実行された回数と、対処策の実行によって管理対象の症状が解消された回数とを前記症状データベースに記録し、前記症状特定手順は、前記対処結果評価手順によって前記症状データベースに記録された情報に基づいて、対処策によって当該の症状が解消された確率を症状ごとに算出し、その確率が高い症状を優先して、前記管理対象に発生している症状を特定することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、対処策を実行した結果、管理対象の症状が解消されたか否かを対処策データベースへ反映させ、次回、管理対象に何らかの対処策が必要になった場合に、反映後の対処策データベースに基づいて対処策を選択するように構成したので、対処策を選択する基準を自動的に適正化することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明に係るシステム管理プログラム、システム管理装置およびシステム管理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００２２】
まず、本実施例に係るシステム管理方法が適用される情報処理システムの一例について説明する。図１は、本実施例に係るシステム管理方法が適用される情報処理システムの一例を示す図である。
【００２３】
同図に示す情報処理システムは、システム管理装置１００と、サーバ装置２０１〜２０６と、サーバ装置３０１〜３０３とをＬＡＮ（Local  Area  Network）等のネットワーク１０で接続して構成されている。
【００２４】
システム管理装置１００は、本実施例に係るシステム管理方法を実行する装置である。システム管理装置１００は、サーバ装置２０１〜２０６およびサーバ装置３０１〜３０３を監視し、これらの装置、もしくは、そこで実行されるサービスに問題が発生した場合には、自身が備えるデータベースを参照して、その症状を特定し、特定した症状に対応した対処を決定し、その対処を実行するという一連の処理を自律的に実行する。
【００２５】
サーバ装置２０１〜２０６は、割り当てられた所定のサービスを実行するサーバ装置である。この例では、サーバ装置２０１と２０２は、業務Ａサービスを実行し、サーバ装置２０３は、業務Ｂサービスを実行し、サーバ装置２０４〜２０６は、業務Ｃサービスを実行している。
【００２６】
サーバ装置３０１〜３０３は、特定のサービスが割り当てられていないサーバ装置であり、サーバプール２０に属する。サーバプールとは、用途が特定されておらず、必要に応じて利用することが可能なサーバ装置の集合を意味する。
【００２７】
システム管理装置１００は、サーバ装置２０１〜２０６のいずれかのサーバ装置に何らかの問題が生じ、そのサーバ装置に割り当てられているサービスを他のサーバ装置で実行する対処が必要であると判断した場合、サーバプール２０に属しているサーバ装置の一つにそのサービスを実行させる。
【００２８】
用途が特定されていないサーバ装置であるサーバ装置３０１〜３０３に指定したサービスを実行させることは、例えば、グリッド技術を利用することにより実現することができる。グリッド技術は、公知技術であるので、ここでは詳しい説明を省略する。
【００２９】
なお、上記の例では、各種業務サービスを実行するサーバ装置群を本実施例に係るシステム管理方法の管理対象としているが、本実施例に係るシステム管理方法は、この他にもクライアント端末や通信制御装置等の各種装置を管理対象とすることができる。
【００３０】
次に、本実施例に係るシステム管理方法を実行するシステム管理装置の構成について説明する。図２は、図１に示したシステム管理装置１００の構成を示す機能ブロック図である。同図に示すように、システム管理装置１００は、記憶部１１０と、制御部１２０とを有する。
【００３１】
記憶部１１０は、各種情報を記憶する記憶部であり、症状データベース１１１と、対処策データベース１１２とを有する。症状データベース１１１は、管理対象にて発生している問題の症状を特定するための情報が登録されたデータベースである。症状データベース１１１の一例を図３に示す。
【００３２】
同図に示すように、症状データベース１１１は、エントリ番号、判定条件、症状名、対処回数、解消回数、解消日時といった項目を有する。エントリ番号は、エントリを識別するための識別番号である。判定条件は、症状を特定するための条件であり、症状データベース１１１は、一つのエントリに複数の条件を組み合わせて設定できるように構成されている。症状名は、同一エントリの判定条件によって特定される症状の識別名である。
【００３３】
対処回数は、当該のエントリによって特定された症状に対して何らかの対処策が実行された回数を示し、解消回数は、その対処策によって症状が解消された回数を示す。そして、解消日時は、当該のエントリによって特定された症状に対して実行された対処策によって、最後に症状が解消された日時を示す。
【００３４】
例えば、「Ａ００１」というエントリ番号で識別されるエントリは、管理対象のＣＰＵ（Central  Processing  Unit）の温度が８０℃を超えている場合に、その管理対象において「高熱」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して１７回対処策が実行され、そのうち１７回症状が解消され、最後に症状が解消されたのが２００６年４月１３日８時５１分であったことを示している。
【００３５】
また、「Ａ００２」というエントリ番号で識別されるエントリは、管理対象のＣＰＵの使用率が７０％を超えており、かつ、プロセス数が２００を超えている場合に、その管理対象において「プロセス過多」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して５２回対処策が実行され、そのうち３９回症状が解消され、最後に症状が解消されたのが２００６年５月２５日１５時３３分であったことを示している。
【００３６】
また、「Ａ００３」というエントリ番号で識別されるエントリは、管理対象のＣＰＵの使用率が７０％を超えており、かつ、メモリの使用率が８０％を超えている場合に、その管理対象において「高負荷」という名前で識別される症状が発生していると特定されることを示している。そして、この症状に対して４５回対処策が実行され、そのうち３６回症状が解消され、最後に症状が解消されたのが２００６年５月１日１９時２８分であったことを示している。
【００３７】
なお、同一の症状を特定するための判定条件が複数パターンある場合は、それぞれの判定パターンごとにエントリを設けて判定条件を登録することができる。この場合、複数のエントリの症状名に、同一の名前が設定されることになる。
【００３８】
対処策データベース１１２は、特定された症状を解消するための対処策と、対処策の選択ルールとが登録されたデータベースである。対処策データベース１１２の一例を図４に示す。同図に示すように、対処策データベース１１２は、症状名、対処策、有効度、副作用、対処回数、解消回数、解消日時といった項目を有し、一つの症状名に対して、対処策〜解消日時の組み合わせを複数登録できる構成になっている。
【００３９】
症状名は、管理対象にて発生している症状を示す識別名であり、症状データベース１１１の症状名と対応する。対処策は、症状を解消して管理対象を正常に戻すために適用しうる対処策を示す。有効度は、その対処策の有効性の高さを示し、副作用は、その対処策によって副次的に生じる効果の大きさを示す。副次的に生じる効果とは、その対策を実行した場合に、問題が生じている対象以外の装置やサービスに与える効果等を意味する。
【００４０】
副作用が正の値をとる場合、対処策によって好ましい効果が副次的に生じることを意味し、副作用が負の値をとる場合、対処策によって好ましくない効果が副次的に生じることを意味する。対処策によって直接的に得られる効果の大きさを有効度として登録し、副次的に生じる効果の大きさを副作用として別個に登録することにより、対処策の評価意図が明確化され、対処策の評価を見直す際に、誤評価が生じにくくなる。
【００４１】
対処回数は、対処策が実行された回数を示し、解消回数は、対処策によって症状が解消された回数を示す。そして、解消日時は、対処策によって最後に症状が解消された日時を示す。
【００４２】
図４の、１番目のエントリは、「高熱」という名前で識別される症状に対して、「クロックを落とす」という対処策を適用でき、この対処策の有効度は「１０」であり、副作用は「０」であることを示している。そして、この対処策が１７回実行され、そのうち１７回症状が解消され、最後に症状が解消されたのが２００６年４月１３日８時５１分であったことを示している。
【００４３】
また、同図の、２番目のエントリは、「プロセス過多」という名前で識別される症状に対して、「サーバを追加する」という対処策と「トランザクションを制限する」という対処策を適用できることを示している。そして、「サーバを追加する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「８」、「−３」、「３」、「２」、「２００６／２／１７  ４：４７」であることを示している。また、「トランザクションを制限する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「９」、「−１」、「４９」、「３７」、「２００６／５／２５  １５：３３」であることを示している。
【００４４】
また、同図の、３番目のエントリは、「高負荷」という名前で識別される症状に対して、「サーバを追加する」という対処策と「トランザクションを制限する」という対処策を適用できることを示している。そして、「サーバを追加する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「８」、「−３」、「２６」、「２３」、「２００６／５／１  １９：２８」であることを示している。また、「トランザクションを制限する」という対処策の有効度、副作用、対処回数、解消回数および解消日時は、「７」、「−１」、「１９」、「１３」、「２００６／４／２２  ２１：４３」であることを示している。
【００４５】
なお、図２においては、症状データベース１１１と、対処策データベース１１２とが独立した構成となっているが、この２つのデータベースを併合し、１つのデータベースとして構成することもできる。
【００４６】
制御部１２０は、システム管理装置１００を全体制御する制御部であり、情報取得部１２１と、症状特定部１２２と、対処策決定部１２３と、対処策実行部１２４と、情報補完部１２５と、対処結果評価部１２６とを有する。情報取得部１２１は、管理対象から送信される通知イベントを受信することにより、管理対象の状況を示す情報を取得する処理部である。
【００４７】
管理対象から送信される通知イベントの一例を図５に示す。同図に示すように、通知イベントは、イベントＩＤ、サーバ名、現象といった項目を有している。イベントＩＤは、通知イベントを識別すための識別番号である。サーバ名は、通知イベントの送信元のサーバ装置のホスト名である。現象は、通知イベントの送信元のサーバ装置に生じている具体的な状況を示す。
【００４８】
なお、管理対象からシステム管理装置１００への通知イベントの送信は、管理対象において特異的な現象が発生した場合に、その内容を通知するためにおこなうものであってもよいし、予め定められた事象について定期的に通知するものであってもよい。また、情報取得部１２１が、管理対象に対して状況を問い合せて能動的に情報収集するように構成してもよいし、システム管理者が、キーボード等の入力装置を介して、通知イベントに相当する情報を情報取得部１２１に入力するように構成してもよい。
【００４９】
症状特定部１２２は、情報取得部１２１において取得された管理対象の状況を示す情報と、症状データベース１１１とを照合して、管理対象にて発生している症状を特定する処理部である。既に説明したように、症状データベース１１１は、複数の判定条件の組み合わせによって症状を特定することができるように構成されており、通知イベントに含まれていた情報だけでは、複数の判定条件の組み合わせの一部について条件が充足されるか否かを判定できない場合がある。
【００５０】
そこで、症状特定部１２２は、情報取得部１２１において取得された情報だけでは、複数の判定条件の組み合わせの一部の適合／不適合を判定できない場合に、不足している情報の補完を情報補完部１２５に依頼する。
【００５１】
このように、本実施例に係るシステム管理方法では、単純なイベントドリブン型の問題解決モデルと異なり、情報補完部１２５が、不足している情報を必要に応じて能動的に取得するので、情報取得部１２１において取得された情報がわずかであっても、実際に生じている症状を正しく絞り込むことができる。また、必要最小限の情報を用いて症状の特定をおこなうので、管理対象が増加した場合であっても、情報収集による大きな負荷が発生することはない。
【００５２】
また、症状特定部１２２は、情報取得部１２１において取得された情報が症状データベース１１１の複数エントリの判定条件と合致する場合、それぞれのエントリの解消率を計算し、最も解消率が高いエントリの症状が発生しているものと特定する。それぞれのエントリの解消率は、例えば、以下の数式１によって計算される。
【００５３】
【数１】
2008012903.tif 000013
【００５４】
ここで、解消回数と対処回数に１を加算しているのは、解消回数と対処回数の一方、もしくは、両方の値が０の場合でも、他のエントリとの比較が適正におこなわれるようにするためである。
【００５５】
対処策決定部１２３は、症状特定部１２２において特定された症状と、対処策データベース１１２とを照合して、管理対象にて発生している症状を解消するための対処策を決定する処理部である。
【００５６】
対処策決定部１２３は、症状特定部１２２において特定された症状に対して、複数の対処策が対処策データベース１１２に登録されている場合、それぞれの対処策ごとに優先度を計算し、この優先度が大きいものを優先して採用する。それぞれの対処策の優先度は、例えば、以下の数式２によって計算される。
【００５７】
【数２】
2008012903.tif 000014
【００５８】
ここで、解消率は、対処策に対応する対処回数と解消回数を数式１に適用して計算され、対処策を実行することによって症状が解消された確率を表す。
【００５９】
このように、有効度に解消率を乗じることにより、有効度の設定値が適正でない場合や、環境変化等によって陳腐化した場合であっても、優先度が適正に補正されることになる。ある対処策の有効度が不適切に高い値となっていても、何度かその対処策を実行して症状が解消されなければ、解消率が低下し、優先度の値が小さくなるからである。
【００６０】
対処策実行部１２４は、対処策決定部１２３において決定された対処策を実行する処理部である。情報補完部１２５は、症状特定部１２２から補完を依頼された情報を管理対象に問い合せて、管理対象の状況を示す情報を能動的に取得する処理部である。
【００６１】
対処結果評価部１２６は、対処策実行部１２４によって実行された対処策の実行結果を対処策データベース１１２に反映させる処理部である。具体的には、対処結果評価部１２６は、実行された対処策の対処回数に１を加算し、対処策の実行によって症状が解消された場合は、解消回数の値にも１を加算して、解消日時を現在日時へ更新する。
【００６２】
また、対処結果評価部１２６は、対処策実行部１２４によって実行された対処策の実行結果を症状データベース１１１にも反映させる。具体的には、対処結果評価部１２６は、実行された対処策が選択される基となった症状データベース１１１のエントリの対処回数に１を加算し、対処策の実行によって症状が解消された場合は、解消回数の値にも１を加算して、解消日時を現在日時へ更新する。
【００６３】
なお、対処策実行部１２４によって実行された対処策の実行によって症状が解消されたか否かは、実行された対処策が選択される基となった症状データベース１１１のエントリの判定条件が充足されなくなったか否かを検証することによって判定することができる。また、対処策データベース１１２の各対処策ごとに症状が解消されたか否かを判定する条件を登録しておき、この条件が充足されるか否かを検証することによって判定することもできる。
【００６４】
次に、図２に示したシステム管理装置１００の処理手順について説明する。図６は、システム管理装置１００の処理手順を示すフローチャートである。同図は、システム管理装置１００が管理対象から通知イベントを受信した後の処理手順を示している。
【００６５】
同図に示すように、情報取得部１２１が、受信した通知イベントから管理対象の状況を示す情報を取得すると（ステップＳ１０１）、症状特定部１２２が、症状データベース１１１から判定条件が一部でもその情報に一致するエントリを抽出し（ステップＳ１０２）、エントリごとに解消率を計算する（ステップＳ１０３）。
【００６６】
そして、抽出されたエントリの中から、解消率が最も高い未選択のエントリを１つ選択する（ステップＳ１０４）。ここで、全エントリを選択済みであれば（ステップＳ１０５肯定）、管理対象に問題はないものとして処理を終了する。
【００６７】
未選択のエントリを選択できた場合は（ステップＳ１０５否定）、そのエントリの判定条件が充足されているか否かを判定するのに必要な情報が一部不足していれば（ステップＳ１０６肯定）、情報補完部１２５が、管理対象の状況を示す情報を能動的に取得して、必要な情報を補完する（ステップＳ１０７）。
【００６８】
そして、必要な情報が全て揃った状態で、判定条件が充足されることが確認されれば（ステップＳ１０８肯定）、症状特定部１２２は、当該のエントリの症状名が示す症状が管理対象に発生していると特定し（ステップＳ１０９）、システム管理装置１００は、後述する対処策実行処理を実行する（ステップＳ１１０）。
【００６９】
また、必要な情報が全て揃った状態で、判定条件が充足されないことが確認されれば（ステップＳ１０８否定）、症状特定部１２２は、ステップＳ１０４に戻って次のエントリの処理に移行する。
【００７０】
図７は、対処策実行処理の処理手順を示すフローチャートである。同図に示すように、対処策決定部１２３は、症状特定部１２２が特定した症状に対応する対処策データベース１１２のエントリをリードし（ステップＳ２０１）、有効度、解消率および副作用に基づいて各対処策の優先度を計算する（ステップＳ２０２）。
【００７１】
そして、対処策決定部１２３は、未選択の対処策の中で最も優先度の高い対処策を一つ選択し（ステップＳ２０３）、その対処策を対処策実行部１２４に実行させる（ステップＳ２０４）。
【００７２】
そして、対処結果評価部１２６が、ステップＳ１０９で特定された症状に対応する症状データベース１１１のエントリの対処回数に１を加算し、ステップＳ２０３で選択された対処策に対応する対処策データベース１１２の情報の対処回数に１を加算する（ステップＳ２０５）。
【００７３】
さらに、対処策の実行によって症状が解消されたと判定した場合は（ステップＳ２０６肯定）、症状データベース１１１の上記エントリと対処策データベース１１２の上記情報の解消回数に１を加算し（ステップＳ２０７）、解消日時を現在日時に更新する（ステップＳ２０８）。
【００７４】
次に、情報取得部１２１が、図５に示した通知イベントを受信した場合を例にして、システム管理装置１００の具体的な動作例について説明する。図５に示した通知イベントは、「サーバＡ」というホスト名をもつサーバ装置においてＣＰＵ使用率が８３％になっていることを示している。
【００７５】
症状特定部１２２は、この情報が示す症状を特定するため、症状データベース１１１のエントリをリードし、判定条件が一部でも合致するエントリを抽出する。この結果、「ＣＰＵ使用率＞７０％」という判定条件をもつエントリ番号「Ａ００２」のエントリとエントリ番号「Ａ００３」のエントリが抽出される。
【００７６】
そして、症状特定部１２２は、有効な対処策が選択される可能性を高めるため、抽出された各エントリの解消率を計算する。数式１を用いて解消率を計算すると、エントリ番号「Ａ００２」のエントリの解消率は約７５％であり、エントリ番号「Ａ００３」のエントリの解消率は約８０％である。
【００７７】
そこで、症状特定部１２２は、まず、解消率が高いエントリ番号「Ａ００３」のエントリを選択し、このエントリの判定条件全体が充足されるか否かを検証するため、不足している情報を情報補完部１２５に取得させる。この場合、具体的には、「サーバＡ」というホスト名をもつサーバ装置のメモリ使用率が取得される。
【００７８】
ここで、取得されたメモリ使用率が、例えば９０％であれば、エントリ番号「Ａ００３」のエントリの判定条件が完全に充足されることとなり、症状特定部１２２は、「サーバＡ」というホスト名をもつサーバ装置において、「高負荷」という症状名に対応する症状が発生していると特定する。
【００７９】
こうして、症状が特定された後、対処策決定部１２３が、対処策データベース１１２を参照して対処策を決定する。図４に示した対処策データベース１１２の例の症状名「高負荷」のエントリには、２つの対処策が登録されている。
【００８０】
ここで、数式２を用いて各対処策の優先度を計算すると、対処策「サーバを追加する」の優先度は、約４．１であり、対処策「トランザクションを制限する」の優先度は、約３．８であるので、対処策決定部１２３は、優先度の値が最も大きい対処策「サーバを追加する」を対処策として選択する。
【００８１】
なお、対処回数と解消回数が０の場合、対処策「サーバを追加する」の優先度は５になり、対処策「トランザクションを制限する」の優先度は６になる。すなわち、この例は、対処策「トランザクションを制限する」の有効度が不適切に高い値に設定されていたが、対処策の実行とその結果のフィードバックが繰り返された結果、対処策「サーバを追加する」の優先度の方が高く評価されるようになった場合を示している。
【００８２】
こうして、対処策が決定された後、対処策実行部１２４がその対処策を実行し、対処結果評価部１２６がその結果を評価して、症状データベース１１１と対処策データベース１１２を更新する。
【００８３】
なお、図２に示した本実施例に係るシステム管理装置１００の構成は、本発明の要旨を逸脱しない範囲で種々に変更することができる。例えば、システム管理装置１００の制御部１２０の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、システム管理装置１００と同等の機能を実現することもできる。以下に、制御部１２０の機能をソフトウェアとして実装したシステム管理プログラム１０７１を実行するコンピュータの一例を示す。
【００８４】
図８は、システム管理プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受をおこなうネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random  Access  Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。
【００８５】
そして、ハードディスク装置１０７０には、図２に示した制御部１２０と同様の機能を有するシステム管理プログラム１０７１と、図２に示した記憶部１１０に記憶される各種データベースに対応するシステム管理用データ１０７２とが記憶される。なお、システム管理用データ１０７２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。
【００８６】
そして、ＣＰＵ１０１０がシステム管理プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、システム管理プログラム１０７１は、システム管理プロセス１０６１として機能するようになる。そして、システム管理プロセス１０６１は、システム管理用データ１０７２から読み出した情報等を適宜ＲＡＭ１０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。
【００８７】
なお、上記のシステム管理プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。
【００８８】
なお、上記の実施例では、対処策の実行結果によって各対処策の有効度の値を補正する例を示したが、解消率の大きさをそのまま優先度とみなして対処策を選択することとしてもよい。この場合、優先度や副作用の設定の必要がなくなり、システム管理者の負荷が軽減される。また、対処策データベース１１２から副作用の項目のみをなくし、有効度に解消率を乗じた値を優先度とみなして対処策を選択することとしてもよい。
【００８９】
また、上記の実施例では、対処策の実行結果によって各対処策の有効度の値を補正する例を示したが、対処策の実行結果によって副作用の値も補正することとしてもよい。副作用の補正は、例えば、副作用の具体的な現象を各対処策と対応付けて登録しておき、対処策の実行後にその現象が発生しているか否かを解消回数と同様に記録し、この回数と対処回数から計算した副作用の発生率を副作用の値に乗じることにより実現することができる。
【００９０】
また、有効度等に代えて、もしくは、これらに加えて、解消日時に基づいて対処策を決定することとしてもよい。解消日時が新しいということは、比較的最近の環境において対処策が有効であったことを示しているので、解消日時が新しい対処策を優先して選択することは、現在発生している症状に対しても有効な対処策を選択することにつながると期待される。同様に、情報取得部１２１にて取得された情報を症状データベース１１１に照合する際に複数の症状が適合した場合、有効な対処策が選択されることを期待して、解消日時が最も新しい症状が発生しているものと特定してもよい。
【産業上の利用可能性】
【００９１】
以上のように、本発明に係るシステム管理プログラム、システム管理装置およびシステム管理方法は、管理対象に生じている症状を特定し、その症状に対応する対処策を決定する処理を自律的におこなわせる場合に有用であり、特に、対処策を選択する基準を自動的に適正化することが必要な場合に適している。
【図面の簡単な説明】
【００９２】
【図１】図１は、本実施例に係るシステム管理方法が適用される情報処理システムの一例を示す図である。
【図２】図２は、図１に示したシステム管理装置の構成を示す機能ブロック図である。
【図３】図３は、症状データベースの一例を示す図である。
【図４】図４は、対処策データベースの一例を示す図である。
【図５】図５は、通知イベントの一例を示す図である。
【図６】図６は、システム管理装置の処理手順を示すフローチャートである。
【図７】図７は、対処策実行処理の処理手順を示すフローチャートである。
【図８】図８は、システム管理プログラムを実行するコンピュータを示す機能ブロック図である。
【符号の説明】
【００９３】
１０  ネットワーク
２０  サーバプール
１００  システム管理装置
１１０  記憶部
１１１  症状データベース
１１２  対処策データベース
１２０  制御部
１２１  情報取得部
１２２  症状特定部
１２３  対処策決定部
１２４  対処策実行部
１２５  情報補完部
１２６  対処結果評価部
２０１〜２０６、３０１〜３０３  サーバ装置
１０００  コンピュータ
１０１０  ＣＰＵ
１０２０  入力装置
１０３０  モニタ
１０４０  媒体読取り装置
１０５０  ネットワークインターフェース装置
１０６０  ＲＡＭ
１０６１  システム管理プロセス
１０７０  ハードディスク装置
１０７１  システム管理プログラム
１０７２  システム管理用データ
１０８０  バス
【国際調査報告】
2008012903.tif 000015
2008012903.tif 000016
2008012903.tif 000017
2008012903.tif 000018