(57)【要約】      （修正有）【課題】障害に対してどのような対応をすべきか、その判断材料を提供して担当者が適切に判断することが可能な障害切り分けサポートシステムおよび障害対応管理方法を提供する。【解決手段】監視対象となる第１のサーバ１００は、ログ情報を出力するログ出力部１０２を備え、第１のサーバ１００を監視する第２のサーバ２００は、エラーログ２０１１と、該エラーログに含まれるエラーコードを含み障害に対応するための手順マニュアル２０１２と、該エラーコードの示す障害に対するオペレータの過去の対応内容を示す対応記録とを記憶する記憶部２０１と、第１のサーバから出力されたログの中からエラーログを抽出し、抽出したエラーログを記憶部に記憶する監視部２０２と、記憶されたエラーログに含まれるエラーコードに対応する手順マニュアルと対応記録２０１３とをオペレータが使用する端末３００に送信する第１の送受信部２０３と、を備える。【選択図】図１
2015215739.tif 000002
【特許請求の範囲】
【請求項１】
オペレータによる障害対応の切り分けをサポートする障害切り分けサポートシステムであって、
監視対象となる第１のサーバは、
処理が実行された際のログ情報を出力するログ出力部を備え、
前記第１のサーバを監視する第２のサーバは、
前記ログ情報に含まれるエラーログと、前記第１のサーバに発生した障害のエラーコードを含み前記障害に対応するための手順マニュアルと、前記第１のサーバに発生したエラーコードの障害に対するオペレータの過去の対応内容を示す対応記録とを記憶する記憶部と、
前記第１のサーバから出力されたログの中からエラーログを抽出し、抽出したエラーログを前記記憶部に記憶する監視部と、
前記記憶部に記憶されたエラーログに含まれるエラーコードに対応する前記手順マニュアルと、前記対応記録に含まれる前記エラーコードに対応する対応記録とをオペレータが使用する端末に送信する第１の送受信部と、
を備えることを特徴とする障害切り分けサポートシステム。
【請求項２】
前記オペレータが使用する端末は、オペレータから前記第１のサーバに発生した障害についての対応結果の入力を受け付ける入力部と、
前記入力部から入力された対応結果を前記第２のサーバに送信する第２の送受信部と、を備え、
前記第２のサーバの前記第１の送受信部は、前記オペレータが使用する端末から前記対応結果を受信し、その対応結果を前記対応記録に登録する、
ことを特徴とする請求項１に記載の障害切り分けサポートシステム。
【請求項３】
前記監視部は、前記ログ情報に含まれるエラーログに示されているエラーの値と、前記エラーの値にバッファが設けられた閾値とに基づいて、前記エラーの値が前記閾値を超えた場合に前記エラーログを記憶する、
ことを特徴とする請求項１または２に記載の障害切り分けサポートシステム。
【請求項４】
前記監視部は、前記第１のサーバから出力されたログ情報に含まれるエラーコードに基づいて、前記記憶部に記憶されている対応記録を検索し、過去に同じエラーコードが前記エラーログとして出力されていたときの対応記録に基づいて障害対応する、
ことを特徴とする請求項１〜３のいずれか1項に記載の障害切り分けサポートシステム。
【請求項５】
オペレータによる障害対応の切り分けをサポートする障害切り分けサポートシステムで行われる障害対応管理方法であって、
監視対象となる第１のサーバが処理を実行した際のログ情報を出力する出力ステップと、
前記第１のサーバから出力されたログの中からエラーログを抽出し、抽出したエラーログを前記第１のサーバを監視する第２のサーバの記憶部に記憶する監視ステップと、
前記記憶部に記憶されたエラーログに含まれるエラーコードに対応する前記第１のサーバに発生した障害のエラーコードを含み前記障害に対応するための手順マニュアルと、前記第１のサーバに発生したエラーコードの障害に対するオペレータの過去の対応内容を示す対応記録に含まれる前記エラーコードに対応する対応記録とをオペレータが使用する端末に送信する送受信ステップと、
を含むことを特徴とする障害対応管理方法。
【請求項６】
前記送受信ステップにおいて、前記オペレータが使用する端末から入力された前記第１のサーバに発生した障害についての対応結果を受信し、その対応結果を前記対応記録に登録する、
ことを特徴とする請求項５に記載の障害対応管理方法。
【請求項７】
前記監視ステップにおいて、前記ログ情報に含まれるエラーログに示されているエラーの値と、前記エラーの値にバッファが設けられた閾値とに基づいて、前記エラーの値が前記閾値を超えた場合に前記エラーログを記憶する、
ことを特徴とする請求項５または６に記載の障害対応管理方法。
【請求項８】
前記監視部ステップにおいて、前記第１のサーバから出力されたログ情報に含まれるエラーコードに基づいて、前記記憶部に記憶されている対応記録を検索し、過去に同じエラーコードが前記エラーログとして出力されていたときの対応記録に基づいて障害対応する、
ことを特徴とする請求項５〜７のいずれか１項に記載の障害対応管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害を切り分けるためのサポート、およびその管理をする障害切り分けサポートシステムおよび障害対応管理方法に関する。
【背景技術】
【０００２】
従来から、ネットワーク、データベース等のシステムで発生した障害への対応として様々な方法がある。例えば、データベースに障害が発生した際の運用として、運用システムがデータベースのアラートログが発生したか否かを監視し、アラートログが発生している場合には担当者にメールを送信している。また、特許文献１では、データベース振分装置は、データベースの障害状況（ハードウェア上及びソフトウェア上の障害状況）を監視し、障害が発生したデータベースを運用から外すことにより、処理効率の低下を防いでいる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２２９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、担当者は受信したメールに含まれるエラーコード等によって必要に応じた対処をするが、該当するエラーコードがどのような内容であるか調査した上で対応の要否を判断したり、さらにはその対応を実行しなければならない。このような判断は担当者の過去の経験によるとことが大きく、ベテランの担当者は速やかに判断出来る一方、経験の浅い担当者は対応に時間がかかってしまい、担当者の経験に応じて対応方法や対応時間に差が生じてしまう。システムの運用対象は３６５日２４時間稼動である場合には、システムを停止させないように、迅速かつ的確な対応が求められるため、この問題はよりシビアになる。特許文献１に開示された技術では、障害が発生したデータベースを運用から外しているが、そのデータベースの対応については考慮されておらず、上記従来技術と同様、障害に対してどのような対応をすべきか、担当者が適切に判断することができない。
【０００５】
本発明は、上記に鑑みてなされたものであって、障害に対してどのような対応をすべきか、その判断材料を提供して担当者が適切に判断することが可能な障害切り分けサポートシステムおよび障害対応管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる障害切り分けサポートシステムは、オペレータによる障害対応の切り分けをサポートする障害切り分けサポートシステムであって、監視対象となる第１のサーバは、処理が実行された際のログ情報を出力するログ出力部を備え、前記第１のサーバを監視する第２のサーバは、前記ログ情報に含まれるエラーログと、前記第１のサーバに発生した障害のエラーコードを含み前記障害に対応するための手順マニュアルと、前記第１のサーバに発生したエラーコードの障害に対するオペレータの過去の対応内容を示す対応記録とを記憶する記憶部と、前記第１のサーバから出力されたログの中からエラーログを抽出し、抽出したエラーログを前記記憶部に記憶する監視部と、前記記憶部に記憶されたエラーログに含まれるエラーコードに対応する前記手順マニュアルと、前記対応記録に含まれる前記エラーコードに対応する対応記録とをオペレータが使用する端末に送信する第１の送受信部と、を備えることを特徴とする障害切り分けサポートシステムとして構成される。
【０００７】
また、本発明は、上記障害切り分けサポートシステムで行われる障害対応管理方法としても把握される。
【発明の効果】
【０００８】
本発明によれば、障害に対してどのような対応をすべきか、その判断材料を提供して担当者が適切に判断することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態における障害切り分けサポートシステムの構成例を示す図である。
【図２】エラーログの例を示す図である。
【図３】手順マニュアルの例を示す図である。
【図４】対応記録の例を示す図である。
【図５】障害切り分けサポート処理の処理手順を示すフローチャートである。
【図６】障害切り分けサポート処理の処理手順を示すフローチャートである（他の例１）。
【図７】障害切り分けサポート処理の処理手順を示すフローチャートである（他の例２）。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、本発明にかかる障害切り分けサポートシステムおよび障害対応管理方法の実施の形態を詳細に説明する。
【００１１】
図１は、本実施の形態における障害切り分けサポートシステムの構成例を示す図である。図１に示すように、障害切り分けサポートシステムは、データベースサーバ１００と、監視サーバ２００と、担当者端末３００とを有し、これらが互いにネットワークＮを介して接続されている。以下では特に示していないが、各装置は互いに通信するための通信部を有している。なお、本実施例では、データベースサーバ１００を例示して説明しているが、アプリケーションサーバ等、他のサーバであってもよい。また、データベースサーバ１００と監視サーバ２００とは、互いに別個の筺体である前提で説明しているが、これらの全部または一部が１つの筺体で構成されていてもよい。
【００１２】
データベースサーバ１００は、様々なジョブ（例えば、商品の在庫管理システム、経理処理システム等の各種システムを実行するジョブ）で使用されるデータベースを格納するサーバである。図１に示すように、データベースサーバ１００は、データベース１０１と、ログ出力部１０２とを有している。
【００１３】
データベース１０１は、上述した各種ジョブで使用されるデータを記憶するデータベースである。ログ出力部１０２は、各種ジョブが実行されたときのログ情報（例えば、処理の正常終了や異常終了、その時のリターンコードやエラーコードおよびそれらの内容等）を出力する。
【００１４】
監視サーバ２００は、各種ジョブの実行やデータベースサーバ１００の障害を監視するサーバである。図１に示すように、監視サーバ２００は、記憶部２０１と、監視部２０２と、メール送受信部２０３と、対応記録部２０４とを有している。
【００１５】
記憶部２０１は、ＨＤＤ（Hard  Disk  Drive）等の一般的な記憶装置であり、エラーログ２０１１と、手順マニュアル２０１２と、対応記録２０１３とを記憶する。
【００１６】
エラーログ２０１１は、データベースサーバ１００に記憶されるログ情報のうち、エラーやワーニングに関するログ（エラーログ）を記憶する。図２は、エラーログ２０１１の例を示す図である。図２に示すように、エラーログ２０１１には、各種ジョブの実行時に出力されたエラーコードと、その内容が記録されている。図２では、オラクルデータベース（登録商標）で表にINSERT実行時に「ORA-01653」のエラーコードが出力され、表ABCを拡張出来なかったことがわかる。エラーログ２０１１は、このようなエラーコードおよびそのエラーの内容とが対応付けられ、ログ情報のうちエラーやワーニングに関する情報のみが抽出されている。図２に示す例では明示していないが、実際には、そのエラーやワーニングが発生したときの日時がこれらの情報に対応付けて記録されている。
【００１７】
手順マニュアル２０１２は、エラーやワーニングが発生したときの標準的な対応手順を記録したマニュアルを記憶する。図３は、手順マニュアル２０１２の例を示す図である。図３に示すように、手順マニュアル２０１２は、エラーコードとマニュアル手順とが対応付けて記憶されている。図３では、エラーコード「ORA-01653」のエラーが出力された場合、ALTER  TABLESPACE  ADD  DATA」文を使用して、指定領域に１つ以上のファイルを作成することが標準的な対応手順であることを示している。このように、手順マニュアル２０１２には、あるエラーやワーニングが出力された場合に、その時に対応する標準的な手順が、エラーコードごとに記憶されている。
【００１８】
対応記録２０１３は、過去にオペレータが障害に対応したときの内容を記録したものである。図４は、対応記録２０１３の例を示す図である。図４に示すように、対応記録２０１３は、エラーコードと、そのエラーコードが発生した日付と、そのエラーに対して対応の必要があったか否かを示す対応要否と、そのときの対応内容とが対応付けて記憶されている。図４では、２０１４年４月１０日２３時５５分にデータベースのエラー「ＯＲＡ−０１６５３」が出力され、その時のオペレータの対応として、拡張が必要であったが、表領域のクリアＪＯＢが０時３０分に実行されるため、対応不要としたことが分かる。続いて、監視部２０２について説明する。
【００１９】
監視部２０２は、データベースサーバ１００から出力されるログ情報を常時監視し、その中からエラーログを読み取り、図２に示したエラーログを記憶部２０１に記憶する。
【００２０】
メール送受信部２０３は、記憶部に記憶されたエラーログのエラーコードに対応する手順マニュアルを手順マニュアル２０１２の中から抽出するとともに、そのエラーコードに対応する過去の対応記録を対応記録２０１３の中から抽出する。メール送受信部２０３は、あらかじめ担当者として定められたオペレータに、抽出した手順マニュアルおよび対応記録を送信する。実際には、エラーログに出力されたジョブ名、そのジョブの運用を担当するオペレータ、エラーコード等の障害情報とともに、これらの情報が障害発生通知として送信される。
【００２１】
また、メール送受信部２０３は、オペレータによって障害発生通知に示されたエラーコードについての手順マニュアルや対応記録が確認され、発生した障害への対応が完了した際に担当者端末３００から入力された対応記録を受信し、対応記録２０１３に登録する。このように、オペレータが障害の対応をした際に、対応記録２０１３が随時蓄積される。続いて、担当者端末３００について説明する。
【００２２】
担当者端末３００は、監視サーバ２００から障害発生通知を受信したり、オペレータが発生した障害についての対応記録を入力する端末である。図１に示すように、担当者端末３００は、入力部３０１と、表示部３０２と、メール送受信部３０３とを有して構成されている。
【００２３】
入力部３０１は、例えば、キーボード等の一般的な入力装置から構成され、オペレータから対応記録の入力を受け付ける。
【００２４】
表示部３０２は、例えば、ＬＣＤ（Liquid Crystal Display）等の一般的な表示装置から構成され、監視サーバ２００から受信した手順マニュアルや対応記録を表示したり、オペレータが対応した障害について対応記録を入力するための初期画面を表示する。
【００２５】
メール送受信部２０３は、監視サーバ２００からエラーコードについての手順マニュアルや対応記録を受信し、またはオペレータが入力した対応記録を監視サーバ２００に送信する。
【００２６】
なお、上述した各部が実行する機能は、実際には、例えば、ＣＰＵ（Central Processing Unit）等の演算装置がＲＯＭ（Read Only Memory）等のメモリに記憶されているプログラムを実行することにより実現される。また、そのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供することも可能である。さらに、そのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードして提供または配布したり、ＲＯＭ等に予め組み込んで提供するように構成してもよい。続いて、障害切り分けサポートシステムで行われる処理（障害切り分けサポート処理）について説明する。
【００２７】
図５は、障害切り分けサポート処理の処理手順を示すフローチャートである。図５に示すように、障害切り分けサポート処理では、監視部２０２が、データベースサーバ１００の障害を監視し（Ｓ５０１）、ログ情報が出力されているか否かを判定する（Ｓ５０２）。
【００２８】
監視部２０２は、ログ情報が出力されていないと判定した場合（Ｓ５０２；Ｎｏ）、そのまま引き続き監視を続ける一方、ログ情報が出力されていると判定した場合（Ｓ５０２；Ｙｅｓ）、その中からエラーログを抽出し、記憶部２０１のエラーログ２０１１に記憶する（Ｓ５０３）。メール送受信部２０３は、記憶部２０１に記憶されたエラーログのエラーコードに対応する手順マニュアルを抽出するとともに、そのエラーコードに対応する過去の対応記録を対応記録２０１３の中から抽出する（Ｓ５０４、Ｓ５０５）。
【００２９】
メール送受信部２０３は、あらかじめ担当者として定められたオペレータに、抽出した手順マニュアルおよび対応記録を含む障害発生通知を送信する（Ｓ５０６）。その後、担当者であるオペレータは、手順マニュアルおよび過去の対応記録を参照して障害対応を行い、その対応が完了すると、担当者端末３００の入力部３０１は、担当者から図４に示した対応記録の入力を受け付け、メール送受信部３０３がその対応記録を監視サーバ２００に送信し、監視サーバ２００のメール送受信部２０３が、担当者端末３００から受信した対応記録を対応記録２０１３に登録する（Ｓ５０７）。
【００３０】
このように、本実施例では、上述した処理を実行するので、障害に対してどのような対応をすべきか、その判断材料を提供して担当者が適切に判断することができる。具体的には、オペレータ等の運用担当者は、メールを受け取った時点で、障害対応の判断材料となる情報を得ることができ、障害発生から復旧までの対応時間を短縮することができる。また、運用業務における障害対応時間の短縮により、顧客に対する運用サービスの品質向上が見込まれると共に、運用コストを削減することで顧客費用を低減することができる。
【００３１】
上述した実施例では、監視部２０２が、データベースサーバ１００から出力されるログ情報を常時監視し、その中からエラーログを読み取り、エラーログとして記憶部２０１に記憶することとした。しかし、エラーログの種類や数は多く、障害対応の優先度が低いものも存在する。そこで、そのような場合には、ログ情報から全てのエラーログを抽出するのではなく、ログ情報で示されているエラーの値にバッファとなる閾値を設け、そのバッファとなる閾値を超えた場合にのみエラーログとして抽出することとしてもよい。
【００３２】
例えば、ディスク容量に対して７０％の容量を使用している旨のワーニングメッセージがログ情報に含まれている場合には、あらかじめ設定しておいたバッファ閾値（例えば、８０％）とその値とを比較し、その値がバッファ閾値を超えていない場合、監視部２０２は、そのログ情報をエラーログと判定せずに、そのまま監視を続けることとしてもよい。
【００３３】
図６は、バッファ閾値を設けた場合の障害切り分けサポート処理の処理手順を示すフローチャートである。図６では、図５と同様の処理を実行するステップについては同一の符号を付してその説明を省略している。図６に示すように、監視部２０２は、ログ情報が出力されていると判定した場合（Ｓ５０２；Ｙｅｓ）、さらにログ情報に示されている値とバッファ閾値とを比較し、その値（エラーの値）がバッファ閾値以下であると判定した場合（Ｓ６０１；Ｎｏ）、そのまま監視を続け、そのエラーの値がバッファ閾値より大きいと判定した場合（Ｓ６０１；Ｙｅｓ）、Ｓ５０２以降の処理を実行する。このような処理とすることにより、エラーログとして記憶される情報自体を減らすことができ、オペレータが対応すべき障害の通知を減らすことができる。
【００３４】
また、データベースサーバ１００が過去に同じエラーコードを含むログ情報を出力し、オペレータが同じ障害対応を行う場合もある。そこで、そのような場合には、監視部２００が、データベースサーバ１００から出力されたログ情報に含まれるエラーコードをキーとして、記憶部２０１に記憶されている対応記録２０１３を検索し、過去に同じエラーコードがエラーログとして出力されていたときの対応記録に基づいて、自動的に障害対応を実行してもよい。このとき、あわせてその旨および障害対応の結果をオペレータに通知してもよい。
【００３５】
例えば、監視部２０２は、過去の対応記録の対応内容の中からあらかじめ定められたコマンド（例えば、表領域のクリア、再割り当て等のコマンド）が含まれているか否かを判定し、そのコマンドが含まれている場合には、その時の対応内容と同様のコマンドを実行し、その結果を対応記録に登録する。このように、過去に行われた対応内容を自動的に実行することにより、オペレータが障害対応をする負担を軽減することができる。
【００３６】
図７は、障害対応を自動的に実行する場合の障害切り分けサポート処理の処理手順を示すフローチャートである。図７では、図５、図６と同様の処理を実行するステップについては同一の符号を付してその説明を省略している。図７に示すように、メール送受信部２０３は、記憶部２０１に記憶されたエラーログのエラーコードに対応する手順マニュアルを抽出すると（Ｓ５０４）、過去に同じエラーコードで同じ対応内容のエラーログがあるか否かを判定する（Ｓ７０１）。
【００３７】
そして、メール送受信部２０３は、過去に同じエラーコードで同じ対応内容のエラーログがあると判定した場合（Ｓ７０１；Ｙｅｓ）、その時の対応（例えば、そのエラーログに示されているコマンド）を実行、その対応記録を登録し（Ｓ７０２）、Ｓ７０１に戻って監視部２０１が引き続き監視を続ける。もちろん、このときＳ５０５〜Ｓ５０７の処理を実行してもよい。過去に同じエラーコードで同じ対応内容のエラーログがないと判定された場合（Ｓ７０１；Ｎｏ）には、図５の場合と同様に、以降の処理（Ｓ５０５〜Ｓ５０７）を実行する。このような処理を実行することにより、オペレータに通知される障害通知を減らすことができ、オペレータの負担を軽減することができる。
【００３８】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、図６に示したＳ６０１および図７に示したＳ７０１、Ｓ７０２の各処理の両方を含めて障害切り分けサポート処理を実行してもよい。この場合、オペレータに対する負担をさらに軽減することができる。
【符号の説明】
【００３９】
１０００            障害切り分けサポートシステム
１００              データベースサーバ
１０１              データベース
１０２              ログ出力部
２００              監視サーバ
２０１              記憶部
２０１１            エラーログ
２０１２            手順マニュアル
２０１３            対応記録
２０２              監視部
２０３              メール送受信部
２０４              対応記録部
３００              担当者端末
３０１              入力部
３０２              表示部
３０３              メール送受信部
Ｎ                  ネットワーク
【図１】
2015215739.tif 000003
【図２】
2015215739.tif 000004
【図３】
2015215739.tif 000005
【図４】
2015215739.tif 000006
【図５】
2015215739.tif 000007
【図６】
2015215739.tif 000008
【図７】
2015215739.tif 000009