(57)【要約】【課題】インシデントに対処する作業負荷を軽減する技術を提供すること。【解決手段】表示制御装置１００は、監視対象１２０の監視データ１４０と、監視対象１２０の識別情報とを取得する。表示制御装置１００は、取得した監視データ１４０が、取得した監視対象１２０の識別情報に対応付けられた基準１５０を満たすか否かの判定を行う。表示制御装置１００は、監視データ１４０が基準１５０を満たす場合、記憶部１１０を参照して、取得した識別情報に対応付けられた対処方法１６０を特定する。表示制御装置１００は、取得した監視データ１４０および監視対象１２０の識別情報に基づき、特定した対処方法１６０に対応付けられたインシデント管理情報１７０を生成する。表示制御装置１００は、生成したインシデント管理情報１７０の指定を受け付けると、特定した対処方法１６０の表示端末１９０への表示指示を出力する。【選択図】図１
2020004198.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【請求項２】
前記記憶部は、監視対象に関するインシデントへの対処方法と、該インシデントの内容または原因とを、該監視対象の識別情報に対応付けて記憶し、
前記特定する処理は、前記記憶部を参照して、取得した前記識別情報に対応付けられた対処方法と、内容または原因とを特定し、
前記生成する処理は、特定した前記対処方法と、特定した前記内容または前記原因とに対応付けられたインシデント管理情報を生成し、
前記出力する処理は、生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法と、特定した前記内容または前記原因との、前記表示端末への表示指示を出力する、ことを特徴とする請求項１に記載の表示制御方法。
【請求項３】
特定した前記対処方法を自動実行する、処理を前記コンピュータが実行することを特徴とする請求項１または２に記載の表示制御方法。
【請求項４】
前記特定する処理は、取得した前記識別情報に対応付けられた対処方法が複数ある場合、条件を満たす対処方法を特定する、ことを特徴とする請求項１〜３のいずれか一つに記載の表示制御方法。
【請求項５】
監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【請求項６】
監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
制御部を有することを特徴とする表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御方法、表示制御プログラム、および表示制御装置に関する。
【背景技術】
【０００２】
従来、ユーザにサービスを提供するシステムで何らかのインシデントが発生したことに起因してサービスに何らかの問題が発生すると、システム運用側の作業者は、インシデントに対処し、インシデントを解決することになる。
【０００３】
先行技術としては、例えば、コンポーネントの識別子に基づき、指定時刻における業務システムの構成と監視情報を特定して出力するものがある。また、例えば、監視対象の構成の変化または状態の変化を数値化し、表示する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１５０１８号公報
【特許文献２】国際公開第２０１３／００１６０９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、インシデントに対処することが難しい場合がある。例えば、対処に関する知識や経験の浅いような作業者は、インシデントにどのように対処すればよいのかを判断できず、どのように対処するかを調べることになり、インシデントに対処する作業にかかる作業時間および作業負担の増大化を招く。
【０００６】
１つの側面では、本発明は、インシデントに対処する作業負荷を軽減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、監視対象の監視データと、前記監視対象の識別情報とを取得し、取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する表示制御方法、表示制御プログラム、および表示制御装置が提案される。
【発明の効果】
【０００８】
一態様によれば、インシデントに対処する作業負荷を軽減する技術を提供することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。
【図２】図２は、インシデント管理システム２００の一例を示す説明図である。
【図３】図３は、表示制御装置１００のハードウェア構成例を示すブロック図である。
【図４】図４は、ナレッジチケットＤＢ４００の記憶内容の一例を示す説明図である。
【図５】図５は、閾値チケットＤＢ５００の記憶内容の一例を示す説明図である。
【図６】図６は、性能情報ＤＢ６００の記憶内容の一例を示す説明図である。
【図７】図７は、監視装置２０２のハードウェア構成例を示すブロック図である。
【図８】図８は、管理装置２０３のハードウェア構成例を示すブロック図である。
【図９】図９は、端末装置２０４のハードウェア構成例を示すブロック図である。
【図１０】図１０は、表示制御装置１００の機能的構成例を示すブロック図である。
【図１１】図１１は、インシデント管理システム２００の具体的な機能的構成例を示すブロック図である。
【図１２】図１２は、各種チケットの対応付け状況の一例を示す説明図である。
【図１３】図１３は、閾値チケットを生成する一例を示す説明図である。
【図１４】図１４は、インシデントチケットを発行する一例を示す説明図である。
【図１５】図１５は、インシデントチケットの一覧を表示させる一例を示す説明図である。
【図１６】図１６は、インシデントチケットの内容を表示させる一例を示す説明図である。
【図１７】図１７は、性能情報を表示させる一例を示す説明図である。
【図１８】図１８は、チケット作成処理手順の一例を示すフローチャートである。
【図１９】図１９は、対応付け追加処理手順の一例を示すフローチャートである。
【図２０】図２０は、チケット収集処理手順の一例を示すフローチャートである。
【図２１】図２１は、性能情報収集処理手順の一例を示すフローチャートである。
【図２２】図２２は、管理情報発行処理手順の一例を示すフローチャート（その１）である。
【図２３】図２３は、管理情報発行処理手順の一例を示すフローチャート（その２）である。
【図２４】図２４は、管理情報発行処理手順の一例を示すフローチャート（その３）である。
【図２５】図２５は、対処終了処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる表示制御方法、表示制御プログラム、および表示制御装置の実施の形態を詳細に説明する。
【００１１】
（実施の形態にかかる表示制御方法の一実施例）
図１は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。図１において、表示制御装置１００は、インシデントに対処する作業負荷の軽減化を図ることを可能にすることができるコンピュータである。
【００１２】
インシデントは、何らかのシステムで発生する事象である。システムは、例えば、ユーザにサービスを提供する。システムは、仮想化またはクラウド化され、大規模化する傾向がある。システムは、例えば、数百台〜数千台のサーバまたは仮想マシンを含むことがある。インシデントの一例は、具体的には、システムに含まれるサーバの性能値が閾値を超えることである。性能値は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）使用率である。
【００１３】
システムでインシデントが発生すると、ユーザに提供されるサービスに問題が発生することがあり、ユーザが不利益を受ける可能性がある。問題は、例えば、スローダウンである。このため、システム運用側の作業者は、システムを監視し、インシデントが発生したことを発見し、インシデントに対処し、インシデントを解決するようにすることが望まれる。
【００１４】
ここで、システムの大規模化に伴い、１日あたりに発生するインシデントの数や種類が増大しやすくなる。例えば、１日あたり、システムに含まれる数百台〜数千台のサーバのうち、３％ほどのサーバで性能値が閾値を超えるというインシデントが発生することがある。このため、もしもシステムに２千台のサーバが含まれれば、１日あたり６０台ほどのサーバでインシデントが発生する。
【００１５】
また、１日あたりに発生するインシデントの数や種類が増大しやすいため、システム運用側の作業者は複数いることが好ましい。しかしながら、すべての作業者が、すべてのインシデントに対処可能であるとは限らない。例えば、サーバの性能値が閾値を超えるというインシデントに対処することが容易な作業者は、システム運用側の作業者のうち、１０％ほどの一部の作業者であることがある。一部の作業者は、例えば、サーバの性能に関する知識を十分に有する有識者である。
【００１６】
これらのことから、システム運用側の作業者にかかる作業負担や作業時間が増大しやすいという問題がある。例えば、インシデントの種類が増大すれば、システムを監視する作業者の作業負担や作業時間が増大してしまう。また、例えば、一部の作業者が、相対的に多くのインシデントに対処することになり、一部の作業者の作業時間および作業負担が増大してしまう。また、例えば、有識者ではない作業者が、サーバの性能値が閾値を超えるというインシデントに対処しようとすると、サーバの性能に関する情報を調べることになり、有識者ではない作業者の作業時間および作業負担が増大してしまう。
【００１７】
このため、インシデントが解決するまでにかかる所要時間が増大しやすい。結果として、インシデントに起因してサービスに重大な問題が発生する前に、膨大なインシデントを解決しきれない可能性が高まり、インシデントに起因してサービスに重大な問題が発生する可能性が高まることになる。
【００１８】
これに対し、インシデントが発生したことを自動で検出して、どのようなインシデントが発生したかを示すインシデント管理情報を、システム運用側の作業者が参照可能に登録しておき、インシデントに対処する作業を支援する技術が考えられる。かかる技術でも、１日あたりに発生するインシデントの数が増大していると、インシデントが解決するまでにかかる所要時間の増大化を抑制することは困難である。
【００１９】
そこで、本実施の形態では、インシデントに対処する作業を支援し、システム運用側の作業者のうち、インシデントに対処する作業を実施することが容易な作業者の割合の増大化を図り、サービスに問題が発生しにくくする表示制御方法について説明する。
【００２０】
図１において、表示制御装置１００は、記憶部１１０を有する。記憶部１１０は、監視対象１２０に関するインシデントへの対処方法１６０を、監視対象１２０の識別情報に対応付けて記憶する。監視対象１２０は、所定のシステム１３０の何らかの性能である。監視対象１２０は、例えば、所定のシステム１３０に含まれるサーバの性能である。性能は、例えば、ＣＰＵ使用率、メモリ使用率、ネットワーク送受信速度などのいずれかである。監視対象１２０の識別情報は、例えば、監視対象１２０の名称である。
【００２１】
表示制御装置１００は、監視対象１２０の監視データ１４０と、監視対象１２０の識別情報とを取得する。監視データ１４０は、例えば、監視対象１２０の性能を示すデータである。監視データ１４０は、例えば、所定のシステム１３０に含まれるサーバのＣＰＵ使用率、メモリ使用率、ネットワーク送受信速度などのいずれかの値を示すデータである。
【００２２】
表示制御装置１００は、取得した監視データ１４０が、取得した監視対象１２０の識別情報に対応付けられた基準１５０を満たすか否かの判定を行う。基準１５０は、インシデントが発生したと判断する条件である。基準１５０は、例えば、監視対象１２０の性能が一定以上悪いことを示す。基準１５０は、例えば、後述する閾値チケットを用いて、監視対象１２０の識別情報と対応付けられる。基準１５０は、具体的には、ＣＰＵ使用率が閾値を超えたことである。
【００２３】
表示制御装置１００は、監視データ１４０が基準１５０を満たす場合、記憶部１１０を参照して、取得した識別情報に対応付けられた対処方法１６０を特定する。表示制御装置１００は、取得した監視データ１４０および監視対象１２０の識別情報に基づき、特定した対処方法１６０に対応付けられたインシデント管理情報１７０を生成する。インシデント管理情報１７０は、発生したインシデントを示す。インシデント管理情報１７０は、例えば、監視データ１４０と監視対象１２０の識別情報とにより、発生したインシデントを示す。インシデント管理情報１７０は、発生したインシデントについての対処方法１６０を特定可能に、対処方法１６０が対応付けられる。
【００２４】
これにより、表示制御装置１００は、発生したインシデントを示すインシデント管理情報１７０を、作業者が参照可能に蓄積することができる。表示制御装置１００は、例えば、インシデント管理情報１７０の一覧１８０の、表示端末１９０への表示指示を出力することができる。このため、作業者は、インシデント管理情報１７０の一覧１８０を参照し、所定のシステム１３０において発生しているインシデントを把握することができる。また、作業者が複数いる場合、複数の作業者は、それぞれ、所定のシステム１３０において発生しているインシデントを把握することができ、インシデントに対処する作業を分担することができる。
【００２５】
表示制御装置１００は、生成したインシデント管理情報１７０の指定を受け付けると、特定した対処方法１６０の表示端末１９０への表示指示を出力する。これにより、表示制御装置１００は、作業者がインシデントへの対処方法１６０を参照可能にし、インシデントに対処する作業の容易化を図ることができ、作業者にかかる作業負担や作業時間の低減化を図ることができる。このため、表示制御装置１００は、所定のシステム１３０において発生しているインシデントに対処する作業を実施することが容易な作業者の割合の増大化を図ることができる。
【００２６】
結果として、表示制御装置１００は、インシデントが解決するまでにかかる所要時間の低減化を図ることができ、インシデントに起因してサービスに重大な問題が発生する可能性の低減化を図ることができる。また、表示制御装置１００は、インシデントの種類が増大しても、所定のシステム１３０を監視するための作業負担や作業時間の増大化を抑制することができる。
【００２７】
例えば、従来では、作業者は、システムにおいて発生しているインシデントのうち、自身で対処可能なインシデントを選択して対処する傾向がある。このため、１０％ほどの一部の作業者が、相対的に多くのインシデントに対処することになり、一部の作業者の作業時間および作業負担が増大してしまうことがある。これに対し、表示制御装置１００は、すべての作業者が、すべてのインシデントに対処可能になるように、インシデントに対処する作業を支援することができ、作業者の作業時間および作業負担の増大化を抑制することができる。
【００２８】
ここでは、作業者が、インシデントに対処する作業を実施する場合について説明したが、これに限らない。例えば、対処方法１６０を自動で実施可能であれば、表示制御装置１００が、インシデントに対処する作業を自動で実施し、作業者の作業負担や作業時間の低減化を図る場合があってもよい。
【００２９】
ここでは、表示制御装置１００が、表示端末１９０とは別の装置である場合について説明したが、これに限らない。例えば、表示制御装置１００が、表示端末１９０としても動作可能である場合があってもよい。
【００３０】
（インシデント管理システム２００の一例）
次に、図２を用いて、図１に示した表示制御装置１００を適用した、インシデント管理システム２００の一例について説明する。
【００３１】
図２は、インシデント管理システム２００の一例を示す説明図である。図２において、インシデント管理システム２００は、表示制御装置１００と、ユーザシステム２０１と、監視装置２０２と、管理装置２０３と、１以上の端末装置２０４とを含む。
【００３２】
インシデント管理システム２００において、表示制御装置１００と監視装置２０２とは、例えば、直接接続される。表示制御装置１００と監視装置２０２とは、例えば、有線または無線のネットワーク２１０を介して接続されてもよい。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどである。また、表示制御装置１００と管理装置２０３とは、例えば、直接接続される。表示制御装置１００と管理装置２０３とは、例えば、ネットワーク２１０を介して接続されてもよい。管理装置２０３と端末装置２０４とは、例えば、ネットワーク２１０を介して接続される。
【００３３】
表示制御装置１００は、ユーザシステム２０１で発生したインシデントに対処する作業を支援する。表示制御装置１００は、例えば、図４〜図６に後述する各種ＤＢ（ＤａｔａＢａｓｅ）を有する。表示制御装置１００は、例えば、管理装置２０３からナレッジチケットや閾値チケットを収集し、図４に後述するナレッジチケットＤＢ４００や図５に後述する閾値チケットＤＢ５００に保存する。閾値チケットは、インシデントが発生したと判断する条件を示す情報である。ナレッジチケットは、インシデントへの対処方法を示す情報である。対処方法は、作業者により手動で実施される。対処方法は、自動で実行可能であってもよい。ここで、閾値チケットは、いずれかのナレッジチケットと対応付けられる。
【００３４】
表示制御装置１００は、例えば、監視装置２０２から性能情報を収集し、図６に後述する性能情報ＤＢ６００に保存する。性能情報は、ユーザシステム２０１の性能値を示す。性能情報は、例えば、ユーザシステム２０１に含まれるサーバの性能値を示す。表示制御装置１００は、例えば、閾値チケットを参照し、性能情報に基づいて、インシデントが発生したと判断すると、インシデントへの対処方法を示すナレッジチケットを特定する。表示制御装置１００は、例えば、特定したナレッジチケットと対応付けたインシデントチケットを発行する。インシデントチケットは、インシデントが発生したことを示す情報である。また、表示制御装置１００は、例えば、特定したナレッジチケットが自動で実行可能な対処方法を示す場合、対処方法を自動で実行し、対処方法を実行中であることを示すようにしたインシデントチケットを発行してもよい。
【００３５】
表示制御装置１００は、例えば、インシデントに対処する作業者がインシデントチケットを参照可能に、管理装置２０３を介して、インシデントチケットを端末装置２０４に表示させる。表示制御装置１００は、例えば、いずれかのインシデントチケットが指定されると、指定のインシデントチケットに対応付けられたナレッジチケットが示す対処方法を、管理装置２０３を介して、端末装置２０４に表示させる。表示制御装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などである。
【００３６】
ユーザシステム２０１は、ユーザにサービスを提供するシステムである。ユーザシステム２０１は、例えば、複数のサーバを含む。ユーザシステム２０１は、インシデントが発生した場合、作業者によりインシデントに対処する作業が行われる。監視装置２０２は、ユーザシステム２０１の性能値を計測し、性能情報を蓄積するコンピュータである。監視装置２０２は、蓄積した性能情報を、表示制御装置１００に送信する。監視装置２０２は、例えば、サーバやＰＣなどである。
【００３７】
管理装置２０３は、端末装置２０４と通信し、ナレッジチケットや閾値チケットを生成するコンピュータである。管理装置２０３は、生成したナレッジチケットや閾値チケットを、表示制御装置１００に送信する。また、管理装置２０３は、端末装置２０４と通信し、インシデントチケットを、端末装置２０４に表示させる。また、管理装置２０３は、端末装置２０４と通信し、インシデントチケットに対応付けられたナレッジチケットを、端末装置２０４に表示させる。管理装置２０３は、例えば、サーバやＰＣなどである。
【００３８】
端末装置２０４は、作業者によって利用されるコンピュータである。端末装置２０４は、管理装置２０３と通信し、管理装置２０３においてナレッジチケットや閾値チケットを生成させる。また、端末装置２０４は、管理装置２０３と通信し、インシデントチケットを表示する。また、端末装置２０４は、管理装置２０３と通信し、インシデントチケットに対応付けられたナレッジチケットを表示する。端末装置２０４は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。端末装置２０４は、例えば、図１に示した表示端末１９０に対応する。
【００３９】
ここでは、表示制御装置１００が、監視装置２０２とは別の装置である場合について説明したが、これに限らない。例えば、表示制御装置１００が、監視装置２０２と一体である場合があってもよい。また、ここでは、表示制御装置１００が、管理装置２０３とは別の装置である場合について説明したが、これに限らない。例えば、表示制御装置１００が、管理装置２０３と一体である場合があってもよい。
【００４０】
（表示制御装置１００のハードウェア構成例）
次に、図３を用いて、図２に示したインシデント管理システム２００に含まれる表示制御装置１００のハードウェア構成例について説明する。
【００４１】
図３は、表示制御装置１００のハードウェア構成例を示すブロック図である。図３において、表示制御装置１００は、ＣＰＵ３０１と、メモリ３０２と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
【００４２】
ここで、ＣＰＵ３０１は、表示制御装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。メモリ３０２は、例えば、図４〜図６に後述する各種ＤＢを記憶する。
【００４３】
通信Ｉ／Ｆ３０３は、通信回線を通じて他のコンピュータに接続される。通信Ｉ／Ｆ３０３は、例えば、監視装置２０２および管理装置２０３に接続される。通信Ｉ／Ｆ３０３は、例えば、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して監視装置２０２および管理装置２０３に接続されてもよい。そして、通信Ｉ／Ｆ３０３は、例えば、監視装置２０２および管理装置２０３と内部のインターフェースを司り、監視装置２０２および管理装置２０３からのデータの入出力を制御する。通信Ｉ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。
【００４４】
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、図４〜図６に後述する各種ＤＢを記憶してもよい。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、表示制御装置１００から着脱可能であってもよい。
【００４５】
表示制御装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、表示制御装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、表示制御装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
【００４６】
（ナレッジチケットＤＢ４００の記憶内容）
次に、図４を用いて、ナレッジチケットＤＢ４００の記憶内容の一例について説明する。ナレッジチケットＤＢ４００は、例えば、図３に示した表示制御装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。
【００４７】
図４は、ナレッジチケットＤＢ４００の記憶内容の一例を示す説明図である。図４に示すように、ナレッジチケットＤＢ４００は、ナレッジＩＤと、現象と、対処と、自動実行プロセスとのフィールドを有する。ナレッジチケットＤＢ４００は、インシデントへの対処方法ごとに各フィールドに情報を設定することにより、ナレッジチケットがレコードとして記憶される。
【００４８】
ナレッジＩＤのフィールドには、ナレッジチケットを識別するナレッジＩＤが設定される。現象のフィールドには、インシデントとなる現象の内容が設定される。対処のフィールドには、作業者が手動で実施可能な、インシデントへの対処方法が設定される。自動実行プロセスのフィールドには、自動で実行可能な、インシデントへの対処方法が設定される。
【００４９】
（閾値チケットＤＢ５００の記憶内容）
次に、図５を用いて、閾値チケットＤＢ５００の記憶内容の一例について説明する。閾値チケットＤＢ５００は、例えば、図３に示した表示制御装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。
【００５０】
図５は、閾値チケットＤＢ５００の記憶内容の一例を示す説明図である。図５に示すように、閾値チケットＤＢ５００は、閾値チケットＩＤと、条件Ｎｏと、曜日と、開始時刻と、終了時刻と、性能データ名と、閾値と、比較と、ホスト名と、リソースＩＤとのフィールドを有する。また、閾値チケットＤＢ５００は、さらに、関連ＰａｒｅｎｔＣｈｉｌｄと、関連ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとのフィールドを有する。閾値チケットＤＢ５００は、インシデントが発生したと判断する条件ごとに各フィールドに情報を設定することにより、閾値チケットがレコードとして記憶される。
【００５１】
閾値チケットＩＤのフィールドには、閾値チケットを識別する閾値チケットＩＤが設定される。条件Ｎｏのフィールドには、閾値チケットが示す１以上の条件に割り振られる番号が設定される。曜日のフィールドには、条件判定を実行する曜日が設定される。開始時刻のフィールドには、条件判定を実行する期間の開始時刻が設定される。終了時刻のフィールドには、条件判定を実行する期間の終了時刻が設定される。
【００５２】
性能データ名のフィールドには、条件判定に利用する性能値の種類を示す性能データ名が設定される。閾値のフィールドには、条件判定に利用する閾値が設定される。比較のフィールドには、性能値と閾値との比較に利用する比較演算子が設定される。ホスト名のフィールドには、条件判定に利用する性能値を、いずれかのサーバの性能値に限定する場合、いずれかのサーバを識別するホスト名が設定される。リソースＩＤのフィールドには、条件判定に利用する性能値を、いずれかのリソースの性能値に限定する場合、いずれかのリソースを識別するリソースＩＤが設定される。リソースは、例えば、ＣドライブやＤドライブなどである。
【００５３】
関連ＰａｒｅｎｔＣｈｉｌｄのフィールドには、インシデントが発生した場合に作業者が手動で実施可能である対処方法を示すナレッジチケットを識別するナレッジＩＤが設定される。関連ＰａｒｅｎｔＣｈｉｌｄのフィールドには、複数のナレッジＩＤが設定されてもよい。関連ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌのフィールドには、インシデントが発生した場合に自動で実行可能である対処方法を示すナレッジチケットを識別するナレッジＩＤが設定される。関連ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌのフィールドには、複数のナレッジＩＤが設定されてもよい。
【００５４】
（性能情報ＤＢ６００の記憶内容）
次に、図６を用いて、性能情報ＤＢ６００の記憶内容の一例について説明する。性能情報ＤＢ６００は、例えば、図３に示した表示制御装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。
【００５５】
図６は、性能情報ＤＢ６００の記憶内容の一例を示す説明図である。図６に示すように、性能情報ＤＢ６００は、時刻と、性能データ名と、値と、ホスト名と、リソースＩＤとのフィールドを有する。性能情報ＤＢ６００は、時刻ごとに各フィールドに情報を設定することにより、性能情報がレコードとして記憶される。
【００５６】
時刻のフィールドには、性能値を計測した時刻が設定される。性能データ名のフィールドには、性能値の種類を示す性能データ名が設定される。値のフィールドには、性能値が設定される。ホスト名のフィールドには、性能値が計測されたサーバを識別するホスト名が設定される。リソースＩＤのフィールドには、性能値が計測されたリソースを識別するリソースＩＤが設定される。リソースは、例えば、ＣドライブやＤドライブなどである。
【００５７】
（監視装置２０２のハードウェア構成例）
次に、図７を用いて、図２に示したインシデント管理システム２００に含まれる監視装置２０２のハードウェア構成例について説明する。
【００５８】
図７は、監視装置２０２のハードウェア構成例を示すブロック図である。図７において、監視装置２０２は、ＣＰＵ７０１と、メモリ７０２と、通信Ｉ／Ｆ７０３と、記録媒体Ｉ／Ｆ７０４と、記録媒体７０５とを有する。また、各構成部は、バス７００によってそれぞれ接続される。
【００５９】
ここで、ＣＰＵ７０１は、監視装置２０２の全体の制御を司る。メモリ７０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ７０１のワークエリアとして使用される。メモリ７０２に記憶されるプログラムは、ＣＰＵ７０１にロードされることで、コーディングされている処理をＣＰＵ７０１に実行させる。メモリ７０２は、例えば、性能情報を記憶する。メモリ７０２は、具体的には、図６に示した性能情報ＤＢ６００と同様のＤＢを用いて性能情報を記憶する。
【００６０】
通信Ｉ／Ｆ７０３は、通信回線を通じて他のコンピュータに接続される。通信Ｉ／Ｆ７０３は、例えば、表示制御装置１００およびユーザシステム２０１に接続される。通信Ｉ／Ｆ７０３は、例えば、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して表示制御装置１００およびユーザシステム２０１に接続されてもよい。そして、通信Ｉ／Ｆ７０３は、例えば、表示制御装置１００およびユーザシステム２０１と内部のインターフェースを司り、表示制御装置１００およびユーザシステム２０１からのデータの入出力を制御する。通信Ｉ／Ｆ７０３は、例えば、モデムやＬＡＮアダプタなどである。
【００６１】
記録媒体Ｉ／Ｆ７０４は、ＣＰＵ７０１の制御に従って記録媒体７０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ７０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体７０５は、記録媒体Ｉ／Ｆ７０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体７０５は、例えば、性能情報を記憶してもよい。記録媒体７０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体７０５は、監視装置２０２から着脱可能であってもよい。
【００６２】
監視装置２０２は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、監視装置２０２は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を複数有していてもよい。また、監視装置２０２は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を有していなくてもよい。
【００６３】
（管理装置２０３のハードウェア構成例）
次に、図８を用いて、図２に示したインシデント管理システム２００に含まれる管理装置２０３のハードウェア構成例について説明する。
【００６４】
図８は、管理装置２０３のハードウェア構成例を示すブロック図である。図８において、管理装置２０３は、ＣＰＵ８０１と、メモリ８０２と、通信Ｉ／Ｆ８０３と、記録媒体Ｉ／Ｆ８０４と、記録媒体８０５とを有する。また、各構成部は、バス８００によってそれぞれ接続される。
【００６５】
ここで、ＣＰＵ８０１は、管理装置２０３の全体の制御を司る。メモリ８０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ８０１のワークエリアとして使用される。メモリ８０２に記憶されるプログラムは、ＣＰＵ８０１にロードされることで、コーディングされている処理をＣＰＵ８０１に実行させる。メモリ８０２は、例えば、ナレッジチケットを記憶する。メモリ８０２は、具体的には、図４に示したナレッジチケットＤＢ４００と同様のＤＢを用いて、ナレッジチケットを記憶する。メモリ８０２は、例えば、閾値チケットを記憶する。メモリ８０２は、具体的には、図５に示した閾値チケットＤＢ５００と同様のＤＢを用いて、閾値チケットを記憶する。
【００６６】
通信Ｉ／Ｆ８０３は、通信回線を通じて他のコンピュータに接続される。通信Ｉ／Ｆ８０３は、例えば、表示制御装置１００に接続される。通信Ｉ／Ｆ８０３は、例えば、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して端末装置２０４に接続される。そして、通信Ｉ／Ｆ８０３は、例えば、表示制御装置１００および端末装置２０４と内部のインターフェースを司り、表示制御装置１００および端末装置２０４からのデータの入出力を制御する。通信Ｉ／Ｆ８０３は、例えば、モデムやＬＡＮアダプタなどである。
【００６７】
記録媒体Ｉ／Ｆ８０４は、ＣＰＵ８０１の制御に従って記録媒体８０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ８０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体８０５は、記録媒体Ｉ／Ｆ８０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体８０５は、例えば、ナレッジチケットを記憶してもよい。記録媒体８０５は、例えば、閾値チケットを記憶してもよい。記録媒体８０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体８０５は、管理装置２０３から着脱可能であってもよい。
【００６８】
管理装置２０３は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、管理装置２０３は、記録媒体Ｉ／Ｆ８０４や記録媒体８０５を複数有していてもよい。また、管理装置２０３は、記録媒体Ｉ／Ｆ８０４や記録媒体８０５を有していなくてもよい。
【００６９】
（端末装置２０４のハードウェア構成例）
次に、図９を用いて、図２に示したインシデント管理システム２００に含まれる端末装置２０４のハードウェア構成例について説明する。
【００７０】
図９は、端末装置２０４のハードウェア構成例を示すブロック図である。図９において、端末装置２０４は、ＣＰＵ９０１と、メモリ９０２と、通信Ｉ／Ｆ９０３と、記録媒体Ｉ／Ｆ９０４と、記録媒体９０５と、ディスプレイ９０６と、入力装置９０７とを有する。また、各構成部は、バス９００によってそれぞれ接続される。
【００７１】
ここで、ＣＰＵ９０１は、端末装置２０４の全体の制御を司る。メモリ９０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ９０１のワークエリアとして使用される。メモリ９０２に記憶されるプログラムは、ＣＰＵ９０１にロードされることで、コーディングされている処理をＣＰＵ９０１に実行させる。
【００７２】
通信Ｉ／Ｆ９０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。他のコンピュータは、例えば、管理装置２０３である。そして、通信Ｉ／Ｆ９０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ９０３は、例えば、モデムやＬＡＮアダプタなどである。
【００７３】
記録媒体Ｉ／Ｆ９０４は、ＣＰＵ９０１の制御に従って記録媒体９０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ９０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体９０５は、記録媒体Ｉ／Ｆ９０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体９０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体９０５は、端末装置２０４から着脱可能であってもよい。
【００７４】
ディスプレイ９０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ９０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置９０７は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置９０７は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
【００７５】
端末装置２０４は、上述した構成部の他、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、端末装置２０４は、記録媒体Ｉ／Ｆ９０４や記録媒体９０５を複数有していてもよい。また、端末装置２０４は、記録媒体Ｉ／Ｆ９０４や記録媒体９０５を有していなくてもよい。
【００７６】
（表示制御装置１００の機能的構成例）
次に、図１０を用いて、表示制御装置１００の機能的構成例について説明する。
【００７７】
図１０は、表示制御装置１００の機能的構成例を示すブロック図である。図１０に示すように、表示制御装置１００は、記憶部１０００と、取得部１００１と、判定部１００２と、特定部１００３と、生成部１００４と、出力部１００５とを含む。
【００７８】
記憶部１０００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部１０００が、表示制御装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部１０００が、表示制御装置１００とは異なる装置に含まれ、記憶部１０００の記憶内容が表示制御装置１００から参照可能である場合があってもよい。
【００７９】
取得部１００１〜出力部１００５は、制御部の一例として機能する。取得部１００１〜出力部１００５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、通信Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
【００８０】
記憶部１０００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部１０００は、例えば、監視対象に関するインシデントへの対処方法を、該監視対象の識別情報に対応付けて記憶する。監視対象は、ユーザシステム２０１の性能である。監視対象は、例えば、ユーザシステム２０１に含まれるサーバの性能である。性能は、例えば、ＣＰＵ使用率、メモリ使用率、ネットワーク送受信速度などのいずれかである。監視対象の識別情報は、例えば、監視対象の名称である。監視対象の名称は、具体的には、性能データ名である。対処方法は、例えば、過去に実施されたことがある方法である。対処方法は、例えば、ＦＡＱ（Ｆｒｅｑｕｅｎｔｌｙ  Ａｓｋｅｄ  Ｑｕｅｓｔｉｏｎｓ）であってもよい。
【００８１】
記憶部１０００は、具体的には、クローズ済みのインシデントチケットを、ナレッジチケットとして、ナレッジチケットＤＢ４００に記憶する。クローズは、インシデントチケットが示すインシデントに対処済みであり、インシデントが解決済みであることを示す。クローズ済みのインシデントチケットは、実際に実施され、インシデントを解決することができた対処方法が対応付けられる。ナレッジチケットは、インシデントへの対処方法が対応付けられる。ナレッジチケットは、インシデントの内容または原因をさらに対応付けられてもよい。また、記憶部１０００は、具体的には、ＦＡＱチケットを、ナレッジチケットとして、ナレッジチケットＤＢ４００に記憶する。ＦＡＱチケットは、ＦＡＱの内容を示す。
【００８２】
また、記憶部１０００は、例えば、監視対象に関するインシデントへの対処方法と、該インシデントの内容または原因とを、該監視対象の識別情報に対応付けて記憶してもよい。インシデントの内容は、インシデントとなる現象の内容である。インシデントの原因は、インシデントが発生した原因である。記憶部１０００は、具体的には、ナレッジチケットを、ナレッジチケットＤＢ４００に記憶する。
【００８３】
記憶部１０００は、例えば、監視対象の監視データを記憶する。監視データは、例えば、監視対象の性能を示す。監視データは、具体的には、性能情報である。性能情報は、ユーザシステム２０１の性能値を示す。性能情報は、例えば、ユーザシステム２０１に含まれるサーバの性能値を示す。性能値は、例えば、ＣＰＵ使用率、メモリ使用率、ネットワーク送受信速度などのいずれかの値である。記憶部１０００は、具体的には、性能情報ＤＢ６００を記憶する。
【００８４】
記憶部１０００は、例えば、監視対象の識別情報に対応付けられた基準を記憶する。基準は、インシデントが発生したと判断する条件である。基準は、例えば、監視対象の性能が一定以上悪いことを示す。基準は、例えば、閾値チケットに含まれる。基準は、例えば、閾値チケットを用いて、監視対象の識別情報と対応付けられる。基準は、具体的には、ＣＰＵ使用率が閾値を超えたことである。記憶部１０００は、具体的には、閾値チケットＤＢ５００を記憶する。
【００８５】
記憶部１０００は、例えば、インシデント管理情報を記憶する。インシデント管理情報は、発生したインシデントを示す。インシデント管理情報は、例えば、クローズされていないインシデントチケットである。
【００８６】
取得部１００１は、各機能部の処理に用いられる各種情報を取得する。取得部１００１は、取得した各種情報を、記憶部１０００に記憶し、または、各機能部に出力する。また、取得部１００１は、記憶部１０００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部１００１は、例えば、ユーザの操作入力に基づき、各種情報を取得する。取得部１００１は、例えば、表示制御装置１００とは異なる装置から、各種情報を受信してもよい。
【００８７】
取得部１００１は、具体的には、インシデントへの対処方法を示す情報を取得する。取得部１００１は、より具体的には、ナレッジチケットとして、クローズ済みのインシデントチケットやＦＡＱチケットなどを、管理装置２０３から受信する。取得部１００１は、具体的には、監視対象の識別情報に対応付けられた基準を取得する。取得部１００１は、より具体的には、閾値チケットを、管理装置２０３から受信する。取得部１００１は、具体的には、監視対象の監視データと、監視対象の識別情報とを取得する。取得部１００１は、より具体的には、性能情報を、監視装置２０２から受信する。
【００８８】
判定部１００２は、取得した監視データが、取得した識別情報に対応付けられた基準を満たすか否かの判定を行う。判定部１００２は、例えば、サーバのＣＰＵ使用率に関する閾値チケットに基づいて、サーバのＣＰＵ使用率が閾値を超えたか否かを判定する。そして、判定部１００２は、サーバのＣＰＵ使用率が閾値を超えると、基準を満たすと判定する。これにより、判定部１００２は、インシデントが発生したことを検出することができる。
【００８９】
特定部１００３は、監視データが基準を満たす場合、記憶部１０００を参照して、取得した識別情報に対応付けられた対処方法を特定する。特定部１００３は、例えば、サーバのＣＰＵ使用率に関する閾値チケットに対応付けられた、対処方法が記載されたナレッジチケットを特定する。特定部１００３は、具体的には、サーバのＣＰＵ使用率に関する閾値チケットのＰａｒｅｎｔＣｈｉｌｄのフィールドに設定されたナレッジＩＤが示し、作業者が手動で実施可能な対処方法が記載されたナレッジチケットを特定する。
【００９０】
また、特定部１００３は、具体的には、サーバのＣＰＵ使用率に関する閾値チケットのＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌのフィールドに設定されたナレッジＩＤが示し、自動で実行可能な対処方法が記載されたナレッジチケットを特定してもよい。これにより、特定部１００３は、作業者がインシデントに対処する際に有用な情報になりうる、作業者が手動で実施可能な対処方法を特定することができる。また、特定部１００３は、作業者を介さずに、対処方法を自動で実行可能にすることができる。
【００９１】
特定部１００３は、監視データが基準を満たす場合、さらに、記憶部１０００を参照して、取得した識別情報に対応付けられたインシデントの内容または原因を特定してもよい。特定部１００３は、例えば、サーバのＣＰＵ使用率に関する閾値チケットに対応付けられた、対処方法の他にインシデントの内容または原因が記載されたナレッジチケットを特定する。特定部１００３は、具体的には、サーバのＣＰＵ使用率に関する閾値チケットのＰａｒｅｎｔＣｈｉｌｄのフィールドに設定されたナレッジＩＤが示し、対処方法の他にインシデントの内容または原因が記載されたナレッジチケットを特定する。
【００９２】
また、特定部１００３は、具体的には、サーバのＣＰＵ使用率に関する閾値チケットのＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌのフィールドに設定されたナレッジＩＤが示し、対処方法の他にインシデントの内容や原因が記載されたナレッジチケットを特定してもよい。これにより、特定部１００３は、作業者がインシデントに対処する際に有用な情報になりうる、対処方法により解決可能なインシデントの内容または原因を特定することができる。対処方法により解決可能なインシデントは、例えば、過去に対処方法が実施されたことがあるインシデントである。
【００９３】
特定部１００３は、取得した識別情報に対応付けられた対処方法が複数ある場合、所定の条件を満たす対処方法を特定する。所定の条件は、例えば、対処方法が実施される対象についての条件である。所定の条件は、具体的には、対処方法が過去に実施されたことがあるサーバについての条件である。所定の条件は、例えば、対処方法が実施された時期、または、対処方法が作成された時期についての条件であってもよい。所定の条件は、例えば、対処方法を過去に実施した作業者、または、対処方法を作成した作業者についての条件であってもよい。
【００９４】
特定部１００３は、例えば、複数の対処方法のうち、今回監視データが基準を満たしたサーバについて過去に実施されたことがある対処方法を特定する。また、特定部１００３は、例えば、複数の対処方法のうち、過去に実施された時期が新しい順に、所定数の対処方法を特定してもよい。また、特定部１００３は、例えば、複数の対処方法のうち、有識者である作業者によって過去に実施されたことがある対処方法を特定してもよい。これにより、特定部１００３は、作業者によって有用性が高いと判断される対処方法を特定することができる。
【００９５】
特定部１００３は、識別情報に対応付けられた対処方法を特定した後、監視データが基準を満たさなくなるまで待機し、再び監視データが基準を満たす場合、識別情報に対応付けられた対処方法を特定する。これにより、特定部１００３は、監視データが基準を満たしている間、連続して対処方法を特定してしまうことを防止し、１つのインシデントに対して複数のインシデントチケットが生成されてしまうことを防止することができる。
【００９６】
生成部１００４は、取得した監視データおよび識別情報に基づき、特定した対処方法に対応付けられたインシデント管理情報を生成する。生成部１００４は、例えば、取得した性能情報および性能データ名に基づき、発生したインシデントの内容を示すインシデントチケットを生成し、特定したナレッジチケットに対応付ける。ここでは、ナレッジチケットは、少なくとも対処方法を示す。これにより、生成部１００４は、発生したインシデントを作業者が把握可能にインシデントチケットを蓄積することができ、発生したインシデントへの対処方法を特定可能にしておくことができる。
【００９７】
生成部１００４は、特定した対処方法と、特定したインシデントの内容または原因とに対応付けられたインシデント管理情報を生成してもよい。生成部１００４は、例えば、取得した性能情報および性能データ名に基づき、発生したインシデントの内容を示すインシデントチケットを生成し、特定したナレッジチケットに対応付ける。ここでは、ナレッジチケットは、対処方法の他に、インシデントの内容または原因を示す。これにより、生成部１００４は、対処方法がどのような内容または原因のインシデントに有効であるかを、作業者が把握可能にすることができる。
【００９８】
生成部１００４は、自動実行可能な対処方法を特定した場合、対処方法と対応付けずにインシデント管理情報を生成してもよい。生成部１００４は、例えば、自動で実行可能な対処方法が記載されたナレッジチケットが特定され、対処方法が自動実行された場合、ナレッジチケットと対応付けず、対処方法を実行中であることを対応付けたインシデントチケットを生成する。これにより、生成部１００４は、対処方法を実行中であることを作業者が把握可能にすることができる。
【００９９】
出力部１００５は、生成したインシデント管理情報の表示端末への表示指示を出力する。表示端末は、例えば、端末装置２０４である。出力部１００５は、例えば、生成したインシデントチケットの一覧の表示指示を、管理装置２０３を介して端末装置２０４に送信する。これにより、出力部１００５は、発生しているインシデントを作業者が把握可能にすることができ、いずれかのインシデントを示すインシデントチケットを作業者が指定可能にすることができる。
【０１００】
出力部１００５は、生成したインシデント管理情報の指定を受け付けると、特定した対処方法の表示端末への表示指示を出力する。出力部１００５は、例えば、インシデントチケットの指定を受け付ける。そして、出力部１００５は、指定されたインシデントチケットに対応付けられたナレッジチケットに記載された手動で実施可能な対処方法の表示指示を、管理装置２０３を介して端末装置２０４に送信する。これにより、出力部１００５は、発生したインシデントについて実施可能な対処方法の候補を、作業者が把握可能にすることができる。
【０１０１】
出力部１００５は、生成したインシデント管理情報の指定を受け付けると、特定した対処方法と、特定した内容または原因との、表示端末への表示指示を出力する。出力部１００５は、例えば、インシデントチケットの指定を受け付ける。そして、出力部１００５は、指定されたインシデントチケットに対応付けられたナレッジチケットに記載された手動で実施可能な対処方法と、インシデントの内容または原因との表示指示を、管理装置２０３を介して端末装置２０４に送信する。これにより、出力部１００５は、発生したインシデントについて実施可能な対処方法の候補が、どのような内容または原因のインシデントに有効であるかを、作業者が把握可能にすることができる。
【０１０２】
出力部１００５は、特定した対処方法を自動実行する実行指示を出力する。出力部１００５は、自動で実行可能な対処方法が記載されたナレッジチケットが特定された場合、自動で実行可能な対処方法を自動実行する実行指示を出力する。出力先は、例えば、監視装置２０２やユーザシステム２０１である。これにより、出力部１００５は、インシデントに自動で対処することができ、作業者の作業時間や作業負担の低減化を図ることができる。
【０１０３】
（インシデント管理システム２００の具体的な機能的構成例）
次に、図１１を用いて、インシデント管理システム２００の具体的な機能的構成例について説明する。
【０１０４】
図１１は、インシデント管理システム２００の具体的な機能的構成例を示すブロック図である。図１１に示すように、管理装置２０３は、端末装置２０４と通信し、閾値チケット１１１１やナレッジチケット１１１２を生成し、閾値チケット１１１１とナレッジチケット１１１２とを対応付けて記憶する。ナレッジチケット１１１２は、過去のクローズ済みのインシデントチケットやＦＡＱチケットである。
【０１０５】
表示制御装置１００は、図４〜図６に示した各種ＤＢと、診断結果ＤＢ１１００と、エージェント１１０１と、評価部１１０２と、通知部１１０３とを含む。エージェント１１０１は、管理装置２０３から閾値チケット１１１１を収集し、閾値チケットＤＢ５００に記憶する。エージェント１１０１は、管理装置２０３からナレッジチケット１１１２を収集し、ナレッジチケットＤＢ４００に記憶する。
【０１０６】
評価部１１０２は、閾値チケットＤＢ５００と性能情報ＤＢ６００とに基づいて、性能情報が、閾値チケット１１１１が示す閾値条件を満たすか否かを判定し、判定結果をエージェント１１０１に送信する。閾値条件は、インシデントが発生したと判断する条件である。閾値条件は、例えば、性能情報を閾値とどのように比較するかを示す。
【０１０７】
閾値チケット１１１１は、いずれの性能情報を閾値と比較するかを示す時間条件や資源条件を示してもよい。時間条件は、閾値を、いずれの期間に計測された性能情報と比較するかを示す。資源条件は、閾値を、いずれの資源についての性能情報と比較するかを示す。資源は、例えば、サーバやリソースである。評価部１１０２は、例えば、閾値チケット１１１１が示す時間条件および資源条件に合致する性能情報が、閾値チケット１１１１が示す閾値条件を満たすか否かを判定し、判定結果をエージェント１１０１に送信する。
【０１０８】
エージェント１１０１は、評価部１１０２から受信した判定結果を、診断結果ＤＢ１１００に蓄積する。エージェント１１０１は、診断結果ＤＢ１１００に蓄積した判定結果を、通知部１１０３に送信する。通知部１１０３は、判定結果に基づいて、対処方法を対応付けたオープンなインシデントチケット１１１３を発行し、管理装置２０３に送信し、閾値チケット１１１１に対応付けさせる。オープンは、インシデントチケット１１１３が示すインシデントにまだ対処していないことを示す。対処方法を対応付けたインシデントチケット１１１３は、リコメンドとも呼ばれる。
【０１０９】
（各種チケットの対応付け状況の一例）
次に、図１２を用いて、図１１に示したインシデント管理システム２００における各種チケットの対応付け状況の一例について説明する。
【０１１０】
図１２は、各種チケットの対応付け状況の一例を示す説明図である。図１２に示すように、管理装置２０３は、閾値チケット１２００を有する。また、管理装置２０３は、ナレッジチケットとして自動対処インシデントチケット１２１０と自動対処ＦＡＱチケット１２１１とを有する。自動対処インシデントチケット１２１０は、クローズ済みであり、自動で実行可能な対処方法が記載されたインシデントチケットである。自動対処ＦＡＱチケット１２１１は、自動で実行可能な対処方法となる回答文を含むＦＡＱが記載されたＦＡＱチケットである。
【０１１１】
また、管理装置２０３は、ナレッジチケットとして手動対処インシデントチケット１２２０と手動対処ＦＡＱチケット１２２１とを有する。手動対処インシデントチケット１２２０は、クローズ済みであり、手動で実施可能な対処方法が記載されたインシデントチケットである。手動対処ＦＡＱチケット１２２１は、手動で実施可能な対処方法となる回答文を含むＦＡＱが記載されたＦＡＱチケットである。
【０１１２】
管理装置２０３において、自動対処インシデントチケット１２１０と自動対処ＦＡＱチケット１２１１とは、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして閾値チケット１２００に対応付けられる。また、管理装置２０３において、手動対処インシデントチケット１２２０と手動対処ＦＡＱチケット１２２１とは、ＰａｒｅｎｔＣｈｉｌｄとして閾値チケット１２００に対応付けられる。
【０１１３】
表示制御装置１００は、閾値チケット１２００を有する。また、表示制御装置１００は、インシデントチケットとして、自動対処リコメンド１２３０と手動対処リコメンド１２４０とを有する。自動対処リコメンド１２３０は、発生したインシデントを示し、自動で実行された対処方法を示すインシデントチケットである。手動対処リコメンド１２４０は、発生したインシデントを示し、手動で実施可能な対処方法を示すインシデントチケットである。また、表示制御装置１００は、ナレッジチケットとして、手動対処インシデントチケット１２４１や手動対処ＦＡＱチケット１２４２を有する。
【０１１４】
表示制御装置１００において、自動対処リコメンド１２３０は、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして閾値チケット１２００に対応付けられる。また、表示制御装置１００において、手動対処リコメンド１２４０は、ＰａｒｅｎｔＣｈｉｌｄとして閾値チケット１２００に対応付けられる。また、表示制御装置１００において、手動対処インシデントチケット１２４１と手動対処ＦＡＱチケット１２４２とは、ＲｅｆｅｒｅｎｃｅＯｆＤｅａｌとして手動対処リコメンド１２４０に対応付けられる。結果として、手動対処リコメンド１２４０は、手動で実施可能な対処方法を示すようになる。自動対処リコメンド１２３０と手動対処リコメンド１２４０とは、管理装置２０３も有することになる。
【０１１５】
自動対処リコメンド１２３０は、対処方法が実行終了すると、管理装置２０３において、ＡｎｓｗｅｒＯｆＤｅａｌとして閾値チケット１２００とさらに対応付けられる。また、手動対処リコメンド１２４０は、いずれかの対処方法が実施終了すると、管理装置２０３において、ＡｎｓｗｅｒＯｆＤｅａｌとして閾値チケット１２００と対応付けられる。
【０１１６】
また、手動で実施された対処方法を示す手動対処インシデントチケット１２４１または手動対処ＦＡＱチケット１２４２は、管理装置２０３において、ＡｎｓｗｅｒＯｆＤｅａｌとして閾値チケット１２００と対応付けられる。このように、各種チケットが対応付けられることにより、発生したインシデントと、発生したインシデントへの対処方法とが対応付けられる。また、解決されたインシデントと、インシデントを解決した対処方法とが対応付けられる。
【０１１７】
（インシデント管理システム２００の動作例）
次に、図１３〜図１７を用いて、インシデント管理システム２００の動作例について説明する。まず、図１３を用いて、管理装置２０３が、閾値チケットを生成する一例について説明する。
【０１１８】
図１３は、閾値チケットを生成する一例を示す説明図である。図１３において、管理装置２０３は、閾値条件定義画面１３００を、端末装置２０４のディスプレイ９０６に表示させる。端末装置２０４は、作業者の操作入力に基づき、閾値条件、時間条件、資源条件などの入力を受け付け、管理装置２０３に送信する。閾値条件は、例えば、「閾値条件１」の入力欄を用いて入力される。時間条件は、例えば、「評価期間（曜日）」、「評価期間１」の入力欄を用いて入力される。資源条件は、例えば、「フィルター対象１」の入力欄を用いて入力される。また、端末装置２０４は、作業者の操作入力に基づき、閾値チケットに対応付けるナレッジチケットの指定を、管理装置２０３に送信する。ナレッジチケットは、例えば、「閾値超過アクション引数１」の入力欄を用いて指定される。
【０１１９】
管理装置２０３は、受信した閾値条件、時間条件、資源条件などに基づいて、閾値チケットを生成する。そして、管理装置２０３は、生成した閾値チケットを、指定されたナレッジチケットと対応付ける。これにより、管理装置２０３は、閾値条件を満たすインシデントへの対処方法として、自動で実行可能な対処方法または手動で実施可能な対処方法を特定可能にすることができる。
【０１２０】
次に、図１４を用いて、表示制御装置１００が、図１３で生成された閾値チケット、および、閾値チケットに対応付けられたナレッジチケットに基づいて、インシデントチケットを発行する一例について説明する。
【０１２１】
図１４は、インシデントチケットを発行する一例を示す説明図である。図１４において、（１４−１）エージェント１１０１は、あるタイミングで、端末装置２０４から、閾値チケットと、閾値チケットに対応付けられたナレッジチケットとを収集し、評価部１１０２を起動する。
【０１２２】
その後、エージェント１１０１は、１０分ごとに、端末装置２０４から、閾値チケットと、閾値チケットに対応付けられたナレッジチケットとを収集し、評価部１１０２を起動する。この際、エージェント１１０１は、前回収集した時点以降に新たに生成された閾値チケットとナレッジチケットとを選択的に収集してもよい。
【０１２３】
（１４−２）評価部１１０２は、起動すると、性能情報ＤＢ６００から、性能情報を取得する。性能情報は、例えば、１０分データである。１０分データは、１０分間の性能値の統計的なデータである。評価部１１０２は、性能情報を取得すると、性能タイムスタンプファイルを生成しておく。性能タイムスタンプファイルは、性能情報を取得した時点を示すファイルである。
【０１２４】
評価部１１０２は、例えば、性能情報ＤＢ６００から、所定の評価期間における性能情報を取得する。評価部１１０２は、具体的には、評価タイムスタンプファイルが存在する場合、評価期間＝（評価タイムスタンプファイルに記載された日時−３０分）〜（性能タイムスタンプファイルに記載された日時−３０分）を設定する。評価タイムスタンプファイルは、評価部１１０２が、後述のように、性能情報が閾値チケットが示す閾値条件を満たすか否かを判定した時点を示すファイルである。
【０１２５】
また、評価部１１０２は、評価タイムスタンプファイルが存在しない場合、評価期間＝（性能タイムスタンプファイルに記載された日時−３０分−３日）〜（性能タイムスタンプファイルに記載された日時−３０分）を設定する。
【０１２６】
評価部１１０２は、閾値チケットに基づいて、所定の評価期間における性能情報のうち、評価対象とする性能情報を特定し、閾値チケットが示す閾値条件を満たすか否かを判定する。ここで、評価部１１０２は、判定を終えると、評価タイムスタンプファイルを生成しておく。
【０１２７】
評価部１１０２は、例えば、時間条件と資源条件とを満たす性能情報を、評価対象とする性能情報として特定する。評価部１１０２は、具体的には、評価開始日時＝２０：００、評価終了日時＝０６：３０の場合、２０：００から次の日の０６：３０までの性能情報を特定する。評価部１１０２は、具体的には、評価期間（曜日）＝金曜日、評価開始日時＝２０：００、評価終了日時＝０６：３０の場合、金曜日の２０：００から土曜日の０６：３０までの性能情報を特定する。
【０１２８】
評価部１１０２は、特定した性能情報が、閾値チケットに記載されたすべての閾値条件を満たす場合、インシデントが発生しており異常があると判定する。評価部１１０２は、異常があると判定した場合、閾値チケットと対応付けた判定結果をエージェント１１０１に送信する。
【０１２９】
（１４−３）エージェント１１０１は、通知部１１０３を起動し、受信した閾値チケットと対応付けた判定結果を、通知部１１０３に送信する。
【０１３０】
（１４−４）通知部１１０３は、受信した閾値チケットに対応付けられたナレッジチケットに基づいて、自動対処リコメンドまたは手動対処リコメンドを生成する。通知部１１０３は、例えば、閾値チケットに対応付けられたナレッジチケットから、利用するナレッジチケットを選択する。
【０１３１】
通知部１１０３は、具体的には、自動対処インシデントチケットや自動対処ＦＡＱチケットを、手動対処インシデントチケットや手動対処ＦＡＱチケットよりも優先して選択する。また、通知部１１０３は、具体的には、自動対処ＦＡＱチケットを、自動対処インシデントチケットよりも優先して選択する。また、通知部１１０３は、インシデントの発生元に関するホスト名やリソースＩＤが記載された各種チケットを優先して選択する。また、通知部１１０３は、閾値チケットに新しく対応付けられた各種チケットを優先して選択する。
【０１３２】
ここで、例えば、閾値チケットにＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして対応付けられた自動対処ＦＡＱチケットがある場合について説明する。この場合、通知部１１０３は、インシデントの発生元に関するホスト名やリソースＩＤが記載された自動対処ＦＡＱチケットを優先して選択する。また、通知部１１０３は、該自動対処ＦＡＱチケットがなければ、インシデントの発生元に関するホスト名が記載された自動対処ＦＡＱチケットを優先して選択する。
【０１３３】
また、通知部１１０３は、該自動対処ＦＡＱチケットがなければ、最新の自動対処ＦＡＱチケットを優先して選択する。そして、通知部１１０３は、選択した自動対処ＦＡＱチケットが示す対処方法を自動で実行し、実行した対処方法を対応付け、対処状況を対処中に設定した自動対処リコメンドを発行する。通知部１１０３は、具体的には、管理装置２０３に、ＲＢＡ（ＲｕｎＢｏｏｋ  Ａｕｔｏｍａｔｉｏｎ）プロセスを用いて、選択した自動対処ＦＡＱチケットが示す対処方法を自動で実行させる。通知部１１０３は、発行した手動対処リコメンドを、管理装置２０３に送信する。
【０１３４】
ここで、例えば、閾値チケットに対応付けられた自動対処ＦＡＱチケットがなく、かつ、閾値チケットにＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして対応付けられた自動対処インシデントチケットがある場合について説明する。この場合、通知部１１０３は、インシデントの発生元に関するホスト名やリソースＩＤが記載された自動対処インシデントチケットを優先して選択する。また、通知部１１０３は、該自動対処インシデントチケットがなければ、インシデントの発生元に関するホスト名が記載された自動対処インシデントチケットを優先して選択する。
【０１３５】
また、通知部１１０３は、該自動対処インシデントチケットがなければ、最新の自動対処インシデントチケットを優先して選択する。そして、通知部１１０３は、選択した自動対処インシデントチケットが示す対処方法を自動で実行し、実行した対処方法を対応付け、対処状況を対処中に設定した自動対処リコメンドを発行する。通知部１１０３は、具体的には、管理装置２０３に、ＲＢＡプロセスを用いて、選択した自動対処インシデントチケットが示す対処方法を自動で実行させる。通知部１１０３は、発行した手動対処リコメンドを、管理装置２０３に送信する。
【０１３６】
ここで、例えば、閾値チケットに対応付けられた自動対処ＦＡＱチケットや自動対処インシデントチケットがなく、かつ、閾値チケットにＰａｒｅｎｔＣｈｉｌｄとして対応付けられた手動対処ＦＡＱチケットがある場合について説明する。この場合、通知部１１０３は、インシデントの発生元に関するホスト名やリソースＩＤが記載された手動対処ＦＡＱチケットを優先して、選択した手動対処ＦＡＱチケットが５つになるまで、手動対処ＦＡＱチケットを選択する。また、通知部１１０３は、選択した手動対処ＦＡＱチケットが５つ未満であれば、さらに、最新の手動対処ＦＡＱチケットを優先して、選択した手動対処ＦＡＱチケットが５つになるまで、手動対処ＦＡＱチケットを選択する。
【０１３７】
また、通知部１１０３は、インシデントの発生元に関するホスト名やリソースＩＤが記載された手動対処インシデントチケットを優先して、選択した手動対処インシデントチケットが５つになるまで、手動対処インシデントチケットを選択する。また、通知部１１０３は、選択した手動対処インシデントチケットが５つ未満であれば、最新の手動対処インシデントチケットを優先して、選択した手動対処インシデントチケットが５つになるまで、手動対処インシデントチケットを選択する。そして、通知部１１０３は、選択した手動対処ＦＡＱチケットおよび手動対処インシデントチケットを対応付け、対処状況を新規に設定した手動対処リコメンドを発行する。通知部１１０３は、発行した手動対処リコメンドを、管理装置２０３に送信する。
【０１３８】
この際、通知部１１０３は、既に同じインシデントについてのオープンなインシデントチケットが発行済みであれば、新たに自動対処リコメンドまたは手動対処リコメンドを発行しなくてもよい。通知部１１０３は、例えば、インシデントの発生元に関するホスト名やリソースＩＤを含み、閾値チケットに対応付けられたオープンなインシデントチケットがあれば、新たに自動対処リコメンドまたは手動対処リコメンドを発行しなくてもよい。
【０１３９】
次に、図１５を用いて、管理装置２０３が、受信したインシデントチケットに基づいて、端末装置２０４に、インシデントチケットの一覧を表示させる一例について説明する。
【０１４０】
図１５は、インシデントチケットの一覧を表示させる一例を示す説明図である。図１３において、管理装置２０３は、チケット一覧画面１５００を、端末装置２０４のディスプレイ９０６に表示させる。
【０１４１】
また、管理装置２０３は、チケット一覧画面１５００の「新規」が指定されると、新規受付待ちチケット画面１５１０が、端末装置２０４のディスプレイ９０６に表示されるようにする。新規受付待ちチケット画面１５１０は、クローズしていない手動対処リコメンドが選択可能に表示される。管理装置２０３は、チケット一覧画面１５００の「対処中」が指定されると、対処中チケット画面１５２０が、端末装置２０４のディスプレイ９０６に表示されるようにする。対処中チケット画面１５２０は、自動対処リコメンドが選択可能に表示される。
【０１４２】
端末装置２０４は、作業者の操作入力に基づき、チケット一覧画面１５００の「新規」または「対処中」の指定を受け付ける。端末装置２０４は、チケット一覧画面１５００の「新規」が指定されると、新規受付待ちチケット画面１５１０を表示する。また、端末装置２０４は、チケット一覧画面１５００の「対処中」が指定されると、対処中チケット画面１５２０を表示する。
【０１４３】
これにより、作業者は、どのようなインシデントが発生しているかを把握することができ、インシデントの発生を発見するためにユーザシステム２０１の性能値を監視しなくてもよいため、作業負担の低減化を図ることができる。また、作業者は、自動で対処方法が実行されたインシデントについては対処しなくてよいことを把握することができ、作業負担の低減化を図ることができる。
【０１４４】
次に、図１６を用いて、管理装置２０３が、端末装置２０４に、インシデントチケットの内容を表示させる一例について説明する。
【０１４５】
図１６は、インシデントチケットの内容を表示させる一例を示す説明図である。端末装置２０４は、作業者の操作入力に基づいて、新規受付待ちチケット画面１５１０の手動対処リコメンド、または、対処中チケット画面１５２０の自動対処リコメンドの選択を受け付け、管理装置２０３に送信する。管理装置２０３は、選択された手動対処リコメンドや自動対処リコメンドなどのインシデントチケットの内容を、内容表示画面１６００に表示する。
【０１４６】
内容表示画面１６００は、「概要」の表示欄に、インシデントチケットの内容を表示する。内容は、例えば、インシデントが発生した時刻や環境についての情報を含む。内容は、例えば、インシデントの発生判定に用いられた性能値や閾値を含む。また、内容表示画面１６００は、インシデントチケットが自動対処リコメンドであれば、「回答／対処」の表示欄に、自動対処リコメンドに対応付けられたナレッジチケットに記載された対処方法を表示する。
【０１４７】
また、内容表示画面１６００は、インシデントチケットが手動対処リコメンドであれば、「対処候補」の表示欄に、手動対処リコメンドに対応付けられたナレッジチケットに記載された対処方法を表示する。これにより、作業者は、発生したインシデントへの対処方法を把握することができ、作業負担および作業時間の低減化を図ることができる。作業者は、実際にインシデントに対処すると、対処方法を「回答／対処」の表示欄に入力し、インシデントチケットをクローズしてもよい。
【０１４８】
次に、図１７を用いて、管理装置２０３が、端末装置２０４に、性能情報を表示させる一例について説明する。
【０１４９】
図１７は、性能情報を表示させる一例を示す説明図である。管理装置２０３は、内容表示画面１６００の「概要」の表示欄のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）が指定されると、インシデントに関する性能情報を、端末装置２０４に表示させるようにしてもよい。端末装置２０４は、例えば、性能値をグラフ化して示す性能画面１７００を表示する。これにより、作業者は、どのようなインシデントが発生したかを詳細に把握することができる。
【０１５０】
以上により、インシデント管理システム２００は、発生したインシデントを示し、発生したインシデントへの対処方法の候補を示す手動対処リコメンドを、作業者に参照させることができる。このため、作業者は、ユーザシステム２０１の性能を監視しなくても、ユーザシステム２０１において発生しているインシデントを把握することができ、インシデントに対処する作業を分担することができ、インシデントへの対処方法を容易に把握することができる。
【０１５１】
このように、インシデント管理システム２００は、インシデントに対処する作業の容易化を図ることができ、作業者にかかる作業負担や作業時間の低減化を図ることができる。そして、インシデント管理システム２００は、インシデントに対処する作業を実施することが容易な作業者の割合の増大化を図ることができる。このため、インシデント管理システム２００は、一部の作業者に作業が集中してしまうことを防止し、一部の作業者の作業時間および作業負担が増大してしまうことを防止することができる。
【０１５２】
結果として、インシデント管理システム２００は、ユーザシステム２０１が大規模化し、１日あたりに発生するインシデントの数や種類が増大しても、インシデントが解決するまでにかかる所要時間の低減化を図ることができる。また、インシデント管理システム２００は、インシデントに起因してサービスに重大な問題が発生する前に、インシデントを解決しやすくすることができ、インシデントに起因してサービスに重大な問題が発生する可能性の低減化を図ることができる。また、インシデント管理システム２００は、ユーザシステム２０１を監視するための作業負担や作業時間の増大化を抑制することができる。
【０１５３】
また、インシデント管理システム２００は、発生したインシデントに自動で対処可能であれば、自動で対処することができる。この際、インシデント管理システム２００は、発生したインシデントを示し、発生したインシデントに自動で対処中であることを示す自動対処リコメンドを、作業者に参照させることができる。このため、作業者は、既に対処方法が判明しており、自動で対処可能なインシデントが繰り返し発生しても、インシデントに対処する作業を実施しなくて済み、作業負担や作業時間の低減化を図ることができる。
【０１５４】
（チケット作成処理手順）
次に、図１８を用いて、管理装置２０３が実行する、チケット作成処理手順の一例について説明する。チケット作成処理は、例えば、図７に示したＣＰＵ７０１と、メモリ７０２や記録媒体７０５などの記憶領域と、通信Ｉ／Ｆ７０３とによって実現される。
【０１５５】
図１８は、チケット作成処理手順の一例を示すフローチャートである。図１８において、管理装置２０３は、端末装置２０４を介して、クローズ済みのインシデントチケットまたはＦＡＱチケットの指定を受け付ける（ステップＳ１８０１）。
【０１５６】
次に、管理装置２０３は、端末装置２０４を介して、閾値条件定義画面を表示する（ステップＳ１８０２）。そして、管理装置２０３は、閾値条件定義画面におけるユーザの操作入力に基づいて、閾値チケットを発行する（ステップＳ１８０３）。
【０１５７】
次に、管理装置２０３は、指定されたインシデントチケットまたはＦＡＱチケットに基づいて、ナレッジチケットを作成する（ステップＳ１８０４）。そして、管理装置２０３は、作成したナレッジチケットを、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌまたはＰａｒｅｎｔＣｈｉｌｄとして、発行された閾値チケットに対応付ける（ステップＳ１８０５）。その後、管理装置２０３は、チケット作成処理を終了する。
【０１５８】
（対応付け追加処理手順）
次に、図１９を用いて、管理装置２０３が実行する、対応付け追加処理手順の一例について説明する。対応付け追加処理は、例えば、図７に示したＣＰＵ７０１と、メモリ７０２や記録媒体７０５などの記憶領域と、通信Ｉ／Ｆ７０３とによって実現される。
【０１５９】
図１９は、対応付け追加処理手順の一例を示すフローチャートである。図１９において、管理装置２０３は、閾値チケットの指定を受け付ける（ステップＳ１９０１）。
【０１６０】
次に、管理装置２０３は、クローズ済みのインシデントチケットまたはＦＡＱチケットの指定を受け付ける（ステップＳ１９０２）。そして、管理装置２０３は、指定されたインシデントチケットまたはＦＡＱチケットに基づいて、ナレッジチケットを作成する（ステップＳ１９０３）。
【０１６１】
次に、管理装置２０３は、作成したナレッジチケットを、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌまたはＰａｒｅｎｔＣｈｉｌｄとして、指定された閾値チケットに対応付ける（ステップＳ１９０４）。そして、管理装置２０３は、対応付け追加処理を終了する。
【０１６２】
（チケット収集処理手順）
次に、図２０を用いて、表示制御装置１００が実行する、チケット収集処理手順の一例について説明する。チケット収集処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１６３】
図２０は、チケット収集処理手順の一例を示すフローチャートである。図２０において、表示制御装置１００のエージェント１１０１は、管理装置２０３と通信し、閾値チケットおよびナレッジチケットを収集する（ステップＳ２００１）。
【０１６４】
次に、エージェント１１０１は、収集した閾値チケットを、閾値チケットＤＢ５００に保存する（ステップＳ２００２）。そして、エージェント１１０１は、収集したナレッジチケットを、ナレッジチケットＤＢ４００に保存する（ステップＳ２００３）。その後、表示制御装置１００は、チケット収集処理を終了する。
【０１６５】
（性能情報収集処理手順）
次に、図２１を用いて、表示制御装置１００が実行する、性能情報収集処理手順の一例について説明する。性能情報収集処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１６６】
図２１は、性能情報収集処理手順の一例を示すフローチャートである。図２１において、表示制御装置１００のエージェント１１０１は、監視装置２０２と通信し、性能情報を収集する（ステップＳ２１０１）。
【０１６７】
次に、エージェント１１０１は、収集した性能情報を、性能情報ＤＢ６００に保存する（ステップＳ２１０２）。そして、エージェント１１０１は、最新の性能情報が得られた日時を、性能タイムスタンプファイルに記入する（ステップＳ２１０３）。その後、表示制御装置１００は、性能情報収集処理を終了する。
【０１６８】
（管理情報発行処理手順）
次に、図２２〜図２４を用いて、表示制御装置１００が実行する、管理情報発行処理手順の一例について説明する。管理情報発行処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１６９】
図２２〜図２４は、管理情報発行処理手順の一例を示すフローチャートである。図２２において、表示制御装置１００のエージェント１１０１は、所定の時間間隔で、表示制御装置１００の評価部１１０２を起動する（ステップＳ２２０１）。
【０１７０】
評価部１１０２は、起動すると、性能タイムスタンプファイルが存在するか否かを判定する（ステップＳ２２０２）。ここで、存在しない場合（ステップＳ２２０２：Ｎｏ）、表示制御装置１００は、管理情報発行処理を終了する。一方で、存在する場合（ステップＳ２２０２：Ｙｅｓ）、評価部１１０２は、ステップＳ２２０３の処理に移行する。
【０１７１】
ステップＳ２２０３では、評価部１１０２は、評価タイムスタンプファイルが存在するか否かを判定する（ステップＳ２２０３）。ここで、存在しない場合（ステップＳ２２０３：Ｎｏ）、評価部１１０２は、ステップＳ２２０５の処理に移行する。一方で、存在する場合（ステップＳ２２０３：Ｙｅｓ）、評価部１１０２は、ステップＳ２２０４の処理に移行する。
【０１７２】
ステップＳ２２０４では、評価部１１０２は、評価開始時刻を、評価タイムスタンプファイルに記載された日時−３０分に設定する（ステップＳ２２０４）。そして、評価部１１０２は、ステップＳ２２０６の処理に移行する。
【０１７３】
ステップＳ２２０５では、評価部１１０２は、評価開始時刻を、性能タイムスタンプファイルに記載された日時−３日−３０分に設定する（ステップＳ２２０５）。そして、評価部１１０２は、ステップＳ２２０６の処理に移行する。
【０１７４】
ステップＳ２２０６では、評価部１１０２は、評価終了時刻を、性能タイムスタンプファイルに記載された日時−３０分に設定する（ステップＳ２２０６）。そして、評価部１１０２は、図２３のステップＳ２３０１の処理に移行する。ここで、図２３の説明に移行する。
【０１７５】
図２３において、評価部１１０２は、未処理の閾値チケットを選択する（ステップＳ２３０１）。そして、評価部１１０２は、ステップＳ２３０２の処理に移行する。
【０１７６】
ステップＳ２３０２では、評価部１１０２は、選択した閾値チケットに記載された閾値条件のうち、未処理の閾値条件を選択する（ステップＳ２３０２）。
【０１７７】
次に、評価部１１０２は、選択した閾値チケットに記載された曜日や時刻などに基づく時間条件を満たした性能情報を特定する（ステップＳ２３０３）。そして、評価部１１０２は、特定した性能情報のうち、選択した閾値チケットに記載されたホスト名やリソースＩＤなどに基づく資源条件を満たす性能情報を特定する（ステップＳ２３０４）。
【０１７８】
次に、評価部１１０２は、特定した性能情報が、選択した閾値条件を満たすか否かを評価する（ステップＳ２３０５）。そして、評価部１１０２は、評価結果を保存する（ステップＳ２３０６）。
【０１７９】
次に、評価部１１０２は、すべての閾値条件を処理したか否かを判定する（ステップＳ２３０７）。ここで、未処理の閾値条件がある場合（ステップＳ２３０７：Ｎｏ）、評価部１１０２は、ステップＳ２３０２の処理に戻る。一方で、すべての閾値条件を処理している場合（ステップＳ２３０７：Ｙｅｓ）、評価部１１０２は、ステップＳ２３０８の処理に移行する。
【０１８０】
ステップＳ２３０８では、評価部１１０２は、選択した閾値チケットに記載されたすべての閾値条件を満たすか否かを判定する（ステップＳ２３０８）。ここで、いずれかの閾値条件を満たさない場合（ステップＳ２３０８：Ｎｏ）、評価部１１０２は、ステップＳ２３１０の処理に移行する。一方で、すべての閾値条件を満たす場合（ステップＳ２３０８：Ｙｅｓ）、評価部１１０２は、ステップＳ２３０９の処理に移行する。
【０１８１】
ステップＳ２３０９では、評価部１１０２は、選択した閾値チケットを、発行対象チケット一覧に追加する（ステップＳ２３０９）。そして、評価部１１０２は、ステップＳ２３１０の処理に移行する。
【０１８２】
ステップＳ２３１０では、評価部１１０２は、すべての閾値チケットを処理したか否かを判定する（ステップＳ２３１０）。ここで、未処理の閾値チケットがある場合（ステップＳ２３１０：Ｎｏ）、評価部１１０２は、ステップＳ２３０１の処理に戻る。一方で、すべての閾値チケットを処理している場合（ステップＳ２３１０：Ｙｅｓ）、評価部１１０２は、ステップＳ２３１１の処理に移行する。
【０１８３】
ステップＳ２３１１では、評価部１１０２は、発行対象チケット一覧を、エージェント１１０１に送信する（ステップＳ２３１１）。エージェント１１０１は、発行対象チケット一覧を受信すると、図２４のステップＳ２４０１の処理に移行する。ここで、図２４の説明に移行する。
【０１８４】
図２４において、エージェント１１０１は、発行対象チケット一覧に、閾値チケットが存在するか否かを判定する（ステップＳ２４０１）。ここで、存在しない場合（ステップＳ２４０１：Ｎｏ）、表示制御装置１００は、管理情報発行処理を終了する。一方で、存在する場合（ステップＳ２４０１：Ｙｅｓ）、エージェント１１０１は、ステップＳ２４０２の処理に移行する。
【０１８５】
ステップＳ２４０２では、エージェント１１０１は、表示制御装置１００の通知部１１０３を起動し、発行対象チケット一覧を、通知部１１０３に送信する（ステップＳ２４０２）。
【０１８６】
通知部１１０３は、発行対象チケット一覧から、未処理の閾値チケットを選択する（ステップＳ２４０３）。
【０１８７】
次に、通知部１１０３は、選択した閾値チケットに、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして対応付けられたナレッジチケットがあるか否かを判定する（ステップＳ２４０４）。ここで、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌとして対応付けられたナレッジチケットがある場合（ステップＳ２４０４：Ｙｅｓ）、通知部１１０３は、ステップＳ２４０５の処理に移行する。
【０１８８】
一方で、ＡｕｔｏｍａｔｉｏｎＯｆＤｅａｌではなく、ＰａｒｅｎｔＣｈｉｌｄとして対応付けられたナレッジチケットがある場合（ステップＳ２４０４：Ｎｏ）、通知部１１０３は、ステップＳ２４０７の処理に移行する。
【０１８９】
ステップＳ２４０５では、通知部１１０３は、ナレッジチケットに基づいて、実行対象となる対処方法を特定して実行する（ステップＳ２４０５）。次に、通知部１１０３は、対処方法を対応付け、対処状況を対処中に設定したインシデントチケットを発行する（ステップＳ２４０６）。そして、通知部１１０３は、ステップＳ２４０９の処理に移行する。
【０１９０】
ステップＳ２４０７では、通知部１１０３は、ナレッジチケットに基づいて、候補となる対処方法を特定する（ステップＳ２４０７）。次に、通知部１１０３は、対処方法を対応付け、対処状況を新規に設定したインシデントチケットを発行する（ステップＳ２４０８）。そして、通知部１１０３は、ステップＳ２４０９の処理に移行する。
【０１９１】
ステップＳ２４０９では、通知部１１０３は、すべての閾値チケットを処理したか否かを判定する（ステップＳ２４０９）。ここで、未処理の閾値チケットがある場合（ステップＳ２４０９：Ｎｏ）、通知部１１０３は、ステップＳ２４０３の処理に戻る。一方で、すべての閾値チケットを処理している場合（ステップＳ２４０９：Ｙｅｓ）、通知部１１０３は、管理情報発行処理を終了する。
【０１９２】
（対処終了処理手順）
次に、図２５を用いて、表示制御装置１００が実行する、対処終了処理手順の一例について説明する。対処終了処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１９３】
図２５は、対処終了処理手順の一例を示すフローチャートである。図２５において、エージェント１１０１は、いずれかのインシデントチケットについて対処終了したことを検出する（ステップＳ２５０１）。
【０１９４】
次に、エージェント１１０１は、インシデントチケットの対処状況を対処終了に設定し、インシデントチケットをクローズする（ステップＳ２５０２）。そして、エージェント１１０１は、ナレッジチケットを作成する（ステップＳ２５０３）。
【０１９５】
次に、エージェント１１０１は、作成したナレッジチケットを、ＡｎｓｗｅｒＯｆＤｅａｌとして、インシデントチケットに対応する閾値チケットに対応付ける（ステップＳ２５０４）。そして、表示制御装置１００は、対処終了処理を終了する。
【０１９６】
以上説明したように、表示制御装置１００によれば、監視対象の監視データと、監視対象の識別情報とを取得し、取得した監視データが、取得した識別情報に対応付けられた基準を満たすか否かの判定を行うことができる。表示制御装置１００によれば、監視データが基準を満たす場合、記憶部１０００を参照して、取得した識別情報に対応付けられた対処方法を特定し、特定した対処方法に対応付けられたインシデント管理情報を生成することができる。表示制御装置１００によれば、生成したインシデント管理情報の指定を受け付けると、特定した対処方法の表示端末への表示指示を出力することができる。これにより、表示制御装置１００は、インシデントへの対処方法を作業者が把握可能にすることができ、インシデントに対処する作業の作業負担および作業時間の低減化を図ることができる。
【０１９７】
表示制御装置１００によれば、記憶部１０００を参照して、取得した識別情報に対応付けられた対処方法と、内容または原因とを特定し、特定した対処方法と、特定した内容または原因とに対応付けられたインシデント管理情報を生成することができる。表示制御装置１００によれば、生成したインシデント管理情報の指定を受け付けると、特定した対処方法と、特定した内容または原因との、表示端末への表示指示を出力することができる。これにより、表示制御装置１００は、インシデントの内容や原因を作業者が把握可能にすることができ、インシデントに対処する作業の作業負担および作業時間の低減化を図ることができる。
【０１９８】
表示制御装置１００によれば、特定した対処方法を自動実行することができる。これにより、表示制御装置１００は、自動で実行可能な対処方法を自動実行することにより、作業者の作業負担および作業時間の低減化を図ることができる。
【０１９９】
表示制御装置１００によれば、取得した識別情報に対応付けられた対処方法が複数ある場合、条件を満たす対処方法を特定することができる。これにより、表示制御装置１００は、作業者にとって有用である可能性が高い対処方法を、作業者が把握しやすいようにすることができる。
【０２００】
表示制御装置１００によれば、識別情報に対応付けられた対処方法を特定した後、監視データが基準を満たさなくなるまで待機し、再び監視データが基準を満たす場合、識別情報に対応付けられた対処方法を特定することができる。これにより、表示制御装置１００は、監視データが基準を満たしている間、連続して対処方法を特定してしまうことを防止し、１つのインシデントに対して複数のインシデント管理情報が生成されてしまうことを防止することができる。
【０２０１】
表示制御装置１００によれば、監視データとして、監視対象の性能を示すデータを利用し、基準として、監視対象の性能が一定以上悪いことを示す条件を利用することができる。これにより、表示制御装置１００は、インシデントを発見することができる。
【０２０２】
なお、本実施の形態で説明した表示制御方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した表示制御プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した表示制御プログラムは、インターネット等のネットワークを介して配布してもよい。
【０２０３】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０２０４】
（付記１）監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【０２０５】
（付記２）前記記憶部は、監視対象に関するインシデントへの対処方法と、該インシデントの内容または原因とを、該監視対象の識別情報に対応付けて記憶し、
前記特定する処理は、前記記憶部を参照して、取得した前記識別情報に対応付けられた対処方法と、内容または原因とを特定し、
前記生成する処理は、特定した前記対処方法と、特定した前記内容または前記原因とに対応付けられたインシデント管理情報を生成し、
前記出力する処理は、生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法と、特定した前記内容または前記原因との、前記表示端末への表示指示を出力する、ことを特徴とする付記１に記載の表示制御方法。
【０２０６】
（付記３）特定した前記対処方法を自動実行する、処理を前記コンピュータが実行することを特徴とする付記１または２に記載の表示制御方法。
【０２０７】
（付記４）前記特定する処理は、取得した前記識別情報に対応付けられた対処方法が複数ある場合、条件を満たす対処方法を特定する、ことを特徴とする付記１〜３のいずれか一つに記載の表示制御方法。
【０２０８】
（付記５）前記特定する処理は、前記識別情報に対応付けられた対処方法を特定した後、前記監視データが前記基準を満たさなくなるまで待機し、再び前記監視データが前記基準を満たす場合、前記識別情報に対応付けられた対処方法を特定する、ことを特徴とする付記１〜４のいずれか一つに記載の表示制御方法。
【０２０９】
（付記６）前記監視データは、前記監視対象の性能を示し、
前記基準は、前記監視対象の性能が一定以上悪いことを示す、ことを特徴とする付記１〜５のいずれか一つに記載の表示制御方法。
【０２１０】
（付記７）監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【０２１１】
（付記８）監視対象の監視データと、前記監視対象の識別情報とを取得し、
取得した前記監視データが、取得した前記識別情報に対応付けられた基準を満たすか否かの判定を行い、
前記監視データが前記基準を満たす場合、監視対象に関するインシデントへの対処方法を該監視対象の識別情報に対応付けて記憶する記憶部を参照して、取得した前記識別情報に対応付けられた対処方法を特定し、
取得した前記監視データ及び前記識別情報に基づき、特定した前記対処方法に対応付けられたインシデント管理情報を生成し、
生成した前記インシデント管理情報の指定を受け付けると、特定した前記対処方法の表示端末への表示指示を出力する、
制御部を有することを特徴とする表示制御装置。
【符号の説明】
【０２１２】
１００  表示制御装置
１１０，１０００  記憶部
１２０  監視対象
１３０  システム
１４０  監視データ
１５０  基準
１６０  対処方法
１７０  インシデント管理情報
１８０  一覧
１９０  表示端末
２００  インシデント管理システム
２０１  ユーザシステム
２０２  監視装置
２０３  管理装置
２０４  端末装置
２１０  ネットワーク
３００，７００，８００，９００  バス
３０１，７０１，８０１，９０１  ＣＰＵ
３０２，７０２，８０２，９０２  メモリ
３０３，７０３，８０３，９０３  通信Ｉ／Ｆ
３０４，７０４，８０４，９０４  記録媒体Ｉ／Ｆ
３０５，７０５，８０５，９０５  記録媒体
４００  ナレッジチケットＤＢ
５００  閾値チケットＤＢ
６００  性能情報ＤＢ
９０６  ディスプレイ
９０７  入力装置
１００１  取得部
１００２  判定部
１００３  特定部
１００４  生成部
１００５  出力部
１１００  診断結果ＤＢ
１１０１  エージェント
１１０２  評価部
１１０３  通知部
１１１１，１２００  閾値チケット
１１１２  ナレッジチケット
１１１３  インシデントチケット
１２１０  自動対処インシデントチケット
１２１１  自動対処ＦＡＱチケット
１２２０，１２４１  手動対処インシデントチケット
１２２１，１２４２  手動対処ＦＡＱチケット
１２３０  自動対処リコメンド
１２４０  手動対処リコメンド
１３００  閾値条件定義画面
１５００  チケット一覧画面
１５１０  チケット画面
１５２０  対処中チケット画面
１６００  内容表示画面
１７００  性能画面
【図１】
2020004198.tif 000003
【図２】
2020004198.tif 000004
【図３】
2020004198.tif 000005
【図４】
2020004198.tif 000006
【図５】
2020004198.tif 000007
【図６】
2020004198.tif 000008
【図７】
2020004198.tif 000009
【図８】
2020004198.tif 000010
【図９】
2020004198.tif 000011
【図１０】
2020004198.tif 000012
【図１１】
2020004198.tif 000013
【図１２】
2020004198.tif 000014
【図１３】
2020004198.tif 000015
【図１４】
2020004198.tif 000016
【図１５】
2020004198.tif 000017
【図１６】
2020004198.tif 000018
【図１７】
2020004198.tif 000019
【図１８】
2020004198.tif 000020
【図１９】
2020004198.tif 000021
【図２０】
2020004198.tif 000022
【図２１】
2020004198.tif 000023
【図２２】
2020004198.tif 000024
【図２３】
2020004198.tif 000025
【図２４】
2020004198.tif 000026
【図２５】
2020004198.tif 000027