(57)【要約】      （修正有）【課題】障害の原因を調査するために必要なログ情報の特定を迅速に行うことを可能とするロギング制御プログラム、ロギング制御装置、ロギング制御方法及び情報処理システムを提供する。【解決手段】第１情報処理装置１と通信を行う第２情報処理装置２による第１情報処理装置の異常検知に応じて、第２情報処理装置に関するログ情報を取得するロギング装置２２から、第１情報処理装置が第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と第２情報処理装置を識別する識別情報とを受信した場合、第１情報処理装置の通信先の情報処理装置のうち、識別情報が識別する第２情報処理装置以外の第３情報処理装置３が存在するか否かを判定し、第３情報処理装置が存在すると判定した場合、第３情報処理装置に関するログを取得するロギング装置３２に、特定のメッセージに関する情報と第１情報処理装置を識別する識別情報とを送信する。【選択図】図９
2018128920.tif 000002
【特許請求の範囲】
【請求項１】
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する、
処理をコンピュータに実行させることを特徴とするロギング制御プログラム。
【請求項２】
請求項１において、さらに、
前記第１情報処理装置に関するログ情報を取得し、
前記ロギング装置から前記特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、取得した前記ログ情報から、前記第１情報処理装置によって行われた前記特定のメッセージの送信よりも後に取得されたログ情報を特定する、
処理をコンピュータに実行させることを特徴とするロギング制御プログラム。
【請求項３】
請求項１において、
前記特定のメッセージは、前記第２情報処理装置が前記第１情報処理装置から受信した最後のメッセージである、
ことを特徴とするロギング制御プログラム。
【請求項４】
請求項１において、
前記ログ情報を特定する処理では、
前記第１情報処理装置に関するログ情報から、前記特定のメッセージの送信に伴って取得された特定のログ情報を特定し、
前記第１情報処理装置に関するログ情報のうち、特定した前記特定のログ情報よりも後に取得されたログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【請求項５】
請求項４において、
前記ログ情報を特定する処理では、前記第１情報処理装置に関するログ情報のうち、各ログ情報の取得順序を示す通し番号が前記特定のログ情報の通し番号よりも後であるログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【請求項６】
請求項４において、
前記ログ情報を特定する処理では、前記第１情報処理装置に関するログ情報のうち、各ログ情報の取得時刻が前記特定のログ情報の取得時刻よりも後であるログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【請求項７】
請求項４において、
前記第２情報処理装置を識別する識別情報は、前記特定のメッセージが送受信されたセッションを示す情報を含み、
前記判定する処理では、前記第１情報処理装置が他の情報処理装置と通信を行うセッションに、前記特定のメッセージが送受信されたセッション以外の特定のセッションが存在するか否かの判定を行い、
前記送信する処理では、
前記第１情報処理装置に関するログ情報から、前記特定のメッセージの送信に伴って取得された特定のログ情報を特定し、
前記第１情報処理装置に関するログ情報のうちの前記特定のセッションに関連するログ情報から、前記特定のログ情報よりも前に取得されたログ情報を特定し、
前記第３情報処理装置に関するログを取得するロギング装置に、特定した前記特定のログ情報よりも前に取得されたログ情報と前記特定のセッションを示す情報とを含む情報の送信を行う、
ことを特徴とするロギング制御プログラム。
【請求項８】
請求項１において、
前記第２情報処理装置のロギング装置は、前記第２情報処理装置が前記第１情報処理装置に対して送信したメッセージに対する応答が所定時間以上ないことを検知した場合に、前記特定のメッセージに関する情報と前記識別情報との送信を行う、
ことを特徴とするロギング制御プログラム。
【請求項９】
請求項１において、
前記ログ情報を特定する処理では、特定した前記ログ情報の削除を禁止する、
ことを特徴とするロギング制御プログラム。
【請求項１０】
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信する情報受信部と、
前記受信部が前記特定のメッセージに関する情報と前記識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定する情報判定部と、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する情報送信部を有する、
ことを特徴とするロギング制御装置。
【請求項１１】
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する、
ことを特徴とするロギング制御方法。
【請求項１２】
第１情報処理装置に関するログ情報を取得する第１ロギング装置と、該第１ロギング装置と接続し、第２情報処理装置に関するログ情報を取得する第２ロギング装置と、該第１ロギング装置と接続し、第３情報処理装置に関するログ情報を取得する第３ロギング装置とを有する情報処理システムであって、
前記第２ロギング装置は、前記第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第１ロギング装置に対し、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを送信し、
前記第１ロギング装置は、
前記特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信したことに応じて、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信し、
前記第３ロギング装置は、
前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを受信したことに応じて、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第３情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第１情報処理装置以外の他の情報処理装置が存在するか否かを判定し、
前記他の情報処理装置が存在すると判定した場合、前記他の情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第３情報処理装置を識別する識別情報とを送信する、
ことを特徴とする情報処理システム。
【請求項１３】
請求項１２において、
前記異常検知は、前記第２情報処理装置から前記第１情報処理装置に対して送信されたメッセージに対する応答が所定時間以上ないことの検知である、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロギング制御プログラム、ロギング制御装置、ロギング制御方法及び情報処理システムに関する。
【背景技術】
【０００２】
例えば、利用者に対してサービスを提供する業務システム（以下、情報処理システムとも呼ぶ）は、その業務システムで実行される処理の動作に関する情報（以下、動作情報とも呼ぶ）を記憶する場合がある（以下、記憶された動作情報をログ情報とも呼ぶ）。そして、業務システムの運用管理者は、例えば、業務システムで障害が発生したことを検知した場合、障害が発生した前後のログ情報に基づく解析を行う。これにより、運用管理者は、発生した障害の原因を特定することが可能になる。
【０００３】
また、上記のような業務システムは、新たな動作情報の発生によって、障害発生前後の動作情報に対応するログ情報が上書き（削除）されることを防止するため、例えば、予め定めた条件に合致したログ情報を保護するための処理（以下、保護処理とも呼ぶ）を行う。これにより、運用管理者は、例えば、障害が発生してからログ情報の解析を行うまでにタイムラグがあった場合であっても、ログ情報に基づく障害の原因の特定を行うことが可能になる（例えば、特許文献１から４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２２３５３４号公報
【特許文献２】特開２００２−０９９４３８号公報
【特許文献３】特開２００７−０２６３０６号公報
【特許文献４】特開２００３−０４４２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような業務システムが複数のマシン（物理マシンまたは仮想マシン）に跨る形で構築されている場合、各マシンは、互いに連携を行いながら利用者にサービスを提供するための処理を行う。そして、業務システムは、複数のマシンのうちのいずれかのマシンにおける障害の発生を検知した場合、他のマシンのログ情報についても保護処理を行う。これにより、運用管理者は、障害の原因が障害の発生を検知したマシンとは異なるマシンにある場合であっても、障害の原因の特定を行うことが可能になる。
【０００６】
しかしながら、業務システムが複数のマシンに跨る形で構築されている場合、障害を検知するタイミングがマシン間で異なる場合がある。そして、この場合、障害の検知が遅れたマシンでは、ログ情報の保護処理を実行するタイミングが他のマシンよりも遅れる。そのため、障害の検知が遅れたマシンでは、障害の原因を特定するために必要なログ情報が上書きされてしまう場合がある。
【０００７】
そこで、一つの側面では、本発明は、障害の原因を調査するために必要なログ情報の特定を迅速に行うことを可能とするロギング制御プログラム、ロギング制御装置、ロギング制御方法及び情報処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
実施の形態の一態様では、第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
一つの側面によれば、障害の原因を調査するために必要なログ情報の特定を迅速に行うことを可能とする。
【図面の簡単な説明】
【００１０】
【図１】図１は、情報処理システム１００の全体構成を説明する図である。
【図２】図２は、障害発生時の動作例を説明する図である。
【図３】図３は、情報処理システムのハードウエア構成を示す図である。
【図４】図４は、図３の物理マシン１の機能ブロック図である。
【図５】図５は、図３の物理マシン２の機能ブロック図である。
【図６】図６は、図３の物理マシン３の機能ブロック図である。
【図７】図７は、第１の実施の形態におけるロギング制御処理の概略を説明するフローチャート図である。
【図８】図８は、第１の実施の形態におけるロギング制御処理の概略を説明するフローチャート図である。
【図９】図９は、第１の実施の形態におけるロギング制御処理の概略を説明する図である。
【図１０】図１０は、第１の実施の形態におけるロギング制御処理の概略を説明する図である。
【図１１】図１１は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１２】図１２は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１３】図１３は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１４】図１４は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１５】図１５は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１６】図１６は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１７】図１７は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。
【図１８】図１８は、情報処理システム１００の全体構成を説明する図である。
【図１９】図１９は、情報処理システム１００の全体構成を説明する図である。
【図２０】図２０は、情報処理システム１００の全体構成を説明する図である。
【図２１】図２１は、情報処理システム１００の全体構成を説明する図である。
【図２２】図２２は、情報処理システム１００の全体構成を説明する図である。
【図２３】図２３は、ログ情報１３１の具体例を説明する図である。
【図２４】図２４は、保護情報１３２の具体例を説明する図である。
【図２５】図２５は、通信情報１３３の具体例を説明する図である。
【図２６】図２６は、送信情報２３４の具体例を説明する図である。
【図２７】図２７は、ログ情報２３１の具体例を説明する図である。
【発明を実施するための形態】
【００１１】
［情報処理システムの構成（１）］
図１は、情報処理システム１００の全体構成を説明する図である。図１に示す情報処理システム１００は、物理マシン１（以下、コンピュータ１とも呼ぶ）と、物理マシン２（以下、コンピュータ２とも呼ぶ）と、物理マシン３（コンピュータ３とも呼ぶ）とが設けられている。なお、以下、情報処理システム１００が３台の物理マシンを有する場合について説明を行うが、情報処理システム１００は、４台以上の物理マシンを有するものであってもよい。
【００１２】
図１に示す物理マシン１では、利用者にサービスを提供するために動作する監視対象処理部１１と、監視対象処理部１１のログ情報を取得するために動作するロギング制御部１２とが動作している。また、図１に示す物理マシン２では、利用者にサービスを提供するために動作する監視対象処理部２１と、監視対象処理部２１のログ情報を取得するために動作するロギング制御部２２とが動作している。さらに、図１に示す物理マシン３では、利用者にサービスを提供するために動作する監視対象処理部３１と、監視対象処理部３１のログ情報を取得するために動作するロギング制御部３２とが動作している。
【００１３】
図１に示す例において、監視対象処理部１１と監視対象処理部２１と監視対象処理部３１とは、互いに連携しながら利用者にサービスを提供するための処理を行う。そして、図１に示すロギング制御部１２は、例えば、物理マシン１に設けられた記憶媒体１３に監視対象処理部１１のログ情報を記憶し、図１に示すロギング制御部２２は、例えば、物理マシン２に設けられた記憶媒体２３に監視対象処理部２１のログ情報を記憶する。また、図１に示すロギング制御部３２は、例えば、物理マシン３に設けられた記憶媒体３３に監視対象処理部３１のログ情報を記憶する。
【００１４】
なお、監視対象処理部１１、監視対象処理部２１、監視対象処理部３１、ロギング制御部１２、ロギング制御部２２及びロギング制御部３２は、それぞれ異なる物理マシン（例えば、第１情報処理装置、第２情報処理装置、第３情報処理装置、第１ロギング装置、第２ロギング装置及び第３ロギング装置）で動作するものであってもよい。この場合、記憶媒体１３、記憶媒体２３及び記憶媒体３３は、例えば、ロギング制御部１２、ロギング制御部２２及びロギング制御部３２がそれぞれ動作する物理マシンにそれぞれ設けられるものであってもよい。さらに、監視対象処理部１１、監視対象処理部２１、監視対象処理部３１、ロギング制御部１２、ロギング制御部２２及びロギング制御部３２は、例えば、物理マシン１、物理マシン２または物理マシン３のリソースが割り当てられて動作する仮想マシンにおいてそれぞれ動作するものであってもよい。
【００１５】
[障害発生時の動作例]
次に、情報処理システム１００において障害が発生した場合の動作例を説明する。図２は、障害発生時の動作例を説明する図である。
【００１６】
図２に示す例において、監視対象処理部１１は、例えば、自処理部で実行した処理の動作結果等に異常があった場合、自処理部において障害が発生したものと判定し、ロギング制御部１２に対して障害の発生を通知する。そして、ロギング制御部１２は、監視対象処理部１１からの通知を受信した場合、監視対象処理部１１で障害が発生した時刻の前後のログ情報の保護処理を行う。すなわち、ロギング制御部１２は、新たなログ情報によって障害が発生した時刻の前後のログ情報が上書きされることを防止するために、ログ情報の保護処理を行う。これにより、運用管理者は、例えば、障害発生からログ情報の解析を行うまでの間にタイムラグがあった場合であっても、障害が発生した時刻の前後のログ情報を参照することが可能になり、障害の原因の特定を行うことが可能になる。
【００１７】
一方、物理マシン２で動作する監視対象処理部２１及び物理マシン３で動作する監視対象処理部３１は、例えば、監視対象処理部１１に対する起動確認（生存監視）を定期的に行うことにより、監視対象処理部１１において障害が発生したことを検知する。
【００１８】
ここで、監視対象処理部２１及び監視対象処理部３１は、起動確認の実行間隔等によって、監視対象処理部１１で発生した障害を検知するまでに時間を要する場合がある。そのため、この場合、記憶媒体２３及び記憶媒体３３に記憶された監視対象処理部１１の障害発生前後のログ情報は、ロギング制御部２２及びロギング制御部３２によるログ情報の保護処理の遅れによって上書きされてしまう可能性がある。したがって、運用管理者は、監視対象処理部１１で発生した障害の原因の究明を行う際に、監視対象処理部１１の障害発生前後の監視対象処理部１１、２１、３１のログ情報の全てを参照することができなくなる可能性がある。
【００１９】
そこで、本実施の形態におけるロギング制御部２２は、ロギング制御部１２から、監視対象処理部２１が監視対象処理部１１に送信したメッセージ（以下、特定のメッセージとも呼ぶ）に関する情報と、監視対象処理部１１を識別する識別情報とを受信する。そして、ロギング制御部２２は、ロギング制御部１２から特定のメッセージに関する情報等を受信したことに応じて、ロギング制御部２２が取得した監視対象処理部２１に関連するログ情報から、監視対象処理部２１による特定のメッセージの送信よりも後に取得されたログ情報を特定する。
【００２０】
その後、ロギング制御部２２は、監視対象処理部１１、２１及び３１のそれぞれの通信先の監視対象処理部を示す情報を参照し、監視対象処理部２１の通信先の監視対象処理部のうち、監視対象処理部１１以外の監視対象処理部が存在するか否かを判定する。そして、監視対象処理部１１以外の監視対象処理部が存在すると判定した場合、ロギング制御部２２は、存在すると判定した監視対象処理部に関するログを取得するロギング制御部に、特定のメッセージに関する情報と監視対象処理部２１を識別する識別情報とを送信する。
【００２１】
すなわち、ロギング制御部１２は、例えば、監視対象処理部１１が監視対象処理部２１からの応答が所定時間以上ないこと（以下、この状態を無応答とも呼ぶ）を検知した場合、監視対象処理部１１が監視対象処理部２１から正常に受信することができた特定のメッセージの受信タイミング以降に、無応答の原因が発生したものと判定する。そのため、ロギング制御部１２は、監視対象処理部２１における無応答の検知した場合、特定のメッセージに関する情報等をロギング制御部２２に送信することにより、発生した無応答に関連するログ情報が取得されている可能性がある期間の始点を示す情報を通知する。
【００２２】
一方、ロギング制御部２２は、特定のメッセージに関する情報等を受信した場合、情報処理システム１００に含まれる監視対象処理部（監視対象処理部２１を含む）のいずれかにおいて無応答が発生したものと判定する。そのため、ロギング制御部２２は、この場合、ロギング制御部１２から受信した特定のメッセージに関する情報に基づいて、記憶媒体２３に記憶されたログ情報から、発生した無応答に関連する情報が含まれている可能性があるログ情報の特定を行う。さらに、ロギング制御部２２は、この場合、ロギング制御部１２から受信した特定のメッセージに関する情報等を他のロギング制御部（ロギング制御部３２等）に送信し、発生した無応答に関連する情報が含まれている可能性があるログ情報の特定を他のロギング制御部にも行わせる。
【００２３】
これにより、ロギング制御部２２は、無応答が発生した場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を行うことが可能になる。また、ロギング制御部２２は、例えば、無応答が発生した原因である可能性がある他の監視対象処理部が存在する場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を、他の監視対象処理に関するログを取得するロギング制御部にも行わせることが可能になる。
【００２４】
そのため、情報処理システム１００は、無応答の原因である可能性がある監視対象処理部が複数存在する場合であっても、発生した無応答の原因調査が行われる際に参照される可能性があるログ情報の保護処理を網羅的に行うことが可能になる。したがって、運用管理者は、無応答の原因である箇所の特定を行うことが可能になる。
【００２５】
［情報処理システムのハードウエア構成］
次に、情報処理システム１００の構成について説明する。図３は、情報処理システムのハードウエア構成を示す図である。
【００２６】
物理マシン１は、プロセッサであるＣＰＵ１０１と、メモリ１０２と、外部インターフェース（Ｉ／Ｏユニット）１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。
【００２７】
記憶媒体１０４は、例えば、記憶媒体１０４内のプログラム格納領域（図示しない）に、ログ情報の保護等を行う処理（以下、ロギング制御処理とも呼ぶ）を行うためのプログラム１１０を記憶する。
【００２８】
ＣＰＵ１０１は、図３に示すように、プログラム１１０の実行時に、プログラム１１０を記憶媒体１０４からメモリ１０２にロードし、プログラム１１０と協働してロギング制御処理等を行う。
【００２９】
また、記憶媒体１０４は、例えば、ロギング制御処理等を行う際に用いられる情報を記憶する情報格納領域１３０を有する。なお、記憶媒体１０４は、図１等で説明した記憶媒体１３に対応する。
【００３０】
そして、物理マシン２は、プロセッサであるＣＰＵ２０１と、メモリ２０２と、外部インターフェース（Ｉ／Ｏユニット）２０３と、記憶媒体２０４とを有する。各部は、バス２０５を介して互いに接続される。
【００３１】
記憶媒体２０４は、例えば、記憶媒体２０４内のプログラム格納領域（図示しない）に、プログラム２１０を記憶する。
【００３２】
ＣＰＵ２０１は、図３に示すように、プログラム２１０の実行時に、プログラム２１０を記憶媒体２０４からメモリ２０２にロードし、プログラム２１０と協働してロギング制御処理等を行う。
【００３３】
また、記憶媒体２０４は、例えば、ロギング制御処理等を行う際に用いられる情報を記憶する情報格納領域２３０を有する。なお、記憶媒体２０４は、図１等で説明した記憶媒体２３に対応する。
【００３４】
さらに、物理マシン３は、プロセッサであるＣＰＵ３０１と、メモリ３０２と、外部インターフェース（Ｉ／Ｏユニット）３０３と、記憶媒体３０４とを有する。各部は、バス３０５を介して互いに接続される。
【００３５】
記憶媒体３０４は、例えば、記憶媒体３０４内のプログラム格納領域（図示しない）に、プログラム３１０を記憶する。
【００３６】
ＣＰＵ３０１は、図３に示すように、プログラム３１０の実行時に、プログラム３１０を記憶媒体３０４からメモリ３０２にロードし、プログラム３１０と協働してロギング制御処理等を行う。
【００３７】
また、記憶媒体３０４は、例えば、ロギング制御処理等を行う際に用いられる情報を記憶する情報格納領域３３０を有する。なお、記憶媒体３０４は、図１等で説明した記憶媒体３３に対応する。
【００３８】
[物理マシンのソフトウエア構成]
次に、情報処理システム１００に含まれる各物理マシンのソフトウエア構成について説明する。図４は、図３の物理マシン１の機能ブロック図である。また、図５は、図３の物理マシン２の機能ブロック図である。さらに、図６は、図３の物理マシン３の機能ブロック図である。
【００３９】
物理マシン１のＣＰＵ１０１は、プログラム１１０と協働することにより、例えば、図４に示すように、監視対象処理部１１１と、ログ情報取得部１１２と、情報送受信部１１３と、ログ情報特定部１１４と、ログ情報保護部１１５と、ダンプ取得部２１６として動作する。また、情報格納領域２３０には、例えば、図４に示すように、ログ情報２３１と、保護情報２３２と、通信情報２３３と、送信情報２３４とが記憶される。
【００４０】
また、物理マシン２のＣＰＵ２０１は、プログラム２１０と協働することにより、例えば、図５に示すように、監視対象処理部２１１と、ログ情報取得部２１２と、情報送受信部２１３と、ログ情報特定部２１４と、ログ情報保護部２１５と、ダンプ取得部２１６として動作する。また、情報格納領域２３０には、例えば、図５に示すように、ログ情報２３１と、保護情報２３２と、通信情報２３３と、送信情報２３４とが記憶される。
【００４１】
さらに、物理マシン３のＣＰＵ３０１は、プログラム３１０と協働することにより、例えば、図６に示すように、監視対象処理部３１１と、ログ情報取得部３１２と、情報送受信部３１３と、ログ情報特定部３１４と、ログ情報保護部３１５と、ダンプ取得部３１６として動作する。また、情報格納領域３３０には、例えば、図６に示すように、ログ情報３３１と、保護情報３３２と、通信情報３３３と、送信情報３３４とが記憶される。
【００４２】
なお、監視対象処理部２１１は、例えば、図１等で説明した監視対象処理部２１に対応し、ログ情報取得部２１２、情報送受信部２１３、ログ情報特定部２１４、ログ情報保護部２１５及びダンプ取得部２１６は、例えば、図１等で説明したロギング制御部２２に対応する。
【００４３】
また、物理マシン１、物理マシン２及び物理マシン３が有する各機能において、同じ名称からなる機能はそれぞれ同じ動作を行う。そのため、以下、物理マシン２が有する機能についてのみ説明を行う。
【００４４】
監視対象処理部２１１は、監視対象処理部１１１及び監視対象処理部３１１と連携して、利用者にサービスを提供するための処理を行う。
【００４５】
ログ情報取得部２１２は、監視対象処理部２１１に関するログ情報２３１を取得し、情報格納領域２３０に記憶する。これにより、運用管理者は、障害発生前後の監視対象処理部２１１の動作を追跡することが可能になる。なお、ログ情報取得部２１２は、例えば、上書きを禁止するログ情報２３１を示す情報である保護情報２３２を参照し、上書きが禁止されているログ情報２３１に対する上書きを行うことなく、新たなログ情報２３１の記憶を行う。ログ情報２３１及び保護情報２３２の具体例については後述する。
【００４６】
情報送受信部２１３は、監視対象処理部２１１と通信を行う監視対象処理部１１１に関するログ情報を取得するロギング制御部１１から、監視対象処理部２１１が監視対象処理部１１１に送信した特定のメッセージに関する情報を受信する。また、情報送受信部２１３は、ロギング制御部１１から、監視対象処理部１１１を識別する識別情報を受信する。
【００４７】
ログ情報特定部２１４は、情報送受信部２１３が特定のメッセージに関する情報等を受信したことに応じて、情報格納領域２３０に記憶されたログ情報２３１から、監視対象処理部２１１によって行われた特定のメッセージの送信よりも後に取得されたログ情報２３１を特定する。
【００４８】
ログ情報保護部２１５は、ログ情報特定部２１４が特定したログ情報２３１の保護を行うための処理を行う。具体的に、ログ情報保護部２１５は、例えば、保護情報２３２を生成し、情報格納領域２３０に記憶する。
【００４９】
また、情報送受信部２１３は、各監視対象処理部が通信を行う監視対象装置を示す情報（以下、通信情報２３３とも呼ぶ）を参照して、監視対象処理部２１１が通信を行う監視対象処理部のうち、監視対象処理部１１１以外の監視対象処理部が存在するか否かを判定する。そして、情報送受信部２１３は、存在すると判定した監視対象処理部（例えば、監視対象処理部３１１）に関するログ情報を取得するロギング制御部（例えば、ロギング制御部３２）に、特定のメッセージに関する情報と監視対象処理部２１１を識別する識別情報とを送信する。なお、通信情報２３３は、運用管理者によって予め情報格納領域２３０に記憶されるものであってよい。通信情報２３３の具体例については後述する。なお、以下、情報送受信部２１３のうち、特定のメッセージと識別情報とを受信する機能を受信部とも呼び、監視対象処理部が存在するか否かを判定する機能を判定部とも呼び、特定のメッセージと識別情報とを送信する機能を送信部とも呼ぶ。
【００５０】
ダンプ取得部２１６は、例えば、情報送受信部２１３が特定のメッセージに関する情報等を受信したことに応じて、物理マシン２のメモリ２０２の状態についてのメモリダンプを取得する。なお、送信情報２３４については後述する。
【００５１】
［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図７及び図８は、第１の実施の形態におけるロギング制御処理の概略を説明するフローチャート図である。また、図９及び図１０は、第１の実施の形態におけるロギング制御処理の概略を説明する図である。図９及び図１０を参照しながら図７及び図８のロギング制御処理について説明を行う。
【００５２】
ロギング制御部２２（以下、第１ロギング制御部２２とも呼ぶ）のログ情報取得部２１２は、図７に示すように、２１１（以下、第１監視対象処理部２１１とも呼ぶ）において特定イベントが発生するまで待機する（Ｓ１のＮＯ）。特定イベントは、ログ情報取得部２１２がログ情報２３１の取得を行うトリガとなるイベントであり、例えば、監視対象処理部２１１と通信を行う監視対象処理部１１１が無応答になっていることの検知である。
【００５３】
そして、監視対象処理部２１１において特定イベントが発生した場合（Ｓ１のＹＥＳ）、ログ情報取得部２１２は、監視対象処理部２１１に関するログ情報２３１の取得を行う（Ｓ２）。
【００５４】
一方、ロギング制御部２２の情報送受信部２１３は、図８に示すように、ロギング制御部１２から特定のメッセージに関する情報と監視対象処理部１１１の識別情報とを受信するまで待機する（Ｓ１１のＮＯ）。そして、特定のメッセージに関する情報等を受信した場合（Ｓ１１のＹＥＳ）、ロギング制御部２２のログ情報特定部２１４は、図９に示すように、Ｓ２の処理で取得したログ情報２３１から、監視対象処理部２１１によって行われた特定のメッセージの送信よりも後に取得されたログ情報２３１を特定する（Ｓ１２）。
【００５５】
すなわち、ログ情報特定部２１４は、特定のメッセージ等を受信した場合、情報処理システム１００に含まれる監視対象処理部のいずれかにおいて無応答が発生したと判定する。そのため、ログ情報特定部２１４は、発生した無応答の原因が監視対象処理部２１１にある可能性があると判定し、ログ情報取得部２１２が取得したログ情報２３１のうち、発生した無応答に関連する情報が含まれている可能性があるログ情報の特定を行う。
【００５６】
その後、情報送受信部２１３は、Ｓ１１の処理において受信した特定のメッセージに関する情報等を送信すべき他のロギング制御部が存在しているか否かを判定する（Ｓ１３）。具体的に、情報送受信部２１３は、例えば、情報格納領域２３０に記憶された通信情報２３３を参照し、ロギング制御部１１が動作する物理マシン１以外に、ロギング制御部２１が動作する物理マシン２と通信を行うべき物理マシンが存在するか否かを判定する。
【００５７】
そして、特定のメッセージに関する情報等を送信すべき他のロギング制御部が存在していると判定した場合（Ｓ１３のＹＥＳ）、情報送受信部２１３は、図１０に示すように、存在すると判定したロギング制御部に、特定のメッセージに関する情報と監視対象処理部２１１を識別する識別情報とを送信する（Ｓ１４）。具体的に、情報送受信部２１３は、例えば、図１０に示すように、特定のメッセージに関する情報等をロギング制御部３２に送信する。一方、特定のメッセージに関する情報等を送信すべき他のロギング制御部が存在しないと判定した場合（Ｓ１３のＮＯ）、情報送受信部２１３は、Ｓ１４の処理を行わない。
【００５８】
すなわち、情報送受信部２１３は、特定のメッセージに関する情報等を送信すべき他のロギング制御部が存在する場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の特定を、他のロギング制御部にも行わせる。
【００５９】
このように、本実施の形態におけるロギング制御部２２は、ロギング制御部１２から、監視対象処理部２１１が監視対象処理部１１１に送信した特定のメッセージに関する情報と、監視対象処理部１１１を識別する識別情報とを受信する。そして、ロギング制御部２２は、ロギング制御部１２から特定のメッセージに関する情報等を受信したことに応じて、ロギング制御部２２が取得した監視対象処理部２１１に関連するログ情報から、監視対象処理部１１１による特定のメッセージの送信よりも後に取得されたログ情報を特定する。
【００６０】
その後、ロギング制御部２２は、監視対象処理部１１１、２１１及び３１１のそれぞれの通信先の監視対象処理部を示す情報を参照して、監視対象処理部２１１の通信先の監視対象処理部のうち、監視対象処理部１１１以外の監視対象処理部が存在するか否かを判定する。そして、監視対象処理部１１１以外の監視対象処理部が存在すると判定した場合、ロギング制御部２２は、存在すると判定した監視対象処理部に関するログを取得するロギング制御部に、特定のメッセージに関する情報と監視対象処理部２１１を識別する識別情報とを送信する。
【００６１】
これにより、ロギング制御部２２は、ロギング制御部１２が無応答の発生を検知した場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を行うことが可能になる。また、ロギング制御部２２は、無応答が発生した原因である可能性がある他の監視対象処理部が存在する場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を、他の監視対象処理に関するログを取得するロギング制御部に行わせることが可能になる。
【００６２】
そのため、情報処理システム１００は、無応答の原因である可能性がある監視対象処理部が複数存在する場合であっても、発生した無応答の原因調査が行われる際に参照される可能性があるログ情報の保護処理を網羅的に行うことが可能になる。したがって、運用管理者は、無応答の原因である箇所の特定を行うことが可能になる。
【００６３】
[第１の実施の形態の詳細]
次に、第１の実施の形態の詳細について説明する。図１１から図１７は、第１の実施の形態におけるロギング制御処理の詳細を説明するフローチャート図である。また、図１８から図２７は、第１の実施の形態におけるロギング制御処理の詳細を説明する図である。図１８から図２７を参照しながら、図１１から図１７のロギング処理の詳細を説明する。
【００６４】
なお、以下、各物理マシンのネットワークドライバが、それぞれ情報送受信部１１３、情報送受信部２１３及び情報送受信部３１３として機能するものとして説明を行う。また、以下、情報送受信部１１３、情報送受信部２１３及び情報送受信部３１３が、それぞれログ情報取得部１１２、ログ情報取得部２１２及びログ情報取得部３１２の機能を含むものとして説明を行う。すなわち、以下、ログ情報取得部１１２及び情報送受信部１１３がロギング制御部１２に含まれないものとして説明を行う。同様に、ログ情報取得部２１２及び情報送受信部２１３がロギング制御部２２に含まれず、ログ情報取得部３１２及び情報送受信部３１３がロギング制御部３２に含まれないものとして説明を行う。
【００６５】
［情報処理システムの構成（２）］
初めに、以下に説明する情報処理システム１００の全体構成について説明を行う。図１８から図２２は、情報処理システム１００の全体構成を説明する図である。
【００６６】
図１８に示す情報処理システム１００は、図１等で説明した情報処理システム１００と同様に、物理マシン１、物理マシン２及び物理マシン３を有する。そして、図１８に示す物理マシン１は、監視対象処理部１１１と、ロギング制御部１２と、情報送受信部１１３とを有する。また、図１８に示す物理マシン２は、監視対象処理部２１１と、ロギング制御部２２と、情報送受信部２１３とを有する。さらに、図１８に示す物理マシン３は、監視対象処理部３１１と、ロギング制御部３２と、情報送受信部３１３とを有する。
【００６７】
そして、図１８に示す例において、監視対象処理部１１１、監視対象処理部２１１及び監視対象処理部３１１は、互いに通信を行うことにより、利用者に対してサービスを提供する処理等を行う。この場合、監視対象処理部１１１及び監視対象処理部２１１は、例えば、情報送受信部１１３と情報送受信部２１３とを介して通信を行う。また、監視対象処理部２１１及び監視対象処理部３１１は、例えば、情報送受信部２１３と情報送受信部３１３とを介して通信を行う。なお、図１８に示す例において、情報格納領域１３０、情報格納領域２３０及び情報格納領域３３０の記載を省略している。
【００６８】
以下、ロギング制御処理の詳細のフローチャートについて説明を行う。なお、図７で説明した処理についての説明は省略する。
【００６９】
[第２監視対象処理部での処理]
初めに、物理マシン１の監視対象処理部１１１（以下、第２監視対象処理部１１１とも呼ぶ）において実行されるロギング制御処理について説明を行う。
【００７０】
監視対象処理部１１１は、図１１に示すように、例えば、監視対象処理部１１１と監視対象処理部２１１との通信において監視対象処理部２１１が無応答であることを検知するまで待機する（Ｓ１０１のＮＯ）。すなわち、監視対象処理部２１１が無応答になる場合とは、監視対象処理部１１１と直接通信を行う監視対象処理部２１１、または、監視対象処理部１１１が直接通信を行わないが監視対象処理部２１１と通信を行う他の監視対象処理部（例えば、監視対象処理部３１１）において異常が発生した場合である。そのため、監視対象処理部１１１は、監視対象処理部２１１が無応答になったことの検知を行うことにより、監視対象処理部２１１等で発生した異常の検知を行うことが可能になる。
【００７１】
そして、監視対象処理部２１１が無応答であることを検知した場合（Ｓ１０１のＹＥＳ）、監視対象処理部１１１は、図１９に示すように、Ｓ１０２の処理において監視対象処理部２１１が無応答であることを検知したことを示す情報を、ロギング制御部１２に送信する（Ｓ１０２）。すなわち、監視対象処理部１１１は、この場合、情報格納領域１３０に記憶されたログ情報１３１に対する保護処理の実行をロギング制御部１２に指示する。
【００７２】
[第２ロギング制御部での処理]
次に、物理マシン１のロギング制御部１２（以下、第２ロギング制御部１２とも呼ぶ）において実行されるロギング制御処理について説明を行う。
【００７３】
ログ情報特定部１１４は、図１２に示すように、監視対象処理部２１１が無応答であることを検知したことを示す情報を受信するまで待機する（Ｓ１１１のＮＯ）。そして、監視対象処理部２１１が無応答であることを検知したことを示す情報を受信した場合（Ｓ１１１のＹＥＳ）、ログ情報特定部１１４は、ログ情報取得部１１２が取得したログ情報１３１を参照し、無応答であることを検知された監視対象処理部２１１が監視対象処理部１１１に対して最後に送信したメッセージ（特定のメッセージ）を特定する（Ｓ１１２）。
【００７４】
その後、ログ情報特定部１１４は、情報格納領域１３０に記憶されたログ情報１３１を参照し、監視対象処理部２１１から送信された特定のメッセージの受信に伴って取得されたログ情報１３１（以下、基点ログ情報１３１ａとも呼ぶ）より後に取得されたログ情報１３１を特定する（Ｓ１１３）。
【００７５】
すなわち、ログ情報特定部１１４は、無応答になった監視対象処理部２１１から正常に送信された特定のメッセージに対応する基点ログ情報１３１ａの取得が行われたタイミングよりも後に、監視対象処理部２１１が無応答になった原因である異常が発生したものと判定する。そのため、ログ情報特定部１１４は、Ｓ１１３の処理において、基点ログ情報１３１ａよりも後に取得されたログ情報１３１の特定を行う。これにより、ログ情報特定部１１４は、情報格納領域１３０に記憶されたログ情報１３１のうち、発生した無応答に関連する情報が含まれている可能性があるログ情報１３１を効率的に特定することが可能になる。以下、ログ情報１３１の具体例について説明を行う。
【００７６】
[ログ情報の具体例（１）]
図２３は、ログ情報１３１の具体例を説明する図である。図２３に示すログ情報１３１は、ログ情報１３１に含まれる各ログ情報を識別する「識別ＩＤ」と、各ログが取得された日時（時刻）を示す「取得日時」と、各ログ情報に対応するメッセージの送受信が行われたセッションを示す「セッションＩＤ」とを項目として有する。また、図２３に示すログ情報１３１は、各ログ情報の属性を示す「属性」と、各メッセージの種別を示す「種別」と、各メッセージの内容を示す「コード」と、各メッセージの格納されているアドレスを示す「格納アドレス」とを項目として有する。
【００７７】
「種別」には、メッセージの送受信が行われたことに伴って取得されたログ情報を示す「データ」が設定される。また、「種別」には、送信したメッセージに対する応答を再度要求したことに伴って取得されたログ情報を示す「レス待ち」が設定される。さらに、「属性」には、他の監視対象処理部から送信されたメッセージの受信に伴うログ情報を示す「Ｒｅｃｅｉｖｅ」、または、他の監視対象処理部に対するメッセージの送信に伴うログ情報を示す「Ｒｅｑｕｅｓｔ」が設定される。また、「コード」には、関連するログ情報を関連付けるための情報が設定される。
【００７８】
具体的に、図２３に示すログ情報１３１において、「識別ＩＤ」が「１」である情報には、「セッションＩＤ」として「１２」が設定され、「属性」として「Ｒｅｑｕｅｓｔ」が設定され、「種別」として「データ」が設定されている。また、図２３に示すログ情報１３１において、「識別ＩＤ」が「１」である情報には、「コード」として「ＦＦＦＦ」が設定され、「格納アドレス」として「０ｘ１１２２３３１１」が設定されている。図２３に含まれる他の情報については説明を省略する。
【００７９】
そのため、ログ情報特定部１１４は、Ｓ１１３の処理において、例えば、図２３で説明したログ情報１３１を参照し、監視対象処理部１１１と監視対象処理部２１１との間のセッションを示す「１２」が「セッションＩＤ」に設定されているログ情報のうち、「属性」に「Ｒｅｃｅｉｖｅ」が設定されているログ情報を特定する。そして、ログ情報特定部１１４は、例えば、特定したログ情報の「取得日時」に設定された情報を参照し、特定したログ情報のうちの最後に取得されたログ情報（基点ログ情報１３１ａ）として、「情報ＩＤ」が「５」である情報を特定する。さらに、ログ情報特定部１１４は、例えば、基点ログ情報１３１ａよりも後に取得された情報として、「情報ＩＤ」が「６」から「８」である情報を特定する。
【００８０】
なお、ログ情報１３１は、「取得日時」に代えて、ロギング制御部１２が取得したログ情報１３１の順序を識別する「通し番号」を項目として有するものであってもよい。そして、ログ情報特定部１１４は、この場合、「通し番号」に設定された情報を参照して、基点ログ情報１３１ａの特定等を行うものであってよい。
【００８１】
図１２に戻り、ログ情報保護部１１５は、図１９に示すように、Ｓ１１３の処理で特定したログ情報の保護処理を行う（Ｓ１１４）。具体的に、ログ情報保護部１１５は、Ｓ１１４の処理において、保護情報１３２の生成を行う。
【００８２】
これにより、ログ情報保護部１１５は、監視対象処理部２１１において発生した無応答の原因に関連する情報が含まれている可能性があるログ情報に対する保護処理を、効率的に行うことが可能になる。
【００８３】
その後、ダンプ取得部１１６は、例えば、メモリダンプの取得を行う（Ｓ１１５）。以下、保護情報１３２の具体例について説明を行う。
【００８４】
[保護情報の具体例]
図２４は、保護情報１３２の具体例を説明する図である。図２４に示す保護情報１３２は、ログ情報１３１の保護（上書きの禁止）が行われているか否かを示す「保護状態」と、保護を行うログ情報１３１のうちの先頭のログ情報を示す「識別ＩＤ」とを項目として有する。「保護状態」には、ログ情報１３１の保護が行われていることを示す「ＯＮ」、または、ログ情報１３１の保護が行われていないことを示す「ＯＦＦ」が設定される。
【００８５】
具体的に、ログ情報保護部１１５は、Ｓ１１４の処理において、図２４に示すように、例えば、「保護状態」として「ＯＮ」を設定し、「識別ＩＤ」として「６」を設定する。すなわち、図２３に示す保護情報１３２は、情報格納領域１３０に記憶されたログ情報１３１のうち、「識別ＩＤ」が「６」以降であるログ情報の保護が行われていることを示している。なお、運用管理者は、例えば、発生した無応答の原因調査等が終わった場合、「保護状態」に「ＯＦＦ」を設定するものであってよい。
【００８６】
これにより、ログ情報取得部１１２は、情報格納領域１３０に対する新たなログ情報１３１の記憶を行う場合に、保護情報１３２を参照することが可能になる。そのため、ログ情報取得部１１２は、上書きが禁止されているログ情報１３１に対する上書きを行うことなく、新たなログ情報１３１の記憶を行うことが可能になる。
【００８７】
図１３に戻り、情報送受信部１１３は、Ｓ１１１の処理において受信した情報を送信すべき他のロギング制御部が存在しているか否かを判定する（Ｓ１２１）。具体的に、情報送受信部２１３は、例えば、情報格納領域１３０に記憶された通信情報１３３を参照し、ロギング制御部１１が動作する物理マシン１と通信を行う物理マシンが存在するか否かを判定する。以下、通信情報１３３の具体例について説明を行う。
【００８８】
[通信情報の具体例]
図２５は、通信情報１３３の具体例を説明する図である。図２５に示す通信情報１３３は、通信情報１３３に含まれる各情報を識別する「識別ＩＤ」と、各物理マシンを示す「物理マシン名」と、各物理マシンの通信先の物理マシンを示す「通信先物理マシン名」とを項目として有する。
【００８９】
具体的に、図２５に示す通信情報１３３において、「識別ＩＤ」に「１」が設定された情報には、「物理マシン名」として「物理マシン１」が設定され、「通信先物理マシン名」として「物理マシン２」が設定されている。また、図２５に示す通信情報１３３において、「識別ＩＤ」に「２」が設定された情報には、「物理マシン名」として「物理マシン２」が設定され、「通信先物理マシン名」として「物理マシン１」及び「物理マシン３」が設定されている。さらに、図２５に示す通信情報１３３において、「識別ＩＤ」に「３」が設定された情報には、「物理マシン名」として「物理マシン３」が設定され、「通信先物理マシン名」として「物理マシン２」が設定されている。
【００９０】
そのため、情報送受信部１１３は、Ｓ１２１の処理において、例えば、図２５に示す通信情報１３３を参照し、ロギング制御部１１が動作する物理マシン１と通信を行う物理マシンとして、物理マシン２が存在すると判定する。すなわち、情報送受信部１１３は、Ｓ１２１の処理において、例えば、物理マシン１と通信可能な物理マシンのうち、物理マシン１と隣接する物理マシンについての特定を行う。
【００９１】
なお、通信情報１３３、通信情報２３３及び通信情報３３３は、互いに同期された情報であってよい。また、通信情報１３３、通信情報２３３及び通信情報３３３は、１つの情報であり、物理マシン１、物理マシン２及び物理マシン３がそれぞれ参照可能な領域に記憶されているものであってもよい。
【００９２】
図１３に戻り、他のロギング制御部が存在していると判定した場合（Ｓ１２１のＹＥＳ）、ログ情報特定部１１４は、存在すると判定したロギング制御部に対する情報の送信を、情報送受信部１１３に指示する（Ｓ１２２）。この場合、ログ情報特定部１１４は、例えば、Ｓ１１３の処理で特定した基点ログ情報１３１ａの送信を、情報送受信部１１３に指示する。また、ログ情報特定部１１４は、例えば、監視対象処理部１１１を識別する識別情報として、監視対象処理部１１１と監視対象処理部２１１との間のセッションを示す情報（セッションＩＤ）の送信を、情報送受信部１１３に指示する。
【００９３】
具体的に、情報送受信部２１３は、図２３において説明したログ情報１３１を参照し、基点ログ情報１３１ａである「識別ＩＤ」が「５」である情報を特定する。また、情報送受信部２１３は、例えば、各物理マシンと各セッションを識別するセッションＩＤとを対応付けるセッション情報（図示しない）を参照し、監視対象処理部１１１と監視対象処理部２１１との間のセッションを示すセッションＩＤとして「１２」を特定する。そして、ログ情報特定部１１４は、物理マシン２のロギング制御部２２に各情報の送信を行う旨の指示を、情報送受信部１１３に対して行う。
【００９４】
[第２情報送受信部での処理]
次に、物理マシン１の情報送受信部１１３（以下、第２情報送受信部１１３とも呼ぶ）において実行されるロギング制御処理について説明を行う。
【００９５】
情報送受信部１１３は、図１４に示すように、ロギング制御部１２から基点ログ情報１３１ａ等の送信指示を受信するまで待機する（Ｓ１３１のＮＯ）。そして、基点ログ情報１３１ａ等の送信指示を受信した場合（Ｓ１３１のＹＥＳ）、情報送受信部１１３は、図２０に示すように、Ｓ１３１の処理で受信した送信指示に対応する情報を、Ｓ１２１の処理で存在すると判定したロギング制御部に送信する（Ｓ１３２）。具体的に、情報送受信部１１３は、例えば、物理マシン２のロギング制御部２２に対し、ロギング制御部２２におけるロギング制御処理の開始を指示する旨のコマンドとともに、基点ログ情報１３１ａ等の送信を行う。
【００９６】
これにより、ロギング制御部１２は、発生した無応答の原因に関連する情報が含まれている可能性があるログ情報の保護を、無応答の原因である可能性がある各物理マシンにおいて行うことが可能になる。なお、以下、物理マシン２（情報送受信部２１３）に対して、基点ログ情報１３１ａ及び監視対象処理部１１１と監視対象処理部２１１との間のセッションを示すセッションＩＤの送信が行われたものとして説明を行う。
【００９７】
[第１情報送受信部での処理]
次に、物理マシン２の情報送受信部２１３において実行されるロギング制御処理について説明を行う。
【００９８】
情報送受信部２１３は、図１５に示すように、基点ログ情報１３１ａ等を受信するまで待機する（Ｓ２１のＮＯ）。そして、基点ログ情報１３１ａ等を受信した場合（Ｓ２１のＹＥＳ）、情報送受信部２１３は、受信した情報をロギング制御部２２に送信する（Ｓ２２）。すなわち、情報送受信部２１３は、この場合、情報格納領域２３０に記憶されたログ情報２３１に対する保護処理の実行をロギング制御部２２に指示する。
【００９９】
そして、情報送受信部２１３は、Ｓ２１の処理において受信した情報を送信すべき他のロギング制御部が存在しているか否かを判定する（Ｓ２３）。その結果、他のロギング制御部が存在していると判定した場合（Ｓ２３のＹＥＳ）、情報送受信部２１３は、情報格納領域２３０に記憶されたログ情報２３１のうち、Ｓ２１の処理で受信した基点ログ情報１３１ａに関連するログ情報（以下、特定のログ情報とも呼ぶ）を特定する（Ｓ２４）。すなわち、情報送受信部２１３は、監視対象処理部２１１が特定のメッセージを送信した際に取得されたログ情報を、特定のログ情報として特定する。一方、他のロギング制御部が存在しないと判定した場合（Ｓ２３のＮＯ）、情報送受信部２１３は、Ｓ２１以降の処理を再度行う。
【０１００】
具体的に、図２５で説明した通信情報２３３には、「物理マシン名」に「物理マシン２」が設定された情報の「通信先物理マシン名」として、「物理マシン１」及び「物理マシン２」が設定されている。ここで、Ｓ２１の処理で受信したセッションＩＤは、監視対象処理部１１１（物理マシン１）と監視対象処理部２１１との間のセッションを示す情報である。そのため、情報送受信部２１３は、この場合、情報を送信すべき物理マシン（ロギング制御部）として、Ｓ２１の処理で受信したセッションＩＤに対応する物理マシン１以外の物理マシンである物理マシン３（ロギング制御部３２）が存在するものと判定し、Ｓ２４の処理を行う（Ｓ２３のＹＥＳ）。
【０１０１】
なお、情報送受信部２１３は、Ｓ２３の処理において、基点ログ情報１３１ａ等を送信した物理マシンを管理する情報である送信情報２３４を参照して、Ｓ２１の処理において受信した情報を送信すべき他のロギング制御部が存在しているか否かの判定を行うものであってもよい。以下、送信情報２３４の具体例について説明を行う。
【０１０２】
[送信情報の具体例]
図２６は、送信情報２３４の具体例を説明する図である。図２６に示す送信情報２３４は、送信情報２３４に含まれる各情報を識別する「識別ＩＤ」と、各物理マシンを示す「物理マシン名」と、特定のメッセージに関する情報等の送信が行われたか否かを示す「送信状況」とを項目として有する。「送信状況」には、特定のメッセージに関する情報等の送信が既に行われていることを示す「済」、または、特定のメッセージに関する情報等の送信が行われていないことを示す「未」が設定される。
【０１０３】
具体的に、図２６に示す送信情報２３４において、「識別ＩＤ」に「１」が設定された情報には、「物理マシン名」として「物理マシン１」が設定され、「送信状況」として「済」が設定されている。また、「識別ＩＤ」に「２」が設定された情報には、「物理マシン名」として「物理マシン２」が設定され、「送信状況」として「済」が設定されている。さらに、「識別ＩＤ」に「３」が設定された情報には、「物理マシン名」として「物理マシン３」が設定され、「送信状況」として「未」が設定されている。
【０１０４】
そのため、情報送受信部２１３は、Ｓ２３の処理において、図２６で説明した送信情報２３４を参照し、送信情報２３４において「送信状況」に「未」が設定されている情報の「物理マシン名」に設定された「物理マシン３」を、特定のメッセージに関する情報等の送信を行うべき物理マシンとして特定するものであってよい。
【０１０５】
なお、送信情報１３４、送信情報２３４及び送信情報３３４は、互いに同期された情報であってよい。また、送信情報１３４、送信情報２３４及び送信情報３３４は、１つの情報であり、物理マシン１、物理マシン２及び物理マシン３がそれぞれ参照可能な領域に記憶されているものであってもよい。
【０１０６】
[ログ情報の具体例（２）]
次に、ログ情報２３１の具体例について説明を行う。図２７は、ログ情報２３１の具体例を説明する図である。図２７に示すログ情報２３１は、図２３で説明したログ情報１３１と同じ項目を有している。
【０１０７】
具体的に、図２７に示すログ情報２３１において、「識別ＩＤ」が「１」である情報には、「セッションＩＤ」として「１２」が設定され、「属性」として「Ｒｅｃｅｉｖｅ」が設定され、「種別」として「データ」が設定されている。また、図２７に示すログ情報２３１において、「識別ＩＤ」が「１」である情報には、「コード」として「ＦＦＦＦ」が設定され、「格納アドレス」として「０ｘ２２２２３３１１」が設定されている。図２７に含まれる他の情報については説明を省略する。
【０１０８】
図２３で説明したログ情報１３１において、基点ログ情報１３１ａである「識別ＩＤ」が「５」である情報の「セッションＩＤ」、「属性」、「種別」及び「コード」には、それぞれ「１２」、「Ｒｅｃｅｉｖｅ」、「データ」及び「ＦＦＦＦ」が設定されている。そのため、情報送受信部２１３は、Ｓ２４の処理において、図２７に示すログ情報２３１のうち、「セッションＩＤ」、「属性」、「種別」及び「コード」に「１２」、「Ｒｅｑｕｅｓｔ」、「データ」及び「ＡＡＡＡ」がそれぞれ設定されているログ情報（「情報ＩＤ」に「７」が設定されたログ情報）を特定する。
【０１０９】
図１５に戻り、情報送受信部２１３は、情報格納領域２３０に記憶されたログ情報２３１のうち、Ｓ２３の処理で存在したロギング制御部に関連するログ情報２３１を、Ｓ２３の処理で存在したロギング制御部毎に特定する（Ｓ２５）。
【０１１０】
具体的に、図２７で説明したログ情報２３１において、Ｓ２３の処理で存在したロギング制御部３２に対応する監視対象処理部３１１と監視対象処理部２１１との間のセッションを識別するセッションＩＤである２３が「セッションＩＤ」に設定されたログ情報は、「識別ＩＤ」が「３」、「４」、「１０」及び「１１」であるログ情報である。そのため、情報送受信部２１３は、Ｓ２５の処理において、図２７で説明したログ情報２３１のうち、「識別ＩＤ」が「３」、「４」、「１０」及び「１１」であるログ情報を特定する。
【０１１１】
その後、情報送受信部２１３は、図１６に示すように、Ｓ２５の処理で特定したログ情報のうち、Ｓ２４の処理で特定した特定のログ情報の直前に取得されたログ情報を、新たな基点ログ情報２３１ａとして、Ｓ２３で存在したロギング制御部毎に特定する（Ｓ３１）。
【０１１２】
具体的に、図２７で説明したログ情報２３１において、Ｓ２５の処理で特定したログ情報のうち、特定のログ情報である「情報ＩＤ」が「７」であるログ情報の直前に取得されたログ情報は、「識別ＩＤ」が「４」であるログ情報である。そのため、情報送受信部２１３は、Ｓ３１の処理において、「識別ＩＤ」が「４」であるログ情報を基点ログ情報２３１ａとして特定する。
【０１１３】
そして、情報送受信部２１３は、図２１に示すように、Ｓ３１の処理で特定した基点ログ情報２３１ａと、Ｓ２３の処理で存在したロギング制御部３２がログ情報を取得する監視対象処理部３１１を識別する識別情報とを、Ｓ２３の処理で存在したロギング制御部のそれぞれに送信する（Ｓ３２）。
【０１１４】
具体的に、情報送受信部２１３は、例えば、セッション情報（図示しない）を参照し、監視対象処理部２１１と監視対象処理部３１１との間のセッションを識別するセッションＩＤとして「２３」を特定する。そして、ログ情報特定部１１４は、物理マシン３のロギング制御部３２に対して、ロギング制御部３２におけるロギング制御処理の開始を指示する旨のコマンドとともに、図２７で説明したログ情報２３１における「識別ＩＤ」が「４」である情報とセッションＩＤである「２３」とを送信する。その後、情報送受信部２１３は、Ｓ２１以降の処理を再度行う。
【０１１５】
すなわち、情報送受信部２１３がログ情報２３１の取得及び管理を行う場合、ロギング制御部２２は、情報送受信部２１３が管理するログ情報２３１を参照しない限り、ログ情報２３１に含まれるセッションに関する情報（例えば、セッションＩＤ）を自ら取得することができない場合がある。そして、ロギング制御部２２によるログ情報２３１の参照は、ロギング制御部２２が行う各処理の遅延の原因となる場合がある。
【０１１６】
そこで、情報送受信部２１３は、例えば、ロギング制御部１２から基点ログ情報１３１ａ等を受信した場合、他の物理マシン（例えば、物理マシン３）に送信する情報の特定等を自ら行う。これにより、情報送受信部２１３は、ロギング制御部２２が行う処理の遅延等を発生させることなく、ロギング制御処理を行うことが可能になる。
【０１１７】
なお、情報送受信部１１３は、各物理マシンのシステム時間が同期している場合、図１４のＳ１３２において、基点ログ情報１３１ａに代えて、基点ログ情報１３１ａの「取得日時」に設定された日時（以下、基点日時とも呼ぶ）の送信を行うものであってもよい。そして、情報送受信部２１３は、この場合、Ｓ３２の処理において、基点ログ情報２３１ａに代えて、情報送受信部１１３から送信された基点ログ情報１３１ａの基点日時の送信をそのまま行うものであってもよい。これにより、情報送受信部２１３は、Ｓ２４、Ｓ２５及びＳ３１の処理を行う必要がなくなり、処理負担を軽減させることが可能になる。
【０１１８】
[第１ロギング制御部での処理]
次に、物理マシン２のロギング制御部２２において実行されるロギング制御処理について説明を行う。
【０１１９】
情報送受信部２１３は、図１７に示すように、基点ログ情報１３１ａ等を受信するまで待機する（Ｓ４１のＮＯ）。そして、基点ログ情報１３１ａ等を受信した場合（Ｓ４１のＹＥＳ）、ログ情報特定部２１４は、情報格納領域２３０に記憶されたログ情報２３１から、Ｓ４１の処理で受信した基点ログ情報１３１ａに関連する特定のログ情報よりも後に取得されたログ情報を特定する（Ｓ４２）。具体的に、ログ情報特定部２１４は、図２７で説明したログ情報２３１を参照し、「取得日時」に設定された日時が基点ログ情報１３１ａの「取得日時」に設定された日時よりも後であるログ情報を特定する。
【０１２０】
そして、ログ情報保護部２１５は、Ｓ４２の処理で特定したログ情報の保護処理を行う（Ｓ４３）。具体的に、ログ情報保護部２１５は、Ｓ４３の処理において、保護情報２３２の生成を行う。その後、ダンプ取得部２１６は、例えば、メモリダンプの取得を行う（Ｓ４４）。
【０１２１】
このように、本実施の形態におけるロギング制御部２２は、ロギング制御部１２から、監視対象処理部２１１が監視対象処理部１１１に送信した特定のメッセージの特定のメッセージに関する情報と、監視対象処理部１１１を識別する識別情報とを受信する。そして、ロギング制御部２２は、ロギング制御部１２から特定のメッセージに関する情報等を受信したことに応じて、ロギング制御部２２が取得した監視対象処理部２１１に関連するログ情報から、監視対象処理部１１１による特定のメッセージの送信よりも後に取得されたログ情報を特定する。
【０１２２】
その後、ロギング制御部２２は、監視対象処理部１１１、２１１及び３１１のそれぞれの通信先の監視対象処理部を示す情報を参照して、監視対象処理部２１１の通信先の監視対象処理部のうち、監視対象処理部１１１以外の監視対象処理部が存在するか否かを判定する。そして、監視対象処理部１１１以外の監視対象処理部が存在すると判定した場合、ロギング制御部２２は、存在すると判定した監視対象処理部に関するログを取得するロギング制御部に、特定のメッセージに関する情報と監視対象処理部２１１を識別する識別情報とを送信する。
【０１２３】
これにより、ロギング制御部２２は、ロギング制御部１２が無応答の発生を検知した場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を行うことが可能になる。また、ロギング制御部２２は、無応答が発生した原因である可能性がある他の監視対象処理部が存在する場合に、発生した無応答に関連する情報が含まれている可能性があるログ情報の保護処理を、他の監視対象処理に関するログを取得するロギング制御部に行わせることが可能になる。そのため、情報処理システム１００は、無応答の原因である可能性がある監視対象処理部が複数存在する場合であっても、発生した無応答の原因調査が行われる際に参照される可能性があるログ情報の保護処理を網羅的に行うことが可能になる。
【０１２４】
以上の実施の形態をまとめると、以下の付記のとおりである。
【０１２５】
（付記１）
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する、
処理をコンピュータに実行させることを特徴とするロギング制御プログラム。
【０１２６】
（付記２）
付記１において、さらに、
前記第１情報処理装置に関するログ情報を取得し、
前記ロギング装置から前記特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、取得した前記ログ情報から、前記第１情報処理装置によって行われた前記特定のメッセージの送信よりも後に取得されたログ情報を特定する、
処理をコンピュータに実行させることを特徴とするロギング制御プログラム。
【０１２７】
（付記３）
付記１において、
前記特定のメッセージは、前記第２情報処理装置が前記第１情報処理装置から受信した最後のメッセージである、
ことを特徴とするロギング制御プログラム。
【０１２８】
（付記４）
付記１において、
前記ログ情報を特定する処理では、
前記第１情報処理装置に関するログ情報から、前記特定のメッセージの送信に伴って取得された特定のログ情報を特定し、
前記第１情報処理装置に関するログ情報のうち、特定した前記特定のログ情報よりも後に取得されたログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【０１２９】
（付記５）
付記４において、
前記ログ情報を特定する処理では、前記第１情報処理装置に関するログ情報のうち、各ログ情報の取得順序を示す通し番号が前記特定のログ情報の通し番号よりも後であるログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【０１３０】
（付記６）
付記４において、
前記ログ情報を特定する処理では、前記第１情報処理装置に関するログ情報のうち、各ログ情報の取得時刻が前記特定のログ情報の取得時刻よりも後であるログ情報を、前記特定のメッセージの送信よりも後に取得されたログ情報として特定する、
ことを特徴とするロギング制御プログラム。
【０１３１】
（付記７）
付記４において、
前記第２情報処理装置を識別する識別情報は、前記特定のメッセージが送受信されたセッションを示す情報を含み、
前記判定する処理では、前記第１情報処理装置が他の情報処理装置と通信を行うセッションに、前記特定のメッセージが送受信されたセッション以外の特定のセッションが存在するか否かの判定を行い、
前記送信する処理では、
前記第１情報処理装置に関するログ情報から、前記特定のメッセージの送信に伴って取得された特定のログ情報を特定し、
前記第１情報処理装置に関するログ情報のうちの前記特定のセッションに関連するログ情報から、前記特定のログ情報よりも前に取得されたログ情報を特定し、
前記第３情報処理装置に関するログを取得するロギング装置に、特定した前記特定のログ情報よりも前に取得されたログ情報と前記特定のセッションを示す情報とを含む情報の送信を行う、
ことを特徴とするロギング制御プログラム。
【０１３２】
（付記８）
付記１において、
前記第２情報処理装置のロギング装置は、前記第２情報処理装置が前記第１情報処理装置に対して送信したメッセージに対する応答が所定時間以上ないことを検知した場合に、前記特定のメッセージに関する情報と前記識別情報との送信を行う、
ことを特徴とするロギング制御プログラム。
【０１３３】
（付記９）
付記１において、
前記ログ情報を特定する処理では、特定した前記ログ情報の削除を禁止する、
ことを特徴とするロギング制御プログラム。
【０１３４】
（付記１０）
付記１において、
前記送信する処理では、前記第２情報処理装置以外の情報処理装置のうち、前記第１情報処理装置と隣接する情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報との送信を行う、
ことを特徴とするロギング制御プログラム。
【０１３５】
（付記１１）
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信する情報受信部と、
前記受信部が前記特定のメッセージに関する情報と前記識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定する情報判定部と、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する情報送信部を有する、
ことを特徴とするロギング制御装置。
【０１３６】
（付記１２）
第１情報処理装置と通信を行う第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第２情報処理装置に関するログ情報を取得するロギング装置から、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信した場合、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信する、
ことを特徴とするロギング制御方法。
【０１３７】
（付記１３）
第１情報処理装置に関するログ情報を取得する第１ロギング装置と、該第１ロギング装置と接続し、第２情報処理装置に関するログ情報を取得する第２ロギング装置と、該第１ロギング装置と接続し、第３情報処理装置に関するログ情報を取得する第３ロギング装置とを有する情報処理システムであって、
前記第２ロギング装置は、前記第２情報処理装置による前記第１情報処理装置の異常検知に応じて、前記第１ロギング装置に対し、前記第１情報処理装置が前記第２情報処理装置に対して正常に送信した特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを送信し、
前記第１ロギング装置は、
前記特定のメッセージに関する情報と前記第２情報処理装置を識別する識別情報とを受信したことに応じて、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第１情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第２情報処理装置以外の第３情報処理装置が存在するか否かを判定し、
前記第３情報処理装置が存在すると判定した場合、前記第３情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを送信し、
前記第３ロギング装置は、
前記特定のメッセージに関する情報と前記第１情報処理装置を識別する識別情報とを受信したことに応じて、各情報処理装置の通信先の情報処理装置を示す情報を記憶する記憶部を参照して、前記第３情報処理装置の通信先の情報処理装置のうち、前記識別情報が識別する前記第１情報処理装置以外の他の情報処理装置が存在するか否かを判定し、
前記他の情報処理装置が存在すると判定した場合、前記他の情報処理装置に関するログを取得するロギング装置に、前記特定のメッセージに関する情報と前記第３情報処理装置を識別する識別情報とを送信する、
ことを特徴とする情報処理システム。
【０１３８】
（付記１４）
付記１３において、
前記異常検知は、前記第２情報処理装置から前記第１情報処理装置に対して送信されたメッセージに対する応答が所定時間以上ないことの検知である、
ことを特徴とする情報処理システム。
【符号の説明】
【０１３９】
１：物理マシン              ２：物理マシン
３：物理マシン              １１：監視対象処理部
１２：ロギング制御部        １３：記憶媒体
２１：監視対象処理部        ２２：ロギング制御部
２３：記憶媒体              ３１：監視対象処理部
３２：ロギング制御部        ３３：記憶媒体
【図１】
2018128920.tif 000003
【図２】
2018128920.tif 000004
【図３】
2018128920.tif 000005
【図４】
2018128920.tif 000006
【図５】
2018128920.tif 000007
【図６】
2018128920.tif 000008
【図７】
2018128920.tif 000009
【図８】
2018128920.tif 000010
【図９】
2018128920.tif 000011
【図１０】
2018128920.tif 000012
【図１１】
2018128920.tif 000013
【図１２】
2018128920.tif 000014
【図１３】
2018128920.tif 000015
【図１４】
2018128920.tif 000016
【図１５】
2018128920.tif 000017
【図１６】
2018128920.tif 000018
【図１７】
2018128920.tif 000019
【図１８】
2018128920.tif 000020
【図１９】
2018128920.tif 000021
【図２０】
2018128920.tif 000022
【図２１】
2018128920.tif 000023
【図２２】
2018128920.tif 000024
【図２３】
2018128920.tif 000025
【図２４】
2018128920.tif 000026
【図２５】
2018128920.tif 000027
【図２６】
2018128920.tif 000028
【図２７】
2018128920.tif 000029