(57)【要約】【課題】障害発生の調査のための情報を効率的に保存する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムを提供する。【解決手段】並列コンピュータシステムは、複数の計算ノード１を有する。計算ノード１は、複数のリソースと、リソースのうちの１つ又はいくつかの動作履歴を取得するログ制御部１６と、リソースのうちの１つ又はいくつかの状態を監視する監視部１４と、監視部１４により監視されるリソースの状態が閾値を超えた場合、論理的又は物理的な関連を有する他の計算ノード１に制御情報を通知する通知部１９と、リソースの状態が閾値を超えた場合又は他の計算ノード１から制御情報の通知を受けた場合、ログ制御部１６による動作履歴の取得の詳細度を上昇させるログレベル変更部１５とを備える。【選択図】図２
2015069384.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報処理装置を有する情報処理システムであって、
前記情報処理装置は、
複数のリソースと、
前記リソースのうちの１つ又はいくつかの動作履歴を取得する取得部と、
前記リソースのうちの１つ又はいくつかの状態を監視する監視部と、
前記監視部により監視される前記リソースの状態が閾値を超えた場合、論理的又は物理的な関連を有する他の情報処理装置に制御情報を通知する通知部と、
前記リソースの状態が閾値を超えた場合又は他の情報処理装置から前記制御情報の通知を受けた場合、前記取得部による前記動作履歴の取得の詳細度を上昇させる変更部と
を備えたことを特徴とする情報処理システム。
【請求項２】
前記変更部は、前記取得部が取得する情報の種類を増加させることで動作履歴の取得の詳細度を上昇させることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記変更部は、前記取得部の情報取得間隔を短くすることで動作履歴の取得の詳細度を上昇させることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記変更部は、動作履歴の取得の詳細度を上昇させた後、一定期間経過後に動作履歴取得の詳細度を低下させることを特徴とする請求項１〜３のいずれか１つに記載の情報処理システム。
【請求項５】
各前記情報処理装置は、所定数の他の情報処理装置と直接接続されており、全ての情報処理装置同士は、前記直接接続又は他の情報処理装置を介した間接接続により接続されており、
前記通知部は、自装置と前記直接接続された情報処理装置に通知を行う
ことを特徴とする請求項１〜４のいずれか１つに記載の情報処理システム。
【請求項６】
いくつかの前記情報処理装置に対して１つの処理が割り当てられ、
前記通知部は、自装置に割り当てられた処理と同じ処理が割り当てられた他の情報処理装置に通知を行う
ことを特徴とする請求項１〜４のいずれか１つに記載の情報処理システム。
【請求項７】
前記情報処理装置は、各前記情報処理装置と外部装置との通信の仲介を行うデータ転送装置をさらに備え、
前記通知部は、自装置の接続を仲介する前記データ転送装置へ通知を行う
ことを特徴とする請求項５又は６に記載の情報処理システム。
【請求項８】
前記通知部は、予め決められた自装置に対する仮想的な隣接装置の組に含まれる情報処理装置に通知を行うことを特徴とする請求項１〜７のいずれか１つに記載の情報処理システム。
【請求項９】
前記監視部は、メモリの使用率を監視することを特徴とする請求項１〜８のいずれか１つに記載の情報処理システム。
【請求項１０】
前記監視部は、ＣＰＵの使用率を監視することを特徴とする請求項１〜９のいずれか１つに記載の情報処理システム。
【請求項１１】
前記監視部は、各前記情報装置と他の情報処理装置以外の外部装置とのデータの入出力を行う入出力部の使用率を監視することを特徴とする請求項１〜１０のいずれか１つに記載の情報処理システム。
【請求項１２】
前記監視部は、自装置と他の情報処理装置とを結ぶネットワークの使用率を監視することを特徴とする請求項１〜１１のいずれか１つに記載の情報処理システム。
【請求項１３】
前記監視部は、ＯＳに対する計算プロセスを中断させる割り込み量であるＯＳジッタ量を監視することを特徴とする請求項１〜１２のいずれか１つに記載の情報処理システム。
【請求項１４】
複数の情報処理装置を有する情報処理システムの制御方法であって、
各情報処理装置が有するリソースのうちの１つ又はいくつかの動作履歴を取得させ、
前記リソースのうちの１つ又はいくつかの状態を監視させ、
監視対象の前記リソースの状態が閾値を超えた場合、論理的又は物理的な関連を有する他の情報処理装置に制御情報を通知させ、
前記リソースの状態が閾値を超えた情報処理装置の前記動作履歴の取得の詳細度を上昇させ、
前記制御情報の通知を受けた情報処理装置の前記動作履歴の取得の詳細度を上昇させる
ことを特徴とする情報処理システムの制御方法。
【請求項１５】
複数のリソースを有する情報処理装置の制御プログラムであって、
前記リソースのうちの１つ又はいくつかの動作履歴を取得させ、
前記リソースのうちの１つ又はいくつかの状態を監視させ、
監視対象であるリソースの状態が閾値を超えた場合、論理的又は物理的な関連を有する他の情報処理装置に制御情報を通知させ、
監視対象であるリソースの状態が閾値を超えた場合又は他の情報処理装置から前記制御情報の通知を受けた場合、前記動作履歴の取得の詳細度を上昇させる
処理をコンピュータに実行させることを特徴とする情報処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムに関する。
【背景技術】
【０００２】
情報処理装置で障害が発生した場合、各種情報を格納したファイルを解析することで障害原因の調査が行われる。障害原因の調査に使用されるファイルには以下のようなものがある。例えば、Operating  System（ＯＳ）やアプリケーションのログメッセージを保存したシスログファイルなどと呼ばれるファイルが使用される。また、Central  Processing  Unit（ＣＰＵ）、ネットワーク、メモリ及びディスクなどのシステム情報を定期的に採取したファイルも使用される。さらに、ＯＳが異常終了した際のメモリやレジスタの内容を記録したＯＳダンプファイルと呼ばれるファイルも使用される。
【０００３】
障害原因の調査に用いる各種ファイルになるべく詳細な情報が格納されることで、原因究明が容易になる。以下では、障害原因の調査に用いる情報を「ログ情報」という。
【０００４】
ただし、ログ情報を詳細に採取した場合、ログ情報を格納する各種ファイルのサイズが大きくなり、ディスク消費が増大やファイル内容の調査時間の増大が起こる。また、ログ情報を詳細に記録することで、情報を格納するファイルへのアクセスが増え、計算処理を行うためのＣＰＵ、ディスク及びメモリなどの計算資源が減ってしまう。
【０００５】
このようなログ情報の取得の詳細度を調整する技術として以下のような技術が提案されている。例えば、情報処理システムのリソース使用率の変動状況を監視し、リソースの使用率の変動に応じて監視間隔を動的に変更する従来技術がある。また、ネットワーク接続された情報処理装置などの各ノード各々が、メモリ使用量を含む情報を収集して自装置の稼働状況を判定し、異常と判定された場合に、他ノードへ稼動監視情報を送信する従来技術がある。さらに、通信を行う複数の情報処理装置間で、通信相手に異常が発生した場合、ログ情報の詳細レベルを上昇させる従来技術がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−４３３６号公報
【特許文献２】特開２００９−１９９２４６号公報
【特許文献３】特開２０１０−２８６８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、High  Performance  Computing（ＨＰＣ）の分野においては、例えば、並列コンピュータシステムなどの情報処理システムが用いられる。並列コンピュータシステムは、１つの情報処理システムが、情報処理装置である計算ノードを複数有する。そして、各計算ノードは、隣接する計算ノードなどと関連して動作することがある。そのため、並列コンピュータシステムでは、障害原因を調査する場合、問題の有った計算ノードに加えて隣接する計算ノードなど関連して動作する計算ノードのログ情報もみて調査が行われることが多い。
【０００８】
しかし、従来のログ情報の取得方法では、複数の計算ノード間で連携して、システムの負荷に応じて適切にログ情報の採取の詳細度を変更することは困難である。例えば、リソースの使用率の変動に応じて監視間隔を動的に変更する従来技術は、単体の計算機を対象としており、複数の計算ノード間の連携は考慮されていない。そのため、この従来技術を用いても、複数の計算ノード間で連携したログ情報の取得の制御は困難である。
【０００９】
また、各計算ノードにおいて異常と判定された場合に、他計算ノードへ稼動監視情報を送信する従来技術を用いても、異常が発生した計算ノード以外の計算ノードのログ情報の取得を制御することは困難である。また、通信相手に異常が発生した場合にログ情報の詳細レベルを上昇させる従来技術を用いても、通信相手の制御は行えるが、関連する処理を実行する計算ノードに対する制御を行うことは困難である。
【００１０】
開示の技術は、上記に鑑みてなされたものであって、障害発生の調査のための情報を効率的に保存する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本願の開示する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムは、１つの態様において、情報処理システムは、複数の情報処理装置を有する。前記情報処理装置は、複数のリソース及び以下の各部を有する。動作情報取得部は、前記リソースのうちの１つ又はいくつかの動作情報を取得する。監視部は、前記リソースのうちの１つ又はいくつかの状態を監視する。通知部は、前記監視部により監視される前記リソースの状態が閾値を超えた場合、論理的又は物理的な関連を有する他の情報処理装置に制御情報を通知する。変更部は、前記リソースの状態が閾値を超えた場合又は他の情報処理装置から前記制御情報の通知を受けた場合、前記動作情報取得部による前記動作情報の取得の詳細度を上昇させる。
【発明の効果】
【００１２】
本願の開示する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムの一つの態様によれば、障害発生の調査のための情報を効率的に保存することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、並列コンピュータシステムの全体構成を示す構成図である。
【図２】図２は、計算ノードのブロック図である。
【図３】図３は、ログレベルの一例を説明するための図である。
【図４】図４は、実施例１に係る情報処理システムにおけるログレベル変更の処理のフローチャートである。
【図５】図５は、実施例３に係る並列コンピュータシステムの構成図である。
【図６】図６は、実施例４に係る情報処理システムの構成図である。
【図７】図７は、実施例５に係る計算ノードのネットワーク構成の一部を表す図である。
【図８】図８は、計算ノードのハードウェア構成図である。
【図９】図９は、Ｉ／Ｏノードのハードウェア構成図である。
【発明を実施するための形態】
【００１４】
以下に、本願の開示する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラムが限定されるものではない。
【実施例１】
【００１５】
図１は、並列コンピュータシステムの全体構成を示す構成図である。本実施例では情報処理システムとして並列コンピュータシステム１００を用いて説明する。本実施例に係る並列コンピュータシステム１００は、計算ノード１、システム制御ノード２、ジョブ管理ノード３及びログインノード４を有する。例えば、本実施例では、計算ノード１は図１に示すように二次元メッシュネットワークの構造を有するように配置される。
【００１６】
ここで、本実施例では、計算ノード１は、二次元メッシュネットワーク構造を有するが、それ以外のネットワーク構造を有してもよい。以下では、複数の計算ノード１をまとめて表す場合、「計算ノード群」という。この計算ノードが、「情報処理装置」の一例にあたる。
【００１７】
システム制御ノード２は、ソフトウェア構成の管理など計算ノード１の運用における統括管理を行う。
【００１８】
ジョブ管理ノード３は、ジョブ管理ソフトウェアであるジョブマネージャが動作する。
【００１９】
ジョブマネージャは、ジョブドキュメントをログインノード４から受信し、ジョブの実行の依頼を受ける。ジョブマネージャが、利用者から入力されたジョブドキュメントの受信によりジョブの実行の依頼を受けることを、「ジョブの投入」と呼ぶ場合が有る。ジョブマネージャは、ジョブが投入されると、ジョブドキュメントを解釈して、ジョブに使用する計算ノード１の数などのジョブの実行条件を取得する。そして、ジョブマネージャは、ジョブを割り当てる計算ノード１の決定を含むジョブスケジューリングを行う。
【００２０】
ここで、計算ノード１では、ジョブマネージャの指示を受けて処理を実行するプロセスであるジョブ管理デーモンが常時起動している。ジョブマネージャは、使用する計算ノード群の要件が確保されジョブの実行条件が整うと、スケジューリングにしたがい、計算ノード群のジョブ管理デーモンにジョブの実行を指示することで、計算ノード群へのジョブの割り当て及びジョブの実行の指示を行う。
【００２１】
ジョブ管理マネージャは、ジョブ管理デーモンにおいてアプリケーションの実行が終わると、終了状態の通知を受ける。そして、ジョブ管理マネージャによる結果の転送などが行われた後、並列コンピュータシステム１００は、ジョブ実行を終了する。
【００２２】
ログインノード４は、並列コンピュータシステム１００の利用者からジョブの実行条件を記述したジョブドキュメントの入力を受ける。そして、ログインノード４は、取得したジョブドキュメントをジョブ管理ノード３へ送信する。ジョブドキュメントには、利用者が実行を指示するアプリケーションのファイルパス及び実行に必要な計算ノード１の数などが記載される。
【００２３】
次に、図２を参照して、計算ノード１について説明する。図２は、計算ノードのブロック図である。図２に示すように、計算ノード１は、動作情報対象リソース１０、システムログメッセージ生成部１１、ミドルウェア／アプリケーションログメッセージ生成部１２を有する。また、計算ノード１は、動作情報取得部１３、監視部１４、ログレベル変更部１５、ログ制御部１６、ログ記録部１７、変更受信部１８及び通知部１９を有する。
【００２４】
動作情報対象リソース１０には、例えば、ＣＰＵ１０１、メモリ１０２、通信インタフェース１０３などが含まれる。このＣＰＵ１０１、メモリ１０２及び通信インタフェース１０３は、ジョブ管理ノード３上で動作するジョブ管理マネージャから割り当てられたジョブを実行する。
【００２５】
ＣＰＵ１０１及びメモリ１０２は、ジョブ管理ノード３から割り当てられたジョブを実行する。また、通信インタフェース１０３は、計算ノード１同士を繋ぐインターコネクトのインタフェースである。ＣＰＵ１０１は、通信インタフェース１０３及びそれに接続されるインターコネクトを介して他の計算ノード１のＣＰＵ１０１と通信を行う。
【００２６】
システムログメッセージ生成部１１は、例えば、計算ノード１の起動及び終了の情報、ハードウェアの認識及び初期化のプロセスの情報、又はＯＳのエラーの情報などを含むシステムログメッセージを生成する。
【００２７】
ミドルウェア／アプリケーションログメッセージ生成部１２は、ミドルウェア／アプリケーションの起動及び終了の情報、又は、ミドルウェア／アプリケーションにおけるエラーの情報などを含むミドルウェア／アプリケーションログを生成する。
【００２８】
動作情報取得部１３は、ＣＰＵ１０１、メモリ１０２及び通信インタフェース１０３の動作情報を取得する。動作情報取得部１３は、例えば、ＣＰＵ１０１の動作情報としてＣＰＵ１０１の使用率を取得する。また、動作情報取得部１３は、例えば、メモリ１０２の動作情報としてメモリ１０２の使用率を取得する。また、動作情報取得部１３は、通信インタフェース１０３の情報としてインターコネクトの使用率を取得する。また、動作情報取得部１３は、動作情報としてＯＳジッタ量を、ＯＳを動作させるＣＰＵ１０１及びメモリ１０２から取得する。ここで、ＯＳジッタとは、ＯＳによる計算処理の実行中に、プロセスやスイッチの割り込みが発生することで、計算処理が中断することを指す。
【００２９】
監視部１４は、操作者より指定されたリソースの動作情報を動作情報取得部１３から取得する。本実施例では監視部１４は、メモリ１０２の使用率を動作情報取得部１３から取得する場合で説明する。
【００３０】
監視部１４は、操作者から指定されたメモリ１０２の使用率の閾値と動作情報取得部１３から取得したメモリ１０２の使用率とを比較する。そして、監視部１４は、メモリ１０２の使用率が閾値以上の場合、閾値超過をログレベル変更部１５へ通知する。
【００３１】
次に、監視部１４は、閾値超過の通知をログレベル変更部１５へ行った後、一定期間経過後、動作情報取得部１３から動作情報を再度取得する。そして、監視部１４は、メモリ１０２の使用率の閾値と動作情報取得部１３から再度取得したメモリ１０２の使用率とを比較する。そして、再度取得したメモリ１０２の使用率が閾値より低い場合、監視部１４は、負荷低下をログレベル変更部１５へ通知する。
【００３２】
ログレベル変更部１５は、ログ制御部１６がログ情報の収集に使用するログレベルの変更の通知を行う。ここで、ログ情報とは障害原因の調査に用いる情報であり、ログレベルとは収集するログ情報の詳細度である。そして、ログレベルを引上げるとは、ログ情報をより詳細に収集するように詳細度を変更することにあたる。以下に、ログレベル変更部１５について詳細に説明する。
【００３３】
ログレベル変更部１５は、自装置のログレベルを変更する場合に、同時にログレベルを変更する変更対象の計算ノード１の情報を予め記憶する。変更対象の計算ノード１は、自装置に物理的又は論理的に関連する計算ノードである。本実施例では、ログレベル変更部１５は、自装置に直接通信線が接続されている計算ノード１を変更対象の計算ノード１として記憶する。自装置に直接通信線が接続されている計算ノード１とは、図１における計算ノード１Ａを自装置とした場合の計算ノード１Ｂ〜１Ｅにあたる。以下では、自装置に直接通信線が接続されている計算ノード１を、「隣接ノード」という。
【００３４】
ログレベル変更部１５は、閾値超過の通知を監視部１４から受信すると、詳細なログ情報を取得するための予め決められたログレベルへの引上げの通知をログ制御部１６へ送信する。この時、ログレベル変更部１５は、隣接ノードに対するログレベルの引上げの通知を通知部１９へ指示する。
【００３５】
ログレベル変更部１５は、監視部１４からの指示によるログレベルの引上げの通知を行った後に、負荷低下の通知を監視部１４から受信すると、予め決められた初期値へのログレベルの復帰の通知をログ制御部１６へ送信する。加えて、ログレベル変更部１５は、隣接ノードに対するログレベルの復帰の通知を通知部１９へ指示する。このログレベル変更部１５による通知部１９を介して隣接ノードへ送信する「ログレベルの引上げ」及び「ログレベルの復帰」の通知が、制御情報の一例にあたる。
【００３６】
また、ログレベル変更部１５は、他の計算ノード１の通知部１９からのログレベルの引上げの通知を変更受信部１８から受信する。そして、ログレベル変更部１５は、ログレベルの引上げの通知を変更受信部１８から受信すると、予め決められたログレベルへの引上げの通知をログ制御部１６へ送信する。
【００３７】
ログレベル変更部１５は、他の計算ノード１からの指示によるログレベルの引上げの通知を行った後に、ログレベルの復帰の通知を変更受信部１８から受信すると、予め決められた初期値へログレベルを戻す。
【００３８】
ここで、図３を参照してログレベルについて詳細に説明する。図３は、ログレベルの一例を説明するための図である。
【００３９】
図３に示すように、本実施例では、ログ情報を収集する詳細度には、７段階のログレベルがある。図３に示すログレベルでは、値が小さいほど収集するログ情報が少ない。すなわち、値が小さいほど、ログ情報の詳細度が粗くなる。例えば、ログレベル１では、重大なエラー以上の情報しか記録されないが、ログレベル４では、アプリの起動や停止の情報といった通知の情報まで記録される。すなわち、ログレベルを引上げるとは、図３におけるログレベルの値を大きくすることにあたる。
【００４０】
例えば、ログレベルの初期値を１とし、詳細なログ情報を取得するためのログレベルを４とした場合で、ログレベル変更部１５の動作を説明する。計算ノード１の起動後、後述するログ制御部１６はログレベルが１の詳細度でログ情報を収集する。そして、ログレベル変更部１５は、閾値超過の通知を監視部１４から受けると、ログレベルを４に変更する指示をログ制御部１６へ送信する。また、ログレベル変更部１５は、隣接ノードのログレベルを４に変更する指示を通知部１９へ送信する。その後、ログレベル変更部１５は、負荷低下の通知を監視部１４から受けると、ログレベルを１に戻す指示をログ制御部１６へ送信する。また、ログレベル変更部１５は、隣接ノードのログレベルを１に戻す指示を通知部１９へ送信する。
【００４１】
ここで、本実施例では、予め設定した２種類のログレベルを用いてログレベルの変更を行う場合で説明したが、これに限らず、ログレベル変更部１５は、より多くの段階のログレベルへの変更を指示しても。例えば、以下のような方法が考えられる。監視部１４は、複数の閾値を有する。そして、監視部１４は、どの閾値を超えたかをログレベル変更部１５へ通知する。ログレベル変更部１５は、各閾値に対応するログレベルを記憶しておく。そして、ログレベル変更部１５は、監視部１４から通知された閾値に対応するログレベルに変更する指示をログ制御部１６へ通知する。
【００４２】
他にも、ログレベル変更部１５は、ログレベルの変更の指示を監視部１４から受けた場合、１段階ログレベルを上げる通知をログ制御部１６に送信してもよい。この場合、ログレベル変更部１５は、ログレベルの復帰の通知を監視部１４から受けた場合、１段階ログレベルを下げる通知をログ制御部１６に送信してもよい。さらに、ログレベル変更部１５は、監視部１４から一定期間毎に複数回ログレベル変更の指示を受けた場合、その回数に合わせてログレベルを逐次上昇させていってもよい。
【００４３】
ログ制御部１６は、計算ノード１の起動後、予め決められた初期値のログレベルでシステムログメッセージ生成部１１、ミドルウェア／アプリケーションログメッセージ生成部１２及び動作情報取得部１３からログ情報を収集する。
【００４４】
その後、ログレベル変更部１５からログレベルの引上げの通知を受けると、ログ制御部１６は、予め決められたログレベルにログレベルの設定を変更する。そして、ログ制御部１６は、上昇させたログレベルでシステムログメッセージ生成部１１、ミドルウェア／アプリケーションログメッセージ生成部１２及び動作情報取得部１３からログ情報を収集する。
【００４５】
さらに、ログ制御部１６は、ログレベルを引上げた後、ログレベルの復帰の通知をログレベル変更部１５から受けると、初期値にログレベルの設定を戻す。そして、ログ制御部１６は、初期値に戻したログレベルでシステムログメッセージ生成部１１、ミドルウェア／アプリケーションログメッセージ生成部１２及び動作情報取得部１３からログ情報を収集する。
【００４６】
ログ制御部１６は、収集したログ情報をログ記録部１７に送信する。
【００４７】
ログ記録部１７は、ログ制御部１６から受信したログ情報を記憶装置に記録する。例えば、ログ記録部１７は、ログ情報をシステム制御ノード２の記憶領域に記録する。また、ログ記録部１７は、メモリ１０２などの自装置の記憶装置にログ情報を記録してもよい。
【００４８】
操作者は、ログ記録部１７により記録されたログ情報を用いて障害原因の調査を行う。例えば、操作者は、各計算ノード１のログ記録部１７により記録されたシステム制御ノード２に格納されたログ情報を用いて障害原因の調査を行う。
【００４９】
変更受信部１８は、隣接ノードにおいてメモリ１０２の使用率が閾値以上になった場合、ログレベルの引上げの通知を隣接ノードの通知部１９から受信する。そして、変更受信部１８は、受信したログレベルの引上げの通知をログレベル変更部１５へ送信する。
【００５０】
また、隣接ノードからログレベルの引上げを受信した後、ログレベルの復帰の通知を隣接ノードの通知部１９すると、受信したログレベルの復帰の通知をログレベル変更部１５へ送信する。
【００５１】
通知部１９は、自装置においてメモリ１０２の使用量が閾値以上になった場合、隣接ノードに対するログレベルの引上げの通知の指示をログレベル変更部１５から受ける。そして、通知部１９は、ログレベルの引上げの通知を隣接ノードへ送信する。
【００５２】
また、通知部１９は、自装置においてメモリ１０２の使用量が閾値以上になった後、メモリ１０２の使用量が閾値より低くなると、隣接ノードに対するログレベルの復帰の通知の指示をログレベル変更部１５から受ける。そして、通知部１９は、ログレベルの復帰の通知を隣接ノードへ送信する。
【００５３】
次に、図４を参照して、本実施例に係る並列コンピュータシステムにおけるログレベル変更の処理の流れについて説明する。図４は、実施例１に係る情報処理システムにおけるログレベル変更の処理のフローチャートである。図４の左側のフローチャートはメモリ１０２の使用率が閾値を超えた計算ノード１である高負荷ノードの処理を表す。また、図４の右側のフローチャートは高負荷ノードの隣接ノードである計算ノード１の処理を表す。さらに、図４の左側のフローチャートから右側のフローチャートへ向かう点線は、そのタイミングで高負荷ノードから隣接ノードへ通知が行われることを示す。
【００５４】
先ず、高負荷ノードの処理について説明する。ログ制御部１６は、起動後初期値のログレベルでログ情報を収集する（ステップＳ１０１）。監視部１４は、動作情報取得部１３が取得したリソースの動作情報の中から、メモリ１０２の使用率を取得する（ステップＳ１０２）。
【００５５】
次に、監視部１４は、取得したメモリ１０２の使用率が閾値以上か否かを判定する（ステップＳ１０３）。メモリ１０２の使用率が閾値より低い場合（ステップＳ１０３：否定）、監視部１４は、ステップＳ１０２に戻りメモリ１０２の使用率の監視を続ける。
【００５６】
これに対して、メモリ１０２の使用率が閾値以上の場合（ステップＳ１０３：肯定）、監視部１４は、閾値超過をログレベル変更部１５へ通知する。ログレベル変更部１５は、ログ制御部１６及び隣接ノードへログレベルの引上げを通知する（ステップＳ１０４）。
【００５７】
ログ制御部１６は、ログレベルの引上げの通知を受けて、予め決められたログレベルにログレベルを上げる(ステップＳ１０５)。そして、ログ制御部１６は、引上げたログレベルでログ情報の収集を行う。
【００５８】
監視部１４は、前回のメモリ１０２の使用率の判定を行ってから一定時間経過したか否かを判定する（ステップＳ１０６）。一定時間経過していない場合（ステップＳ１０６：否定）、監視部１４は、一定時間経過するまで待機する。
【００５９】
これに対して、一定時間経過した場合（ステップＳ１０６：肯定）、監視部１４は、メモリ１０２の使用率が閾値以上か否かを再度判定する（ステップＳ１０７）。メモリ１０２の使用率が閾値以上の場合（ステップＳ１０７：肯定）、監視部１４は、ステップＳ１０６へ戻る。
【００６０】
これに対して、メモリ１０２の使用率が閾値より小さい場合（ステップＳ１０７：否定）、監視部１４は、負荷低下をログレベル変更部１５へ通知する。ログレベル変更部１５は、ログ制御部１６及び隣接ノードへログレベルの復帰を通知する（ステップＳ１０８）。
【００６１】
ログ制御部１６は、ログレベルの復帰の通知を受けて、ログレベルを初期値に戻す（ステップＳ１０９）。そして、ログ制御部１６は、初期値に戻したログレベルでログ情報の収集を行う。
【００６２】
次に、隣接ノードの処理について説明する。ログ制御部１６は、起動後初期値のログレベルでログ情報を収集する（ステップＳ２０１）。
【００６３】
変更受信部１８は、ログレベルの引上げの通知を高負荷ノードから受信する。ログレベル変更部１５は、ログレベルの引上げの通知を変更受信部１８から受信する（ステップＳ２０２）。ログレベル変更部１５は、ログレベルの引上げの通知をログ制御部１６へ送信する。
【００６４】
ログ制御部１６は、ログレベルの引上げの通知を受けて、予め決められたログレベルにログレベルを上げる（ステップＳ２０３）。そして、ログ制御部１６は、引上げたログレベルでログ情報の収集を行う。
【００６５】
その後、変更受信部１８は、ログレベルの復帰の通知を高負荷ノードから受信する。ログレベル変更部１５は、ログレベルの復帰の通知を変更受信部１８から受信する（ステップＳ２０４）。ログレベル変更部１５は、ログレベルの復帰の通知をログ制御部１６へ送信する。
【００６６】
ログ制御部１６は、ログレベルの復帰の通知を受けて、ログレベルを初期値に戻す（ステップＳ２０５）。そして、ログ制御部１６は、初期値に戻したログレベルでログ情報の収集を行う。
【００６７】
以上に説明したように、本実施例に係る情報処理システムでは、メモリの使用率が閾値以上となった計算ノードは、自装置のログレベルを上げると共に、隣接ノードのログレベルを上げさせる。並列コンピュータシステムのような並列処理を行う情報処理システムの場合、ネットワークが直接接続た隣接ノードにおいて相互に関連する処理を実行する場合が多い。そのため、ある計算ノードにおいて障害が発生した場合、隣接ノードに対しても影響が発生することが考えられる。このようなことから、並列コンピュータシステムのような情報処理システムでは、障害原因の調査をする場合、障害が発生した計算ノードだけで無く隣接ノードの情報も有用な情報となる。そこで、本実施例に係る情報処理システムのように、ある計算ノードの負荷が高くなった場合に、その計算ノード及び隣接ノードのログレベルを上昇させることで、障害原因の調査に有用な情報をより適切に確保することができる。すなわち、計算ノード間で連携して、システムの負荷に応じて情報処理システムにおける各計算ノードのログレベルが適切に変更できる。これにより、障害原因の調査情報を効率的に確保することができる。
【００６８】
ここで、本実施例では、計算ノード１の負荷の増加を測定する基準としてメモリ１０２の使用率を用いた。ただし、監視するリソースの動作情報はこれに限らず、例えば、監視部１４は、ＣＰＵ１０１の使用率、ネットワークの使用率又はＯＳジッタ量を監視してもよい。さらに、監視部１４は、それらの動作情報を組み合わせて監視しても良い。
【００６９】
ＣＰＵ１０１の使用率を用いる場合、監視部１４は、ＣＰＵ１０１から動作情報取得部１３が取得したＣＰＵ１０１の使用率と閾値とを比較して、計算ノード１の負荷の状態を判定する。
【００７０】
また、ネットワークの使用率を用いる場合、監視部１４は、通信インタフェース１０３から動作情報取得部１３が取得したネットワークの使用率と閾値とを比較して、計算ノード１の負荷の状態を判定する。
【００７１】
また、ＯＳジッタを用いる場合、監視部１４は、ＣＰＵ１０１及びメモリ１０２から動作情報取得部１３が取得したＯＳジッタ量と閾値とを比較して、計算ノード１の負荷の状態を判定する。
【００７２】
また、本実施例では、収集する情報の種類を変更することでログレベルを変更する場合で説明したが、ログレベルの変更はこれに限らない。例えば、ログ制御部１６は、ログレベルの引き上げが指示された場合、ログ情報の収集間隔を短くすることでログレベルを上昇させてもよい。また、ログ制御部１６は、収集する情報の種類と収集時間とを組み合わせてログレベルを変更するといったように、変更の方法をいくつか組み合わせてログレベルを変更してもよい。
【実施例２】
【００７３】
次に、実施例２に係る情報処理システムについて説明する。本実施例に係る情報処理システムは、ジョブが割り当てられた計算ノード群の中のいずれかが高負荷となった場合に、計算ノード群の全ての計算ノードのログレベルを上昇させることが実施例１と異なる。本実施例に係る並列コンピュータシステムも、図１で表される。また、本実施例に係る計算ノードも、図２で表される。以下の説明では、実施例１と同様の動作を行う各部については説明を省略する。
【００７４】
ジョブ管理ノード３は、ジョブの割り当てを行う際に、ジョブを割り当てる計算ノード群の情報を割り当て対象の各計算ノードに通知する。
【００７５】
計算ノード１は、自装置を含む計算ノード群に割り当てられたジョブが他のいずれの計算ノード１に割り当たかの情報、すなわち、自装置が実行するジョブが割り当てられた計算ノード群に含まれる計算ノード１の情報をジョブ管理ノード３から取得する。以下、自装置を含む計算ノード群に割り当てられたジョブが他のいずれの計算ノード１に割り当てられたかの情報を「ジョブ割り当て情報」という。
【００７６】
そして、ログレベル変更部１５は、閾値超過の情報を監視部１４から受信すると、ログ制御部１６にログレベルの引上げを通知するとともに、ジョブ割り当て情報に含まれる他の計算ノード１へのログレベルの引上げの通知を通知部１９へ指示する。すなわち、ログレベル変更部１５は、自装置が実行するジョブが割り当てられた計算ノード群に含まれる他の計算ノード１に対して、ログレベルの引上げを通知することを通知部１９に指示する。
【００７７】
また、ログレベル変更部１５は、負荷低下の情報を監視部１４から受信すると、ログ制御部１６にログレベルの復帰を通知するとともに、ジョブ割り当て情報に含まれる他の計算ノード１へのログレベルの復帰の通知を通知部１９へ指示する。
【００７８】
通知部１９は、ログレベル変更部１５からの指示を受けて、ジョブ割り当て情報に含まれる他の計算ノード１へログレベルの引上げを通知する。
【００７９】
通知部１９は、ログレベル変更部１５からの指示を受けて、ジョブ割り当て情報に含まれる他の計算ノード１へログレベルの復帰を通知する。
【００８０】
以上に説明したように、本実施例に係る情報処理システムは、負荷が高くなった計算ノードは、自装置及び自装置が実行するジョブが割り当てられた他の計算ノードのログレベルを引上げる。ジョブが割り当てられた計算ノード群に含まれる計算ノードはそれぞれ相互に関連する処理を実行する。そのため、ジョブが割り当てられた計算ノード群において、ある計算ノードに障害が発生した場合、その計算ノード群に含まれる他の計算ノードに対しても影響が発生することが考えられる。そこで、本実施例に係る情報処理システムのように、ジョブが割り当てられた計算ノード群のある計算ノードの負荷が高くなった場合に、その計算ノード群に含まれる全ての計算ノードのログレベルを上昇させることで、障害原因の調査に有用な情報をより適切に確保することができる。すなわち、計算ノード間で連携して、システムの負荷に応じて情報処理システムにおける各計算ノードのログレベルが適切に変更できる。これにより、障害原因の調査情報を効率的に確保することができる。
【実施例３】
【００８１】
次に、実施例３に係る情報処理システムについて説明する。図５は、実施例３に係る並列コンピュータシステムの構成図である。本実施例に係る情報処理システムは、計算ノードと外部装置との通信を仲介するInput/Output（Ｉ／Ｏ）ノードのログレベルも上昇させることが実施例１と異なる。本実施例に係る計算ノードは、図２で表される。以下の説明では、実施例１と同様の動作を行う各部については説明を省略する。また、本実施例では、Ｉ／Ｏノードも計算ノードと同様の構成を有する場合で説明する。
【００８２】
本実施例に係る並列コンピュータシステムは、実施例１の各ノードに加えてＩ／Ｏノード５を有する。
【００８３】
Ｉ／Ｏノード５は、ストレージ装置（不図示）などの外部装置と計算ノード１との通信の仲介を行う。例えば、計算ノード１は、ハードディスクを有さない場合がある。その場合、計算ノード１は、外部のストレージ装置に格納されたＯＳをＩ／Ｏノード５を介して読み込んで起動する。また、計算ノード１は、外部のストレージに対するデータの読み出しや書き込みを行う場合にも、Ｉ／Ｏノード５を介してデータの読み書きを行う。
【００８４】
ログレベル変更部１５は、閾値超過の情報を監視部１４から受信すると、ログ制御部１６にログレベルの引上げを通知するとともに、隣接ノードに加えて自装置の通信の仲介を主に行うＩ／Ｏノード５に対するログレベルの引上げの通知を通知部１９へ指示する。ここで、本実施例では、図５に示す２次元メッシュネットワークの構造において、ある計算ノード１と同じ行に配置されたＩ／Ｏノード５が、その計算ノード１の通信の仲介を主に行うＩ／Ｏノード５である。例えば、図５に示す計算ノード１Ａを自装置とすると、ログレベル変更部１５は、計算ノード１Ｂ〜１Ｅ及びＩ／Ｏノード５Ａに対するログレベルの引上げの通知を通知部１９へ指示する。
【００８５】
また、ログレベル変更部１５は、負荷低下の情報を監視部１４から受信すると、ログ制御部１６にログレベルの復帰を通知するとともに、隣接ノードに加えて自装置の通信の仲介を主に行うＩ／Ｏノード５に対するログレベルの復帰の通知を通知部１９へ指示する。
【００８６】
通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードに加えて自装置の通信の仲介を主に行うＩ／Ｏノード５へログレベルの引上げを通知する。
【００８７】
通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードに加えて自装置の通信の仲介を主に行うＩ／Ｏノード５へログレベルの復帰を通知する。
【００８８】
ここで、本実施例では、実施例１の場合を基に説明したが、実施例２又は実施例３についてもＩ／Ｏノード５のログレベルを上昇させる機能を追加してもよい。
【００８９】
また、本実施例では、Ｉ／Ｏノード５も、リソースの状態を監視して、リソースの状態が閾値以上になった場合に、自装置と関連する計算ノード及びＩ／Ｏノードのログレベルを上昇させてもよい。
【００９０】
その場合、Ｉ／Ｏノード５の監視部１４は、リソースの状態として、通信インタフェース１０３から取得した外部のストレージとの通信状態を用いて求めたＩ／Ｏ使用率について監視を行ってもよい。
【００９１】
以上に説明したように、本実施例に係る情報処理システムは、負荷が高くなった計算ノードは、隣接ノードに加えて自装置の通信の仲介を主に行うＩ／Ｏノードのログレベルを引上げる。Ｉ／Ｏノードは、計算ノードが処理を行う場合のデータの読み出しや書き込みを中継するため相互に関連して処理を実行する。そのため、ある計算ノードに障害が発生した場合、その計算ノードの通信の仲介を主に行うＩ／Ｏノードに対しても影響が発生することが考えられる。そこで、本実施例に係る情報処理システムのように、ある計算ノードの負荷が高くなった場合に、その計算ノードの通信の仲介を主に行うＩ／Ｏノードのログレベルを上昇させることで、障害原因の調査に有用な情報を適切に確保することができる。すなわち、計算ノード及びＩ／Ｏノード間で連携して、システムの負荷に応じて情報処理システムにおける各ノードのログレベルが適切に変更できる。これにより、障害原因の調査情報を効率的に確保することができる。
【実施例４】
【００９２】
次に、実施例４に係る情報処理システムについて説明する。図６は、実施例４に係る情報処理システムの構成図である。本実施例に係る情報処理システムは、サーバ・クライアント方式を用いることが実施例１と異なる。本実施例に係る計算ノードは、図２で表される。以下の説明では、実施例１と同様の動作を行う各部については説明を省略する。
【００９３】
本実施例に係る情報処理システム１０１は、計算ノード１、システム制御ノード２、ジョブ管理ノード３、ログインノード４及びサーバノード６を有する。
【００９４】
サーバノード６は、例えば、ネットワークブートを行う場合のゲートウェイサーバである。また、例えば、計算ノード１は、外部のストレージ装置（不図示）からＯＳを読み込んで起動する場合に、サーバノード６Ａを介してＯＳの読み込みを行う。
【００９５】
ログレベル変更部１５は、閾値超過の情報を監視部１４から受信すると、ログ制御部１６にログレベルの引上げを通知するとともに、隣接ノードに加えて自装置のゲートウェイサーバとなるサーバノード６に対するログレベルの引上げの通知を通知部１９へ指示する。ここで、本実施例では、図６に示す２次元メッシュネットワークの構造において、ある計算ノード１と同じ行に配置されたサーバノード６が、その計算ノード１の通信の仲介を主に行うサーバノード６である。例えば、図６に示す計算ノード１Ａを自装置とすると、ログレベル変更部１５は、計算ノード１Ｂ〜１Ｅ及びサーバノード６Ａに対するログレベルの引上げの通知を通知部１９へ指示する。
【００９６】
また、ログレベル変更部１５は、負荷低下の情報を監視部１４から受信すると、ログ制御部１６にログレベルの復帰を通知するとともに、隣接ノードに加えて自装置のゲートウェイサーバとなるサーバノード６に対するログレベルの復帰の通知を通知部１９へ指示する。
【００９７】
通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードに加えて自装置のゲートウェイサーバとなるサーバノード６へログレベルの引上げを通知する。
【００９８】
通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードに加えて自装置のゲートウェイサーバとなるサーバノード６へログレベルの復帰を通知する。
【００９９】
ここで、本実施例では、実施例１の場合を基に説明したが、実施例２についてもサーバノード６のログレベルを上昇させる機能を追加してもよい。
【０１００】
以上に説明したように、本実施例に係る情報処理システムは、サーバ・クライアントシステムを用い、負荷が高くなった計算ノードは、隣接ノードに加えて自装置のゲートウェイサーバとなるサーバノードのログレベルを引上げる。サーバノードは、計算ノードが処理を行う際に動作するため相互に関連して処理を実行する。そのため、ある計算ノードに障害が発生した場合、その計算ノードのゲートウェイサーバであるサーバノードに対しても影響が発生することが考えられる。そこで、本実施例に係る情報処理システムのように、ある計算ノードの負荷が高くなった場合に、その計算ノードのゲートウェイサーバであるサーバノードのログレベルを上昇させることで、障害原因の調査に有用な情報をより適切に確保することができる。すなわち、計算ノード及びサーバノード間で連携して、システムの負荷に応じて情報処理システムにおける各ノードのログレベルが適切に変更できる。これにより、障害原因の調査情報を効率的に確保することができる。また、本実施例のように、サーバ・クライアントシステムを用いた情報処理システムにおいても、各実施例の機能を組み込むことは可能である。
【実施例５】
【０１０１】
次に、実施例５に係る情報処理システムについて説明する。本実施例に係る情報処理システムは、計算ノードのネットワーク構造として、３次元トーラス型のネットワーク構造を有することが実施例１と異なる。本実施例に係る並列コンピュータシステムも、図１で表される。また、本実施例に係る計算ノードも、図２で表される。以下の説明では、実施例１と同様の動作を行う各部については説明を省略する。
【０１０２】
図７は、実施例５に係る計算ノードのネットワーク構成の一部を表す図である。図７は、３次元トーラス型のネットワーク構造を有するように配置された計算ノード群の一部を拡大したものである。
【０１０３】
本実施例では、計算ノード１は、３次元の構造を有するので、例えば、図７のようにＸ、Ｙ、Ｚ方向に計算ノード１が配置される。この場合、ある計算ノード１に直接接続された隣接ノードは、Ｘ方向に２つ、Ｙ方向に２つ、Ｚ方向に２つある。
【０１０４】
そこで、ログレベル変更部１５は、本実施例では、自装置に直接通信線が接続された計算ノード１を変更対象とする隣接ノードとして記憶する。この場合、隣接ノードとは、図７における計算ノード１００Ａを自装置とした場合の計算ノード１００Ｂ〜１００Ｇにあたる。
【０１０５】
ログレベル変更部１５は、閾値超過の情報を監視部１４から受信すると、ログ制御部１６にログレベルの引上げを通知するとともに、隣接ノードに対するログレベルの引上げの通知を通知部１９へ指示する。例えば、図７に示す計算ノード１００Ａを自装置とすると、ログレベル変更部１５は、計算ノード１００Ｂ〜１００Ｇに対するログレベルの引上げの通知を通知部１９へ指示する。
【０１０６】
また、ログレベル変更部１５は、負荷低下の情報を監視部１４から受信すると、ログ制御部１６にログレベルの復帰を通知するとともに、隣接ノードに対するログレベルの復帰の通知を通知部１９へ指示する。
【０１０７】
通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードへログレベルの引上げを通知する。
【０１０８】
また、通知部１９は、ログレベル変更部１５からの指示を受けて、隣接ノードへログレベルの復帰を通知する。
【０１０９】
ここで、本実施例では、実施例１の場合を基に説明したが、実施例２〜４においても同様であり、３次元トーラスのネットワーク構造を用いることができる。
【０１１０】
以上に説明したように、本実施例に係る情報処理システムは、３次元トーラス型のネットワーク構造を採用したシステムであり、負荷が高くなった計算ノードは、３次元トーラス型のネットワーク構造における隣接ノードのログレベルを引上げる。このように、３次元トーラス型のネットワーク構造を採用した情報処理システムにおいても、障害原因の調査情報を効率的に確保することができる。
【実施例６】
【０１１１】
次に、実施例６に係る情報処理システムについて説明する。本実施例に係る情報処理システムは、仮想的な隣接ノードに対してログレベルの上昇を指示することが実施例１と異なる。本実施例に係る並列コンピュータシステムも、図１で表される。また、本実施例に係る計算ノードも、図２で表される。以下の説明では、実施例１と同様の動作を行う各部については説明を省略する。
【０１１２】
計算ノード１は、予め仮想的な隣接関係を用いて他の計算ノード１と通信を行う。例えば、計算ノード１は、Message  Passing  Interface（ＭＰＩ）通信の規格に準拠する。そして、計算ノード１は、ＭＰＩ通信の規格で決められた仮想的な隣接関係を記憶する。仮想的な隣接関係とは、ある計算ノード１に対する仮想的な隣接ノードを示す関係である。そして、計算ノード１は、ＭＰＩ通信に準拠した仮想的な隣接関係を用いて通信を行う。
【０１１３】
ログレベル変更部１５は、閾値超過の情報を監視部１４から受信すると、ログ制御部１６にログレベルの引上げを通知するとともに、ＭＰＩ通信の規格に準拠して決められた仮想的な隣接ノードに対するログレベルの引上げの通知を通知部１９へ指示する。
【０１１４】
また、ログレベル変更部１５は、負荷低下の情報を監視部１４から受信すると、ログ制御部１６にログレベルの復帰を通知するとともに、仮想的な隣接ノードに対するログレベルの復帰の通知を通知部１９へ指示する。
【０１１５】
通知部１９は、ログレベル変更部１５からの指示を受けて、仮想的な隣接ノードへログレベルの引上げを通知する。
【０１１６】
また、通知部１９は、ログレベル変更部１５からの指示を受けて、仮想的な隣接ノードへログレベルの復帰を通知する。
【０１１７】
以上に説明したように、本実施例に係る情報処理システムは、ＭＰＩ通信などの仮想的な隣接関係を採用したシステムであり、負荷が高くなった計算ノードは、仮想的な隣接ノードのログレベルを引上げる。仮想的な隣接関係を採用した情報処理システムでは、仮想的な隣接ノード間での通信が多くなり、ある計算ノードに障害が発生した場合、仮想的な隣接ノードにも影響が発生することが考えられる。そこで、仮想的な隣接ノードのログレベルも上げることで、適切な仮想的な隣接関係を採用した情報処理システムにおいても、障害原因の調査情報を効率的に確保することができる。
【０１１８】
（ハードウェア構成）
さらに、図８及び図９を参照して、計算ノード及びＩ／Ｏノードのハードウェア構成について説明する。図８は、計算ノードのハードウェア構成図である。図９は、Ｉ／Ｏノードのハードウェア構成図である。
【０１１９】
計算ノード１は、図８に示すように、ＣＰＵ１０１、メモリ１０２及び通信インタフェース１０３を有する。
【０１２０】
ＣＰＵ１０１及びメモリ１０２は、ジョブを実行するとともに、図２に例示した、システムログメッセージ生成部及びミドルウェア／アプリケーションログメッセージ生成部１２の機能を実現する。さらに、ＣＰＵ１０１及びメモリ１０２は、図２に例示した、動作情報取得部１３、監視部１４、ログレベル変更部１５、ログ制御部１６、ログ記録部１７及び変更受信部１８の機能を実現する。また、ＣＰＵ１０１及び通信インタフェース１０３は、通知部１９の機能を実現する。
【０１２１】
例えば、外部のストレージ装置に、図２に例示した、動作情報取得部１３、監視部１４、ログレベル変更部１５、ログ制御部１６、ログ記録部１７、変更受信部１８及び通知部１９の機能を実現する各種プログラムを格納しておく。そして、ＣＰＵ１０１は、ストレージ装置から各種プログラムを読み出し、メモリ１０２上にプロセスとして展開し、展開したプロセスを実行することで、各機能を実現する。
【０１２２】
また、ＣＰＵ１０１は、通信インタフェース１０３を用いて、例えば、他の計算ノード１又はＩ／Ｏノード５と通信を行う。
【０１２３】
Ｉ／Ｏノード５は、図９に示すように、ＣＰＵ９０１、メモリ９０２、通信インタフェース９０３、ディスク９０４及びGigabit  Ethernet（登録商標）（ＧｂＥ）インタフェース９０５を有する。
【０１２４】
ＣＰＵ９０１は、通信インタフェース９０３を用いて、計算ノード１の通信インタフェース１０３との間で通信を行う。また、ＣＰＵ９０１は、ＧｂＥインタフェース９０５を用いて外部のストレージ装置との間で通信を行う。
【０１２５】
また、Ｉ／Ｏノード５が計算ノード１と同様のログレベルの変更を行う場合、ＣＰＵ９０１及びメモリ９０２は、図２に例示した、システムログメッセージ生成部１１及びミドルウェア／アプリケーションログメッセージ生成部１２の機能を実現する。さらに、ＣＰＵ９０１及びメモリ９０２は、図２に例示した、動作情報取得部１３、監視部１４、ログレベル変更部１５、ログ制御部１６、ログ記録部１７及び変更受信部１８の機能を実現する。また、ＣＰＵ９０１及び通信インタフェース９０３は、通知部１９の機能を実現する。
【０１２６】
例えば、ディスク９０４に、図２に例示した、動作情報取得部１３、監視部１４、ログレベル変更部１５、ログ制御部１６、ログ記録部１７、変更受信部１８及ぶ通知部１９の機能を実現する各種プログラムを格納しておく。そして、ＣＰＵ１０１は、ディスク９０４から各種プログラムを読み出し、メモリ１０２上にプロセスとして展開し、展開したプロセスを実行することで、障害原因の調査に有用な情報をより適切に確保することができる。すなわち、計算ノード間で連携して、システムの負荷に応じて情報処理システムにおける各計算ノードのログレベルが適切に変更できる。これにより、障害原因の調査情報を効率的に確保することができる。また、本実施例のように、仮想的な隣接関係を用いた情報処理システムにおいても、各実施例の機能を組み込むことは可能である。
【符号の説明】
【０１２７】
１  計算ノード
２  システム制御ノード
３  ジョブ管理ノード
４  ログインノード
５  Ｉ／Ｏノード
６  サーバノード
１０  動作情報対象リソース
１１  システムログメッセージ生成部
１２  ミドルウェア／アプリケーションログメッセージ生成部
１３  動作情報取得部
１４  監視部
１５  ログレベル変更部
１６  ログ制御部
１７  ログ記録部
１８  変更受信部
１９  通知部
１０１  ＣＰＵ
１０２  メモリ
１０３  通信インタフェース
【図１】
2015069384.tif 000003
【図２】
2015069384.tif 000004
【図３】
2015069384.tif 000005
【図４】
2015069384.tif 000006
【図５】
2015069384.tif 000007
【図６】
2015069384.tif 000008
【図７】
2015069384.tif 000009
【図８】
2015069384.tif 000010
【図９】
2015069384.tif 000011