(57)【要約】【課題】情報処理装置の保守作業において、採取したログからだけでは障害部位を一部品に絞ることできないような難解な障害の発生は、ダウンタイムを長期化させる要因となっている。このような難解な障害が発生した場合、ダウンタイムをできる限り短くするため交換部品を１つずつ段階的に交換していくことが考えられる。ただしこの場合、もし誤った部品を交換すると、再交換の作業が発生し、また、発生した障害がインターミッテントな障害であった場合には、後日障害が再発するなど、さらにダウンタイムを増加させるリスクを含む。【解決手段】情報処理装置において、障害が発生した場合にその障害内容と被疑部をデータベースに記録し、障害ログから不良部品が一部品に特定できない障害が発生した場合に、前記データベースに基づき、不良部品の交換順序の優先順位を決定する機能を有する。【選択図】図４
2012103998.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置において、障害が発生した場合に、その障害内容と被疑部をデータベースに記録し、障害ログから不良部品が一部品に特定できない障害が発生した場合に、前記データベースに基づき、不良部品の交換順序の優先順位を決定する機能を有する情報処理装置の管理プロセッサ。
【請求項２】
請求項１の管理プロセッサを備える情報処理装置において、障害が発生した場合に、過去同一の障害が前記障害履歴データベースに記録されている場合には、その同一障害の障害履歴のみを抽出し、優先順位を決定することができる機能を備えた管理プロセッサ。
【請求項３】
請求項１の管理プロセッサにおいて、障害履歴データベースのインポートおよびエクスポートの機能を備えた管理プロセッサ。
【請求項４】
請求項１の管理プロセッサにおいて、障害履歴データベースに記録されている過去のレコードを補正するレコードを追加することができるインターフェースを備えた管理プロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置における障害部位の解析手法に関し、特に複数の部品が被疑部と推定される場合にそれら部品を交換する優先順位を算出する機能に関する。
【背景技術】
【０００２】
情報処理装置の健全性を表す指標の一つとしてダウンタイムがある。顧客にとって情報処理装置の予期せぬ停止は、短期的な損失に加え、長期的な信用の失墜など、様々なリスクに繋がる。したがって、万が一、予期せぬ障害が情報処理装置に発生した場合においても、ダウンタイムを長時間発生させることなく、迅速な保守作業を行うことは非常に重要である。
【０００３】
保守作業を迅速に行う保守システムとしては、特開２００３−２４１９９９号公報記載のような既存のアイデアがある。この発明によれば、顧客サイトで障害が発生した場合、顧客サイトから保守管理センタの障害監視サーバに自動で障害情報を送信し、その情報を定量的に評価することで障害の重要性を瞬時に判断可能となり、迅速な保守作業が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４１９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
確かに、上述のような保守システムを用いることで、保守作業全体の時間は短縮することはできるが、実際の保守作業では、採取したログからだけでは障害部位を一部品に絞ることできないような難解な障害も多々発生し、ダウンタイムを長期化させる要因となっている。このような難解な障害が発生した場合、ダウンタイムをできる限り短くするため交換部品を１つずつ段階的に交換していくことが考えられる。ただし、この場合、もし誤った部品を交換すると、再交換の作業が発生してしまい、また、発生した障害がインターミッテントな障害であった場合には、後日障害が再発してしまい、ダウンタイムをさらに増加させる原因となるため、どの部品から交換していくか、その優先順位は慎重に決める必要がある。
【０００６】
また一方で、情報処理装置の各部品にエラーチェック機構(ECCやパリティチェッカー等)を追加し、解析が難解な障害がそもそも起こらないようにするという考え方もある。ただしこれを実現するためには、ハードウェアに大幅な機能追加をする必要があり、また汎用的な部品を使うこともできなくなるため、情報処理装置の開発、製造コストが増大するという欠点がある。
【０００７】
本発明は上記の問題を解決するために発案されたものである。すなわち、情報処理装置で採取したログからだけでは障害部位を一部品に絞ることできないような難解な障害が発生した場合に、過去の障害履歴を参照し、交換すべき部品の優先順位を精度良く決定するための情報処理装置に内蔵される管理プロセッサの障害解析機能である。本発明を用いることで、難解な障害が発生した場合においても被疑部の指摘精度が上がり、ダウンタイムを極小化することができる。また、既存のハードウェアに大幅な変更を加えることなく、ソフトウェアレベルで実装できるため、低コストで既存の装置に機能追加できるという優位点を持つ。
【課題を解決するための手段】
【０００８】
情報処理装置に内蔵され、前期情報処理装置および装置内の各部品の状態等を管理する管理プロセッサにおいて、(1)管理プロセッサは過去に発生した障害履歴と障害ログから解析された不良が発生した被疑部をデータベースに記録する機能を有し、(2)当該装置で障害が発生し、解析の結果複数の部品が指摘された場合には、過去の障害発生率から指摘された部品が被疑部である可能性を数値化する機能を有し、(3)前記情報処理装置において同一の障害が過去発生している場合には、その同一の障害履歴のみを抽出し、優先順位の判定を行うことができる機能を有する。また、優先順位をより精度高くするための機能として、(4)前記データベースをエクスポートおよびインポートする機能を備え、また、(5)前記データベースに記録されている障害発生率は過去に遡り補正することができる機能を備える。
【発明の効果】
【０００９】
本発明の機能を用いることで、情報処理装置において障害部位を一部品に絞ることできないような難解な障害が発生した場合においても、精度の高い優先順位をもとに交換作業を実施できるため、作業時間つまり情報処理装置のダウンタイムを極小化することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の機能が搭載される一般的な情報処理装置の機能ブロック図。
【図２】本発明の機能が搭載される一般的な情報処理装置に内蔵されている部品の管理や障害の解析を行う管理プロセッサおよび管理プロセッサと各部品を繋ぐ管理ネットワークのブロック図。
【図３】本発明の機能が搭載される一般的な情報処理装置において障害が発生した場合における管理プロセッサの処理フロー図。
【図４】障害履歴データベース例その１。
【図５】障害履歴データベース例その２。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。
【００１２】
図１は、本発明の障害解析機能が搭載される一般的な情報処理装置のブロック図である。１０３はCPUであり、このCPUに１０２のメモリボードと１０４のシステムボードが接続される。１０４のメモリボードにはメモリモジュール１０１が複数搭載されている。また１０４のシステムボードにも１０５のPCIカードが複数搭載されている。
【００１３】
図２は前記情報処理装置に搭載されている部品の管理ネットワークのブロック図を示したものである。２０１から２０５の各部品は管理ネットワーク２０７を介しての管理プロセッサ２０６と接続されている。障害が発生した場合には、管理プロセッサが障害解析を行うために管理ネットワーク経由で部品の状態情報やハードウェアログ等の情報を取得する。収集したログと解析結果等の情報を保存するために管理プロセッサに情報記録装置２０８が接続されている。
このような管理プロセッサを有する情報処理装置において、障害が発生した場合の管理プロセッサの処理全体をフローチャートで図３に示す。Ｓ３０１で発生したエラーを管理プロセッサが検出または管理プロセッサに報告が上がると、まず初めにＳ３０２で管理プロセッサが障害解析用にエラーログと各部品の状態情報の収集を行う。情報を収集後、Ｓ３０３で収集したログから管理プロセッサが障害解析を行い、障害の内容を示す障害コードを生成する。次にフローＳ３０４では、前記の障害コードから不良部位が１つに特定されたかどうかを判断する。不良部品が複数指摘されている場合には、次のフローＳ３０５でそれらの不良部品に対し優先順位をつける。例えば、Ｓ３０３でCPU、メモリ、メモリボードの3部品が指摘された場合には、Ｓ３０５でそれら部品の過去の障害履歴データベースを参照し3部品の優先順位を決める。障害履歴データベースの内容と更新方法および障害履歴データベースを使った優先順位の決定方法については後述する。次のフローＳ３０６では、障害部品のエラー回復処理が可能な場合にエラー回復処理を行う。ここで言うエラー回復処理とは例えば複数のCPUコアが合った場合に障害が発生したCPUコアを停止させる等の装置を縮退運転させるための処理を示す。次のフローＳ３０７において、Ｓ３０２で収集したエラーログを管理プロセッサに接続された情報記録装置に保存する。また、次のフローＳ３０８ではＳ３０６で計算した優先順位の情報を障害履歴データベースに反映する。Ｓ３０９からＳ３１０は実際に保守作業者がＳ３０５で算出された優先順位に従い部品を交換する作業である。このＳ３０９からＳ３１０の作業で被疑部が１つに特定できた場合には、Ｓ３１１で障害履歴データベースを再度更新する。
【００１４】
前記障害履歴データベースの例を図４に示す。縦軸の４０７から４１０が障害毎に記録される障害レコードである。障害が１回発生した場合に、１レコード取られる。４０１は障害レコード毎の通し番号を示すID番号、４０２は障害の内容を示す障害コードである。ここで障害コードは16進数4桁の文字列であり、障害の内容を一意に表すコードである。この障害コードに対して１つまたは複数の被疑部が予め設定されている。また、複数の被疑部が設定されている障害コードには、初期値としての部品交換の優先順位も予め設定されている。４０３、４０４、４０５、４０６には各部品の被疑部の確率が記録される。この例では、ID1,2,3と過去3回障害が発生している。４０７に示すID1の障害では管理プロセッサの解析の結果、不良部品はPCIボードのみと判断され、当該部品が被疑部である確率は1となる。ID2の障害では不良部品はCPU、メモリ、システムボードの3部品があり、1部品に特定できないため、被疑部の確率を3等分し、それぞれ被疑部の確率を1/3とする。同様に４０９では、2部品が被疑部として指摘されているため、それぞれ被疑部の確率を1/2として記録される。
【００１５】
複数の部品が指摘される障害が発生した場合には、顧客先において部品交換をする過程や、後日その障害部品を使っての障害調査等により、複数指摘された被疑部の中から真の被疑部を特定できることがある。本発明は、そのように後日被疑部が特定された場合に、過去に記録された障害履歴データベースを補正する補正レコードを追加できる機能を備える。この補正レコードは保守作業者等により管理プロセッサ経由で補正する。例えば、図４において、ID2’はID2で記録されている被疑部の確率を補正するために障害発生後に入力された補正レコードである。ID2発生後の切り分けにより、被疑部が3部品からメモリ1部品に特定できたため、メモリの被疑部確率のID2とID2’の合計値が1になるように、そしてそれ以外のCPUとシステムボードの被疑部確率のID2とID2’の合計値が0になるように、ID2’のレコードを追加している。このように、過去に遡り被疑部確率を補正することにより、より精度の高い優先順位付けを行うことができるようになる。
【００１６】
ここで、障害履歴データベース例の図４において、４１１と４１２と４１３は優先順位を計算するために内部で一時的に使用されるデータである。４１１はその部品で過去に発生した障害における被疑部の確率の合計を示す。つまり例えばCPUの場合には、合計は1/3-1/3+1/2=0.5 となる。この合計0.5は過去の障害回数3回の合計であるため、障害１回あたりの被疑部の確率、つまり被疑部確率の平均は、４１２に示した 0.5/3=0.2 となる。４１３で算出した値は、平準化された被疑部確率の平均を示す。もし障害がランダムに発生し、その被疑部が、該当装置に搭載されているn個の部品の中から、無作為に選ばれるとすると、１レコード当たりに１部品が取りうる被疑部の確率の期待値は1/nとなる。つまり、逆数のnを被疑部の確率に乗じることで、被疑部の確率を1に平準化することができる。より一般的に言えば、被疑部確率の合計をF、過去の障害件数がi回、装置に搭載されている部品数がn個とすると、Fn/iが４１３の値である。このように平準化された値は、部品数と過去の障害件数に依存しない１を中心とした値となるため扱いやすく、他の装置等とのデータ比較も容易に行うことができるようになる。以降、この平準化された被疑部確率の平均を被疑部率と呼ぶ。
【００１７】
管理プロセッサはこのように計算された被疑部率を用いて交換部品の優先順位を付ける。図２ではメモリの被疑部率が2.0となっており、他の部品と比べて大きな値となっており、過去頻繁に障害が発生していることが定量的にわかる。
【００１８】
次に障害履歴データベースの更新処理について、上述した障害時のフローチャートである図３と障害履歴データベース例である図４を元に説明する。まず障害履歴データベース図４のID1の更新処理について説明する。この障害は図３のＳ３０３で被疑部がシステムボード１つに特定できる場合であり、Ｓ３０４でYesに分岐する。その後Ｓ３０８で障害履歴データベースにID1としてレコードが追加される。次にＳ３０９とＳ３１０で実際にシステムボードの交換と動作確認を行う。この時、被疑部がシステムボード以外であった場合には、次のＳ３１１で障害履歴データベースを更新する。
【００１９】
次に障害履歴データベース図４のID2およびID2’の更新処理について説明する。この障害が発生した場合には、Ｓ３０４でNoに分岐する。次のＳ３０５で障害履歴データベースを参照するが、過去に同一の障害コードを持つ障害がまだ発生していないため、ここでは、ID2の障害コード0x0b73に予め設定された初期値に基づき部品交換の優先順位が決定される。次にＳ３０８にて障害履歴データベースへID2のレコードが追加される。ここではまだ真の被疑部が判明していないため、CPU,メモリ,システムボードの被疑部率は1/3となる。続くフローＳ３０９からＳ３１０で実際に優先度の高い順に部品の交換を行う。この例では、メモリが真の被疑部であるため、メモリを交換した後のＳ３１０の動作確認が合格となる。このようにフローＳ３０９からＳ３１０の中で真の被疑部が特定できた場合には、Ｓ３１１でID2’の補正レコードを障害履歴データベースに追加する。
【００２０】
次のID3では、ID2と同様に被疑部が１つに特定できない障害であるが、フローＳ３０９からＳ３１０で真の被疑部が特定できないケースであり、この場合には、Ｓ３１１では障害履歴データベースの更新は行われない。例えば障害が偶発的な障害である場合や推定される被疑部全てを同時に交換した場合などにこのようなケースが発生する。このようなケースで、後日交換した部品の調査を行い、その結果、真の被疑部が判断できた場合には、後日ID3’として補正レコードを追加することも可能である。
【００２１】
次に本発明を用いた別の実施例を説明する。本発明による管理プロセッサは過去に同じ障害が発生している場合には、その障害レコードの被疑部確率のみを参照し、被疑部確率の合計を求める機能を持つ。以下この機能を図５の障害履歴データベースを元に説明する。図５の障害履歴データベースを持つ情報処理装置では過去7回の障害５０７から５１６が発生している。ID4,6,7は障害内容がいずれも0x0b73であるため同一の障害である。ここで、障害コード0x0b73は被疑部を1部品に特定することが出来ない障害例であり、被疑部はCPU、メモリ、システムボードの3部品である。また、障害コード0x0b73の交換順序の優先順位の初期値はCPU、システムボード、メモリの順である。さらに、ID4,6,7は後日の調査によりID4,6ではメモリが、ID7ではシステムボードが不良と判明したため、ID4’,6’,7’によってデータが補正されている。
【００２２】
このような障害履歴を持つ情報処理装置において、例えばID4,6,7と同じ障害内容0x0b73を持つ障害が次に再度発生した場合には、管理プロセッサはID4,6,7および補正レコードであるID4’,6’,7’の8つのレコードのみを取り出し、それらのレコードのみで被疑部率を計算する機能を持つ。５１７が障害内容0x0b73のみレコードで計算した被疑部確率の合計で、障害内容0x0b73のみレコードで計算した５１８が被疑部確率の平均、さらに５１９が障害内容0x0b73のみレコードで計算した被疑部率となる。したがって、障害コード0x0b73の交換順序の優先順位の初期値は元々CPU、システムボード、メモリの順であったが、この場合の優先順位はメモリ、システムボード、CPUの順に変更となり、過去の経験に基づいたより正確な優先順位付けを行うことができる。また、単純に全ての被疑部確率の合計値を計算した場合には、CPUが過去最も障害が発生しているため、CPUの優先順位が最も高くなるが、このように、過去に発生した同じ障害内容の障害レコードを取り出すことで、さらに精度を上げることができる。
【００２３】
本発明で利用している障害履歴データベースは、その特性上、図５に示したように過去に同一の障害が発生している場合に、最も精度良く優先順位を付けることができる。したがって、優先順位の精度は過去の障害履歴数およびバリエーションに依存し、該当装置でまだ障害が数回しか行っていない場合の優先順位の精度は低くなる。このような弱点を補うために、本発明の管理プロセッサは、障害履歴データベースをエクスポートおよびインポートする機能を備える。エクスポート機能で出力されるデータおよびインポート機能で入力に使用されるデータは該当装置に内蔵された外部記録装置または管理プロセッサに接続された外部記憶装置等に入出力することができる。エクスポート機能で出力されるレコードは、例えば図５の障害履歴データベースだと、内部計算用として使用する５１７、５１８、５１９のデータを除く全てのレコードが対象となる。一方、データをインポートした場合には、該当装置の障害履歴データベースの末尾に、上述の通りエクスポートされたレコードが追加される。このようなエクスポートおよびインポート機能を使うことで、他装置であっても同一のモデルつまり同じ部品構成の装置であれば、障害履歴データベースを該当装置にインポートして使用することができるので、該当装置で過去に発生した障害数に関係なく、障害履歴数およびバリエーションを増やすことができる。このようなデータベースの収集および反映は、例えば保守会社が装置の定期的なメンテナンスの一連の作業として、装置に記録されている障害履歴データベースのエクスポートとインポートを行うことで、効率的に実施することができる。
【符号の説明】
【００２４】
１０１…メモリ、１０２…メモリボード、１０３…CPU、１０４…システムボード、１０５…PCIボード、２０１…CPU、２０２…メモリボード、２０３…メモリ、２０４…システムボード、２０５…PCIボード、２０６…管理プロセッサ、２０７…管理ネットワーク、２０８…情報記録装置、４０１…障害レコードを識別するID、４０２…障害内容を示すコード、４０３…CPUの被疑部の確率、４０４…メモリの被疑部の確率、４０５…システムボードの被疑部の確率、４０６…PCIボードの被疑部の確率、４０７…障害レコード、４０８…障害レコード、４０９…障害レコード、４１０…障害レコード、４１１…被疑部確率の合計、４１２…被疑部確率の平均、４１３…平準化された被疑部確率の平均、５０１…障害レコードを識別するID、５０２…障害内容を示すコード、５０３…CPUの被疑部の確率、５０４…メモリの被疑部の確率、５０５…システムボードの被疑部の確率、５０６…PCIボードの被疑部の確率、５０７…障害レコード、５０８…障害レコード、５０９…障害レコード、５１０…障害レコード、５１１…障害レコード、５１２…障害レコード、５１３…障害レコード、５１４…障害レコード、５１５…障害レコード、５１６…障害レコード、５１７…障害内容0x0b73のみの被疑部確率の合計、５１８…障害内容0x0b73のみの被疑部確率の平均、５１９…障害内容0x0b73のみの平準化された被疑部確率の平均。
【図１】
2012103998.tif 000003
【図２】
2012103998.tif 000004
【図３】
2012103998.tif 000005
【図４】
2012103998.tif 000006
【図５】
2012103998.tif 000007