(57)【要約】【課題】コンピュータシステムにおけるハードウェアやソフトウェア等の性能評価に際し、性能評価項目数を削減すること。【解決手段】性能評価対象のリソースを登録するリソース登録部１と、登録されたリソースの過負荷状態を登録する過負荷状態登録部２と、性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録するジョブ登録部３と、性能評価項目を選択する基準となるリソースを指定するリソース指定部４と、ジョブの組み合わせ数の最大値を指定する組み合わせ数指定部６と、ジョブの組み合わせを作成し、リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択する過負荷状態ジョブ選択部５と、選択された過負荷状態ジョブに基づいて性能評価対象の性能評価項目を決定する性能評価項目生成部８とを具備したことを特徴とする性能評価項目生成装置。【選択図】　図１
2004118628.tif 000002
【特許請求の範囲】
【請求項１】
性能評価対象のリソースを登録するリソース登録部と、
登録された前記リソースの過負荷状態を登録する過負荷状態登録部と、
前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録するジョブ登録部と、
前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定するリソース指定部と、
前記ジョブの組み合わせ数の最大値を指定する組み合わせ数指定部と、
登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択する過負荷状態ジョブ選択部と、
選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定する性能評価項目生成部と
を具備したことを特徴とする性能評価項目生成装置。
【請求項２】
前記過負荷状態ジョブ選択部において、前記ジョブの組み合わせを作成する際、既に過負荷状態ジョブとして選択されているジョブが含まれる組み合わせは除外されるようにすることを特徴とする請求項１記載の性能評価項目生成装置。
【請求項３】
評価対象とするジョブを登録する評価対象ジョブ登録部をさらに備え、
前記性能評価項目生成部は、前記過負荷状態ジョブ選択部において選択された前記過負荷状態ジョブと前記評価対象とするジョブとの組み合わせに基づいて前記性能評価項目を決定することを特徴とする請求項１又は２のいずれか一項に記載の性能評価項目生成装置。
【請求項４】
性能評価対象のリソースを登録するステップと、
登録された前記リソースの過負荷状態を登録するステップと、
前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録するステップと、
前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定するステップと、
前記ジョブの組み合わせ数の最大値を指定するステップと、
登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択するステップと、
選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定するステップと
を具備したことを特徴とする性能評価項目生成方法。
【請求項５】
前記過負荷状態ジョブを選択するステップにおいて、前記ジョブの組み合わせを作成する際、既に過負荷状態ジョブとして選択されているジョブが含まれる組み合わせは除外されるようにすることを特徴とする請求項４記載の性能評価項目生成方法。
【請求項６】
評価対象とするジョブを登録するステップをさらに備え、
前記性能評価項目を決定するステップは、前記過負荷状態ジョブを選択するステップにおいて選択された前記過負荷状態ジョブと前記評価対象とするジョブとの組み合わせに基づいて前記性能評価項目を決定することを特徴とする請求項４又は５のいずれか一項に記載の性能評価項目生成方法。
【請求項７】
性能評価対象のリソースを登録する機能と、
登録された前記リソースの過負荷状態を登録する機能と、
前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録する機能と、
前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定する機能と、
前記ジョブの組み合わせ数の最大値を指定する機能と、
登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択する機能と、
選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定する機能と
をコンピュータを用いて実現するようにしたことを特徴とする性能評価項目生成プログラム。
【請求項８】
前記過負荷状態ジョブを選択する機能において、前記ジョブの組み合わせを作成する際、既に過負荷状態ジョブとして選択されているジョブが含まれる組み合わせは除外されるようにすることを特徴とする請求項７記載の性能評価項目生成プログラム。
【請求項９】
評価対象とするジョブを登録する機能をさらに備え、
前記性能評価項目を決定する機能は、前記過負荷状態ジョブを選択する機能において選択された前記過負荷状態ジョブと前記評価対象とするジョブとの組み合わせに基づいて前記性能評価項目を決定することを特徴とする請求項７又は８のいずれか一項に記載の性能評価項目生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータシステムにおけるハードウェエアやソフトウェア等の性能評価項目を自動的に生成することが可能な性能評価項目生成方法及び装置に関する。
【０００２】
【従来の技術】
コンピュータシステムにおけるハードウェアやソフトウェア等の性能評価においては、その対象が持つ各機能の限界性能を測定するとともに、様々な利用条件下においても最低限の性能を維持することを保証する必要がある。
【０００３】
これまで、特定の条件でのみ発生する性能上の問題を見つけ出すために、数多くの評価項目を作成、評価しており、多大な工数を必要としていた。
【０００４】
これに対し、評価項目数を削減するために、実験計画法などを用いて性能測定条件を選択・削減し、性能測定を行っている。しかしながら、性能評価項目にかかる状態と機能（およびオプション）、あるいは機能同士の組み合わせの数は膨大となり、大幅な性能評価項目の絞り込みが必要とされている。
【０００５】
一方、システムの性能低下の原因を評価するに際し、その性能低下を監視する複数の項目からその原因と思われる項目を推定するための手法が提案されている（特開平３−２５９７１７号公報参照）。しかしながら、これはあくまで監視結果に基づく原因項目の推定であり、後述するように問題が発生する可能性がある状況を限定して性能評価項目を決定する本発明ようなプロセスには単純に適用することができない。
【０００６】
【特許文献１】
特開平３−２５９７１７号公報（第２−３頁、第６図）
【０００７】
【発明が解決しようとする課題】
本発明は、上記の事情に鑑みてなされたもので、性能上の問題が発生する可能性のある状況に限定して性能評価項目を自動的に決定することが可能な性能評価項目生成方法、装置及びプログラムを提供することにより、コンピュータシステムにおけるハードウェアやソフトウェア等の性能評価に際し、性能評価項目数を削減することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明では、性能評価対象のリソースを登録するリソース登録部と、登録された前記リソースの過負荷状態を登録する過負荷状態登録部と、前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録するジョブ登録部と、前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定するリソース指定部と、前記ジョブの組み合わせ数の最大値を指定する組み合わせ数指定部と、登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択する過負荷状態ジョブ選択部と、選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定する性能評価項目生成部とを具備したことを特徴とする性能評価項目生成装置を提供する。
【０００９】
また、本発明では、性能評価対象のリソースを登録するステップと、登録された前記リソースの過負荷状態を登録するステップと、前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録するステップと、前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定するステップと、前記ジョブの組み合わせ数の最大値を指定するステップと、登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択するステップと、選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定するステップとを具備したことを特徴とする性能評価項目生成方法を提供する。
【００１０】
さらに、本発明では、性能評価対象のリソースを登録する機能と、登録された前記リソースの過負荷状態を登録する機能と、前記性能評価対象で実行可能なジョブ及び該ジョブが使用するリソース量を登録する機能と、前記性能評価対象に関する性能評価項目を選択する基準となる前記リソースを指定する機能と、前記ジョブの組み合わせ数の最大値を指定する機能と、登録された前記ジョブ及び指定された前記組み合わせ数の最大値に基づいて前記ジョブの組み合わせを作成し、該ジョブ及び該ジョブの組み合わせのそれぞれについて、登録された前記過負荷状態及び該ジョブが使用する前記リソース量に基づいて前記リソースが該過負荷状態にあるか否かを判定することにより過負荷状態ジョブを選択する機能と、選択された前記過負荷状態ジョブに基づいて前記性能評価対象の性能評価項目を決定する機能とをコンピュータを用いて実現するようにしたことを特徴とする性能評価項目生成プログラムを提供する。
【００１１】
【発明の実施の形態】
本発明の実施の形態について、図面を参照しつつ詳細に説明する。
まず、本発明にかかる性能評価項目生成装置の概略について説明する。図１は、本発明にかかる性能評価項目生成装置の概略を示す機能ブロック図である。なお、ここでは、性能項目生成装置について機能ブロック図を用いて説明するが、これら各ブロックに相当する機能は、ソフトウェア（プログラム）によりコンピュータのハードウェア資源を用いて実現してもかまわない。
【００１２】
本装置は、リソース登録部１、過負荷状態定義部２、ジョブ登録部３、リソース指定部４、過負荷状態ジョブ選択部５、組み合わせ数指定部６、過負荷状態ジョブ記録用データベース７、評価対象ジョブ登録部８、及び評価項目生成部９を具備している。各機能部について、実際の性能評価項目生成の手順に沿って説明する。
【００１３】
図２は、本発明の第１の実施形態にかかる性能評価項目生成方法の手順を示すフローチャートである。本実施形態では、過負荷状態を作り出すジョブの組み合わせのうち、他の組み合わせで既に用いられた組み合わせを除外したものを選び出すことを特徴とした性能評価項目生成方法を示している。
【００１４】
まず、リソース登録部１においてリソース登録を行なう（ステップ１０）。ここで、登録されるリソースは、性能評価の対象となるシステムにおいて過負荷状態が発生する可能性があり、かつそれを測定可能なものである。リソースの登録はユーザが図示しない入力手段により行なってもよいし、あらかじめ図示しないデータベース等に記録されている登録情報を選択的に用いてもよい。本実施形態では、コンピュータのハードウェアにおける性能評価を例に説明する。ここでは、上記リソースとしてＣＰＵ使用率（以下「ＣＰＵ」と略記する）、メモリ使用率（以下「Ｍｅｍｏｒｙ」と略記する）、ＨＤＤアクセス頻度（以下「ＨＤＤ」と略記する）の３つが登録されることとする。
【００１５】
次に、過負荷状態登録部２において、各リソースの過負荷状態を登録する（ステップ１１）。過負荷状態の登録も、ユーザが図示しない入力手段により行なってもよいし、あらかじめ図示しないデータベース等に記録されている登録情報を選択的に用いてもよい。過負荷状態登録部２では、リソース登録部１において登録されたリソース情報を参照し、登録された過負荷状態に対応するリソースが存在することを確認する作業も行なう。
【００１６】
本実施形態では、図３に示すように、過負荷状態としてＣＰＵは９０、Ｍｅｍｏｒｙは９５、ＨＤＤは８０がそれぞれ登録されることとする。
【００１７】
次に、ジョブ登録部３において、性能評価対象システムに対して投入できるジョブを登録する（ステップ１２）。ユーザは、登録時に各ジョブが使用するリソース量を決定し、その登録を行なう。本実施形態では、図４に示すように５つのジョブについて登録を行なうことにする。例えば、ジョブ１はファイルのコピーに関するもので、このジョブが使用するリソースの量は、ＣＰＵが２０、Ｍｅｍｏｒｙが６０、ＨＤＤが７０である。
【００１８】
次に、リソース指定部４において、後述する過負荷状態ジョブ選択部５でその過負荷状態が判定されるリソースを、リソース登録部１で登録された情報に基づいて指定する（ステップ１３）。本実施形態では、ＣＰＵ、Ｍｅｍｏｒｙ、ＨＤＤの全てのリソースが選択される。なお、性能評価の要求に応じて、かかるリソースのうちいずれかを選択的に指定してもよい。
【００１９】
次に、組み合わせ数指定部６において登録されたジョブの組み合わせ数の最大値を指定する（ステップ１４）。本実施形態では、例えば３を指定する。従って、今回対象として用いられるジョブの組み合わせ数は１，２，または３ということになる。
【００２０】
次に、過負荷状態ジョブ選択部５において、登録されたジョブに関して、リソース指定部４で指定されたリソースの過負荷状態の判定並びに過負荷状態ジョブの選択を行なう。その際、上記組み合わせ数指定部６で指定されたジョブの組み合わせパターンに基づいて、過負荷状態の判定が行なわれる。以下、ジョブの組み合わせ並びに過負荷状態の判定を本実施形態の例で説明する。
【００２１】
まず、ジョブ数が１の場合は、ジョブ登録部３に登録されたジョブを順番に調査する。本例では、「ジョブ２」のＣＰＵが９０で、過負荷状態である９０以上に該当するため、単独で過負荷状態ジョブとして選択される。
次に、ジョブ数が２の場合は、ジョブ登録部３に登録されたジョブのうち、２つのジョブの組み合わせを調査する。そして、かかるジョブの組み合わせの中から過負荷状態を満たすジョブの組み合わせを探す。ただし、「ジョブ２」は既に単独で過負荷状態ジョブとして選択されていることから、これを含む組み合わせは上記組み合わせから除外する。その結果、本例では、「ジョブ１」と「ジョブ３」とを組み合わせたときにＭｅｍｏｒｙへの負荷が合計１１０となり、過負荷状態である９５以上に該当するため、「ジョブ１とジョブ３の組み合わせ」が過負荷状態ジョブとして選択される。さらに、「ジョブ１」と「ジョブ５」とを組み合わせたときＨＤＤへの負荷が合計１００となり、過負荷状態である８０以上に該当するため、「ジョブ１とジョブ５の組み合わせ」が過負荷状態ジョブとして選択される。
【００２２】
次に、ジョブ数が３の場合は、ジョブ登録部３に登録されたジョブのうち、３つのジョブの組み合わせを調査する。そして、かかるジョブの組み合わせの中から過負荷状態を満たすジョブの組み合わせを探す。ただし、「ジョブ２」、「ジョブ１とジョブ３の組み合わせ」、及び「ジョブ１とジョブ５の組み合わせ」は既に過負荷状態ジョブとして選択されていることから、ジョブ１，２，３，５を含む組み合わせは上記組み合わせから除外する。その結果、「ジョブ３」、「ジョブ４」及び「ジョブ５」を組み合わせたときＣＰＵへの負荷が合計１００となり、過負荷状態である９０以上に該当するため、「ジョブ３、ジョブ４、及びジョブ５の組み合わせ」が過負荷状態ジョブとして選択される。
【００２３】
以上の手順の概略をまとめると、図５に示すフローチャートのようになる。まず、ジョブ組み合わせ数指定部の情報に基づいてジョブの組み合わせを作成する（ステップ３０）。
【００２４】
続いてジョブの組み合わせが既に過負荷状態ジョブとして登録済の組み合わせを含むかどうかを確認する（ステップ３１）。作成されたジョブの組み合わせについて、過負荷状態を満たすかどうか判定する（ステップ３２）。過負荷状態であると反対された場合は過負荷状態ジョブとして登録する（ステップ３３）。かかる処理は、新たなジョブの組み合わせが作れなくなるまで繰り返される（ステップ３４）。
【００２５】
そして、過負荷状態ジョブと判定されたジョブ並びにその組み合わせは、図１に示す過負荷状態ジョブデータベース７に登録されるとともに、性能評価項目生成部８において評価項目として決定される（図２のステップ１６）。
このようにして求められた評価項目は例えば図６に示すように評価項目一覧として登録されるとともに、必要に応じて表示装置や出力装置に提示される。
なお，選択された性能評価項目に関する評価においては、過負荷状態として選択されたジョブに対して、各ジョブで測定すべき性能指標（処理時間、処理の遅れ、応答時間、など）が測定されることになる。
【００２６】
次に、本発明の第２の実施形態について説明する。本実施形態では、上記第１の実施形態で示した手法により過負荷状態を作り出すジョブの組み合わせを選びだした後に、さらに評価対象とすべきジョブを別途加えることを特徴とした性能評価項目生成方法を示している。
【００２７】
図７は、本発明の第２の実施形態にかかる性能評価項目生成方法の手順を示すフローチャートである。ここで、ステップ２０からステップ２６までは、図２で示した本発明の第１の実施形態にかかる性能評価項目生成方法のステップ１０からステップ２０までと同様であるため、詳細な説明は省略する。
【００２８】
ここでは、ステップ２５に示される過負荷ジョブ選択が終了した状態で、図１に示す評価対象ジョブ登録部９において、新たな評価対象ジョブを登録する（ステップ２６）。ここでは、例えば図８に示すように、評価対象ジョブ１として「ファイル削除」を、その評価項目として「処理時間」を追加する。また、評価対象ジョブ２として「ゲーム起動」を、その評価項目として「起動時間」を登録する。
【００２９】
このように新たに登録された評価対象ジョブと既に過負荷状態ジョブとして登録されているジョブとの更なる組み合わせを、上記した第１の実施形態と同様の手法で行なう（図５参照）。そして、新たに選択された過負荷状態ジョブの組み合わせに基づいて、性能評価項目生成部８において評価項目が決定される（ステップ２７）。その結果、生成された評価項目を図９に示す。
【００３０】
【発明の効果】
以上説明したように、本発明では、性能上の問題が発生する可能性のある状況に限定して性能評価項目を自動的に決定することが可能となった。
【図面の簡単な説明】
【図１】本発明にかかる性能評価項目生成装置の概略を示す機能ブロック図。
【図２】本発明の第１の実施形態にかかる性能評価項目生成方法の手順を示すフローチャート。
【図３】本発明の第１の実施形態における各リソースの過負荷状態を示すリスト。
【図４】本発明の第１の実施形態におけるジョブ及びジョブが使用するリソースの量を示すリスト。
【図５】過負荷状態ジョブを選択する手順の概略を示すフローチャート。
【図６】本発明の第１の実施形態における評価項目一覧を示すリスト。
【図７】本発明の第２の実施形態にかかる性能評価項目生成方法の手順を示すフローチャート。
【図８】本発明の第１の実施形態における評価対象ジョブを示すリスト。
【図９】本発明の第１の実施形態における評価項目一覧を示すリスト。
【符号の説明】
１　リソース登録部
２　過負荷状態登録部
３　ジョブ登録部
４　リソース指定部
５　過負荷状態ジョブ選択部
６　組み合わせ数指定部
７　過負荷状態ジョブデータベース
８　性能評価項目生成部
９　評価対象ジョブ登録部
【図１】
2004118628.tif 000003
【図２】
2004118628.tif 000004
【図３】
2004118628.tif 000005
【図４】
2004118628.tif 000006
【図５】
2004118628.tif 000007
【図６】
2004118628.tif 000008
【図７】
2004118628.tif 000009
【図８】
2004118628.tif 000010
【図９】
2004118628.tif 000011