(57)【要約】【課題】限られた資源内で重要性の高い測定をより多く行うことができること。【解決手段】対象のシステムの機器に対し、処理時間の資源制約内で、測定パラメータＸを変化させた複数の測定を行う際、測定毎に測定項目の重要性を示す有効性指標値を算出する。有効性指標値は、測定実行毎に動的に変化し、有効性指標値が最も高い順に測定実行することで重要性が高い測定項目による測定を残資源内でできるだけ実行させる。この際、基準の有効性指標値「１０」以下の測定項目の測定パラメータＸ＝２００，４００での測定を実行しない。【選択図】図１６Ｂ
2020191015.tif 000002
【特許請求の範囲】
【請求項１】
対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定ステップ、
特定した前記測定項目から順に測定を実行する測定実行ステップ、
前記測定実行後の前記残資源を算出する残資源算出ステップ、
の処理をコンピュータに実行させることを特徴とする性能測定支援プログラム。
【請求項２】
前記指標として、測定コマンドのパラメータの値が取り得る各状態に対応した指標値の一覧を予め設定するステップを含み、
前記特定ステップでは、前記測定項目の測定実行後の前記パラメータの値が取る前記指標値に対応する重要性が最も高い前記測定項目を特定し、
前記測定実行ステップでは、前記測定項目に対応する、単一の測定コマンドに所定のパラメータを与えて測定実行する、
ことを特徴とする請求項１に記載の性能測定支援プログラム。
【請求項３】
前記特定ステップでは、前記測定項目の測定実行後の前記パラメータの値が取る前記指標値が、所定の指標値よりも小さい場合、当該測定項目による測定を未実行とする、
ことを特徴とする請求項２に記載の性能測定支援プログラム。
【請求項４】
前記特定ステップでは、未実行の全測定項目で前記指標を算出し、
未実行の全測定項目が使用する前記資源を見積もり、
使用する資源が残資源内で前記重要性が高い前記指標の測定項目の集合を特定し、
前記測定実行ステップでは、複数の測定項目に対応し、単一の測定コマンドの前記パラメータの値を変え、前記残資源内で実行可能な前記測定項目の集合のうち最も重要性が高い前記測定項目による測定を実行する、
ことを複数の測定項目で繰り返し行うことを特徴とする請求項３に記載の性能測定支援プログラム。
【請求項５】
前記測定実行ステップでは、前記残資源内で未実行の前記測定項目がある場合、当該未実行の前記測定項目による測定結果を、測定済みの前記測定項目の測定結果に基づき補完する、
ことを特徴とする請求項１〜４のいずれか一つに記載の性能測定支援プログラム。
【請求項６】
対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定ステップ、
特定した前記測定項目から順に測定を実行する測定実行ステップ、
前記測定実行後の前記残資源を算出する残資源算出ステップ、
の処理をコンピュータが実行することを特徴とする性能測定支援方法。
【請求項７】
対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定部と、
特定した前記測定項目から順に測定を実行する実行部と、
前記測定実行後の前記残資源を算出する残資源算出部と、
を備えたことを特徴とする性能測定支援装置。
【請求項８】
前記測定項目および前記資源の情報が入力され、前記実行部による測定結果を出力する外部端末と、
ネットワークを介して前記測定項目の測定コマンドを送信し、測定結果を受信する、前記対象のシステムの対象機器と、
が接続されることを特徴とする請求項７に記載の性能測定支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システムの性能測定を支援する性能測定支援プログラム、性能測定支援方法および性能測定支援装置に関する。
【背景技術】
【０００２】
システムの時間性能や必要資源の把握のために、システムのリリースに先立って性能測定作業が行われている。例えば、Ｎ台のノード（管理対象となるサーバや機器）からなるシステムを管理する運用管理システムがシステムの性能測定を行う。
【０００３】
この性能測定作業では、運用管理システムは、各種パラメータを変動させて性能測定にかかる所要時間、必要資源を計測する。資源は、時間、ホスト、ホストレンタル課金等であり、性能測定では、時間上の制約（例えば、７２時間以内に作業終了）、課金（例えば、商用クラウド利用にあたり１００万円以内のコストで行う）等の制約が生じる。
【０００４】
性能測定に関連する技術として、時系列の順次テストを実行し、前回のテスト結果と比較して変化を算出し、所定の効果が得られないテストのパラメータを変更する技術が開示されている（例えば、下記特許文献１参照。）。また、性能評価対象のジョブの組み合わせを作成し、組み合わせたジョブによるリソースの過負荷状態に基づいて性能評価項目を決定する技術が開示されている（例えば、下記特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／０１８３７６号
【特許文献２】特開２００４−１１８６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年のシステムは複雑になり、パラメータ数や動作環境の増加等で性能を把握する作業が長期化しやすい。また、普及している商用クラウドは利用料が高額となっている。このような事情を有する上で従来のシステムの性能測定では、低コスト（短時間、省資源）で性能測定作業を実行することができなかった。
【０００７】
従来技術では、事前に性能測定の計画を立てても、所要時間や必要資源は未確定であるため、計画通りに性能測定を終了できなかった。この性能測定では、複数のパラメータ別の測定の実行順番が適切でない場合、例えば、重要なパラメータの測定が最後になってしまい、時間切れや予算切れ等により、測定できずに終わってしまうおそれを有している。
【０００８】
一つの側面では、本発明は、限られた資源内で重要性の高い測定をより多く行うことができることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定ステップ、特定した前記測定項目から順に測定を実行する測定実行ステップ、前記測定実行後の前記残資源を算出する残資源算出ステップ、の処理をコンピュータに実行させることを要件とする。
【発明の効果】
【００１０】
本発明の一態様によれば、限られた資源内で重要性の高い測定をより多く行うことができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明による性能測定支援処理の概要を説明する図である。
【図２】図２は、実施の形態にかかる性能測定支援装置の適用例を示す図である。
【図３】図３は、一般的な性能測定状態を説明する図表である。
【図４Ａ】図４Ａは、実施の形態にかかる性能測定支援装置の機能を示すブロック図である。
【図４Ｂ】図４Ｂは、実施の形態にかかる性能測定支援装置のハードウェア構成例を示す図である。
【図５】図５は、実施の形態にかかる性能測定支援装置が扱う測定セットの具体例を示す図である。
【図６Ａ】図６Ａは、実施の形態にかかる性能測定支援装置が扱う測定セットの情報の具体例を示す図である。（その１）
【図６Ｂ】図６Ｂは、実施の形態にかかる性能測定支援装置が扱う測定セットの情報の具体例を示す図である。（その２）
【図６Ｃ】図６Ｃは、実施の形態にかかる性能測定支援装置が扱う測定セットの情報の具体例を示す図である。（その３）
【図７】図７は、実施の形態にかかる性能測定支援装置の性能測定処理例を示すフローチャートである。
【図８】図８は、実施の形態で取り扱う測定結果の性質の概要を説明する図表である。
【図９】図９は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。（その１）
【図１０】図１０は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。（その２）
【図１１】図１１は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。（その３）
【図１２】図１２は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。（その４）
【図１３】図１３は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。（その５）
【図１４】図１４は、実施の形態にかかる性能測定支援装置が用いる有効性指標の具体例を示す図表である。（その１）
【図１５】図１５は、実施の形態にかかる性能測定支援装置が用いる有効性指標の具体例を示す図表である。（その２）
【図１６Ａ】図１６Ａは、実施の形態にかかる有効性指標を用いた性能測定の概要を説明する図である。（その１）
【図１６Ｂ】図１６Ｂは、実施の形態にかかる有効性指標を用いた性能測定の概要を説明する図である。（その２）
【図１７Ａ】図１７Ａは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その１）
【図１７Ｂ】図１７Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その２）
【図１８Ａ】図１８Ａは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その３）
【図１８Ｂ】図１８Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その４）
【図１９Ａ】図１９Ａは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その５）
【図１９Ｂ】図１９Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その６）
【図２０Ａ】図２０Ａは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その７）
【図２０Ｂ】図２０Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その８）
【図２１Ａ】図２１Ａは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その９）
【図２１Ｂ】図２１Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。（その１０）
【発明を実施するための形態】
【００１２】
以下に図面を参照して、開示の性能測定支援プログラム、性能測定支援方法および性能測定支援装置の実施の形態を詳細に説明する。
【００１３】
図１は、本発明による性能測定支援処理の概要を説明する図である。性能測定支援装置１００は、対象のシステム１１０を運用管理する運用管理装置の内部あるいは外部に設けられ、運用管理装置が実行する対象のシステム１１０に対する性能測定の処理を支援する。対象のシステム１１０は、複数のノード（スイッチ、サーバ等）である。
【００１４】
性能測定支援装置１００には、測定作業実行者（作業者）の実行指示端末１０１から測定セット群Ｔと、制約条件Ｃが入力される。制約条件Ｃの元で、システム１１０に対し希望する測定セット群Ｔによる性能測定を実行する。
【００１５】
制約条件Ｃは、性能測定を無条件および無期限に実行できない理由であり、例えば、性能測定にかける期間や、クラウドコスト等である。例えば、性能測定の開始から７２時間以内の終了条件、クラウド使用時の費用制約が「１００万円以内」、時間制約が「ｈｏｓｔは延べ５００時間使用可能」等である。
【００１６】
資源は、測定対象のシステム１１０の性能測定で使用するものであり、実施の形態では、測定の際の制約になるもの、もしくは性能測定の結果として要求されるものである。具体的には、ＣＰＵ使用率、メモリ使用量、スケールアウトがあるシステム１１０を構成するサーバ台数、等である。
【００１７】
測定セット群Ｔは、単一の測定コマンドに対し、各パラメータの値を変えて実行するものが１セットである。例えば、測定コマンドが”ｃｏｍ１  −ａ  ＄ｖａｌｕｅ＿ｏｆ＿ａ  −ｂ  ＄ｖａｌｕｅ＿ｏｆ＿ｂ”、”ｃｏｍ２  −ｂ  ＄ｖａｌｕｅ＿ｏｆ＿ｂ  ？ｃ  ＄ｖａｌｕｅ＿ｏｆ＿ｃ”の２種類存在する場合には、測定セットが２セットとなる。
【００１８】
図１には、測定セット群Ｔが３つの測定セットＴａ〜Ｔｃの例を示す。例えば、対象のシステム１１０に対し、３通りの動作環境が想定される場合、３つの測定セットＴａ〜Ｔｃを用いる。各測定セットＴａ〜Ｔｃは、縦軸の実行多重度（同時実行数ともいう）と、横軸の登録ホスト（ｈｏｓｔ）数の組み合わせを有する。例えば、実行多重度は、測定処理を同時に実行するノード数１〜１００，２００，〜ｎであり、登録ホスト数は、運用管理装置が管理する対象のシステム１１０のノード数である。
【００１９】
性能測定支援装置１００は、実行した測定セットの単一の測定コマンドに特定のパラメータを与えて測定処理を実行する（測定項目に相当）。パラメータは、測定コマンドの入力引数として与えられるものである。実施の形態では、測定セット内で可変となるものであり、”ｃｏｍ１  −ａ  ＄ｖａｌｕｅ＿ｏｆ＿ａ  −ｂ  ＄ｖａｌｕｅ＿ｏｆ＿ｂ”の場合、パラメータは、＄ｖａｌｕｅ＿ｏｆ＿ａ、＄ｖａｌｕｅ＿ｏｆ＿ｂの２つである。
【００２０】
性能測定支援装置１００は、実行した測定セットによる測定結果Ｒとして、例えば、測定コマンドを実行した結果得られる復帰値（成否）、所要時間、実行期間中の各資源使用量等を取得する。図１には３つの測定セットＴａ〜Ｔｃによる測定結果Ｒａ〜Ｒｃを示す。
【００２１】
性能測定支援装置１００は、測定セット群Ｔの各測定セットＴａ〜Ｔｃとして、それぞれ縦軸の実行多重度と、横軸の登録ホスト（ｈｏｓｔ）数のみを設定した空の表を作成する。そして、性能測定の実行毎に、作成してある表の実行多重度と、横軸の登録ホスト数の組み合わせに該当するマス目部分に測定結果Ｒ（成功／失敗、および測定値等）を格納していく。
【００２２】
実施の形態の性能測定支援装置１００は、測定セット群Ｔ、すなわち、測定作業実行者が希望する３つの測定セットＴａ〜Ｔｃによるシステム１１０の性能測定を実施する。ここで、性能測定支援装置１００は、単純に測定セットＴａ〜Ｔｃの順序で測定を行うのではない。すなわち、制約条件Ｃに基づき、測定セットＴａ〜Ｔｃに設定された、実行多重度と、横軸の登録ホスト数の組み合わせのうち、測定項目の重要性（後述する有効性指標）が高いものから順に実行する。そして、１回の測定実行毎に重要な測定項目を決定することで、各測定時点では最も重要な測定を実行する。
【００２３】
例えば、図１に示す最終的な測定結果Ｒの例では、性能測定支援装置１００は、制約条件Ｃ「ホストが使用可能な５００時間」に基づき、測定セット１の測定結果Ｒａの実行多重度（同時実行数）「１００」については重要性が低いと判断し実行していない。また、測定セット２の測定結果Ｒｂの実行多重度ｎ１「１００」、ｎ２「３００」については重要性が低いと判断し実行していない。そして、測定セット群Ｔに含まれる測定セットＴａ〜Ｔｃについて、測定セットＴａ〜Ｔｃの実行順に限らず、測定セットＴａ〜Ｔｃ全体で重要性が高い測定項目から順に測定を行う。
【００２４】
ここで、性能測定支援装置１００は、測定セット２の測定結果Ｒｂでみると、測定済み（測定成功）の実行多重度「１」と「２００」に基づき、実行多重度ｎ１「１００」の測定結果を推論できると判断し、実行多重度ｎ１「１００」の測定を実行しない。また、測定済み（測定成功）の実行多重度（同時実行数）「２００」と「４００」に基づき、実行多重度（同時実行数）ｎ２「３００」の測定結果を推論できると判断し、実行多重度ｎ２「３００」の測定を実行しない。
【００２５】
このように、実施の形態の性能測定支援装置１００は、対象のシステム１１０の性能測定時に、与えられた制約条件Ｃに基づき、重要性の高い測定項目から実行する。この際、
１）まず、重要な環境、もしくは推論で答えが出せない測定項目を優先実行する。
２）測定毎に残資源の状況（使用可能資源残量）を確認する。
３）残資源の状況に応じて次に実行すべき測定項目、あるいは実行できそうな測定項目を決定する。
４）希望する測定セットが終了するまで、もしくは使用可能な資源がなくなるまで、上記２）〜３）の処理を繰り返す。
【００２６】
これにより、実施の形態によれば、時間その他の使用可能な資源に制約条件Ｃを有する場合において、制約条件下で実行可能な測定項目を決定し、効果的な測定を実行できるようになる。例えば、限られた資源内で重要性の高い測定項目による性能測定をより多く行うことができるようになる。
【００２７】
図２は、実施の形態にかかる性能測定支援装置の適用例を示す図である。図２に示す例では、性能測定支援装置１００は、運用管理システム１０２の内部機能として配置した例である。運用管理システム１０２は、管理対象となる複数台のノード（スイッチ２０１、サーバ２０２）等の運用を管理する。
【００２８】
運用管理システム１０２は、運用担当管理者が操作する実行指示端末１０１に接続されている。また、運用管理システム１０２は、ネットワークＮＷを介して各ノードに接続されている。
【００２９】
性能測定時、運用管理システム１０２は、性能測定支援装置１００の制御により、これら複数台のノードに対する性能測定を行う。性能測定時には、運用担当管理者が実行指示端末１０１を操作して運用管理システム１０２に指示を出力する。図２の例では、一方の運用担当管理者の指示が「全社ネットワークの１２０台のスイッチ２０１の一斉点検を開始」、他方の運用担当管理者の指示が「部署Ａの１８０人のＰＣ（サーバ２０２に相当）の一斉点検を開始」であったとする。
【００３０】
この場合、性能測定支援装置１００は、合計３００ノードを操作対象に性能測定を同時実行する制御を運用管理システム１０２に出力し、運用管理システム１０２による性能測定を実行させる。なお、上述したように、対象のシステム１１０による性能測定時に、与えられた制約条件Ｃに基づき、重要性の高い測定項目から実行する構成の詳細については後述する有効性指標を用いて説明する。
【００３１】
図３は、一般的な性能測定状態を説明する図表である。実施の形態にかかる性能測定の前提について説明する。性能測定では、Ｎ次元マトリクス（Ｎはパラメータ数）で結果を取得し、性能測定の見積もりに使用する。図３の横軸は性能測定の同時実行数（実行多重度）、縦軸は性能測定にかかる時間である。
【００３２】
例えば、性能測定支援装置１００は、測定処理の同時実行数３００の場合、３００ノードへの操作「環境情報取得」を同時実行した場合の、各操作の所要時間を測定する。この際、性能測定支援装置１００は、同時実行数を変化させた１次元マトリクスで性能測定を行い、図３のように性能測定結果３００をグラフ化する。
【００３３】
そして、測定実行により、１回目の測定で同時実行数「３００」の場合に測定された所要時間が「２３０ｓｅｃ」、また、２回目の測定で、同時実行数「１０００」の場合に測定された所要時間が「３２０ｓｅｃ」であったとする。この場合、性能測定支援装置１００は、上記２回の実測に基づき、同時実行数「１５００」の場合の所要時間を「３８０ｓｅｃ」と推定する。
【００３４】
ノード（スイッチ２０１、サーバ（ＰＣ）２０２）および運用管理システム１０２からなる全体システムの開発元は、この推定結果を含む性能測定結果３００を作成し、顧客に提示する。全体システムの性能測定結果３００の提示に基づき、例えば、顧客Ａは、「ノード数が１５００の同時実行時の所要時間が「３８０ｓｅｃ」程度であれば、このシステムを採用できる」と判断することができる。一方、顧客Ｂは、「５分（３００ｓｅｃ）以内で結果が返るためには、同時実行数を「８００」に抑えなければならない。必要な１０００台一斉状態確認には使用できない。」と判断することができる。
【００３５】
実施の形態の性能測定支援装置１００では、上述した制約条件Ｃがある場合でも、この制約条件Ｃを満たしつつ、できるだけ重要性が高い測定項目の測定を実施することで、性能測定結果３００の精度を高め、顧客に提示するものである。
【００３６】
なお、性能測定支援装置１００は、運用管理システム１０２の外部に設けてもよい。この場合、性能測定支援装置１００は、運用担当管理者の実行指示端末１０１と運用管理システム１０２の間に配置すればよい。
【００３７】
図４Ａは、実施の形態にかかる性能測定支援装置の機能を示すブロック図である。性能測定支援装置１００は、測定セット／実行結果格納部４１１、使用可能資源情報格納部４１２、有効性指標算出部４１３、使用資源見積もり部４１４、測定対象項目群特定部４１５、実行部４１６、使用資源算出部４１７、残資源算出部４１８、を含む。
【００３８】
測定セット／実行結果格納部４１１は、実行指示端末１０１から入力される測定セット群Ｔの情報を格納する。測定セット群Ｔの情報は、実行コマンドの種類、測定開始前準備作業手順、各コマンドのパラメータの上限、下限、ステップ等を含む。測定セット／実行結果格納部４１１は、性能測定前の状態で測定セット群Ｔは上述したように（図１参照）空の表を格納し、性能測定毎に対応する実行結果を空の表の該当マス部分に格納していく。
【００３９】
使用可能資源情報格納部４１２は、実行指示端末１０１から入力される使用資源制約情報（制約条件Ｃ）を格納する。使用資源制約情報（制約条件Ｃ）は、性能測定時に許容できる最大所要時間、使用可能な資源（ホスト台数やクラウド使用量）等を含む。
【００４０】
有効性指標算出部４１３は、測定セット／実行結果格納部４１１に格納され、性能測定毎の測定結果Ｒが更新保持される測定セット群Ｔの情報に基づき、未実行の測定項目の有効性指標の算出を行う。有効性指標は、測定実行を行うことによる意義の大きさを示す、例えば関数の算出式である（詳細は後述する）。この有効性指標を用いることで、重要性が高い測定項目を優先して実行することができる。
【００４１】
使用資源見積もり部４１４には、測定セット／実行結果格納部４１１に格納される測定セット群Ｔの情報と、使用可能資源情報格納部４１２に格納される使用資源制約情報（制約条件Ｃ）、および有効性指標算出部４１３で算出された有効性指標が入力される。そして、使用資源見積もり部４１４は、これらの情報を用いて測定項目の実施のために必要な資源の見積もりを行う。
【００４２】
測定対象項目群特定部４１５は、有効性指標算出部４１３で算出された有効性指標と、使用資源見積もり部４１４で算出された使用資源との情報に基づき、測定項目の有効性指標の合計が最大、かつ使用可能な資源で実現可能な測定項目をその順序と共に特定する。
【００４３】
実行部４１６には、有効性指標算出部４１３で算出された有効性指標と、使用資源見積もり部４１４で算出された使用資源と、測定対象項目群特定部４１５で特定された測定項目の情報が入力される。そして、実行部４１６は、性能測定実行環境（対象のシステム１００のスイッチ２０１、サーバ２０２等）へ各測定項目（測定コマンド）の実行を指示し、性能測定実行環境２０２から測定結果の返却を受け、測定結果を実行指示端末１０１に出力する。
【００４４】
上記の性能測定実行環境２０２は、上述した運用管理システム１０２に相当し、運用管理システム１０２は、入力された測定コマンドに基づき、ノード（スイッチ２０１、サーバ２０２）に対して性能測定を実行する。この実行部４１６は、許容範囲外に資源を使用した場合には、強制中断可能な機能を持つ。
【００４５】
使用資源算出部４１７は、実行部４１６が実行した性能測定の測定結果、および性能測定実行環境２０２からの資源使用率情報から、測定に使用した資源量を算出する。
【００４６】
残資源算出部４１８は、使用資源算出部４１７が算出した時点で使用可能な資源量を算出し、使用可能資源情報格納部４１２の使用資源制約情報を更新する。
【００４７】
図４Ｂは、実施の形態にかかる性能測定支援装置のハードウェア構成例を示す図である。性能測定支援装置１００は、例えば、図４Ｂに示すハードウェアからなる汎用のサーバで構成することができる。また、性能測定支援装置１００が運用管理システム１０２の内部機能として設けられる場合、運用管理システム１０２は図４Ｂに示す図４Ｂのハードウェア構成を用いることができる。
【００４８】
性能測定支援装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４５１、メモリ４５２、ネットワークインタフェース（ＩＦ）４５３、記録媒体ＩＦ４５４、記録媒体４５５、を含む。４５０は各部を接続するバスである。
【００４９】
ＣＰＵ４５１は、性能測定支援装置１００の全体の制御を司る制御部として機能する演算処理装置である。メモリ４５２は、不揮発性メモリおよび揮発性メモリを含む。不揮発性メモリは、例えば、ＣＰＵ４５１のプログラムを格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）である。揮発性メモリは、例えば、ＣＰＵ４５１のワークエリアとして使用されるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。
【００５０】
ネットワークＩＦ４５３は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークＮＷに対する通信インタフェースである。性能測定支援装置１００は、ネットワークＩＦ４５３を介してネットワークＮＷに通信接続する。例えば、性能測定支援装置１００の機能を有する運用管理システム１０２は、ネットワークＮＷを介して、管理対象のノード（スイッチ２０１、サーバ２０２）にアクセスし、性能測定を実行する。
【００５１】
記録媒体ＩＦ４５４は、ＣＰＵ４５１が処理した情報を記録媒体４５５との間で読み書きするためのインタフェースである。記録媒体４５５は、メモリ４５２を補助する記録装置であり、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）フラッシュドライブ等を用いることができる。
【００５２】
メモリ４５２または記録媒体４５５に記録されたプログラムをＣＰＵ４５１が実行することにより、図４Ａに示した性能測定支援装置１００の各機能を実現する。また、メモリ４５２や記録媒体４５５は、性能測定支援装置１００が扱う情報、例えば、図４Ａに示した測定セット／実行結果格納部４１１、使用可能資源情報格納部４１２の情報を更新可能に保持する。
【００５３】
図５は、実施の形態にかかる性能測定支援装置が扱う測定セットの具体例を示す図である。図５に示す測定セット群Ｔは、３つの測定セットＴａ〜Ｔｃからなり、測定セットＴａは管理対象のノードが５００、測定セットＴｂは管理対象のノードが１０００、測定セットＴｃは管理対象のノードが１５００の場合を示す。これら各測定セットＴａ〜Ｔｃのノード数、および同時実行数（実行多重度）が上記のパラメータに相当する。
【００５４】
図５には、管理対象ノード「１５００」の場合において、同時実行数をそれぞれ可変して測定実行し、それぞれ測定成功した「所要時間」の測定値ｓによる測定結果Ｒｃを得る。なお、測定値ｓは離散値として得られるものであり、測定値ｓ間を繋ぐ直線や曲線の測定結果Ｒｃは所定の関数演算で補完した状態を示す。
【００５５】
図６Ａ〜図６Ｃは、実施の形態にかかる性能測定支援装置が扱う測定セットの情報の具体例を示す図である。図６Ａは、測定セットの実行コマンドとパラメータの情報例を示す図表である。図示の例では、測定セット毎に「測定セット名称」、「実行コマンド」、「変数範囲」、「連動（セット内上下ＩＤの連動）」、「初期見積もりでの使用値」を含む。「変数範囲」は、上記パラメータが取り得る範囲である。「初期見積もりでの使用値」は、使用資源見積もり部４１４が使用資源を見積もる際に用いる値であり、「使用資源／時間」の算出式と、算出した「所要時間見積もり値」を含む。
【００５６】
図６Ｂは、測定セットの実行環境定義を示す図表である。図示の例では、測定セット毎の「測定セット名称」、「ＩＤ（識別子）」、「作成スクリプト」、「終了スクリプト」、「初期見積もりでの使用値」を含む。「初期見積もりでの使用値」は、「作成スプリクト所要時間」と、「終了スクリプト所要時間」を含む。また、測定セット毎の「測定セット名称」、「ＩＤ（識別子）」、「必要資源／時間」を含む。この実行環境定義は、実行部４１６による測定実行時に読み出し実行される。
【００５７】
図６Ｃは、使用可能資源制約情報（制約条件Ｃ）の情報例を示す図である。使用可能資源情報格納部４１２に格納される静的な使用可能資源制約情報（制約条件Ｃ）を示す。使用可能資源制約情報は、「ＩＤ」毎の「資源タイプ」と、「減少単位」を含む。「ＩＤ」は時間、サーバ等の各種資源であり、「減少単位」は測定後の資源減少の単位である。
【００５８】
図７は、実施の形態にかかる性能測定支援装置の性能測定処理例を示すフローチャートである。性能測定支援装置１００の制御部（ＣＰＵ）４５１がプログラム実行する処理例を説明する。はじめに、ＣＰＵ４５１は、実行指示端末１０１から測定セット群Ｔの情報と、使用資源制約情報（制約条件Ｃ）の入力に基づき、初期化処理を実行する（ステップＳ７０１）。この初期化処理では、例えば、メモリ４５２上に測定セット／実行結果格納部４１１の格納領域を作成する。
【００５９】
次に、ＣＰＵ４５１は、未実行の全測定項目で有効性指標を算出する（ステップＳ７０２）。この後、ＣＰＵ４５１は、未実行の全測定項目で使用資源の見積もりを行う（ステップＳ７０３）。そして、ＣＰＵ４５１は、使用資源の合計が残資源量以内になる有効性指標の合計が最大の測定項目の集合を特定する（ステップＳ７０４）。
【００６０】
次に、ＣＰＵ４５１は、残資源量で実行可能な測定項目集合が見つかったかを判断する（ステップＳ７０５）。残資源量で実行可能な測定項目集合が見つかれば（ステップＳ７０５：Ｙｅｓ）、ＣＰＵ４５１は、ステップＳ７０６の処理に移行する。残資源量で実行可能な測定項目集合が見つからなければ（ステップＳ７０５：Ｎｏ）、以上の処理を終了し、それまでの測定結果Ｒを出力する。
【００６１】
ステップＳ７０６では、ＣＰＵ４５１は、測定処理の該当コマンドに所定のパラメータ値を与えて、測定項目による測定処理を実行し、測定結果を取得する（ステップＳ７０６）。この後、ＣＰＵ４５１は、測定実行で消費した資源量を算出し（ステップＳ７０７）、測定結果Ｒを測定セット／実行結果格納部４１１に格納する（ステップＳ７０８）。
【００６２】
この後、ＣＰＵ４５１は、与えられた測定セット群Ｔの全測定項目が終了しているか判断する（ステップＳ７０９）。全測定項目が終了していれば（ステップＳ７０９：Ｙｅｓ）、ＣＰＵ４５１は、以上の処理を終了し、それまでの測定結果Ｒを出力する。一方、全測定項目が終了していなければ（ステップＳ７０９：Ｎｏ）、ＣＰＵ４５１は、残資源量を計算し使用可能資源情報格納部４１２の残資源量を更新した後（ステップＳ７１０）、ステップＳ７０２の処理に戻る。
【００６３】
（有効性指標について）
次に、上記の有効性指標について説明する。まず、上述した性能測定結果の性質の概要について説明する。性能測定は、多様な顧客のシステム環境（上記ノード）での限界や性能（所要時間、使用メモリ量等）の見積もりを提示する目的で行われ、一定確度の精度を要求される。
【００６４】
測定のパラメータおよび測定結果は、離散値（オペレーティングシステム（ＯＳ）のタイプ、ユーザ権限等）であり、特定のパラメータ値の結果傾向を別のパラメータ値の結果から推定することは困難である。
【００６５】
図８は、実施の形態で取り扱う測定結果の性質の概要を説明する図表である。図８（ａ）は、例えば、横軸がパラメータＸ（実行多重度）、縦軸が処理時間の例であり、測定結果は、連続値（連続変化する値、実行多重度や操作対象の負荷等）である。一つのパラメータに着目した場合、第１点測定ｐ１と第２点測定ｐ２の連続値Ｐに基づき、２点間の３点目の測定結果は推定範囲ｒ内であると推定可能である。３点目は測定した２点ｐ１、ｐ２の測定結果の間にあることが多い。
【００６６】
また、図８（ｂ）に示すように、性能測定での実行失敗は負荷と相関を有する。パラメータＸ＝Ｘ１「実行多重度３００」で性能測定が成功している場合、Ｘ１以下の状態（Ｘ＜Ｘ１）での性能測定についても、成功予想範囲Ｓと推定できる。一方、高負荷で性能測定が失敗したパラメータＸ＝Ｘ２「同時実行数４００」があるとき、Ｘ２以上の状態（Ｘ２＜Ｘ）での性能測定は失敗予想範囲Ｆと推定できる。
【００６７】
実施の形態で用いる有効性指標は、性能測定を行うことによる意義の大きさを示すものである。有効性指標は、以前に実施した測定に加えて、どのような測定を追加すると、より有効になるか、例えば、見積もり精度が向上するか否かを判断するために用いる。この有効性指標は、ある未測定点の値が別の測定済み点群から推定可能である程、有効性指標は小さい。一方、ある未測定点の値が別の測定済み点群から推定困難であれば、有効性指標は大きい。
【００６８】
また、有効性指標は、測定セット間の重要性を判断（例えば、ユーザ設定とし、設定なき場合は等価でよい）するために用いる。有効性指標は、特定条件（測定セット、パラメータ名、パラメータ値等を組み合わせたリスト等）下でのユーザ知見、要望を直接設定してもよい。また、顧客都合などで高確度な見積もり値を希望する場合に、その条件部分だけ有効性指標を高くしてもよい。
【００６９】
実施の形態では、このような有効性指標を用いることで、測定項目全ての性能測定の実施には資源不足、あるいは時間不足が生じる場合、有効性指標の小さいものを実行しない。これにより、使用資源を間に合わせることができるようになり、また、顧客都合なども考慮できるようになる。この有効性指標について、以下、性能測定結果の性質を用いて説明する。
【００７０】
図９〜図１３は、実施の形態にかかる性能測定結果の性質を詳細に説明する図表である。
【００７１】
（１）はじめに、一つの、連続値パラメータの結果値に着目した場合の性能測定結果の性質を説明する。図９（ａ）には、特定（顧客都合等）のパラメータ値を用いた性能測定の実行時の測定結果を示す。横軸がパラメータＸ（実行多重度）、縦軸が処理時間の例であり、パラメータＹ＝Ｙ１で一つの確定値ｄが得られたとする。この際、パラメータが前後した場合の推定は不可能である。また、パラメータＹをＹ２に変えた場合の測定結果は、正相関の予想範囲Ｓ１、負相関の予想範囲Ｓ２、あるいは変化なしのどれになるかはこの段階では不明である。このように、一つの、連続値パラメータの結果値だけでは、顧客環境での性能把握以上の意味は持たず、他の顧客の環境に展開することができない。
【００７２】
また、図９（ｂ）には、１パラメータの値を変えて２点で性能測定の実行時の測定結果を示す。２点の測定結果では、その間の測定点の結果値（予想範囲Ｓ）の上限Ｈと下限Ｌになることが多い。この場合、２点（上限Ｈ、下限Ｌ）をパラメータの最小値、最大値にするとより効果的である。すなわち、パラメータを変動させた場合の下限、上限になり、一定確度での他の測定点の結果推定が可能になる。このパラメータ変化に伴う性能変化は、１次曲線〜３次曲線、対数（漸近値あり）曲線となる。
【００７３】
また、図９（ｃ）には、１パラメータの値を変えて３点で性能測定の実行時の測定結果を示す。３点の測定結果では、図示のように、近似曲線の予測範囲Ｓが得られ、一定以上の確度で測定結果の推定が可能となる。特に、測定結果の傾向が単調増加、単調減少であれば、測定結果を高確度に推定できるようになる。
【００７４】
また、図１０には、一つの、パラメータの結果値に着目した場合の測定結果を示す。１パラメータ（条件１，２）の値を変えてＮ点で実行し、測定結果が単調増加、単調減少でないことが判明した場合、その時点では測定結果の傾向は不明である。図示の例では、旧予想範囲Ｓに対し新予想範囲Ｓｎが異なる。この場合、ピーク前後の測定点の計測が必要となる。このような、一つの、パラメータの結果値に着目した場合の測定結果の予測の採用についてはユーザが適宜判断する必要がある。
【００７５】
（２）次に、一つの、連続値パラメータの実行結果成否に着目した場合の性能測定結果の性質を説明する。図１１、図１２は、実施の形態にかかる性能測定結果の性質を説明する図表である。
【００７６】
図１１（ａ）には、特定（顧客都合等）のパラメータ値を用いた性能測定の実行時の測定結果を示す。横軸がパラメータＸ（実行多重度）、縦軸が失敗数である。特定（顧客都合等）のパラメータ値単体だけでは情報量が少ない。失敗ｆとなった実行多重度「４００」で失敗数「７５」、さらに高負荷の実行多重度「５００」で失敗数「５００」の測定結果の場合、「予想その１」Ｓの範囲、「予想その２」Ｓの範囲について成否を予想できない。
【００７７】
図１１（ｂ）は、ユーザが性能測定の成否の傾向（パラメータ値の大小と失敗率の関係）を設定した場合の測定結果を示す。この場合、ある程度の有効性を持つ。例えば、ある測定結果（実行多重度「４００」）の測定結果が失敗ｆであれば、この失敗以上の実行多重度は失敗する可能性が高い失敗予想範囲Ｆとして推定できる。また、ある測定結果（実行多重度「３００」）の測定結果が成功ｓ１であれば、この成功以下の実行多重度は成功する可能性が高い成功予想範囲Ｓとして推定できる。
【００７８】
図１１（ｃ）は、１パラメータの値を変えて２点で性能測定を実行した場合の測定結果を示す。１パラメータの値を変えて２点で性能測定を実行した場合の測定結果が異なっている場合には、負荷限界がどこにあるかを推定できる。図示の例では、実行多重度「４００」）の測定結果が失敗ｆ１、実行多重度「３００」の測定結果が成功ｓ１のとき、実行多重度が「３００」〜「４００」の間に負荷限界ｔ０があると推定できる。また、双方失敗の場合には、その後の失敗傾向がわかる。実行多重度「４００」、「５００」のいずれも失敗ｆ１のとき、これら実行多重度「４００」での失敗数「７５」と、実行多重度「５００」での失敗数「５００」とに基づき、より高負荷な実行多重度「５００以上」での失敗数を失敗傾向予想範囲Ｆとして推定する。なお、失敗数は１次曲線〜３次曲線（漸近線あり）的に変化する。
【００７９】
図１２は、一つの、連続値パラメータの実行結果成否に着目した場合の測定結果を示す。横軸がパラメータＸ（実行多重度）、縦軸が失敗数である。図１２（ａ）に示すように、１パラメータの値を変えてＮ（Ｎ＞２）点で実行した場合、以下の実行処理により、負荷限界を範囲ではなく値として取得／推定できる。
【００８０】
第Ｎ点は、Ｍ（Ｎ−１）点の失敗数から作成した近似曲線の失敗数０の交点ｔ０に最も近い測定点とする。但し、別途Ｍ点外に存在する成功点ｓ１より大きいものとする。この場合、推定負荷限界は成功ｓ１の実行多重度「２００」と失敗の実行多重度「４００」との間と推定できる。なお、失敗数という概念が存在せず、単純な成否のみである場合には、ここでの実行点は直前の成功点との中間に最も近い測定点となる。また、第Ｎ点は「最も近い測定点」ではなく、その値の測定点を新規作成してもよい。このように、１点の成功とその他の失敗の場合、負荷限界を推定できる。
【００８１】
また、図１２（ｂ）に示すように、性能測定に成功した場合、隣接する失敗例の間に性能限界があることを推定できる。成功ｓ１の実行多重度が「２００」と「３００」、失敗ｆ１の実行多重度が「４００」の場合、推定負荷限界を実行多重度が「３００」と「４００」の間と推定でき、推定負荷限界を狭めることができる。
【００８２】
また、図１２（ｃ）に示すように、性能測定に失敗した場合（失敗ｆ１）、この失敗ｆ１の値（実行多重度「４００」、失敗数「７５」）を使用する。そして、Ｎ点の失敗数から作成した近似曲線の失敗数０の交点ｔ０に最も近い測定点（より低負荷な側の第Ｎ＋１点）での測定を実行することで、性能測定の判断を繰り返す。この（第Ｎ＋１点）での測定で成功ｓ１することで、推定負荷限界を設定できる。
【００８３】
（３）次に、１パラメータＹのみ値の異なる測定群を比較した場合の性能測定結果の性質を説明する。図１３は、実施の形態にかかる性能測定結果の性質を説明する図表である。図示のように、Ｙの値をＹ１にした場合と、Ｙ＝Ｙ２の場合で測定値の傾向が類似している場合がある。この場合、パラメータセット（ｘ，ｙ１，ｚ）と（ｘ，ｙ２，ｚ）での結果が類似であることが判明する。
【００８４】
これにより、一つのパラメータＹ＝Ｙ１の測定が完了した状態で、Ｙ＝Ｙ２の３点以上測定されており、その全ての値に、ｆ（Ｙ２、ｗ，ｘ，ｚ）＝ｆ（Ｙ１、ｗ，ｘ，ｚ）＊ｃの関係がある場合、その他の値もこれに倣うことができる。例えば、図示のように、Ｙ２での実測が実行多重度「５００」までの場合、より大きな実行多重度「５００以上」での処理時間を予想（推定）することができる。但し、離散値の結果の類似性はユーザが事前に類似性有を設定した場合のみ使用することとする。
【００８５】
以上、説明した性能測定結果の性質を鑑み、実施の形態では、測定実行毎に変化する測定値の傾向に対応して測定点とその測定順序を判断する。
【００８６】
（測定点と測定順序の判断について）
次に、測定点と測定順序の判断について説明する。性能測定支援装置１００は、下記（１）〜（３）の基本処理を実行する。
【００８７】
（１）まず、２点実行で測定結果の取り得る範囲を判断する。例えば、連続値をとる各パラメータそれぞれで、測定点の最小値、最大値を入れて測定結果を取得する。これにより、資源見積もりがしやすくなる。
【００８８】
（２）３点目以降の測定実行により、結果変化の傾向を判断する。基本は、取得済みの２点の測定点の中間点と判断する。これにより、２点間の変化動向、すなわち、測定結果の値が１次直線であるか、二次曲線であるかがわかる。また、３点が単調増加あるいは単調減少でない場合には、測定時点での最大あるいは最小の付近の測定を集中実行する。この際、測定点のピークは確定しておく。また、２点の測定点の結果も含めて、失敗が存在する場合には成功と失敗の間の測定を集中実行する。これにより、負荷限界点（成功と失敗の境目）を確定できる。
【００８９】
（３）測定点の間を補完処理する。補完処理は、はじめは粗く行い、次第に細かく行う。この際、直近の測定点と距離（パラメータ値差異）のあるものや、測定結果値差異が大きいものを優先して補完処理する。これにより、制約された時間の許す限り高精度の見積もりができる情報を作成できるようになる。
【００９０】
測定点と測定順序の判断では、上記の基本処理に加えて、ユーザの固有事情（１）、（２）を反映して行う。
【００９１】
（１）ユーザの特殊事情の実行は最優先する。特定の値を使用した場合の測定処理を優先して実行する。これにより、顧客環境と同一の設定では実測値を測定できるようになる。（２）ユーザ知識を利用する。例えば、ある１パラメータＸ（連続値、離散値共）において、パラメータ値Ｘ１の状態とパラメータ値Ｘ２の結果群が似ている、との指定が可能にする。これにより、３点以上の測定点が測定済みの状態で、類似性が指摘されていれば、未測定の残りの測定点は一方のパラメータのみを実行することで得ることができる。
【００９２】
実施の形態の性能測定支援装置１００は、以上説明した測定点と順序の判断を反映する有効性指標を決定する。
【００９３】
実施の形態で扱う有効性指標は、各測定セットの各コマンドラインの有効性指標である。各測定セットの各コマンドラインの有効性指標は、該当コマンドラインで使用する、「各パラメータのその値の有効性指標」に重みをつけて計算したものである。コマンドラインは、コマンドの各パラメータに値を設定したものである。例えば、コマンドが「ｔｅｓｔ１−ｃｏｕｎｔ＝＄ｃｏｕｎｔ」の場合、コマンドラインは「ｔｅｓｔ１−ｃｏｕｎｔ＝１００」である。
【００９４】
例えば、各測定セットの各コマンドラインの有効性指標＝ｆ（各パラメータの有効性指標，各パラメータの有効性重み）×測定セットの有効性重み    …式（１）
で示される関数である。
【００９５】
「各パラメータの有効性指標」は基本的に性能測定支援装置１００が判断する。また、「測定セットの有効性重み」、「各パラメータの有効性重み」は基本的にユーザ定義に基づく静的な値を用いる。例えば「測定セットの有効性重み」は、環境のＯＳ種別毎に異なる重みが設定される。
【００９６】
各測定セットの各コマンドラインの有効性指標は、実行されるコマンドライン（測定セット内の全パラメータの値を固定したもの）それぞれに付される。例えば、測定ｓｅｔ＿Ｗのパラメータ（ｘ，ｙ，ｚ）＝（１，１０，１００）の場合の有効性指標値は「２０」、等として付される。
【００９７】
上記の「各パラメータの有効性指標」とは、性能測定結果の性質を考慮し、高確度での結果推定が可能となる測定点（コマンドライン実行）に大きい値を与えるものを示す。上記の「各パラメータの有効性重み」とは、パラメータの値によって結果変動が想定されるものの値を大きく（コマンドラインの有効性指標に影響を与えるように）するものを示す。上記の「測定セットの有効性重み」とは、重要な測定セットで値を大きくし、その実行を優先するためのものを指す。
【００９８】
図１４、図１５は、実施の形態にかかる性能測定支援装置が用いる有効性指標の具体例を示す図表である。図１４は、連続値１パラメータに着目した場合において、上記（１）で説明した「各パラメータの有効性指標」として、具体的な有効性指標値「７」〜「２４」を設定した有効性指標一覧１４００を示す。この有効性指標一覧１４００は、制御部（ＣＰＵ４５１、有効性指標算出部４１３）が参照可能であり、予め設定値としてメモリ４５２等に設定保持される。
【００９９】
有効性指標は、重要情報、もしくは他からの類推不可能なものほど有効性指標値が大きな値をとる。図１４には、有効性指標は、ＩＤ、有効性指標値、条件（各パラメータの値の該当例）の各情報を含む。ＩＤ「１」は最も有効性指標値が大きい「２４」であり、この条件は「パラメータが数値である場合、該当測定セットに一つ以上の測定済み点が存在する状態における各パラメータの最小値」である。ＩＤ「２」についても、最も有効性指標値が大きい「２４」であり、この条件は「パラメータが数値である場合、該当測定セットに一つ以上の測定済み点が存在する状態における各パラメータの最大値」である。
【０１００】
ＩＤ「基準」は、基準となる有効性指標値「１０」であり、この条件は、図１４に示したいずれの条件にも該当しない場合である。ＩＤ「１３」は最も有効性指標値が小さい「７」である。この条件は「パラメータが数値である場合、測定済み部分が単調増加、もしくは単調減少であり、かつ、自身の直近の前後（の測定）が実施済みでありその傾きが、最小値と最大値の傾きとほぼ等しい（例えば、差分０．１以下）場合」である。
【０１０１】
有効性指標の算出では、各測定セットの各コマンドラインの有効性指標＝各パラメータの有効性指標とする。すなわち、上記式（１）で示したｆ（ｘ，ｙ）＝ｘ、測定セットの有効性重み＝１にしたものである。例えば、図１４の有効性指標一覧１４００において、有効性指標値がＸになった場合、その値がそのままコマンドラインの有効性指標になる。
【０１０２】
また、図１５（ａ）は、複数パラメータが関わる場合の１パラメータの有効性（重み）の設定例１５０１を示す図表である。基準（いずれの条件にも該当しない場合）の他に設定した条件について、図示の例では、有効性指標値を小さく設定する。図示の条件ではあるパラメータでの複数の測定点が他のパラメータの複数の測定点と相似する場合、以降の測定時の有効性指標値を基準値よりも小さくする。
【０１０３】
また、図１５（ｂ）は、その他ユーザ設定による有効性指標の設定表１５０２であり、任意の条件毎に有効性指標値をユーザ設定できる。例えば、ノードのＯＳ種別毎に有効性指標値を設定できる。
【０１０４】
（有効性指標を用いた性能測定の概要）
図１６Ａ，図１６Ｂは、実施の形態にかかる有効性指標を用いた性能測定の概要を説明する図である。有効性指標を用いた性能測定について、主に性能測定の実行順序を有効性指標に基づき決定する処理の概要を説明する。
【０１０５】
図１６Ａには、性能測定の概要説明のために簡略化した有効性指標一覧１６００を示す図表である。上述した有効性指標一覧１４００（図１４参照）に対し、図１６に示す有効性指標一覧１６００は、説明の簡略化のために条件数を削減し、条件内容を簡易化している。
【０１０６】
また、この概要説明では、制御部（ＣＰＵ４５１、有効性指標算出部４１３）は、有効性指標の算出において、「各パラメータの有効性指標」のみを使用する。すなわち、上記式（１）の「各パラメータの有効性重み」や「測定セットの有効性重み」を用いていない。なお、図１６Ａの有効性指標一覧１６００を用いた場合と、図１４の有効性指標一覧１４００を用いた場合とでは、指標算出結果が異なる。
【０１０７】
図１６Ａに示すＩＤ「１」は最も有効性指標値が大きい「２２」であり、この条件は「パラメータが数値である場合、各パラメータの最小値」である。ＩＤ「２」の有効性指標値は「２０」であり、この条件は「パラメータが数値である場合、各パラメータの最大値」である。ＩＤ「５」の有効性指標値は「１３」であり、この条件は「パラメータが数値である場合、２点測定済みの際の中間点以外」である。ＩＤ「６」は、最も有効性指標値が小さく基準となる「１０」であり、この条件は「いずれの条件にも該当しない場合」である。ここで、有効性指標値が基準値「１０」以下の測定は実行しないこととする。
【０１０８】
図１６Ｂ（ａ）には、参考用に本発明の適用なしの場合、すなわち、全測定点での実測を実施した場合の測定結果を示す。（ｂ）は実施の形態の場合、すなわち、有効性指標が小さい測定は省略した場合の測定結果を示す。いずれも横軸は測定パラメータＸ、縦軸は処理時間である。また、図１６Ｂ（ｂ）の下段には処理実行毎に変化する有効性指標を示し、横軸は測定パラメータ、縦軸は有効性指標値を示す。
【０１０９】
図１６Ｂ（ｂ）に示す実施の形態では、例えば、測定開始時、測定パラメータＸ｛１００｝の有効性指標値は図１６Ａに示す「２２」である。測定パラメータＸ｛２００，３００，４００｝の有効性指標値は「１９」、測定パラメータＸ｛５００｝の有効性指標値は「２０」である。このように、初期有効性指標値ｉｏがいずれも基準値「１０」を超えた値であり、全ての測定パラメータ｛１００，２００，３００，４００，５００｝の初期有効性指標値ｉｏがいずれも基準値「１０」以上であり、測定対象となる。
【０１１０】
この後、制御部は、有効性指標値が最も大きい「２２」の測定パラメータＸ｛１００｝の測定を実施し、この後、有効性指標値が次に大きい「２０」の測定パラメータＸ｛５００｝の測定を実施し、いずれの測定も成功したとする。この段階で、測定パラメータＸ｛１００｝の有効性指標値は「２２」→「１３」に変化する。測定パラメータＸ｛２００，４００｝の有効性指標値は「１９」→「１３」に変化する。また、測定パラメータＸ｛３００｝の有効性指標値は「１９」→「１５」に変化する。
【０１１１】
この際の有効性指標値ｉｎはいずれも基準値「１０」以上であり、測定対象となる。この後、制御部は、未測定で有効性指標値が最も高い「１５」の中間の測定パラメータＸ｛３００｝の測定処理を実行する。
【０１１２】
この後、測定パラメータＸ｛３００｝の測定が成功した段階で、測定パラメータＸ｛２００，４００｝の有効性指標値は「１３」→「１０」に変化する。この際、測定パラメータＸ｛２００，４００｝が基準値「１０」となった最終有効性指標値ｉｅとなる。この場合、制御部は、未測定の２点の測定パラメータＸ｛２００，４００｝に対する性能測定を実行しない。
【０１１３】
このように、実施の形態によれば、性能測定の実行毎に変化する有効性指標に基づき、有効性指標値が小さな値の性能測定を実施せず省略することができる。これら未測定の２点の測定パラメータＸ｛２００，４００｝の測定結果については、制御部が上記の補完を行うことで求めることができる。これにより、実施の形態によれば、本発明を適用しない従来相当の全測定点での測定と同様の測定結果を得ることができるようになる。この際、実施の形態によれば、有効性指標に基づき重要な測定点の順序で測定を行うため、従来に比して性能測定を短時間かつ省資源で実行できるようになる。
【０１１４】
（有効性指標を用いた性能測定の詳細）
図１７Ａ〜図２１Ｂは、実施の形態にかかる性能測定支援装置による有効性指標算出の具体例を説明する図である。制御部（ＣＰＵ４５１）が図７に示す処理に基づき、性能測定毎の有効性指標等の算出状態等を説明する。また、以下の処理では、図１４に示した有効性指標一覧１４００を用いることとする。
【０１１５】
図１７〜図２１において、図１７Ａ〜図２１Ａには、性能測定時の情報一覧１７００の辺状態を示す。情報一覧１７００の縦軸は、パラメータＸ値、性能測定の所要時間見積もり、有効性指標（値）、指標条件ＩＤ、性能測定の実行結果の各項目である。横軸は、パラメータＸ値｛１００，２００，３００，４００，５００｝と、必要資源合計、資源残（残資源量）である。測定実行の都度、この情報一覧１７００に該当する情報を記載する。この情報一覧１７００は、上記図１で説明した測定セットＴに相当し、測定毎の測定結果Ｒとして格納される。
【０１１６】
また、図１７Ｂ〜図２１Ｂにおいて、（ａ）は、所要時間見積もりであり、横軸がパラメータＸ、縦軸が処理時間である。（ｂ）は、有効性指標であり、横軸がパラメータＸ、縦軸が有効性指標値である。
【０１１７】
そして、性能測定は、測定セット「一つ」のみ、パラメータ「Ｘ」、測定点「Ｘ＝｛１００，２００，３００，４００，５００｝」、使用可能資源「計測時間合計：５０００以下」とした。
【０１１８】
（１）１回目の測定実行
１回目の測定実行にあたり、制御部は、図１７Ａに示す情報一覧１７００の指標条件ＩＤに、合致した条件ＩＤを記録する。例えば、パラメータＸ値が１００の指標条件ＩＤは、図１４のＩＤ「３」、パラメータＸ値が２００，３００，４００の指標条件ＩＤは、ＩＤ「６」、パラメータＸ値が５００の指標条件ＩＤは、ＩＤ「４」である。また、所要時間見積もりは初期見込みの値を用いる。
【０１１９】
この際、制御部は、全ての測定点の測定を実行しても必要資源合計は資源残以下、と算出する。そして、制御部は、有効性指標値が最大「２２」のＸ＝１００の測定処理を実行する。
【０１２０】
この１回目の測定実行までは、図１７Ｂに示す（ａ）所要時間見積もり、（ｂ）有効性指標がそれぞれ得られる。そして、制御部は、１回目の測定実行（Ｘ＝１００）による測定結果「１２３」を情報一覧１７００のＸ＝１００の実行結果として格納する。
【０１２１】
（２）２回目の測定実行
２回目の測定実行にあたり、制御部は、１回目の測定後、合致した条件ＩＤを図１８Ａの情報一覧１７００の指標条件ＩＤに記録する。この際、所要時間見積もりには、１回目の測定実行による測定結果を反映させる。情報一覧１７００の太枠部分は、前回（１回目）の測定の実行済み状態を示す。
【０１２２】
そして、制御部は、残りの全ての測定を実行しても必要資源が資源残以下であると判断し、測定が未実行のうち、有効性指標値が最大「２４」のＸ＝５００の測定処理を実行する。
【０１２３】
図１８Ｂに示す（ａ）２回目の測定実行までの所要時間見積もりは、１回目とほぼ同様となる。一方、（ｂ）有効性指標については、Ｘ＝５００の測定点の値が「２０」→「２４」に高くなっている。Ｘ＝５００の測定点の値は、一つ（単体）の測定点だけの場合より、自身以外の他の測定点がある（傾向判断に寄与する）方が有効性指標の値が高くなる。そして、制御部は、２回目の測定実行（Ｘ＝５００）による測定結果「２９０１」を情報一覧１７００のＸ＝５００の実行結果として格納する。
【０１２４】
（３）３回目の測定実行
３回目の測定実行にあたり、制御部は、２回目の測定後、合致した条件ＩＤを図１９Ａの情報一覧１７００の指標条件ＩＤに記録する。この際、所要時間見積もりには、２回目までの測定実行による測定結果を反映させる。情報一覧１７００の太枠部分は、前回（２回目）までの各測定の実行済み状態を示す。
【０１２５】
制御部は、２回目の測定実行にあたり、情報一覧１７００の必要資源合計が資源残を超えており、資源不足が生じると判断する。ここで、制御部は、未測定の３点の測定について、Ｘ＝２００，Ｘ＝３００，Ｘ＝４００，Ｘ＝｛２００，３００｝，Ｘ＝｛２００，４００｝，Ｘ＝｛３００，４００｝のいずれかしかできないと判断する。すなわち、３つの測定点の組み合わせ（Ｘ＝｛２００，３００，４００｝の必要資源合計は「２１８４」であり、資源残「１９７６」を超えている。
【０１２６】
この場合、制御部は、有効性指標値の合計が最大になるＸ＝｛２００，３００｝，Ｘ＝｛３００，４００｝のいずれかの実行を判断する。ここで制御部は、未測定の測定点のうち、有効性指標値が最も高い「１５」のＸ＝３００を実行する。また、有効性指標値が同じ「１０」であるＸ＝２００，４００については、所定条件（例えば昇順）にしたがって、次に、Ｘ＝２００の測定を実行する（Ｘ＝｛２００，３００｝）と判断する。
【０１２７】
図１９Ｂに示す（ａ）３回目の測定実行までの所要時間見積もりは、１，２回目に対し、主にＸ＝３００〜５００につれて次第に増えている。また、（ｂ）有効性指標については、２点を測定済みのため、３点目以降の測定点の有効性指標の値が低くなっている。但し、中央に位置する３点目（Ｘ＝３００）の測定点の有効性指標は、傾向判断に寄与するため、他の２点（Ｘ＝２００，４００）より多少高い。なお、未測定の２点（Ｘ＝２００，４００）は、有効性指標の基準値「１０」であるため、制御部は、測定を実行しないと判断できる。そして、制御部は、３回目の測定実行（Ｘ＝３００）による測定結果「５２１」を情報一覧１７００のＸ＝３００の実行結果として格納する。
【０１２８】
（４）４回目の測定実行
４回目の測定実行にあたり、制御部は、３回目の測定後、合致した条件ＩＤを図２０Ａの情報一覧１７００の指標条件ＩＤに記録する。この際、所要時間見積もりには、３回目までの測定実行による測定結果を反映させる。情報一覧１７００の太枠部分は、前回（３回目）までの各測定の実行済み状態を示す。
【０１２９】
制御部は、４回目の測定実行にあたり、情報一覧１７００の必要資源合計が資源残を超えており、資源不足が生じると判断する。ここで、制御部は、未測定の２点（Ｘ＝２００，４００）の必要資源合計は「１５９４」であり、資源残「１４５５」を超えている。
【０１３０】
この場合、制御部は、残り２つの測定点Ｘ＝｛２００，４００｝のうち、いずれか一方、の実行を判断する。ここで制御部は、３回目の測定で決定したＸ＝２００を測定実行する。
【０１３１】
図２０Ｂに示す（ａ）４回目の測定実行までの所要時間見積もりは、３回目とほぼ同様である。また、（ｂ）有効性指標については、主にＸ＝２００，４００の測定点の有効性指標の値よりやや高くなっている。これらＸ＝２００，４００の測定点の有効性指標値は、測定成功した取得済みのＸ＝１００，３００，５００の中間点であるため、基準値「１０」よりやや高い値「１２」となっている。そして、制御部は、４回目の測定実行（Ｘ＝２００）による測定結果「２１４」を情報一覧１７００のＸ＝２００の実行結果として格納する。
【０１３２】
（５）５回目の測定実行
５回目の測定実行にあたり、制御部は、４回目の測定後、合致した条件ＩＤを図２１Ａの情報一覧１７００の指標条件ＩＤに記録する。この際、所要時間見積もりには、４回目までの測定実行による測定結果を反映させる。情報一覧１７００の太枠部分は、前回（４回目）までの各測定の実行済み状態を示す。
【０１３３】
制御部は、５回目の測定実行にあたり、情報一覧１７００の必要資源合計が資源残を超えており、資源不足が生じると判断する。ここで、制御部は、未測定の１点（Ｘ＝４０００）の必要資源合計は「１３８０」であり、資源残「１２４１」を超えている。
【０１３４】
この場合、制御部は、残る一つの測定点Ｘ＝｛４００｝の測定実行ができないと判断し、測定処理を終了する。以上の処理により、図２１Ｂ（ｃ）に示すように、最終的な実行結果（測定結果Ｒ）が得られる。図２１（ｃ）に示すように、以上の処理では、４点のＸ＝１００，２００，３００，５００について測定処理を実行し、実行結果（〇印）が得られる。また、これら４点のＸ＝１００，２００，３００，５００の実行結果に基づき、制御部は、４つの測定点以外の値（図示の曲線相当）を推定することができる。
【０１３５】
以上説明した実施の形態によれば、対象のシステムの測定にかかる複数の測定項目と、測定で用いる資源の情報と、測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い指標の測定項目を特定する。そして、特定した重要性が高い測定項目から順に測定を実行し、測定実行後の残資源を算出する。これにより、時間やサーバ台数等の資源の制約下で実行可能な測定項目のうち、重要な測定項目による測定をできるだけ多くの測定項目で実行できるようになる。
【０１３６】
また、指標として、測定コマンドのパラメータの値が取り得る各状態に対応した指標値の一覧を予め設定しておく。測定実行毎に、以降の測定実行する際の測定項目のパラメータの値が取り得る状態が変化する。例えば、測定実行毎にパラメータの最小値や最大値、測定済みの測定結果のパラメータの増加特性等が動的に変化する。これらパラメータの値が取り得る各状態に対応した指標値の一覧を予め設定しておくことで、測定実行時に測定コマンドのパラメータが取る状態に対応した指標値を一覧から容易に取得できる。これにより、測定項目の測定実行後のパラメータの値が取る指標値に対応する重要性が高い測定項目を簡単かつ効率的に特定し、測定実行できるようになる。
【０１３７】
また、測定項目の測定実行後のパラメータの値が取る指標値が、所定の指標値よりも小さい場合、当該測定項目による測定を未実行とする。これにより、より重要な測定項目を優先的に測定実行できるようになる。
【０１３８】
また、未実行の全測定項目で指標を算出し、未実行の全測定項目が使用する資源を見積もる。そして、使用する資源が残資源内で重要性が高い指標の測定項目の集合を特定し、複数の測定項目に対応し、単一の測定コマンドのパラメータの値を変え、残資源内で実行可能な測定項目の集合のうち最も重要性が高い測定項目による測定を実行する。以上の処理を複数の測定項目で繰り返し行う。これにより、複数の測定項目を実行する際、時間やサーバ台数等の資源の制約下で実行可能な測定項目のうち、重要な測定項目による測定をできるだけ多くの測定項目で実行できるようになる。
【０１３９】
また、残資源内で未実行の測定項目がある場合、当該未実行の測定項目による測定結果を、測定済みの測定項目の測定結果に基づき補完する。これにより、残資源がなくなり、未実行の測定項目が生じた場合でも、未測定の測定項目の測定結果を得ることができるようになる。この際、測定済みの測定項目は、未測定の測定項目よりも重要性が高いため、補完で得た測定結果の信頼性を高めることができる。
【０１４０】
これらのことから、実施の形態によれば、パラメータ数や対象のシステムの装置台数が増加等しても、性能測定を短時間で効率的に実施できるようになる。これにより、短時間、省資源で低コストに性能測定できるようになる。また、性能測定にかかる所要時間や必要資源は、実際の性能測定を行って変動するため、実施の形態によれば、事前の性能測定の計画を立てずとも、重要な測定項目から順に測定実行できるようになる。
【０１４１】
なお、本発明の実施の形態で説明した性能測定支援にかかる方法は、予め用意されたプログラムをサーバ等のプロセッサに実行させることにより実現することができる。本方法は、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本方法は、インターネット等のネットワークを介して配布してもよい。
【０１４２】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１４３】
（付記１）対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定ステップ、
特定した前記測定項目から順に測定を実行する測定実行ステップ、
前記測定実行後の前記残資源を算出する残資源算出ステップ、
の処理をコンピュータに実行させることを特徴とする性能測定支援プログラム。
【０１４４】
（付記２）前記指標として、測定コマンドのパラメータの値が取り得る各状態に対応した指標値の一覧を予め設定するステップを含み、
前記特定ステップでは、前記測定項目の測定実行後の前記パラメータの値が取る前記指標値に対応する重要性が最も高い前記測定項目を特定し、
前記測定実行ステップでは、前記測定項目に対応する、単一の測定コマンドに所定のパラメータを与えて測定実行する、
ことを特徴とする付記１に記載の性能測定支援プログラム。
【０１４５】
（付記３）前記特定ステップでは、前記測定項目の測定実行後の前記パラメータの値が取る前記指標値が、所定の指標値よりも小さい場合、当該測定項目による測定を未実行とする、
ことを特徴とする付記２に記載の性能測定支援プログラム。
【０１４６】
（付記４）前記特定ステップでは、未実行の全測定項目で前記指標を算出し、
未実行の全測定項目が使用する前記資源を見積もり、
使用する資源が残資源内で前記重要性が高い前記指標の測定項目の集合を特定し、
前記測定実行ステップでは、複数の測定項目に対応し、単一の測定コマンドの前記パラメータの値を変え、前記残資源内で実行可能な前記測定項目の集合のうち最も重要性が高い前記測定項目による測定を実行する、
ことを複数の測定項目で繰り返し行うことを特徴とする付記３に記載の性能測定支援プログラム。
【０１４７】
（付記５）前記測定実行ステップでは、前記残資源内で未実行の前記測定項目がある場合、当該未実行の前記測定項目による測定結果を、測定済みの前記測定項目の測定結果に基づき補完する、
ことを特徴とする付記１〜４のいずれか一つに記載の性能測定支援プログラム。
【０１４８】
（付記６）対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定ステップ、
特定した前記測定項目から順に測定を実行する測定実行ステップ、
前記測定実行後の前記残資源を算出する残資源算出ステップ、
の処理をコンピュータが実行することを特徴とする性能測定支援方法。
【０１４９】
（付記７）対象のシステムの測定にかかる複数の測定項目と、前記測定で用いる資源の情報と、前記測定項目の重要性を示す指標とに基づき、測定時点での残資源内で測定可能な重要性が最も高い前記指標の前記測定項目を特定する特定部と、
特定した前記測定項目から順に測定を実行する実行部と、
前記測定実行後の前記残資源を算出する残資源算出部と、
を備えたことを特徴とする性能測定支援装置。
【０１５０】
（付記８）前記測定項目および前記資源の情報が入力され、前記実行部による測定結果を出力する外部端末と、
ネットワークを介して前記測定項目の測定コマンドを送信し、測定結果を受信する、前記対象のシステムの対象機器と、
が接続されることを特徴とする付記７に記載の性能測定支援装置。
【０１５１】
（付記９）前記システムの対象機器の運用を管理する運用管理システムの内部に配置されたことを特徴とする付記８に記載の性能測定支援装置。
【符号の説明】
【０１５２】
１００  性能測定支援装置
１０１  実行指示端末
１０２  運用管理システム
１１０  対象のシステム（ノード）
２０１  スイッチ（ノード）
２０２  サーバ（ノード）
４１１  測定セット／実行結果格納部
４１２  使用可能資源情報格納部
４１３  有効性指標算出部
４１４  使用資源見積もり部
４１５  測定対象項目群特定部
４１６  実行部
４１７  使用資源算出部
４１８  残資源算出部
４５１  ＣＰＵ（制御部）
４５２  メモリ
４５３  ネットワークインタフェース（ＩＦ）
４５５  記録媒体
１４００，１６００  有効性指標一覧
１７００  情報一覧
ＮＷ    ネットワーク
Ｔ  測定セット群
Ｔａ〜Ｔｃ  測定セット
Ｒ（Ｒａ〜Ｒｃ）  測定結果
【図１】
2020191015.tif 000003
【図２】
2020191015.tif 000004
【図３】
2020191015.tif 000005
【図４Ａ】
2020191015.tif 000006
【図４Ｂ】
2020191015.tif 000007
【図５】
2020191015.tif 000008
【図６Ａ】
2020191015.tif 000009
【図６Ｂ】
2020191015.tif 000010
【図６Ｃ】
2020191015.tif 000011
【図７】
2020191015.tif 000012
【図８】
2020191015.tif 000013
【図９】
2020191015.tif 000014
【図１０】
2020191015.tif 000015
【図１１】
2020191015.tif 000016
【図１２】
2020191015.tif 000017
【図１３】
2020191015.tif 000018
【図１４】
2020191015.tif 000019
【図１５】
2020191015.tif 000020
【図１６Ａ】
2020191015.tif 000021
【図１６Ｂ】
2020191015.tif 000022
【図１７Ａ】
2020191015.tif 000023
【図１７Ｂ】
2020191015.tif 000024
【図１８Ａ】
2020191015.tif 000025
【図１８Ｂ】
2020191015.tif 000026
【図１９Ａ】
2020191015.tif 000027
【図１９Ｂ】
2020191015.tif 000028
【図２０Ａ】
2020191015.tif 000029
【図２０Ｂ】
2020191015.tif 000030
【図２１Ａ】
2020191015.tif 000031
【図２１Ｂ】
2020191015.tif 000032