(57)【特許請求の範囲】
【請求項１】
評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ取得する結果取得手段と、
上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて記憶媒体に記憶する情報記憶手段と、
上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を解析する変化解析手段と、
上記変化解析手段による解析結果に基づいて、推奨測定条件を決定し提供する測定条件提供手段とを備えることを特徴とする性能評価装置。
【請求項２】
上記変化解析手段は、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、
上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする請求項１に記載の性能評価装置。
【請求項３】
上記測定条件提供手段により提供される推奨測定条件に応じた上記情報処理システムでの性能測定試験の実行を制御する実行制御手段をさらに備えることを特徴とする請求項１または２に記載の性能評価装置。
【請求項４】
情報処理システムの性能評価を行う性能評価装置に於ける情報処理方法であって、
評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ性能評価装置が備える結果取得手段で取得し、
上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて性能評価装置が備える記憶媒体に記憶し、
上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を性能評価装置が備える変化解析手段で解析し、
上記変化解析手段による解析結果に基づいて、推奨測定条件を性能評価装置が備える測定条件提供手段が出力することを特徴とする情報処理方法。
【請求項５】
上記変化解析手段が、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする請求項４に記載の情報処理方法。
【請求項６】
上記測定条件提供手段により出力される推奨測定条件に基づいて、性能評価装置が備える実行制御手段が上記情報処理システムの測定条件の変更を指示して性能測定試験を実行することを特徴とする請求項４または５に記載の情報処理方法。
【請求項７】
請求項１〜３の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、性能評価装置、情報処理方法およびプログラムに関し、特に、情報処理システムの性能評価を行う性能評価装置に用いて好適なものである。
【０００２】
【従来の技術】
従来から、情報処理システム（１つの情報処理装置により構成される場合も含む。）のハードウェアおよびソフトウェアの性能を評価するために、情報処理システムの性能を測定する方法として、ベンチマークテスト（以下、「ベンチマーク」とも称す。）と呼ばれる性能測定試験があった。ベンチマークでは、複数のパラメータからなる測定条件を入力して定義し、定義した測定条件に応じた処理を評価対象の情報処理システムに実行させ性能を測定していた。そして、測定により得られた性能評価情報（ベンチマーク結果データ）を用いて、例えば、新しく構築した情報処理システムの性能を評価したり、情報処理システムが所望の性能要件を満足するか否かを判断したりして、情報処理システムの性能を評価していた。
【０００３】
例えば、情報処理システムとして所定のサービスを提供するサーバの性能を評価する場合には、サーバが有するＣＰＵ数、サーバを使用するユーザ数、ユーザのアクセス頻度および処理内容等を測定条件として定義していた。そして、定義された測定条件をデータ（プログラム）化して仮想的なプロセスを生成し、生成した仮想的なプロセスをクライアント端末に実行させたりしてサーバの性能を測定していた。
【０００４】
【発明が解決しようとする課題】
ここで、従来のベンチマークでは、ある測定条件のベンチマークを評価対象の情報処理システムで実行した際、その結果として得られる性能評価情報を、評価対象の情報処理システム毎あるいは実行したベンチマーク毎に個別に保存し、それぞれ独立して管理していた。そのため、従来は、過去に実行したベンチマークにより得られた性能評価情報を検索したり、比較したりすることは非常に困難であった。
【０００５】
例えば、過去に実行したベンチマークにより得られた性能評価情報を参照して、ある測定条件での情報処理システムの性能を評価しようとする。このとき、過去に得られた性能評価情報を参照しようとする者（性能の評価を行う者）は、同様の情報処理システムおよび測定条件でベンチマークを実行した事例を、性能評価の報告書等から自らの記憶を頼りに手作業で検索し抽出する。
【０００６】
しかしながら、ベンチマークを行うためのツール毎に性能評価情報の内容（項目）および出力形式が異なったり、記載者毎に性能評価の報告書の記載等も異なったりしているとともに、必ずしも同様の情報処理システムおよび測定条件でベンチマークを実行した事例を抽出できるとも限らなかった。したがって、過去に実行したベンチマークにより得られた性能評価情報を検索したり、比較したりすることは煩雑であるとともに、性能の評価を行う者の時間および労力を非常に浪費してしまう。
【０００７】
本発明は、上述したような問題に鑑みてなされたものであり、さまざまな測定条件での性能測定試験を情報処理システムで実行することにより得られた性能評価情報を共通の記憶媒体に保存蓄積し、一元的に管理できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の性能評価装置は、評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ取得する結果取得手段と、上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて記憶媒体に記憶する情報記憶手段と、上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を解析する変化解析手段と、上記変化解析手段による解析結果に基づいて、推奨測定条件を決定し提供する測定条件提供手段とを備えることを特徴とする。
【０００９】
本発明の性能評価装置の他の特徴とするところは、上記変化解析手段は、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする。
【００１０】
本発明の性能評価装置のその他の特徴とするところは、上記測定条件提供手段により提供される推奨測定条件に応じた上記情報処理システムでの性能測定試験の実行を制御する実行制御手段をさらに備えることを特徴とする。
【００１１】
本発明の情報処理方法は、情報処理システムの性能評価を行う性能評価装置に於ける情報処理方法であって、評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ性能評価装置が備える結果取得手段で取得し、上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて性能評価装置が備える記憶媒体に記憶し、上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を性能評価装置が備える変化解析手段で解析し、上記変化解析手段による解析結果に基づいて、推奨測定条件を性能評価装置が備える測定条件提供手段が出力することを特徴とする。
【００１２】
本発明の情報処理方法の他の特徴とするところは、上記変化解析手段が、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする。
【００１３】
本発明の情報処理方法のその他の特徴とするところは、上記測定条件提供手段により出力される推奨測定条件に基づいて、性能評価装置が備える実行制御手段が上記情報処理システムの測定条件の変更を指示して性能測定試験を実行することを特徴とする。
【００１４】
本発明のプログラムは、上述した性能評価装置の各手段としてコンピュータを機能させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態による性能評価情報管理装置を適用した性能評価システムの一構成例を示すブロック図である。
【００２３】
図１において、１００は実行制御部であり、測定条件入力部１０１、実行制御データ生成部１０２および実行制御データ出力部１０３により構成される。
測定条件入力部１０１は、後述する測定（評価）対象の情報処理システム２００において実行するベンチマークの測定条件（パラメータおよびその設定値等）を入力するためのものである。実行制御データ生成部１０２は、測定条件入力部１０１に入力された測定条件に基づいて、情報処理システム２００においてベンチマークを実行するための実行制御データを生成する。実行制御データ出力部１０３は、実行制御データ生成部１０２が生成した実行制御データを情報処理システム２００に出力する。
【００２４】
情報処理システム２００は、測定（評価）対象の情報処理システムであり、ベンチマークの測定条件に応じた処理を実行する。情報処理システム２００は、サーバ２０１とクライアント端末２０２とにより構成される。
【００２５】
サーバ２０１は、クライアント端末２０２に所定のサービスを提供するものである。また、サーバ２０１は、実行制御部１００から供給される実行制御データに応じて、自らが有するＣＰＵの数、メモリサイズ等のハードウェア構成を変更したり、１つの測定条件でのベンチマークが終了すると結果データ管理部３００に実行結果（ＣＰＵ稼働率等のリソース情報）を出力したりする。
【００２６】
クライアント端末２０２は、サーバ２０１が提供するサービスを受ける端末である。また、クライアント端末２０２は、実行制御部１００から供給される実行制御データに基づいて仮想プロセスを生成し、生成した仮想プロセスに従って、サーバ２０１に対するアクセス等の処理を実行したり、１つの測定条件でのベンチマークが終了すると結果データ管理部３００に実行結果（サーバ２０１の応答時間等）を出力したりする。なお、仮想プロセスの生成は、クライアント端末２０２でなく、実行制御部１００内の実行制御データ生成部１０２で行っても良く、その場合には、仮想プロセスを実行するためのデータが実行制御部１００から実行制御データとして供給される。
【００２７】
ここで、サーバ２０１とクライアント端末２０２とは、それぞれが備える図示しないネットワークインタフェースにより、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク２０３を介して互いに通信可能なように接続されている。なお、図１においては、１つのサーバ２０１と２つのクライアント端末２０２とで構成される情報処理システム２００を一例として示しているが、サーバおよびクライアント端末の数はそれぞれ任意である。
【００２８】
結果データ管理部３００は、結果取得部３０１、結果記憶部３０２、特徴量抽出部３０３、結果データベース（以下、「結果ＤＢ」と称す。）３０４、検索実行部３０５、検索条件入力部３０６および検索結果出力部３０７により構成される。
【００２９】
結果取得部３０１は、１つの測定条件でのベンチマークが情報処理システム２００で終了する毎に、サーバ２０１およびクライアント端末２０２からベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を取得する。また、結果取得部３０１は、後述する特徴量抽出部３０３にて抽出される性能評価情報としての特徴量に対応する値を、取得したベンチマークの実行結果から直ちに得られる場合（取得したベンチマークの実行結果に特徴量が情報として含まれている場合）には、特徴量を結果ＤＢ３０４に出力する。上記結果取得部３０１は、本発明の結果取得手段を構成する。
【００３０】
結果記憶部３０２は、結果取得部３０１により取得されたベンチマークの実行結果を記憶するためのものである。なお、結果記憶部３０２に記憶されるベンチマークの実行結果は、ベンチマークの実行時に１回の処理（例えば、サーバ２０１に対するアクセス等）毎に逐次得られるベンチマークの詳細な実行結果である。特徴量抽出部３０３は、結果記憶部３０２に記憶されたベンチマークの詳細な実行結果から性能評価情報としての特徴量を抽出（算出）し、結果ＤＢ３０４に出力する。上記特徴量抽出部３０３は、本発明の情報抽出手段を構成する。
【００３１】
結果ＤＢ３０４は、ベンチマークの測定条件と、実行結果から得られた特徴量とを自らが備えるハードディスク等の記憶媒体に記憶蓄積する。具体的には、結果ＤＢ３０４は、測定条件入力部１０１から供給されるベンチマークの測定条件と、結果取得部３０１あるいは特徴量抽出部３０３から供給される、当該測定条件でのベンチマークの実行結果から得られた特徴量とを、図２に示すように１つのＩＤ（識別番号）により結び付けて（関連付けて）記憶し蓄積する。上記結果ＤＢ３０４は、本発明の情報記憶手段を構成する。
【００３２】
図２は、結果ＤＢ３０４におけるデータ構造の一例を示す図である。
図２において、４０１はベンチマーク条件データであり、ベンチマークの測定条件（ＣＰＵ数、ユーザ数、アクセス頻度等）に係るデータである。４０２、４０３は、それぞれベンチマーク結果データ、ベンチマークリソース結果データであり、ベンチマークの実行結果から得られた特徴量に係るデータである。ベンチマーク結果データ４０２は、ベンチマークの実行結果から得られた特徴量の応答時間やスループット（単位時間当たりの処理量）等の実際の処理に関わる結果データである。また、ベンチマークリソース結果４０３は、ベンチマークの実行結果から得られた特徴量のＣＰＵ稼働率等のベンチマーク実行時におけるリソース（ハードウェア資源）の使用状況に関わる結果データである。
【００３３】
図２に示すように、ベンチマークの測定条件およびベンチマークの実行結果から得られた特徴量は、１つの測定条件でのベンチマーク毎に、１組のベンチマーク条件データ（条件１、条件２、条件３、…）、ベンチマーク結果データ（結果１、結果２、結果３、…）およびベンチマークリソース結果データ（リソース結果１、リソース結果２、リソース結果３、…）に分けられる。１組のベンチマーク条件データ、ベンチマーク結果データおよびベンチマークリソース結果データは、１つの測定条件でのベンチマーク毎に同一のＩＤが付与され管理される。
【００３４】
なお、以下では、１つのＩＤにより結び付けられたベンチマークの測定条件と、当該測定条件での実行結果から得られた特徴量との組を性能評価データと称す。
【００３５】
図１に戻り、検索実行部３０５は、検索条件入力部３０６を介して外部から入力された検索条件に基づいて、検索条件を満足する性能評価データを結果ＤＢ３０４から検索し、検索結果出力部３０７を介して検索結果を外部に出力する。上記検索実行部３０５は、本発明の情報検索手段を構成する。
【００３６】
なお、上記図１においては、結果データ管理部３００内に、ベンチマークの詳細な実行結果を記憶する結果記憶部３０２を設けているが、結果データ管理部３００内に結果記憶部３０２を設けずに、ベンチマークの詳細な実行結果を外部の記憶媒体（ハードディスク、磁気テープ等）に個別に保存し、当該外部の記憶媒体から特徴量抽出部３０３にベンチマークの詳細な実行結果を供給するようにしても良い。
【００３７】
また、特徴量抽出部３０３にて抽出される特徴量に対応する値が、結果取得部３０１により取得するベンチマークの実行結果に常に含まれている場合には、結果データ管理部３００は、結果記憶部３０２および特徴量抽出部３０３を備えてなくとも良い。
【００３８】
次に、上記図１に示した性能評価システムの動作について説明する。
まず、ベンチマークを実行して、測定条件と、実行結果から得られる性能評価情報としての特徴量とを結び付けて結果ＤＢ３０４に記憶し蓄積する性能評価データ保存動作について説明し、次に結果ＤＢ３０４に記憶し蓄積した性能評価データを検索する性能評価データ検索動作について説明する。
【００３９】
＜性能評価データ保存動作＞
まず、ベンチマークのオペレータは、図示しない入力装置等を用いて、実行するベンチマークの測定条件（パラメータおよびその設定値等）を入力する。例えば、「ユーザ数」、「アクセス頻度」、および「ＣＰＵ数」等の測定条件のパラメータに対して、オペレータは入力装置等を用いて「ユーザ数」＝“１００”、「アクセス頻度」＝“２”、および「ＣＰＵ数」＝“２”等と入力する。入力装置等を用いてオペレータにより入力された測定条件は、測定条件入力部１０１に供給される。
【００４０】
測定条件入力部１０１は、供給された測定条件を実行制御データ生成部１０２および結果ＤＢ３０４に供給する。測定条件が供給された実行制御データ生成部１０２は、供給された測定条件に基づいて、情報処理システム２００を構成するサーバ２０１およびクライアント端末２０２に対してそれぞれ供給するベンチマークの実行制御データを生成する。
【００４１】
例えば、供給された測定条件が「ＣＰＵ数」＝“２”である場合には、実行制御データ生成部１０２は、ベンチマークの実行処理に使用するＣＰＵ数を“２”にするようにハードウェア構成の変更を指示するサーバ２０１の実行制御データを生成する。また、例えば、供給された測定条件が「ユーザ数」＝“１００”および「アクセス頻度」＝“２”である場合には、実行制御データ生成部１０２は、サーバ２０１に対する全てのクライアント端末２０２からの全処理要求により、ユーザ数が“１００”およびアクセス頻度が“２”に相当する処理をサーバ２０１に実行させるように制御する各クライアント端末２０２の実行制御データを生成する。
【００４２】
実行制御データ生成部１０２がそれぞれ生成したサーバ２０１およびクライアント端末２０２の実行制御データは、実行制御データ出力部１０３によりサーバ２０１およびクライアント端末２０２に対してそれぞれ供給される。サーバ２０１は、供給された実行制御データに応じて、自らのハードウェア構成を変更したり、所定の初期設定を行ったりする。また、クライアント端末２０２は、供給された実行制御データに基づいて、ベンチマークにおける仮想プロセスをそれぞれ生成する。
【００４３】
さらに、ベンチマークの実行開始が実行制御部１００より情報処理システム２００に対して指示されると、クライアント端末２０２による仮想プロセスの実行が開始され、情報処理システム２００においてベンチマークが実行される。
クライアント端末２０２による仮想プロセスの実行が終了する、すなわち、１つの測定条件でのベンチマークが情報処理システム２００において終了すると、結果取得部３０１は、サーバ２０１およびクライアント端末２０２からベンチマークの実行結果を取得する。取得したベンチマークの実行結果は、結果記憶部３０２に供給され記憶される。
【００４４】
次に、特徴量抽出部３０３は、応答時間の平均値、分散値、最大値、９０％の確率で応答が返ってくる時間の値や、スループットや、ＣＰＵ稼働率等の特徴量を結果記憶部３０２に記憶されたベンチマークの実行結果から抽出（算出）する。特徴量抽出部３０３により抽出された特徴量は、結果ＤＢ３０４に供給される。
【００４５】
そして、測定条件入力部１０１から供給されたベンチマークの測定条件と、特徴量抽出部３０３にて実行結果から得られた性能評価情報としての特徴量とが、１つの測定条件のベンチマーク毎に１組の性能評価データとして結果ＤＢ３０４に記憶される。このとき、性能評価データは、図３に示すような保存形式（フォーマット）で結果ＤＢ３０４に記憶される。
【００４６】
図３は、結果ＤＢ３０４に性能評価データを記憶する際の保存形式の一例を示す図である。ベンチマークにより得られる性能評価データ５０１、５０２、５０３、…は、１つの測定条件のベンチマーク毎にそれぞれ管理するための１つのＩＤと、ベンチマーク条件（ユーザ数、アクセス頻度およびＣＰＵ数等）と、ベンチマーク結果（応答時間の平均、分散およびスループット等）と、ベンチマークリソース結果（ＣＰＵ稼働率等）とが並列に記述された一定の保存形式で結果ＤＢ３０４に記憶される。
【００４７】
なお、上述したように、結果取得部３０１により取得されたベンチマークの実行結果から直ちに特徴量が得られる場合には、測定条件入力部１０１から供給されたベンチマークの測定条件と、結果取得部３０１にて実行結果から直接得られた特徴量とを、１組の性能評価データとして結果ＤＢ３０４に記憶するようにしても良い。
【００４８】
測定条件入力部１０１に入力される、さまざまな測定条件でのベンチマークにおいて、上述した処理動作を繰り返し行うことにより、さまざまな測定条件で実行したベンチマークにより得られた性能評価データが、共通の結果ＤＢ３０４に記憶され蓄積される。
【００４９】
＜性能評価データ検索動作＞
次に、結果ＤＢ３０４に記憶し蓄積した性能評価データを検索する性能評価データ検索動作について説明する。
まず、さまざまな測定条件でのベンチマークによりそれぞれ得られた性能評価データを検索しようとするオペレータは、図示しない入力装置等を用いて、性能評価データの検索条件を入力し、検索条件入力部３０６に供給する。ここで、上記検索条件としては、ベンチマークの測定条件を入力しても良いし、情報処理システムの性能要件を入力しても良い。
【００５０】
次に、検索条件入力部３０６は、供給された検索条件を検索実行部３０５に供給する。これにより、検索実行部３０５は、検索条件に合致する性能評価データを結果ＤＢ３０４から検索して抽出し、抽出した性能評価データを検索結果出力部３０７を介して出力する。オペレータは、検索結果出力部３０７より出力され、図示しない表示装置等に表示された検索結果を参照する。
【００５１】
例えば、ベンチマークの測定条件のユーザ数が“１００〜２００”を検索条件として入力した場合には、検索実行部３０５は、ユーザ数が１００〜２００であるベンチマーク条件データを結果ＤＢ３０４から検索する。検索実行部３０５は、ユーザ数が合致したベンチマーク条件データに付与されているＩＤの性能評価データ（ユーザ数が合致したベンチマーク条件データ、およびそのベンチマーク結果データとベンチマークリソース結果データ）を結果ＤＢ３０４から抽出する。さらに、検索実行部３０５は、ユーザ数が合致した性能評価データを検索結果として出力する。これにより、オペレータは、検索結果として出力されたベンチマーク結果データとベンチマークリソース結果データとを参照して、情報処理システムの性能を見積もることができる。
【００５２】
また、例えば、情報処理システムの性能要件として応答時間の平均が“５秒以内”を検索条件として入力した場合には、検索実行部３０５は、応答時間の平均が５秒以内であるベンチマーク結果データを結果ＤＢ３０４から検索する。検索実行部３０５は、応答時間の平均が５秒以内であるベンチマーク結果データに付与されているＩＤの性能評価データを結果ＤＢ３０４から抽出する。さらに、検索実行部３０５は、応答時間の平均が５秒以内である性能評価データを検索結果として出力する。これにより、オペレータは、検索結果として出力されたベンチマーク条件データを参照して、情報処理システムが備えるべきハードウェア等を見積もることができる。
【００５３】
なお、上記図１においては、それぞれ１つの実行制御部１００、情報処理システム２００および結果データ管理部３００により構成される性能評価システムを一例として示したが、本発明はこれに限られるものではなく、例えば、図４に示すような複数の実行制御部１００−Ｎおよび情報処理システム２００−Ｎ（Ｎは自然数）と、１つの結果データ管理部３００とにより性能評価システムを構成することができる。
【００５４】
図４は、第１の実施形態における性能評価システムの一般的な構成例を示すブロック図である。
図４において、実行制御部１００−Ｎ（Ｎは自然数）は、それぞれ図１に示した実行制御部１００と同様の機能を備える。情報処理システム２００−Ｎ（Ｎは自然数）は、図１に示した情報処理システム２００と同様に、実行制御部１００−Ｎ（Ｎは自然数）から供給された実行制御データに従って、ベンチマークを実行しベンチマークの実行結果を結果データ管理部３００に供給する任意の情報処理システムである。
【００５５】
結果データ管理部３００は、上記図１に示す結果データ管理部であり、情報処理システム２００−Ｎにおいてそれぞれ実行したベンチマークの性能評価データを記憶し蓄積する。すなわち、図４に示すように、本実施形態における性能評価システムの結果データ管理部３００は、複数の情報処理システム２００−Ｎにてそれぞれ実行したベンチマークにより得られる性能評価データを一元的に管理する。
【００５６】
以上、詳しく説明したように本実施形態によれば、さまざまな測定条件で実行したベンチマークの実行結果を結果取得部３０１により情報処理システム２００から取得し、測定条件と、取得した実行結果から得られた性能評価情報としての特徴量とを、１つの測定条件のベンチマーク毎に関連付けて結果ＤＢ３０４に記憶する。
【００５７】
これにより、測定条件と、当該測定条件でのベンチマークの実行結果からそれぞれ得られる性能評価情報としての特徴量とからなる性能評価データが、１つの測定条件でのベンチマーク毎に結果ＤＢ３０４に記憶し蓄積することができ、さまざまな測定条件でのベンチマークにより得られた性能評価情報をそれぞれ含む複数の性能評価データを結果ＤＢ３０４に一元的に管理することができる。したがって、さまざまな測定条件で実行したベンチマークの性能評価データの検索および比較を容易に行うことができる。
【００５８】
また、検索条件に合致した性能評価データを結果ＤＢ３０４に記憶された複数の性能評価データの中から検索して、検索結果に基づいて抽出した性能評価データを出力するようにしたので、過去に実行したベンチマークにより得られた性能評価データの検索を容易に行うことができる。また、顧客等から多数の測定条件が提示されたりしてパラメータの設定値を変更して複数のベンチマークを実行した場合には、当該複数のベンチマークの性能評価データをそれぞれ検索して、得られた性能評価データを容易に比較することができる。
【００５９】
例えば、過去に実行したベンチマークとわずかに異なる測定条件で（例えば、アプリケーションの負荷に相当する測定条件を変更したり、情報処理システムのハードウェア構成に相当する測定条件を変更したりして）ベンチマークを実行しようとする場合には、ベンチマークを実行しなくとも、過去に実行したベンチマークでの性能評価データを検索して参照および比較することにより、得られる性能評価データを推測して評価することができる。
【００６０】
また、結果ＤＢ３０４のデータ構造を、性能評価データを構成するベンチマーク条件データ、ベンチマーク結果データおよびベンチマークリソース結果データを１つのＩＤにて関連付けた並列のデータ構造として相互に検索できるようにするとともに、検索条件として、測定条件の構成要素に限らず、性能評価情報の構成要素を入力することができるようにしたので、ベンチマークの測定条件から得られる性能評価情報を検索するに限らず、性能評価情報から測定条件等を検索することができ、結果ＤＢ３０４に記憶されている性能評価データを多面的に利用することができる。これにより、所望の性能要件等を検索条件として入力することで、情報処理システムが備えるべき構成（ハードウェア等）を参照することができる。
【００６１】
また、複数の性能評価データを結果ＤＢ３０４に記憶する際、一定の保存形式で性能評価データをそれぞれ記憶するようにしたので、検索条件に合致した性能評価データの検索、および検索結果を用いた性能評価データの比較をさらに容易に行うことができる。
【００６２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
評価対象である情報処理システムの性能を全体的に（さまざまな条件下での性能を）把握したりするためにベンチマークを実行する場合には、あらゆる全てのベンチマークの測定条件でのベンチマークを情報処理システムで実行し、性能評価データを取得することは非常に困難である。そのため、従来はベンチマークを実行するオペレータ等が、おおまかに設定された情報処理システムの性能を測定したい測定条件の範囲内で、性能評価データがほぼ均等に得られるような幾つかの（例えば、５〜６つの）測定条件を決定してベンチマークを実行していた。さらに、決定した測定条件での全てのベンチマーク終了後にベンチマークの実行結果の整理および解析により、あらためて詳細に測定したい測定条件が生じた場合には、当該測定条件でのベンチマークを実行していた。
【００６３】
しかしながら、上述した従来の方法では、性能評価データがほぼ均等に得られるような幾つかの測定条件を決定してベンチマークを実行する際、測定条件を決定するための指標となる情報がないため、例えば、情報処理システムにおける性能の変化が少なく、性能に関して得られる情報量が結果的に少ない測定条件でもベンチマークを実行してみなければならないという問題があった。また、あらためて詳細に測定したい測定条件は、全ての測定条件でのベンチマーク終了後の実行結果を整理して解析しなければ判明しないという問題があった。したがって、上述のようにして情報処理システムの性能を全体的に把握し評価するには、労力を浪費するとともに多大な時間を要するという問題があった。
【００６４】
そこで、本発明の第２の実施形態では、上述した第１の実施形態による性能評価情報管理装置を利用して、推奨するベンチマークの測定条件を自動的に提示できるようにする。
【００６５】
図５は、本発明の第２の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。なお、この図５において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。また、図１に示したブロックと同一ではないが対応する機能を有するブロックには、同じ符号に'を付している。
【００６６】
図５において、３００’は結果データ管理部であり、上記図１に示した結果データ管理部３００に、結果解析部３０８とパラメータ出力部３１０とをさらに設けたものである。
結果解析部３０８は、変化量解析部３０９を含み構成され、変化量解析部３０９による解析結果に基づいて、情報処理システム２００の詳細な性能評価データを得るための、推奨するベンチマークの測定条件（推奨測定条件）を決定し出力する。変化量解析部３０９は、結果ＤＢ３０４に蓄積された性能評価データに基づいて、情報処理システム２００における性能変化の割合を解析する。測定条件出力部３１０は、結果解析部３０８により決定し出力された推奨測定条件を外部に出力するためのものである。ここで、上記結果解析部３０８は、本発明の測定情報提供手段を構成し、上記変化量解析部３０９は、本発明の変化解析手段を構成する。
【００６７】
次に、上記図５に示す性能評価システムの動作について説明する。
図６は、第２の実施形態による性能評価システムの処理動作を示すフローチャートである。
まず、ステップＳ６０１にて、オペレータは、図示しない入力装置等を用いて、評価対象である情報処理システム２００にて測定可能な測定条件の範囲内である幾つかの（例えば３〜４つの）ベンチマークの測定条件を入力し、測定条件入力部１０１を介して実行制御データ生成部１０２に順次供給する。なお、入力する測定条件は、任意であり、例えば、測定条件の範囲内にて等間隔に分割しても良いし、オペレータの過去の経験に基づいたものであっても良い。また、オペレータは、測定条件の最小値と最大値とを入力するだけで、実行制御部１００がその間を任意に自動的に分割するようにしても良い。
【００６８】
そして、上述した第１の実施形態での性能評価データ保存動作と同様にして、供給された測定条件でのベンチマークを実行し（ステップＳ６０２）、実行したベンチマークの実行結果を収集して、性能評価データを結果ＤＢ３０４に記憶蓄積する（ステップＳ６０３）。この性能評価データ保存動作（ステップＳ６０２、Ｓ６０３）を繰り返し行い、上記ステップＳ６０１において入力した全ての測定条件でのベンチマークを実行する。
【００６９】
そして、上記ステップＳ６０１において入力した全ての測定条件でのベンチマークの実行が終了して性能評価データが得られると（ステップＳ６０４のＮ）、ステップＳ６０５に進む。
【００７０】
ここで、情報処理システム２００の性能を的確に把握したりする際に、情報処理システム２００の性能に関して多くの情報量が得られる（実行したベンチマークにより得られた実行結果が大きな意味をなす）のは、性能変化の挙動がかわり、性能変化の割合が大きい（例えば、性能曲線を描いた際に小さな曲率を示す部分）測定条件で得られるベンチマークの実行結果である。そこで、ステップＳ６０５にて、変化量解析部３０９は、上述したステップＳ６０１〜Ｓ６０４での動作により、結果ＤＢ３０４に記憶された性能評価データに基づいて、ベンチマークを実行し評価するにあたり着目している性能の変化の割合（性能変化の変化率）を自動で計算する。
【００７１】
変化量解析部３０９は、例えば、性能評価データに基づいて、ベンチマークを実行した複数の測定条件間での着目している性能の変化量をそれぞれ算出し、さらに算出した変化量に基づいて、各測定条件間での性能変化の変化率を算出する。
【００７２】
次に、ステップＳ６０６にて、結果解析部３０８は、上記ステップＳ６０５において変化量解析部３０９にて算出した性能変化の変化率の中で、大きな変化率を示す測定点があるか否かを判断する。ここで、結果解析部３０８は、例えば、予め設定された性能変化の変化率の基準値と、変化量解析部３０９により算出された性能変化の変化率とを比較することにより変化率が大きいか否かを判断するようにしても良いし、例えば、変化量解析部３０９により算出された各測定条件間での性能変化の変化率を互いに比較することにより変化率が大きいか否かを判断するようにしても良い。
【００７３】
上記判断の結果、性能変化の変化率が大きい測定点があると判断した場合には、ステップＳ６０７にて、結果解析部３０８は、上記性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して外部（例えば、オペレータが使用可能な表示装置等）に出力し、処理を終了する。また、上記ステップＳ６０６での判断の結果、性能変化の変化率が大きい測定点がないと判断した場合にも処理を終了する。
【００７４】
上述した処理を繰り返し行うことにより、さまざまな測定条件により得られた性能評価データが結果ＤＢ３０４に蓄積されていくとともに、情報処理システム２００において性能変化の変化率が大きい点を細かく重点的に測定することができる。
【００７５】
以上、説明したように本実施形態によれば、上述した第１の実施形態にて得られる効果に加え、結果ＤＢ３０４に記憶されている性能評価データに基づいて、評価対象である情報処理システム２００にて性能変化の変化率が大きい測定点を推奨測定条件として出力する。
【００７６】
これにより、情報処理システム２００にて性能変化の変化率が大きい測定点を重点的に測定し、性能変化の変化率が小さい測定点は、粗い間隔で測定することにより、情報処理システム２００における性能を、少ない測定条件の数で効率良く測定することができる。
【００７７】
また、結果ＤＢ３０４に記憶されている性能評価データに基づいて、情報処理システム２００にて性能変化の変化率を変化量解析部３０９により自動的に算出し、結果解析部３０８により性能変化の変化率が大きいか否かを判断するようにしたので、オペレータは性能評価データの整理および解析を行わなくとも、次に測定すべき測定条件を得ることができ、オペレータ等が性能評価データ等の計算を行う手間を削減することができる。
【００７８】
なお、上述した本実施形態では、結果解析部３０８は、性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して外部に出力するようにしているが、性能変化の変化率が大きい測定点におけるパラメータの設定値のみを当該パラメータ名とともに出力するようにしても良い。
【００７９】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図７は、本発明の第３の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。なお、この図７において、図１および図５に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。また、図１および図５に示したブロックと同一ではないが対応する機能を有するブロックには、同じ符号に'を付している。
【００８０】
上述した第２の実施形態における性能評価システムでは、結果解析部３０８より出力された推奨測定条件を、測定条件出力部３１０を介して外部に出力していたが、第３の実施形態における性能評価システムでは、結果解析部３０８より出力される推奨測定条件を測定条件入力部１０１’に供給してベンチマークを自動的に実行させるようにする。
【００８１】
図７において、測定条件入力部１０１’は、外部から供給されるベンチマークの測定条件および測定条件出力部３１０から供給されるベンチマークの推奨測定条件を入力するためのものである。ここで、本実施形態において実行制御部１００は、本発明の実行制御手段を構成する。
【００８２】
次に、上記図７に示す性能評価システムの動作について説明する。
図８は、第３の実施形態による性能評価システムの処理動作を示すフローチャートである。
【００８３】
図８において、ステップＳ８０１〜ステップＳ８０６は、上記図６に示したステップＳ６０１〜ステップＳ６０６にそれぞれ対応しており、上述した第２の実施形態における性能評価システムと同じ動作を行い、ステップＳ８０６において、結果解析部３０８は、変化量解析部３０９にて算出した性能変化の変化率の中で大きな変化率を示す測定点があるか否かを判断する。
【００８４】
上記判断の結果、性能変化の変化率が大きい測定点があると判断した場合には、ステップＳ８０７にて、結果解析部３０８は、上記性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して測定条件入力部１０１’に出力する。そして、ステップＳ８０２〜ステップＳ８０６の処理を再び行う。
【００８５】
そして、上記ステップＳ８０６での判断の結果、結果解析部３０８により性能変化の変化率が大きい測定点がないと判断されるまで、ステップＳ８０２〜ステップＳ８０７の処理を繰り返し行い、上記ステップＳ８０６での判断の結果、性能変化の変化率が大きい測定点がないと判断した場合には処理を終了する。
【００８６】
上述したようにして、性能評価システムにて処理を行うことにより、例えば、図９に示すような性能曲線を得ることができる。
図９は、第３の実施形態における性能評価システムにより得られる性能曲線の一例を示す図である。図９に示す性能曲線は、パラメータ「ＣＰＵ数」の設定値のみを変化させ、他のパラメータの設定値は固定とした測定条件での、情報処理システム２００における単位時間当たりの処理能力（スループット）を示す性能曲線である。
【００８７】
図９において、点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５は、初期設定（図８のステップＳ８０１）にてパラメータ「ＣＰＵ数」の設定値を、それぞれ“２”、“４”、“６”、“８”、“１０”と設定したときの情報処理システム２００でのスループットを示す点である。図９に示すように、点Ｐ１〜Ｐ３の間では、ＣＰＵ数の増加とともに、スループットもほぼ比例して増加し、点Ｐ３〜Ｐ４の間では、ＣＰＵ数の増加に対してスループットはわずかに増加し、点Ｐ４〜Ｐ５の間では、ＣＰＵ数の増加に対して、スループットはほぼ変わらず同じ値を示す。
【００８８】
上記点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５に示すような性能評価データが得られたとき、図７に示す結果解析部３０８では、点Ｐ３〜Ｐ４間での性能変化の変化率が大きいと判断され、点Ｐ３〜Ｐ４間に対応するパラメータ「ＣＰＵ数」の設定値を“７”にした測定条件を出力し、ベンチマークを実行することで点Ｐ３〜Ｐ４間を補う点Ｐ６に示す性能評価データが得られ、図９に示すような情報処理システム２００の性能曲線を得ることができる。
このようにして、情報処理システム２００の詳細な性能曲線を得ることで、任意の測定条件での性能評価データを推測したりすることができるとともに、逆に性能要件を満足する情報処理システムの構成（ハードウェアおよびソフトウェア）を推測することができる。
【００８９】
以上、説明したように本実施形態によれば、上述した第１および第２の実施形態により得られる効果に加え、結果解析部３０８より出力された推奨測定条件でのベンチマークを自動的に実行して性能評価データを得る。これにより、オペレータに最小限の測定条件をはじめに入力させるだけで、必要かつ適切な測定条件を自動的に生成してベンチマークを実行し、情報処理システム２００における性能評価データを詳細に取得することができるので、オペレータ等は測定中に何ら作業を行わなくとも、非常に効率良く情報処理システム２００における性能を自動的に測定し、性能評価データを取得することができる。
【００９０】
なお、以上に説明した実施形態の性能評価情報管理装置および性能評価装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【００９１】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、および当該送信装置を備えるネットワークシステム等がある。
【００９２】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。
【００９３】
例えば、上述した実施形態に示した性能評価情報管理装置および性能評価装置は、図１０に示すようなコンピュータ機能１０００を有し、そのＣＰＵ１００１により本実施形態での動作が実施される。
【００９４】
コンピュータ機能１０００は、上記図１０に示すように、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、キーボード（ＫＢ）１００９のキーボードコントローラ（ＫＢＣ）１００５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）１０１０のＣＲＴコントローラ（ＣＲＴＣ）１００６と、ハードディスク（ＨＤ）１０１１およびフレキシブルディスク（ＦＤ）１０１２のディスクコントローラ（ＤＫＣ）１００７と、ネットワークインタフェースカード（ＮＩＣ）１００８とが、システムバス１００４を介して互いに通信可能に接続された構成としている。
【００９５】
ＣＰＵ１００１は、ＲＯＭ１００２あるいはＨＤ１０１１に記憶されたソフトウェア（プログラム）、あるいはＦＤ１０１２より供給されるソフトウェア（プログラム）を実行することで、システムバス１００４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ１００１は、上述したような動作を行うための処理プログラムを、ＲＯＭ１００２、あるいはＨＤ１０１１、あるいはＦＤ１０１２から読み出して実行することで、本実施形態での動作を実現するための制御を行う。
【００９６】
ＲＡＭ１００３は、ＣＰＵ１００１の主メモリあるいはワークエリア等として機能する。
ＫＢＣ１００５は、ＫＢ１００９や図示していないポインティングデバイス等からの指示入力を制御する。ＣＲＴＣ１００６は、ＣＲＴ１０１０の表示を制御する。ＤＫＣ１００７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、および本実施形態における上記処理プログラム等を記憶するＨＤ１０１１およびＦＤ１０１２とのアクセスを制御する。ＮＩＣ１００８はネットワーク１０１３上の他の装置と双方向にデータをやりとりする。
【００９７】
【発明の効果】
以上説明したように、本発明によれば、さまざまな測定条件で評価対象の情報処理システムにて実行した性能測定試験の実行結果をそれぞれ取得して、当該実行結果からそれぞれ得られる性能評価情報と、それに対応する測定条件とを関連付けて記憶媒体に記憶する。
【０１００】
そして、記憶媒体に記憶した性能評価情報と測定条件とに基づいて、測定条件の変化に対する性能評価情報に示される性能の変化を解析し、その解析結果に基づいて、推奨測定条件を決定し提供する。これにより、測定者等が性能評価情報等に基づいて計算を行わなくとも、情報処理システムの性能測定に適切な測定条件を容易に取得することができるので、効率良く、しかも少ない測定条件の数で情報処理システムの性能を測定することができる。
【０１０１】
また、提供される推奨測定条件に応じた性能測定試験を情報処理システムにて自動的に実行させるようにした場合には、測定者に最小限の測定条件をはじめに入力させるだけで、自動的に情報処理システムの性能を詳細に測定することができる。したがって、測定者等は測定中に何ら作業を行わなくとも、非常に効率良く情報処理システムの性能を測定し、性能評価情報を取得することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による性能評価情報管理装置を適用した性能評価システムの一構成例を示すブロック図である。
【図２】結果データベースにおけるデータ構造の一例を示す図である。
【図３】性能評価データの保存形式の一例を示す図である。
【図４】第１の実施形態における性能評価システムの一般的な構成例を示すブロック図である。
【図５】本発明の第２の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。
【図６】第２の実施形態における性能評価システムの処理動作を示すフローチャートである。
【図７】本発明の第３の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。
【図８】第３の実施形態における性能評価システムの処理動作を示すフローチャートである。
【図９】第３の実施形態における性能評価システムにより得られる性能曲線の一例を示す図である。
【図１０】性能評価情報管理装置および性能評価装置を実現可能なコンピュータの一構成例を示すブロック図である。
【符号の説明】
１００  実行制御部
１０１、１０１’  測定条件入力部
１０２  実行制御データ生成部
１０３  実行制御データ出力部
２００  測定対象システム
２０１  サーバ
２０２  クライアント端末
２０３  ネットワーク
３００、３００’  結果データ管理部
３０１  結果取得部
３０２  結果記憶部
３０３  特徴量抽出部
３０４  結果データベース
３０５  検索実行部
３０６  検索条件入力部
３０７  検索結果出力部
３０８  結果解析部
３０９  変化量解析部
３１０  測定条件出力部
【図１】
0003683216.tif 000002
【図２】
0003683216.tif 000003
【図３】
0003683216.tif 000004
【図４】
0003683216.tif 000005
【図５】
0003683216.tif 000006
【図６】
0003683216.tif 000007
【図７】
0003683216.tif 000008
【図８】
0003683216.tif 000009
【図９】
0003683216.tif 000010
【図１０】
0003683216.tif 000011