(57)【要約】  システムの性能予測モデルが実際のシステムを適切に模式化するように、当該性能予測モデルを調整するとともに、調整後の当該性能予測モデルの妥当性を評価可能な、性能予測装置等を提供する。性能予測装置１００は、性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する性能予測部１０１と、前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整するモデル調整部１０２と、パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する妥当性評価部１０３と、を備える。
2015083333.tif 000002
【特許請求の範囲】
【請求項１】
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する性能予測手段と、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整するモデル調整手段と、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する妥当性評価手段と、を備えることを特徴とする、性能予測装置。
【請求項２】
前記性能予測モデルのパラメータの調整候補をユーザに提示する提示手段を更に備え、
前記妥当性評価手段は、複数の前記パラメータの調整候補に対して、特定の基準に基づいて前記性能予測モデルの妥当性を評価し、
前記提示手段は、前記妥当性評価手段によって、前記特定の基準に基づいて妥当性が高いと評価されたパラメータの調整候補を、ユーザに提示することを特徴とする、請求項１記載の性能予測装置。
【請求項３】
前記第１の統計量は、平均値、または、分散、または、度数分布であることを特徴とする、請求項１または請求項２に記載の性能予測装置。
【請求項４】
前記第２の統計量は、平均値、または、分散、または、度数分布であることを特徴とする、請求項１乃至請求項３のいずれかに記載の性能予測装置。
【請求項５】
前記第１の統計量及び前記第２の統計量の少なくともいずれかは、複数の種類の統計量を含むことを特徴とする、請求項１乃至請求項４のいずれかに記載の性能予測装置。
【請求項６】
前記第２の統計量は、前記第１の統計量とは異なる種類の統計量であることを特徴とする、請求項１乃至請求項５のいずれかに記載の性能予測装置。
【請求項７】
前記モデル調整手段は、
前記性能予測手段により算出された前記予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量との差分が小さくなるように前記性能予測モデルのパラメータを調整することを特徴とする、請求項１乃至請求項６のいずれかに記載の性能予測装置。
【請求項８】
前記妥当性評価手段は、
前記予測出力に対する第２の統計量と前記システムの実際の出力に対する第２の統計量との差分の大きさを前記特定の基準に基づいて判定することにより、前記性能予測モデルの妥当性を評価することを特徴とする、請求項２に記載の性能予測装置。
【請求項９】
情報処理装置が、
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出し、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整し、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する、ことを特徴とする、性能予測方法。
【請求項１０】
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する処理と、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整する処理と、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する処理と、をコンピュータに実行させることを特徴とする、コンピュータ・プログラムが格納された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置により構成されるシステムをモデル化し、そのモデルを用いて当該システムの性能を予測する技術に関する。また、本発明は、情報処理装置により構成されるシステムの実際の振る舞い（挙動）に基づいて、当該モデルの妥当性を評価する技術に関する。
【背景技術】
【０００２】
近年、コンピュータ等の情報処理装置により構成されるシステム（以下単に「システム」と称する場合がある）の普及に伴い、係るシステムの性能を精度よく予測する技術が求められている。このようなシステムの性能を予測するために、実際のシステムの振る舞いを模式化したモデルを用いて、当該システムに関する特定の性能指標を予測する技術が提案されている。なお、以下においては、上記したモデルを、「性能予測モデル」と称する場合がある。【０００３】
ここで、本願出願に先だって存在する関連技術としては、例えば以下の特許文献がある。【０００４】
特許文献１は、システムの性能評価に関連する技術として本出願人が提案した、システム性能予測方法等を開示する。特許文献１に開示された技術は、性能予測対象であるシステムをモデル化したシステムモデルの一部を、ブラックボックスに置換する。また、特許文献１に開示された技術は、特定の入力値に対する係る置換後のシステムモデルからの出力と、実システムからの出力との間の差が小さくなるように、当該ブラックボックスのパラメータを調整する。特許文献１に開示した技術によれば、実際のシステムの振る舞いが反映されたシステムモデルにより、システムの性能を予測することが可能である。【０００５】
特許文献２は、並列計算機システムを待ち行列モデルに変換することによって、マルチタスク環境における並列計算機のスループットやレスポンス、リソース使用率などの性能指標を予測する技術を開示する。特許文献２に開示された技術は、構築するシステムに関して事前に与えられたパラメータ（例えば、１リクエストあたりの処理時間（Ｄｅｍａｎｄ）など）を用いて、係るシステムの性能を予測する。また、特許文献２に開示された技術は、モデルへの影響の少ないパラメータを固定値としてパラメータ数を削減し、残りの調整すべき妥当なパラメータを調整する。特許文献２に開示された技術によれば、当該待ち行列モデルを解析することにより、処理性能の向上度や性能指標を予測する式が求められ、係る式に基づいて予測値を求めることが可能である。【０００６】
特許文献３は、アプリケーション（ソフトウェア）に埋め込まれたログを用いて、当該アプリケーションに対するモデルを調整する技術を開示する。特許文献３に開示された技術は、アプリケーションのソースコードにモデル調整用のログを埋め込み、そのアプリケーションのログ出力と、当該アプリケーションを模式化したモデルのログ出力とを比較する。特許文献３に開示された技術は、当該ログ出力に基づいて、アプリケーションモデルのパラメータを調整して、モデルに反映する。特許文献３に開示された技術によれば、アプリケーションの実行環境に応じて、そのアプリケーションの振る舞いが反映されたモデルを作成可能である。【０００７】
特許文献４は、システムの性能予測装置に関する技術を開示する。特許文献４に開示された技術は、性能予測の対象となるシステムに対するシミュレーションモデルを作成するために、ハードウェア条件、ソフトウェア条件、及び、ワークロード条件に関するデータ入力する。更に特許文献４に開示された技術は、係る条件データに基づいて、特定の演算式に基づいて性能指標（例えば、単位時間当たりの演算能力等）を算出する。特許文献４に開示された技術によれば、評価者の人的資質によらず、システム性能を客観的に予測する技術を提供することが可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２０１２／１７３２８３号
【特許文献２】特開２０００−２９８５９３号公報
【特許文献３】特開２００２−２１５４２３号公報
【特許文献４】特開２０００−１７２５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記したような性能指標については、モデルが予測する値と、対象システムから実際に計測した値とが異なる場合がある。このため、例えば、モデルに含まれるパラメータを調整することにより、対象システムの実態に即した性能予測を実行することが求められる。この場合、例えば、係るパラメータを調整したモデルが妥当かどうか、（即ち、実際のシステムの振る舞いを適切に模式化できているかどうか）を評価する必要がある。【００１０】
ここで、上記した特許文献１に開示された技術は、前述したブラックボックスの構造に基づいて当該モデルの妥当性を判定する。これより、特許文献１に開示された技術においては、当該ブラックボックスとその構造を評価するための知識が必要とされる。【００１１】
特許文献２に開示された技術は、パラメータの調整を行わない。これより、事前に与えられたパラメータの値と、実際に構築した対象システムから求めたパラメータの値とが異なることがある。このため、モデルを用いて予測した性能指標と、実際に構築した対象システムの性能指標との間に差異があるという問題がある。【００１２】
特許文献３に開示された技術は、モデルへの影響の少ないパラメータを固定値としてパラメータ数の削減を行い、残りの調整すべき妥当なパラメータを調整する。しかし、特許文献３に開示された技術は、パラメータ数を削減するに留まり、残ったパラメータを調整した結果に対する妥当性の評価が十分ではないという問題がある。更に、特許文献３に開示された技術は、上記したように、アプリケーション及びそのアプリケーションモデルのログ出力を比較して、パラメータ等の調整を行なっている。しかしながら、例えば、商用のアプリケーションの場合には、ログ出力命令を埋め込めない場合もあるので、特許文献３に開示された技術の適用範囲が限定されるという問題がある。【００１３】
特許文献４に開示された技術は、入力パラメータと、係るパラメータから特定の演算式により算出した性能指標に基づいて性能予測値を算出するのみである。このため、特許文献４に開示された技術では、係るモデルが実際のシステムを適切に模式化しているか否かを十分に評価できない。【００１４】
よって、上記した関連技術では、システムの性能予測モデルが実際のシステムを適切に模式化しているか否かを十分に評価できない。【００１５】
そこで、本発明は、上記した課題を鑑みてなされたものである。即ち、本発明は、システムの実際の振る舞いに基づいて、当該システムの性能予測を行うモデルを調整すると共に、係るモデルの妥当性を評価することが可能な性能予測装置等を提供すること、を主たる目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成すべく、本発明の一態様に係る性能予測装置は、以下の構成を備える。即ち、本発明の一態様に係る性能予測装置は、性能予測の対象であるシステムを模式化した性能予測モデルを用いて、当該システムへの入力に対する予測出力を算出する性能予測部と、当該算出した予測出力に対する第１の統計量と、当該システムの実際の出力に対する第１の統計量とに基づいて、当該性能予測モデルのパラメータを調整するモデル調整部と、パラメータの調整後の当該性能予測モデルを用いて算出した予測出力に対する第２の統計量と、当該システムの実際の出力に対する第２の統計量とに基づいて、当該性能予測モデルの妥当性を評価する妥当性評価部と、を備える。【００１７】
また、本発明の一態様に係る性能予測方法は、以下の構成を備える。即ち、本発明の一態様に係る性能予測方法は、情報処理装置が、性能予測の対象であるシステムを模式化した性能予測モデルを用いて、当該システムへの入力に対する予測出力を算出し、当該算出した予測出力に対する第１の統計量と、当該システムの実際の出力に対する第１の統計量とに基づいて、当該性能予測モデルのパラメータを調整し、パラメータの調整後の当該性能予測モデルを用いて算出した予測出力に対する第２の統計量と、当該システムの実際の出力に対する第２の統計量とに基づいて、当該性能予測モデルの妥当性を評価する。【００１８】
また、本発明の一態様に係る性能予測プログラムは、以下の構成を備える。即ち、本発明の一態様に係る性能予測プログラムは、性能予測の対象であるシステムを模式化した性能予測モデルを用いて、当該システムへの入力に対する予測出力を算出する処理と、当該算出した予測出力に対する第１の統計量と、当該システムの実際の出力に対する第１の統計量とに基づいて、当該性能予測モデルのパラメータを調整する処理と、パラメータの調整後の当該性能予測モデルを用いて算出した予測出力に対する第２の統計量と、当該システムの実際の出力に対する第２の統計量とに基づいて、当該性能予測モデルの妥当性を評価する処理と、をコンピュータに実行させる。【００１９】
なお、上記本発明の目的は、係る性能予測プログラムが格納された、コンピュータ読み取り可能な記憶媒体によっても実現可能である。
【発明の効果】
【００２０】
本発明によれば、システムの実際の振る舞いに基づいて、システムの性能予測を行うモデルの妥当性を評価することが可能な性能予測装置等を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の第１の実施形態における性能予測装置の機能的な構成を例示するブロック図である。
【図２】図２は、本発明の第１の実施形態における性能予測装置による処理の一例を示すフローチャートである。
【図３】図３は、本発明の第２の実施形態における性能予測装置の機能的な構成を例示するブロック図である。
【図４】図４は、本発明の第２の実施形態における性能予測モデルの一例を示す図である。
【図５Ａ】図５Ａは、本発明の第２の実施形態における性能予測モデル及び実際のシステムから出力されたデータの一例を示す図である。
【図５Ｂ】図５Ｂは、本発明の第２の実施形態における性能予測モデル及び実際のシステムから出力されたデータの一例を示す図である。
【図６】図６は、本発明の第２の実施形態における性能予測装置による処理の一例を示すフローチャートである。
【図７】図７は、本発明の第３の実施形態における性能予測装置の機能的な構成を例示するブロック図である。
【図８】図８は、本発明の各実施形態に係る、性能予測装置を実現可能な情報処理装置のハードウェア構成を例示したブロック図である。
【発明を実施するための形態】
【００２２】
次に、本発明を実施する形態について図面を参照して詳細に説明する。以下の実施の形態に記載されている構成は単なる例示であり、本発明の技術範囲はそれらには限定されない。
【００２３】
＜第１の実施形態＞
本発明の第１の実施形態について、図１及び図２を参照して説明する。図１は、本発明の第１の実施形態に係る情報処理装置１００の機能的な構成を例示するブロック図である。
【００２４】
図１に例示する情報処理装置１００は、本実施形態において性能予測装置として機能する情報処理装置である。本実施形態における情報処理装置１００は、例えば、電子計算機（コンピュータ）等の、特定のプログラム（コンピュータ・プログラム、ソフトウェア・プログラム等）に従って動作する装置であってもよい。なお、本実施形態における情報処理装置のハードウェア構成については、後述する。
【００２５】
本実施形態における情報処理装置１００は、性能予測部１０１と、モデル調整部１０２と、妥当性評価部１０３と、を有する。これらの各構成要素の間は、ソフトウェア的な構成あるいはハードウェア的な構成により、任意の通信手段を介して、相互に通信可能に接続されている。
【００２６】
性能予測部１０１は、図示しない性能予測の対象であるシステム（以下性能予測対象システムと称する場合がある）に関する性能指標の入力と出力との関係を模式化したモデルを用いて、当該性能予測対象システムの入力に対する出力を予測する。以下、当該モデルにより予測した出力を、「予測出力」と称する場合がある。また、以下、当該モデルを、「性能予測モデル」または「予測モデル」と称する場合がある。
【００２７】
ここで、上記入力は、例えば、単位時間内に上記システムが処理しなくてはならないリクエスト数などであってもよい。また、上記出力は、上記システムのスループット、応答時間、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）使用率、及び、メモリ使用率などの性能指標などであってもよい。ただし、上記入力及び出力はこれらに限定されない。例えば、上記性能予測モデルにおいて、上記入力及び出力を独立変数と従属変数の関係として記述できる場合には、その独立変数が上記入力であってもよく、従属変数が上記出力であってもよい。
【００２８】
本実施形態においては、上記性能予測モデルは、あるシステムの性能を予測するために当該システムの振る舞いを模倣（模式化）した任意の表現形態により表されてよい。係る性能予測モデルは、例えば、あるシステムへの入力に対して、あらかじめ定められた手順に従って、計算もしくはシミュレーションを行うことによって、当該システムからの出力を予測するよう構成されてもよい。
【００２９】
具体的には、例えば、ＣＰＵなどのコンピュータの各構成要素に対して、当該構成要素の動作を模倣（模式化）した待ち行列が、上記性能予測モデルとして採用されてもよい。また、学習や回帰などの手段によって、入力に対して適当な出力を決定することができる仕組み（例えば、ニューラルネットワークや隠れマルコフモデル、多項式関数近似など）が、上記性能予測モデルとして採用されてもよい。なお、これらの性能予測モデルは単なる例示である。本実施形態における性能予測モデルはこれらの例示には限定されない。
【００３０】
本実施形態においては、上記性能予測モデルを表す情報（データ）が、任意の方法により情報処理装置１００に対して入力される。また、情報処理装置１００は、上記性能予測モデルを表す情報を図示しない記憶部等に記憶してもよい。なお、上記性能予測モデルを表す情報は、情報処理装置１００の外部に存在する任意の外部装置に記憶されてもよい。この場合、情報処理装置１００は、当該外部装置に記憶されている上記性能予測モデルを表す情報を、必要に応じて参照するように構成されてもよい。
【００３１】
モデル調整部１０２は、上記性能予測部１０１が算出した上記性能予測モデルの予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量とに基づいて、上記性能予測モデルのパラメータを調整する。ここで、上記性能予測モデルのパラメータは、例えば、待ち行列モデルであれば、１リクエストあたりの処理時間などであってもよく、ニューラルネットワークであれば、シナプス荷重などであってもよい。なお、本実施形態においては、上記性能予測モデルの構成や出力を変更可能な任意の調整項目が、上記性能予測モデルの調整パラメータとして採用されてよい。このため、本実施形態においては、上記性能予測モデルの具体的な構成によって、適宜適切な調整パラメータが選択されてよい。なお、以下、性能予測モデルに含まれるパラメータを調整することを、「性能予測モデルを調整する」と表現する場合がある。
【００３２】
ここで、上記第１の統計量は、上記性能予測モデルの予測出力、または、上記性能予測対象システムの出力から統計的に求めることが可能な、任意の統計量である。このような第１の統計量としては、例えば、平均値や分散、度数分布などを採用してもよいが、これらには限定されない。本実施形態における第１の統計量は、統計的に計算される任意の値や分布などでよい。
【００３３】
なお、モデル調整部１０２は、上記性能予測対象システムの実際の出力の値を、当該システムの構成に応じて、任意の方法により求めてもよい。例えば、モデル調整部１０２は、上記性能予測対象システムの実際の出力の値を、情報処理装置１００が有する記憶部（後述する図８における符号８０２等）から取得してもよい。また、モデル調整部１０２は、係る値を、情報処理装置１００の外部装置（後述する図８における符号８０４や、情報処理装置１００以外の装置等）から取得してもよい。本実施形態はこれに限定されず、例えば、上記した性能予測部１０１が、上記性能予測対象システムの実際の出力の値を取得し、モデル調整部１０２に対して提供してもよい。
【００３４】
また、モデル調整部１０２は、上記調整後のパラメータを上記性能予測部１０１に提供し、上記性能予測部１０１が、当該パラメータを保持してもよい。なお、本実施形態はこれに限定されず、例えば、情報処理装置１００を構成する他の要素（例えば、モデル調整部１０２や、妥当性評価部１０３等）が、係るパラメータを保持してもよい。なお、上記性能予測部１０１は、かかる調整後のパラメータを用いて、上記性能予測モデルを更新し、当該更新後の性能予測モデルを用いて予測出力を算出してもよい。
【００３５】
上記性能予測モデルを調整するアルゴリズムは、例えば、上記性能予測モデルの予測出力から算出した上記第１の統計量を、上記性能予測対象システムの実際の出力から算出した第１の統計量に近づけるように、上記性能予測モデルを調整してよい。より具体的には、係るアルゴリズムは、学習または最適化手法など適宜の方法を用いて上記性能予測モデルを調整してよい。以下、上記性能予測モデルを調整するアルゴリズムを、「モデル調整アルゴリズム」と称する場合がある。
【００３６】
例えば、上記性能予測モデルがニューラルネットワークにより表現される場合には、モデル調整アルゴリズムは、バックプロパゲーションなどの学習アルゴリズムによってシナプス荷重を補正してもよい。上記性能予測モデルが多項式近似の場合は、モデル調整アルゴリズムは、最小二乗法などで各項の係数を補正してもよい。上記性能予測モデルが待ち行列の場合は、モデル調整アルゴリズムは、カルマンフィルタなどを用いて、リクエストの処理時間を補正してもよい。
【００３７】
このほかにも、例えば、性能予測対象システムからの実際の出力に対する第１の統計量と、性能予測モデルからの出力に対する第１の統計量との間の差分を評価する方法として、強化学習、遺伝的アルゴリズム、モンテカルロ法、及び、線形計画法などが採用されてもよい。モデル調整アルゴリズムは、これらの方法を適宜用いることにより、上記性能予測モデルのパラメータを補正してもよい。上記性能予測モデルを調整する方法は、これらの例示に限定されない。上記性能予測モデルを調整する方法は、上記性能予測モデルの構成等に応じて、適宜適切な方法を採用してよい。
【００３８】
妥当性評価部１０３は、パラメータが調整された後の上記性能予測モデルが、上記性能予測対象システムに関する性能予測モデルとして妥当か否かを評価する。
【００３９】
以下、妥当性評価部１０３による、パラメータ調整後の上記性能予測モデルに対する妥当性評価について説明する。なお、以下において、パラメータ調整後の性能予測モデルを単に「調整後の性能予測モデル」と称する場合がある。
【００４０】
まず、本実施形態においては、上記性能予測モデルの出力と、性能評価対象システムの出力とに対して、上記第１の統計量以外の任意の統計量が一つ選択される。そして、当該選択された統計量が第２の統計量として採用される。なお、どのような統計量を第２の統計量として選択するかは、予め、情報処理装置１００に設定されていてもよい。
【００４１】
上記したように、上記モデル調整部１０２は、例えば、上記性能予測部１０１が算出した予測出力の第１の統計量と、性能予測対象システムの実際の出力から算出した第１の統計量とに基づいて上記性能予測モデルを調整する。具体的には、上記モデル調整部１０２は、例えば、上記性能予測部１０１が算出した予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量との差分が小さくなるように、上記性能予測モデルを調整する。
【００４２】
ここで、上記調整後の性能予測モデルが妥当である場合、性能予測部１０１が算出した予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量との間の差分が小さくなると期待される。それと共に、性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量との間の差分も小さくなることが期待される。なぜならば、調整後の性能予測モデルが妥当であれば、係る性能予測モデルによって実際のシステムの振る舞いが正しく模式化されていることが期待されるからである。
【００４３】
その一方で、調整後の性能予測モデルが妥当でない場合は、性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量との間の差分は大きいことが期待される。調整後の性能予測モデルが妥当でない場合、第１の統計量に基づいて調整された性能予測モデルが、実際には、実際のシステムの振る舞いを正しく模倣（模式化）できていない。妥当ではない上記性能予測モデルの出力と、性能予測対象システムの実際の出力との間には、差異が生じると考えられる。このため、係る差異に起因する齟齬が、上記性能予測モデルの調整に際して考慮されていない他の統計量（例えば、第２の統計量）に現れると考えられる。
【００４４】
従って、妥当性評価部１０３は、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量との間の差分が小さいほど、調整後の性能予測モデルは妥当であると評価可能である。
【００４５】
ここで、当該第２の統計量の差分は、例えば、当該第２の統計量が平均値であれば減算や除算により求められてもよく、度数分布であれば分布間の距離などに基づいて求められてもよい。なお当該第２の統計量の差分を求める方法はこれらに限定されない。妥当性評価部１０３は、第２の統計量の性質に応じて、適宜適切に当該第２の統計量に関する差分の求め方を選択してよい。
【００４６】
なお、調整後の上記性能予測モデルに対する妥当性の評価基準は、上記に限定されない。本実施形態においては、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量とを用いた、任意の評価基準を採用してよい。妥当性評価部１０３は、例えば、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量との間の相関関係等の統計的基準を、上記評価基準として採用してもよい。
【００４７】
なお、上記した本実施形態における情報処理装置１００は、ハードウェア構成として、演算処理部、記憶部、及び入出力部等を備えてもよい。上述した情報処理装置１００が備える機能は、これらのハードウェアと記憶部に記憶された各種プログラムとの協働により実現されてもよい。本実施形態における情報処理装置１００の具体的なハードウェア構成の例については後述する。
【００４８】
次に、図２を参照して、本実施形態における情報処理装置１００の動作について説明する。図２は、本実施形態における情報処理装置１００による処理の一例を示す、フローチャートである。
【００４９】
まず、ステップＳ２０１において、性能予測部１０１は、上記性能予測モデルを用いて、性能予測対象システムへの入力に対する予測出力を算出する。ここで、上記入力は、適宜適切な方法により情報処理装置１００（特には性能予測部１０１）に与えられる。例えば、性能予測対象システムへの実際の入力が別途任意の方法により記録され、その記録された入力が情報処理装置１００に与えられてもよい。また、例えば、性能予測対象システムへの実際の入力が情報処理装置１００に対する入力に分配されるように、当該性能予測対象システムは構成されてもよい。また、係る入力は、情報処理装置１００における図示しない入出力装置や、通信装置を介して、情報処理装置１００に与えられてもよい。
【００５０】
次に、ステップＳ２０２において、モデル調整部１０２は、上記性能予測モデルの予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量とを算出する。そして、モデル調整部１０２は、当該算出した第１の統計量に基づいて、上記性能予測モデルの調整が終了したか否かを判定する。
【００５１】
ここで、モデル調整部１０２は、例えば、性能予測対象システムの実際の出力に対する第１の統計量と、モデルが予測した予測出力に対する第１の統計量とを比較し、それらの差分を特定の基準に基づいて評価してもよい。そして、モデル調整部１０２は、は、係る評価に基づいて、上記性能予測モデルの調整が終了したか否かを判定してもよい。
【００５２】
より具体的には、例えば、モデル調整部１０２は、当該差分が所定の精度以下の値になった場合に、上記性能予測モデルの調整を完了してもよい。この場合、性能予測部１０１は、調整が完了した上記性能予測モデルによって、所定の精度内で実システムの振る舞いを予測できる。
【００５３】
また、モデル調整部１０２は、上記性能予測モデルの調整が終了したか否かの判定基準として、例えば、以下のような基準を採用可能である。即ち、モデル調整部１０２は、性能予測対象システムの実際の出力に対する第１の統計量と、性能予測モデルが予測した予測出力に対する第１の統計量との差が、ある一定回数の調整を経ても変化しない場合（すなわち、調整が平衡状態にあるとみなせる場合）に、調整完了と判定してもよい。あるいは、モデル調整部１０２は、あらかじめ定められた回数の調整を行った場合に、調整完了と判定してもよい。
【００５４】
上記ステップＳ２０２における判定の結果、モデル調整部１０２が性能予測モデルの調整が終了していないと判断した場合（ステップＳ２０３においてＮＯ）、モデル調整部１０２は、ステップＳ２０４の処理を実行する。
【００５５】
ステップＳ２０４において、モデル調整部１０２は、ステップＳ２０１において算出された性能予測モデルの予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量とを基に、性能予測モデルを調整する。
【００５６】
ステップＳ２０４においてモデル調整部１０２が性能予測モデルを調整した後、ステップＳ２０１に戻って処理が続行され、性能予測部１０１は、調整された性能予測モデルが予測する予測出力を再び算出する。
【００５７】
次に、上記ステップＳ２０２における判定の結果、モデル調整部１０２が性能予測モデルの調整が終了したと判断した場合（ステップＳ２０３においてＹＥＳ）、妥当性評価部１０３は、ステップＳ２０５の処理を実行する。
【００５８】
ステップＳ２０５において、妥当性評価部１０３は、モデル調整部１０２によって調整された後の性能予測モデルの妥当性を評価する。この場合、妥当性評価部１０３は、例えば、上記したように調整後の性能予測モデルからの予測出力に対する第２の統計量と、性能予測対象システムからの実際の出力に対する第２の統計量とに基づいて、上記性能予測モデルの妥当性を評価してもよい。
【００５９】
以上説明した通り、本実施形態による情報処理装置１００は、性能予測対象システムの入力に対して、上記性能予測モデルにより予測される予測出力を算出する。そして、本実施形態による情報処理装置１００は、当該性能予測対象システムの実際の出力に対する第１の統計量と、予測出力に対する第１の統計量との差分が小さくなるように、当該性能予測モデルを調整する。そして、本実施形態による情報処理装置１００は、性能予測対象システムの実際の出力に対する第２の統計量と、上記予測出力に対する第２の統計量とに基づいて、調整後の性能予測モデルの妥当性を評価する。
【００６０】
このため、本実施形態における情報処理装置１００によれば、性能予測対象システムの実際の振る舞いを用いて調整された性能予測モデルの妥当性を、性能予測対象システムの実際の振る舞いを用いることによって評価することができる。
【００６１】
なぜならば、性能予測対象システムの出力は、当該性能予測対象システムの実際の振る舞いを表し、本実施形態における情報処理装置１００は、当該性能予測対象システムの出力に対する第１の統計量を用いて上記性能予測モデルを調整するからである。また、本実施形態における情報処理装置１００は、当該性能予測対象システムの出力に対する第２の統計量を用いて上記性能予測モデルの妥当性を評価するからである。
【００６２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。以下の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第１の実施形態と同様な構成についての重複する説明は省略する。
【００６３】
本実施形態における性能予測装置３００は、複数の上記調整パラメータの候補（以下、「パラメータの調整候補」と称する場合がある）を有する上記性能予測モデルに適用することが可能である。本実施形態における性能予測装置３００は、係る複数のパラメータの調整候補に対して上記性能予測モデルの妥当性を評価し、妥当性がより高いと評価された上記パラメータの調整候補をユーザに提示する点において、上記第１の実施形態と相違する。以下、係る相違点を中心に説明する。
【００６４】
図３は、本発明の第２の実施形態に係る情報処理装置３００の機能的な構成を例示するブロック図である。なお、情報処理装置３００の具体的なハードウェア構成は、第１の実施形態と同様としてよい。
【００６５】
図３に示す妥当性評価部３０３は、複数のパラメータの調整候補に対して、前記性能予測モデルの妥当性を評価する。
【００６６】
ここで、上記複数のパラメータの調整候補について、図４に例示した具体例を用いて説明する。図４は、待ち行列を用いて性能予測対象システムをモデル化した、性能予測モデルの具体例である。図４におけるＤ１、Ｄ２は待ち行列の処理時間（Ｄｅｍａｎｄ）を表すパラメータである。
【００６７】
本実施形態におけるモデル調整部１０２は、例えば、図４に例示する性能予測モデルからの予測出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量と差分が小さくなるように、パラメータＤ１、Ｄ２を調整する。この場合、（１）Ｄ２を変化させずに、Ｄ１を調整する方法と、（２）Ｄ１を変化させずに、Ｄ２を調整する方法と、（３）Ｄ１、Ｄ２を共に調整する方法とが、調整方法の候補となりえる。
【００６８】
妥当性評価部３０３は、これらの候補に対して、調整後の性能予測モデルの妥当性をそれぞれ評価する。
【００６９】
妥当性評価部３０３は、適宜適切な方法を用いて、上記複数のパラメータの調整候補に対する、上記性能予測モデルの妥当性を評価してよい。例えば、妥当性評価部３０３は、妥当性評価のための特定の基準を設け、係る基準に基づいて上記性能予測モデルの妥当性を評価してよい。
【００７０】
より具体的には、妥当性評価部３０３は、例えば、以下のような基準により、上記性能予測モデルの妥当性を評価してよい。即ち、妥当性評価部３０３は、特定のパラメータの調整候補（以下、第１のパラメータ候補と称する）を調整した場合の、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量とを求める。妥当性評価部３０３は、更に、他のパラメータ調整候補（以下、第２のパラメータ候補と称する）を調整した場合の、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量とを求める。
【００７１】
妥当性評価部３０３は、上記第１のパラメータ候補について算出した、予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量の差分（以下第１の差分と称する）を算出する。また、妥当性評価部３０３は、上記第２のパラメータ候補について算出した、予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量の差分（以下第２の差分と称する）を算出する。
【００７２】
妥当性評価部３０３は、上記第１の差分と、上記第２の差分とを比較し、係る差分が小さい方を、より妥当なパラメータ調整候補として評価してもよい。なお、妥当性評価部３０３は、係る差分を、第２の統計量に応じて適切に算出してよい。例えば第２の統計量が出力の平均値であれば、妥当性評価部３０３は、かかる平均値の差分を算出すればよい。また、第２の統計量が出力に対するなんらかの分布（度数分布等）であれば、妥当性評価部３０３は、係る分布間の距離を差分として算出してもよい。
【００７３】
なお、妥当性の評価方法は上記に限定されない。妥当性評価部３０３は、上記性能予測部１０１が算出した予測出力に対する第２の統計量と、性能予測対象システムの実際の出力に対する第２の統計量とに基づいて判定可能な、任意の基準を採用してよい。
【００７４】
また、妥当性評価部３０３は、上記パラメータ調整候補に対する妥当性の評価結果を、提示部３０４に通知してもよい。
【００７５】
提示部３０４は、上記妥当性評価部３０３によって妥当性がより高いと評価されたパラメータの調整候補を、図示しないユーザ等に提示する。本実施形態において、提示部３０４は、適宜適切な方法により、係るパラメータの調整候補をユーザに提示してよい。提示部３０４は、例えば、図示しない画面等の表示装置により、係るパラメータの調整候補を提示してもよい。提示部３０４は、また、情報処理装置３００と通信可能に接続された外部の任意の情報処理装置等に対して係るパラメータの調整候補を送信することにより、当該外部の情報処理装置を介して係るパラメータの調整候補を提示してもよい。
【００７６】
以下、図５Ａ、及び、図５Ｂを参照して、上記妥当性評価部３０３による評価結果の提示について、具体例を用いて説明する。
【００７７】
図５Ａ、及び、図５Ｂは、上記性能予測モデルとして図４に例示する待ち行列モデルを採用した場合の、出力と上記第２の統計量との間の関係を例示する図である。図５Ａ及び図５Ｂに例示する具体例においては、当該性能予測モデルに対する入力が「単位時間内に処理すべきリクエスト数」であり、出力が「各リクエストに対するＴＡＴ（Ｔｕｒｎ  Ａｒｏｕｎｄ  Ｔｉｍｅ）」である。
【００７８】
また、図５Ａ、及び、図５Ｂに例示する具体例においては、上記出力に対する上記第１の統計量として、平均値が採用される。また、上記第２の統計量として度数分布が採用される。即ち、性能予測モデルからの出力に対する第１の統計量は、上記ＴＡＴの平均値であり、第２の統計量は、上記ＴＡＴの度数分布である。
【００７９】
図５Ａ、及び、図５Ｂのグラフにおける横軸は上記出力（各リクエストに対するＴＡＴ）である。それぞれのグラフにおける各プロットは、特定のＴＡＴ区間（例えば、０秒以上０．００２秒未満等）の代表点である。係る代表点をどのように選定するかは任意であり、例えば、上記ＴＡＴ区間の中央値でもよく、上限値または下限値でもよい。また、上記ＴＡＴ区間をどのように区切るかも、任意に定めてよい。
【００８０】
図５Ａ、及び、図５Ｂのグラフにおける縦軸は、上記出力に対する第２の統計量（ＴＡＴの度数分布）である。より具体的には、当該グラフ上のプロットは、上記特定のＴＡＴ区間に含まれるリクエストの数を、総リクエスト数により正規化した数値である。
【００８１】
図５Ａ、及び、図５Ｂにおいては、性能予測対象システムからの実際の出力と、パラメータ調整後の上記性能予測モデル（図４に例示した待ち行列モデル）からの予測出力とについて、第２の統計量であるそれぞれの度数分布が比較可能に図示されている。
【００８２】
図５Ａ、及び、図５Ｂに例示する具体例において、上記性能予測モデルのパラメータは、係る性能予測モデルの出力に対する第１の統計量と、性能予測対象システムの実際の出力に対する第１の統計量との差分が小さくなるように調整される。性能予測モデルの出力に対する第１の統計量、及び、予測対象システムの実際の出力に対する第１の統計量は、それぞれTATの平均値である。
【００８３】
より具体的には、本実施形態におけるモデル調整部１０２は、図５Ａ、及び、図５Ｂに例示する具体例について、それぞれ、性能予測モデルの出力に対する第１の統計量が、性能予測対象システムの実際の出力に対する第１の統計量に近づくように、上記性能予測モデルのパラメータを調整する。なお、図５Ａ、及び、図５Ｂに例示した具体例においては、係るＴＡＴの平均値は０．００５秒である。
【００８４】
ここで、図５Ａは、上記（１）Ｄ２を変化させずに、Ｄ１を調整する方法を採用した場合の第２の統計量を比較した結果である。また、図５Ｂは、（２）Ｄ１を変化させずに、Ｄ２を調整する方法を採用した場合の、第２の統計量を比較した結果である。
【００８５】
これらの図から明らかなように、図５Ａに例示するグラフにおいては、性能予測対象システムの実際の出力に対する第２の統計量（上記ＴＡＴの度数分布）と、性能予測モデルの予測出力に対する第２の統計量とが、極めて類似した分布となっている。しかしながら、図５Ｂに例示するグラフにおいては、上記した性能予測対象システムの実際の出力に対する第２の統計量と、性能予測モデルの予測出力に対する第２の統計量との間に、比較的大きな誤差がある。
【００８６】
これより、妥当性評価部３０３は、上記（１）の方法を採用して調整した上記性能予測モデルの方が、上記（２）の方法を採用して調整した上記性能予測モデルよりも、妥当性が高いと判定可能である。
【００８７】
以上より、上記提示部３０４は、図示しないユーザに対して、図５Ａの場合の調整パラメータを、妥当性がより高いものとして提示可能である。なお、上記提示部３０４は、上記複数のパラメータの調整候補とともに、各パラメータの調整候補を調整した場合の、上記第２の統計量の差分を提示してもよい。また、提示部３０４は、図５Ａ、及び、図５Ｂのようなグラフを提示してもよい。
【００８８】
次に、上記のように構成された本実施形態における情報処理装置３００の動作について、図６に例示するフローチャートを参照して説明する。なお、図６に例示するフローチャートにおいて、第１の実施形態の図２と同様のステップには同じ参照番号が付されており、これらのステップについては、第１の実施形態と同様の処理を行うため、説明は省略する。
【００８９】
まずステップＳ２０１乃至Ｓ２０５の処理は、上記第１の実施形態と同様としてよい。なお、ステップＳ２０１乃至ステップＳ２０５において、調整するパラメータ候補は、１つでもよく、複数でもよい。
【００９０】
次に、ステップＳ６０１において、モデル調整部１０２は、まだ調整が行われていないパラメータの調整候補があるか判定する。未調整のパラメータ調整候補がある場合（ステップＳ６０２においてＹＥＳ）、性能予測部１０１がステップＳ２０１から処理を続行する。そして、この場合、モデル調整部１０２が必要に応じて当該パラメータ調整候補を調整し、妥当性評価部３０３が調整後の性能予測モデルの妥当性を評価する（ステップＳ２０１乃至ステップＳ２０４）。
【００９１】
すべてのパラメータの調整候補について調整が行われた場合（ステップＳ６０２においてＮＯ）、提示部３０４は、ステップＳ６０３の処理を実行する。
【００９２】
ステップＳ６０３において、提示部３０４は、妥当性評価部３０３によって、特定の基準に基づいて妥当性がより高いと評価されたパラメータの調整候補をユーザに提示する。
【００９３】
上記説明した本実施形態に係る情報処理装置３００は、上記第１の実施形態と同様、性能予測対象システムの実際の出力に対する第１の統計量と、性能予測モデルの予測出力に対する第１の統計量とに基づいて性能予測モデルを調整する。また、上記説明した本実施形態に係る情報処理装置３００は、性能予測対象システムの実際の出力に対する第２の統計量と、性能予測モデルの予測出力に対する第２の統計量を用いて、調整後の性能予測モデルの妥当性を評価する。よって、本実施形態における情報処理装置３００は、上記第１の実施形態と同様の効果を奏する。
【００９４】
また、上述したように、本実施形態における情報処理装置３００は、複数のパラメータの調整候補に対して、性能予測モデルの妥当性を評価し、妥当性がより高いと評価されたパラメータの調整候補をユーザに提示することが可能である。
【００９５】
性能予測対象システムを模式化した性能予測モデルは、システムの各部分に相当する複数のモジュールによって構成される場合があり、この場合、どのモジュールのパラメータを修正するのが妥当か判定する必要がある。本実施形態によれば、各モジュールのパラメータを調整した場合のそれぞれの妥当性を比較することができ、どのモジュールのパラメータを修正するのが最も妥当かを判定可能である。
【００９６】
なお、上記した本実施形態におけるモデル調整部１０２は、上記パラメータの調整候補を情報処理装置３００が有する記憶部（後述する図８における符号８０２等）から取得してもよい。また、モデル調整部１０２は、上記パラメータの調整候補を情報処理装置３００の外部装置から取得してもよい。また、本実施形態におけるモデル調整部１０２あるいは妥当性評価部３０３が、上記性能予測モデルの有する調整パラメータに基づいて、上記パラメータの調整候補を逐次生成してもよい。
【００９７】
＜第３の実施形態＞
次に、上述した各実施形態に共通する構成について、本発明の第３の実施形態として、図７を参照して説明する。図７は、本発明の第３の実施形態における性能予測装置の機能的な構成を例示するブロック図である。
【００９８】
図７に例示するように、本実施形態における性能予測装置としての情報処理装置７００は、性能予測部７０１と、モデル調整部７０２と、妥当性評価部７０３と、を有する。
【００９９】
本実施形態において、上記の性能予測部７０１と、モデル調整部７０２と、妥当性評価部７０３との間はそれぞれ通信可能に接続されていてもよい。
【０１００】
性能予測部７０１は、性能予測の対象であるシステムを模式化した性能予測モデルを用いて、上記システムへの入力に対する予測出力を算出する。
【０１０１】
モデル調整部７０２は、上記性能予測部７０１により算出された、上記性能予測モデルからの予測出力に対する第１の統計量と、上記システムの実際の出力に対する第１の統計量とに基づいて、上記システムの性能予測モデルのパラメータを調整する。
【０１０２】
妥当性評価部７０３は、上記モデル調整部７０２によるパラメータ調整後の上記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、上記システムの実際の出力に対する第２の統計量とに基づいて、上記性能予測モデルの妥当性を評価する。
【０１０３】
上記説明した本実施形態による情報処理装置７００は、性能予測対象システムの入力に対して、上記性能予測モデルが予測する予測出力を算出する。そして、本実施形態による情報処理装置７００は、性能予測対象システムの実際の出力に対する第１の統計量と、予測出力に対する第１の統計量との差が小さくなるように、当該性能予測モデルを調整する。そして、本実施形態による情報処理装置７００は、性能予測対象システムの実際の出力に対する第２の統計量と、予測出力に対する第２の統計量とを用いて、調整後の性能予測モデルの妥当性を評価する。
【０１０４】
すなわち、本実施形態によれば、性能予測対象システムの実際の振る舞いを用いて調整された性能予測モデルの妥当性を、性能予測対象システムの実際の振る舞いを用いることによって評価することができる。
【０１０５】
＜ハードウェア及びソフトウェア・プログラム（コンピュータ・プログラム）の構成＞
以下、上記説明した各実施形態を実現可能なハードウェア構成について説明する。
【０１０６】
上記各実施形態において説明した性能予測装置である情報処理装置（図１における符号１００、図３における符号３００、図７における符号７００）は、それぞれの機能を実現する専用のハードウェア装置により構成してもよい。その場合、図１、図３、及び図７に示した各部は、一部または全部を統合したハードウェア（処理ロジックを実装した集積回路等）として実現してもよい。以下、図１における符号１００、図３における符号３００、図７における符号７００を総称して単に性能予測装置と称する場合がある。
【０１０７】
また、上述した性能予測装置は、図８に例示するようなハードウェアと、係るハードウェアによって実行される各種ソフトウェア・プログラム（コンピュータ・プログラム）とによって構成してもよい。
【０１０８】
図８における演算装置８０１は、汎用のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やマイクロプロセッサ等の演算処理装置である。演算装置８０１は、例えば後述する不揮発性記憶装置８０３に記憶された各種ソフトウェア・プログラムを記憶装置８０２に読み出し、係るソフトウェア・プログラムに従って処理を実行してもよい。
【０１０９】
記憶装置８０２は、演算装置８０１から参照可能な、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリ装置であり、ソフトウェア・プログラムや各種データ等を記憶する。なお、記憶装置８０２は、揮発性のメモリ装置であってもよい。
【０１１０】
不揮発性記憶装置８０３は、例えば磁気ディスクドライブや、フラッシュメモリによる半導体記憶装置のような、不揮発性の記憶装置であり、各種ソフトウェア・プログラムやデータ等を記録してもよい。
【０１１１】
ネットワークインタフェース８０６は、通信ネットワークに接続するインタフェース装置であり、例えば有線及び無線のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）接続用インタフェース装置等を採用してもよい。
【０１１２】
例えば、上記各実施形態における性能予測装置に対して、各種入力データを入力（送信する）独立した入力装置等を設ける場合、係る入力装置と、当該性能予測装置との間を任意の通信ネットワークにより通信可能に接続してもよい。なお、係る入力データは、例えば、性能予測モデルの情報、性能予測対象システムに対する入力、あるいは、性能予測対象システムからの出力に対する第１及び第２の統計量に関する情報等であってもよい。この場合、性能予測装置は、上記ネットワークインタフェース８０６を介して係る通信ネットワークと接続されてもよい。
【０１１３】
また、当該性能予測装置が、性能予測対象システムから入出力データを直接取得するように構成する場合、当該性能予測装置と性能予測対象システムとの間が任意の通信ネットワークにより通信可能に接続されてもよい。この場合、当該性能予測装置が、上記ネットワークインタフェース８０６を介して係る通信ネットワークに接続されてもよい。
【０１１４】
外部記憶装置８０４は、例えば、後述する記憶媒体８０５に対するデータの読み込みや書き込みを処理する装置である。
【０１１５】
記憶媒体８０５は、例えば光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
【０１１６】
入出力インタフェース８０７は、外部入力装置（例えばキーボードやマウス等）及び外部出力装置（例えばディスプレイ装置やプリンタ等）との間の入出力を制御する装置である。
【０１１７】
なお、上記各実施形態においては、上記各性能予測装置に対する各種入力データが記録された上記記憶媒体８０５が外部記憶装置８０４に読み込まれることにより、各種入力データが上記各性能予測装置に入力されてもよい。また、図示しないユーザが、上記入出力インタフェース８０７に接続された入出力装置を用いて、上記各種入力データを入力してもよい。
【０１１８】
上述した各実施形態を例に説明した本発明は、例えば、図８に例示したハードウェアを用いて以下のように実現されてもよい。即ち、図８に例示したハードウェアを用いて構成した性能予測装置に対して、各実施形態の説明において参照したフローチャートの機能を実現可能なソフトウェア・プログラムが供給される。その後、そのソフトウェア・プログラムを、演算装置８０１が実行する。
【０１１９】
上述した各実施形態において、図１、図３、及び、図７に示した各部は、上述したハードウェアにより実行されるソフトウェア・プログラムの機能（処理）単位である、ソフトウェアモジュールとして実現することができる。但し、これらの図面に示した各ソフトウェアモジュールの区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。
【０１２０】
例えば、図１、図３、及び、図７に示した各部をソフトウェアモジュールとして実現する場合、これらのソフトウェアモジュールを不揮発性記憶装置８０３に記憶しておいてもよい。そして、演算装置８０１がそれぞれの処理を実行する際に、これらのソフトウェアモジュールを記憶装置８０２に読み出すよう構成してもよい。
【０１２１】
また、これらのソフトウェアモジュール間は、共有メモリやプロセス間通信等の適宜の方法により、相互に各種データを伝達できるように構成されてもよい。このような構成により、これらのソフトウェアモジュール間は、相互に通信可能に接続可能である。
【０１２２】
更に、上記各ソフトウェア・プログラムは、記憶媒体８０５に記録されてもよい。そして、上記通信装置等の出荷段階、あるいは運用段階等において、記憶媒体８０５に記録された当該ソフトウェア・プログラムが適宜外部記憶装置８０４を通じて読み出され、不揮発性メモリ８０３に格納されるよう構成されてもよい。
【０１２３】
例えば、図１、図３、及び、図７を参照して、性能予測部（符号１０１、符号３０１、符号７０１）をソフトウェア・プログラムにより実現する場合が考えられる。この場合、係る性能予測部の機能を実現したソフトウェア・プログラムが記憶装置８０２に読み込まれ、演算装置８０１が、係るソフトウェア・プログラムを実行するよう制御してもよい。
【０１２４】
また、例えば、係る性能予測部の機能を実現したソフトウェア・プログラムが、任意の外部の装置から上記各種入力データを受信する場合が考えられる。この場合、上記演算装置８０１は、例えば、外部装置との間で各種入力データの受信等が発生するたびに、ネットワークインタフェース８０６を制御して、係る各種入力データを受信してもよい。
【０１２５】
上記性能予測部と同様に、モデル調整部（符号１０２、符号７０２）、妥当性評価部（符号１０３、符号３０３、符号７０３）、提示部（符号３０４）についてもソフトウェア・プログラムにより実現可能である。
【０１２６】
また、例えば、提示部３０４の機能を実現したソフトウェア・プログラムがパラメータの調整候補を提示する場合が考えられる。この場合、上記演算装置８０１は、例えば、上記入出力インタフェース８０７を制御して、係るパラメータの調整候補を上記入出力インタフェース８０７に接続された外部装置（画面装置等）に出力してもよい。
【０１２７】
また、上記性能予測装置の構成要素をソフトウェア・プログラムとして実現する場合、上記各実施形態において説明した、性能予測モデル、入出力データ、第１及び第２の統計量等は、適宜適切なデータ構造等を用いて、記憶装置８０２、あるいは、不揮発性記憶装置８０３に記憶されてもよい。
【０１２８】
なお、上記の場合において、上記性能予測装置への各種ソフトウェア・プログラムの供給方法は、出荷前の製造段階、あるいは出荷後のメンテナンス段階等において、適当な治具を利用して当該装置内にインストールする方法を採用可能である。また、係る供給方法は、インターネット等の通信回線を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用可能である。そして、このような場合において、本発明は、係るソフトウェア・プログラムを構成するコード、あるいは係るコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。
【０１２９】
以上、本発明を、上述した模範的な実施形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施形態に記載した範囲には限定されない。当業者には、係る実施形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。
【０１３０】
なお、上述した実施形態及びその変形例の一部または全部は、以下の付記のようにも記載され得る。しかしながら、上述した実施形態及びその変形例により例示的に説明した本発明は、以下には限られない。
【０１３１】
（付記１）
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する性能予測手段と、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整するモデル調整手段と、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する妥当性評価手段と、を備えることを特徴とする、性能予測装置。
【０１３２】
（付記２）
前記性能予測モデルのパラメータの調整候補をユーザに提示する提示手段を更に備え、
前記妥当性評価手段は、複数の前記パラメータの調整候補に対して、特定の基準に基づいて前記性能予測モデルの妥当性を評価し、
前記提示手段は、前記妥当性評価手段によって、前記特定の基準に基づいて妥当性が高いと評価されたパラメータの調整候補を、ユーザに提示することを特徴とする、付記１記載の性能予測装置。
【０１３３】
（付記３）
前記第１の統計量は、平均値、または、分散、または、度数分布であることを特徴とする、付記１または付記２に記載の性能予測装置。
【０１３４】
（付記４）
前記第２の統計量は、平均値、または、分散、または、度数分布であることを特徴とする、付記１乃至付記３のいずれかに記載の性能予測装置。
【０１３５】
（付記５）
前記第１の統計量及び前記第２の統計量の少なくともいずれかは、複数の種類の統計量を含むことを特徴とする、付記１乃至付記４のいずれかに記載の性能予測装置。
【０１３６】
（付記６）
前記第２の統計量は、前記第１の統計量とは異なる種類の統計量であることを特徴とする、付記１乃至付記５のいずれかに記載の性能予測装置。
【０１３７】
（付記７）
前記モデル調整手段は、
前記性能予測手段により算出された前記予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量との差分が小さくなるように前記性能予測モデルのパラメータを調整することを特徴とする、付記１乃至付記６のいずれかに記載の性能予測装置。
【０１３８】
（付記８）
前記妥当性評価手段は、
前記予測出力に対する第２の統計量と前記システムの実際の出力に対する第２の統計量との差分の大きさを前記特定の基準に基づいて判定することにより、前記性能予測モデルの妥当性を評価することを特徴とする、付記２に記載の性能予測装置。
【０１３９】
（付記９）
情報処理装置が、
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出し、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整し、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する、ことを特徴とする、性能予測方法。
【０１４０】
（付記１０）
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する処理と、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整する処理と、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する処理と、をコンピュータに実行させることを特徴とする、コンピュータ・プログラム。
【０１４１】
（付記１１）
前記妥当性評価手段は、
複数の前記パラメータの調整候補のうち、第１のパラメータの調整候補を調整した前記性能評価モデルの出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量との差分である、第１の差分と、
前記第１のパラメータ調整候補とは異なる、第２のパラメータの調整候補を調整した前記性能評価モデルの出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量との差分である、第２の差分と、を比較し、
前記第１の差分と、前記第２の差分のうち、当該差分が小さくなる方のパラメータの調整候補について妥当性が高いと評価することを特徴とする、付記２記載の性能予測装置。
【０１４２】
（付記１２）
前記モデル調整手段は、
前記性能予測手段により算出された前記予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量との差分が、所定の精度を表す判断基準に基づいて小さくなるように前記性能予測モデルのパラメータを調整することを特徴とする、付記１乃至付記６のいずれかに記載の性能予測装置。
【０１４３】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１４４】
この出願は、２０１３年１２月４日に出願された日本出願特願２０１３−２５１４０６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１４５】
１００  情報処理装置
１０１  性能予測部
１０２  モデル調整部
１０３  妥当性評価部
３００  情報処理装置
３０３  妥当性評価部
３０４  提示部
７００  情報処理装置
７０１  性能予測部
７０２  モデル調整部
７０３  妥当性評価部
８０１  演算装置
８０２  記憶装置
８０３  不揮発性記憶装置
８０４  外部記憶装置
８０５  記憶媒体
８０６  ネットワークインタフェース
８０７  入出力インタフェース
【図１】
2015083333.tif 000003
【図２】
2015083333.tif 000004
【図３】
2015083333.tif 000005
【図４】
2015083333.tif 000006
【図５Ａ】
2015083333.tif 000007
【図５Ｂ】
2015083333.tif 000008
【図６】
2015083333.tif 000009
【図７】
2015083333.tif 000010
【図８】
2015083333.tif 000011
【手続補正書】
【提出日】平成28年5月24日(2016.5.24)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
本実施形態における情報処理装置３００は、複数の上記調整パラメータの候補（以下、「パラメータの調整候補」と称する場合がある）を有する上記性能予測モデルに適用することが可能である。本実施形態における情報処理装置３００は、係る複数のパラメータの調整候補に対して上記性能予測モデルの妥当性を評価し、妥当性がより高いと評価された上記パラメータの調整候補をユーザに提示する点において、上記第１の実施形態と相違する。以下、係る相違点を中心に説明する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
図３に示す妥当性評価部３０３は、複数のパラメータの調整候補に対して、上記性能予測モデルの妥当性を評価する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
更に、上記各ソフトウェア・プログラムは、記憶媒体８０５に記録されてもよい。そして、上記通信装置等の出荷段階、あるいは運用段階等において、記憶媒体８０５に記録された当該ソフトウェア・プログラムが適宜外部記憶装置８０４を通じて読み出され、不揮発性記憶装置８０３に格納されるよう構成されてもよい。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記性能予測モデルのパラメータの調整候補をユーザに提示する提示手段を更に備え、
前記妥当性評価手段は、複数の前記パラメータの調整候補に対して、特定の基準に基づいて前記性能予測モデルの妥当性を評価し、
前記提示手段は、前記妥当性評価手段によって、前記特定の基準に基づいて妥当性が高いと評価された前記パラメータの調整候補を、ユーザに提示することを特徴とする、請求項１記載の性能予測装置。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
性能予測の対象であるシステムを模式化した性能予測モデルを用いて、前記システムへの入力に対する予測出力を算出する処理と、
前記算出した予測出力に対する第１の統計量と、前記システムの実際の出力に対する第１の統計量とに基づいて、前記性能予測モデルのパラメータを調整する処理と、
パラメータの調整後の前記性能予測モデルを用いて算出した予測出力に対する第２の統計量と、前記システムの実際の出力に対する第２の統計量とに基づいて、前記性能予測モデルの妥当性を評価する処理と、をコンピュータに実行させることを特徴とする、コンピュータ・プログラム。
【国際調査報告】
2015083333.tif 000012
2015083333.tif 000013
2015083333.tif 000014
2015083333.tif 000015