(57)【要約】【課題】サービス品質情報を適切に提供すること。【解決手段】サービス提供システム２００は、サービスの品質を示すサービス品質情報を第１の頻度にて測定し、第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する。また、評価装置３００は、第１の頻度と比較して少ない頻度である第２の頻度にてサービス品質情報を測定し、公開された第１のサービス品質情報を取得し、取得した第１のサービス品質情報を第２の頻度にて測定されたサービス品質情報各々である第２のサービス品質情報と比較することで、第１のサービス品質情報の信憑性を評価し、評価結果を提供する。【選択図】図１
2014123807.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してサービスを提供するサービス提供システムと、前記サービスの品質を評価する評価装置とを備えたサービス品質情報提供システムであって、
前記サービス提供システムは、
前記サービスの品質を示すサービス品質情報を第１の頻度にて測定する第１の測定部と、
前記第１の測定部により前記第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する公開部とを有し、
前記評価装置は、
前記第１の頻度と比較して少ない頻度である第２の頻度にて前記サービス品質情報を測定する第２の測定部と、
前記公開部により公開された前記第１のサービス品質情報を取得し、取得した第１のサービス品質情報を前記第２の測定部により前記第２の頻度にて測定された前記サービス品質情報各々である第２のサービス品質情報と比較することで、前記第１のサービス品質情報の信憑性を評価し、評価結果を提供する評価部と
を有することを特徴とするサービス品質情報提供システム。
【請求項２】
前記第１の測定部は、前記サービス提供システムにおいて前記サービスの提供に用いられるリソースのうち余剰リソースを用いて前記サービス品質情報を測定することを特徴とする請求項１に記載のサービス品質情報提供システム。
【請求項３】
前記第１の測定部は、前記サービスの提供に用いられるリソースが不足すると、前記サービス品質情報の測定に用いられている余剰リソースを開放することを特徴とする請求項１又は２に記載のサービス品質情報提供システム。
【請求項４】
前記評価部は、前記公開部により公開された第１のサービス品質情報について、前記第１のサービス品質情報に含まれるサービス品質情報各々により示される品質各々を一括して所定値変更し、変更後の前記第１のサービス品質情報の信憑性を評価することを特徴とする請求項１〜３のいずれか１項に記載のサービス品質情報提供システム。
【請求項５】
前記サービス提供システムは、前記第１の測定部により測定されたサービス品質情報各々について、前記サービス品質情報を測定する際に用いられた前記サービス提供システムのリソースの性能を識別するための識別情報と対応付けて蓄積する第１の記憶装置を更に有し、
前記評価装置は、前記第２の測定部により測定されたサービス品質情報各々について、前記サービス品質情報を測定する際に用いられた前記サービス提供システムのリソースの前記識別情報と対応付けて蓄積する第２の記憶装置を更に有し、
前記評価部は、前記第１のサービス品質情報と前記第２のサービス品質情報とを前記識別情報ごとに分類した上で、前記第１のサービス品質情報の信憑性を前記識別情報ごとに評価することを特徴とする請求項１〜４のいずれか１項に記載のサービス品質情報提供システム。
【請求項６】
前記評価部は、前記第１のサービス品質情報に含まれるサービス品質情報各々と前記第２のサービス品質情報に含まれるサービス品質情報各々とをそれぞれ共通する複数の集合に分類可能かを識別し、分類可能であると識別すると、前記第１のサービス品質情報の信憑性を前記集合ごとに評価することを特徴とする請求項１〜５のいずれかに１項に記載のサービス品質情報提供システム。
【請求項７】
前記サービス提供システムは、前記第１の測定部により測定されたサービス品質情報各々を測定時刻と対応付けて蓄積する第１の記憶装置を更に有し、
前記評価装置は、前記第２の測定部により測定されたサービス品質情報各々を測定時刻と対応付けて蓄積する第２の記憶装置を更に有し、
前記評価部は、前記第１のサービス品質情報に含まれるサービス品質情報各々と前記第２のサービス品質情報に含まれるサービス品質情報各々とに時間軸上における共通の周期がある場合に、前記第１のサービス品質情報の信憑性を周期ごとに評価することを特徴とする請求項１〜６のいずれか１項に記載のサービス品質情報提供システム。
【請求項８】
ネットワークを介してサービスを提供するサービス提供システムと、前記サービスの品質を評価する評価装置とを備えたサービス品質情報提供システムで実行される情報提供方法であって、
前記サービスの品質を示すサービス品質情報を第１の頻度にて測定する第１の測定工程と、
前記第１の測定工程により前記第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する公開工程と、
前記第１の頻度と比較して少ない頻度である第２の頻度にて前記サービス品質情報を測定する第２の測定工程と、
前記公開工程により公開された前記第１のサービス品質情報を取得し、取得した第１のサービス品質情報を前記第２の測定工程により前記第２の頻度にて測定された前記サービス品質情報各々である第２のサービス品質情報と比較することで、前記第１のサービス品質情報の信憑性を評価し、評価結果を提供する評価工程と
を含んだことを特徴とするサービス品質情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サービス品質情報提供システム及びサービス品質情報提供方法に関する。
【背景技術】
【０００２】
近年、クラウドコンピューティングに代表されるように、ネットワークを経由してサービスを提供する情報システム（以下、サービス提供システム）の普及が進んでいる。サービス提供システムとは、例えば、ＩａａＳ（Infrastructure  as  a  Service）である。ＩａａＳシステムでは、性能の異なる物理ハードウェアから構成されることがあり、起動する度にリソースの下層の物理ハードウェアが変化することもある。
【０００３】
ここで、サービス提供システムにより提供されるサービスの品質を示すサービス品質情報を測定する手法がある。例えば、サービス提供システムの運営者が、サービス提供システム上にてベンチマークを実行することでサービス品質情報を計測する手法がある。また、例えば、サービスを利用するユーザ自身が、サービス提供システム上にてベンチマークを実行することでサービス品質情報を計測する手法がある。また、例えば、第３の評価機関がベンチマークを実行することでサービス品質情報を測定する手法がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Jorg  Schad  et.  al.,  "Runtime  Measurements  in  the  Cloud:  Observing,  Analyzing,  and  Reducing  Variance",  in  Proceedings  of  the  VLDB  Endowment,  Vol.  3,  No.  1.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、サービス品質情報が適切に得られないという問題がある。例えば、サービス提供システムの運営者が測定する手法では、運営者がサービス品質情報を捏造する可能性や、サービス品質情報の測定環境を調整することで測定結果を恣意的に向上させる可能性があり、サービス品質情報の信憑性が低い。また、運営者に捏造する意志がなかったとしても、ユーザに信用されない。
【０００６】
また、例えば、ユーザ自身が測定する手法や第３の評価機関が測定する手法では、測定の間サービス提供システムを利用することになり、利用コストを負担することになり、負担が大きくなる。また、サービス提供システムのサービス品質を把握する上では、サービス品質情報を定期的かつ高頻度で測定する必要があり、負担が大きくなる。
【０００７】
開示の技術は、上述に鑑みてなされたものであって、サービス品質情報を適切に提供可能となるサービス品質情報提供システム及びサービス品質情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
開示するサービス品質情報提供システムは、一つの態様において、ネットワークを介してサービスを提供するサービス提供システムと、前記サービスの品質を評価する評価装置とを備えたサービス品質情報提供システムとを備える。また、前記サービス提供システムは、前記サービスの品質を示すサービス品質情報を第１の頻度にて測定する第１の測定部と、前記第１の測定部により前記第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する公開部とを有する。また、前記評価装置は、前記第１の頻度と比較して少ない頻度である第２の頻度にて前記サービス品質情報を測定する第２の測定部と、前記公開部により公開された前記第１のサービス品質情報を取得し、取得した第１のサービス品質情報を前記第２の測定部により前記第２の頻度にて測定された前記サービス品質情報各々である第２のサービス品質情報と比較することで、前記第１のサービス品質情報の信憑性を評価し、評価結果を提供する評価部とを有する。
【発明の効果】
【０００９】
開示するサービス品質情報提供システムの一つの態様によれば、サービス品質情報を適切に提供可能となるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に係るサービス品質情報提供システムの構成の一例を示すブロック図である。
【図２】図２は、第１の実施形態における公開データの一例を示す図である。
【図３】図３は、第１の実施形態における監査データの一例を示す図である。
【図４】図４は、第１の実施形態における評価部が第２の頻度を上げる場合について説明するための図である。
【図５】図５は、第１の実施形態における第１の測定部による処理の流れの一例を示すフローチャートである。
【図６】図６は、第１の実施形態における評価部による処理の流れの一例を示すフローチャートである。
【図７】図７は、第２の実施形態における公開データの一例を示す図である。
【図８】図８は、第２の実施形態における監査データの一例を示す図である。
【図９】図９は、第２の実施形態における評価部による処理の流れの一例を示すフローチャートである。
【図１０】図１０は、第２の実施形態における公開データを識別情報ごとに分類した場合を示す図である。
【図１１】図１１は、第２の実施形態における監査データを識別情報ごとに分類した場合を示す図である。
【図１２】図１２は、第３の実施形態における公開データの一例を示す図である。
【図１３】図１３は、第２の実施形態における監査データの一例を示す図である。
【図１４】図１４は、第３の実施形態における評価部による処理の流れの一例を示すフローチャートである。
【図１５】図１５は、第３の実施形態における公開データを周期性に応じて分類した場合を示す図である。
【図１６】図１６は、第３の実施形態における監査データを周期性に応じて分類した場合を示す図である。
【図１７】図１７は、評価部による処理の流れの一例を示すフローチャートである。
【図１８】図１８は、サービス品質情報提供システムによる処理を実行するための情報提供プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
【発明を実施するための形態】
【００１１】
以下に、開示するサービス品質情報提供システム及びサービス品質情報提供方法の実施形態について、図面に基づいて詳細に説明する。なお、本実施形態により開示する発明が限定されるものではない。各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１２】
（第１の実施形態）
（第１の実施形態に係るサービス品質情報提供システムの構成）
図１は、第１の実施形態に係るサービス品質情報提供システムの構成の一例を示すブロック図である。図１に示す例では、サービス品質情報提供システムは、ユーザ端末１００と、サービス提供システム２００と、評価装置３００とを有する。図１に示す例では、サービス品質情報提供システムは、ユーザ端末１００と、サービス提供システム２００と、評価装置３００とは、それぞれ、任意のネットワーク１０を介して接続される。
【００１３】
ユーザ端末１００は、サービス提供システム２００により提供されるサービスを利用する。例えば、ユーザ端末１００は、サービス提供システム２００により提供されるリソースを利用する。ここで、サービス提供システム２００により提供されるリソースとは、例えば、仮想マシンである。
【００１４】
また、ユーザ端末１００は、サービス提供システム２００により公開される公開データを取得したり、評価装置３００により提供される検定結果を取得したりする。なお、サービス提供システム２００により公開される公開データの詳細や、評価装置３００により提供される検定結果の詳細については、後述するため、説明を省略する。
【００１５】
（サービス提供システム）
サービス提供システム２００は、ネットワーク１０を経由してサービスを提供する。例えば、仮想リソースをネットワーク１０を介してユーザ端末１００に提供する。例えば、サービス提供システム２００は、リソースとして仮想マシンを提供する。
【００１６】
また、サービス提供システム２００は、以下に詳細に説明するように、サービスの品質を示すサービス品質情報を第１の頻度にて測定し、第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する。サービス品質情報は、例えば、ベンチマークを実行することで測定される。
【００１７】
図１に示す例では、サービス提供システム２００は、システム側通信部２０１と、システム側公開データＤＢ２１０と、システム側制御部２２０とを有する。システム側通信部２０１は、システム側制御部２２０と接続される。システム側通信部２０１は、サービス提供システム２００の通信を制御する。例えば、システム側通信部２０１は、サービス提供システム２００に管理者からの指示や情報を受け付けたり、ネットワーク１０を介してユーザ端末１００や評価装置３００からの指示や情報を受け付けたりすると、受け付けた指示や情報をシステム側制御部２２０に送信する。また、システム側通信部２０１は、システム側制御部２２０から情報を受け付けると、受け付けた情報を管理者に送信したり、ネットワーク１０を介してユーザ端末１００や評価装置３００に送信したりする。なお、システム側通信部２０１によって送受信される指示や情報の詳細については、適宜、関係する各部について説明する際に説明する。
【００１８】
システム側公開データＤＢ２１０は、システム側制御部２２０と接続される。システム側公開データＤＢ２１０は、例えば、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。システム側公開データＤＢ２１０は、「第１の記憶装置」とも称する。システム側公開データＤＢ２１０は、システム側制御部２２０により第１の頻度にて測定されたサービス品質情報各々を記憶する。
【００１９】
図２は、第１の実施形態における公開データの一例を示す図である。公開データとは、後述するように、第１の測定部２２１により第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報である。図２に示す例では、システム側公開データＤＢ２１０は、測定時刻に対応付けて、サービスの品質を示す値であるベンチマークスコアをサービス品質情報として記憶する。図２に示す例では、ベンチマークスコアは、値が大きければ大きいほどサービス品質が高いことを示し、値が小さければ小さいほどサービス品質が低いことを示す。
【００２０】
システム側制御部２２０は、システム側公開データＤＢ２１０及びシステム側通信部２０１と接続される。システム側制御部２２０は、各種の処理手順などを規定したプログラムを記憶する内部メモリを有し、種々の処理を制御する。システム側制御部２２０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）などである。図１に示す例では、システム側制御部２２０は、第１の測定部２２１と公開部２２２とを有する。なお、第１の測定部２２１による処理の詳細な一例については、フローチャートを用いて後述する。
【００２１】
第１の測定部２２１は、サービスの品質を示すサービス品質情報を第１の頻度にて測定する。そして、第１の測定部２２１は、測定したサービス品質情報をシステム側公開データＤＢ２１０に格納する。具体的には、第１の測定部２２１は、サービス提供システム２００により提供されるリソースを用いて定期的にベンチマークを実行し、測定結果をシステム側公開データＤＢ２１０に格納する。
【００２２】
例えば、第１の測定部２２１は、サービス提供システム２００により提供される仮想マシンを５つ、第１の頻度として１日４起動し、ベンチマークを実行する。言い換えると、この場合、第１の測定部２２１は、２５日間でサービス品質情報を５００個測定する。
【００２３】
より詳細な一例をあげて説明すると、第１の測定部２２１は、サービス提供システム２００によりリソースとして提供される仮想マシンにベンチマークを実行させることで、仮想マシンのＣＰＵの処理速度を測定する。
【００２４】
ここで、第１の測定部２２１は、サービス提供システム２００においてサービスの提供に用いられるリソースのうち余剰リソースを用いてサービス品質情報を測定しても良い。また、第１の測定部２２１は、サービスの提供に用いられるリソースが不足すると、サービス品質情報の測定に用いられている余剰リソースを開放しても良い。
【００２５】
公開部２２２は、第１の測定部２２１により第１の頻度にて測定されたサービス品質情報各々である第１のサービス品質情報を公開する。具体的には、公開部２２２は、システム側公開データＤＢ２１０に格納されたサービス品質情報各々をユーザ端末１００や評価装置３００に公開する。例えば、公開部２２２は、ユーザ端末１００及び評価装置３００から要求があった場合には、システム側公開データＤＢ２１０に記憶された情報を送信する。なお、以下では、第１のサービス品質情報を「公開データ」と記載する。
【００２６】
このように、サービス提供システム２００では、システム側制御部２２０は、例えば、サービス提供システム２００により提供されるリソースを用いてベンチマークを定期的に実行し、得られた測定データをシステム側公開データＤＢ２１０に格納する。また、システム側制御部２２０では、公開部２２２が、システム側公開データＤＢ２１０の中身を常に公開しており、ユーザ端末１００及び評価装置３００から要求があった場合には、システム側公開データＤＢ２１０に記憶された公開データを送信する。すなわち、例えば、第１の測定部２２１、図２の各点に示されるように、サービス品質の性能値を定期的に測定し、公開部２２２が、図２に示されるような性能値の時系列データそのものを公開する。
【００２７】
（評価装置）
サービスの品質を評価する評価装置３００は、以下に詳細に説明するように、第１の頻度と比較して少ない頻度である第２の頻度にてサービス品質情報を測定し、公開された公開データを取得して第２の頻度にて測定されたサービス品質情報各々である第２のサービス品質情報と比較することで、公開データの信憑性を評価する。
【００２８】
なお、第１の実施形態では、ユーザ端末１００とは別の端末である評価装置３００が、以下に詳細に説明する一連の処理を実行する場合を例に説明するが、これに限定されるものではない。例えば、ユーザ端末１００と評価装置３００とが同一の端末であっても良い。言い換えると、サービス提供システム２００により提供されるサービスを利用するユーザ端末１００が、以下に詳細に説明する一連の処理を実行することで、公開データの信憑性を検証しても良い。
【００２９】
図１に示す例では、評価装置３００は、評価装置側通信部３０１と、評価装置側公開データＤＢ３１０と、評価装置側監査データＤＢ３１１と、評価装置側制御部３２０とを有する。評価装置側通信部３０１は、評価装置３００の通信を制御する。例えば、評価装置側通信部３０１は、サービス提供システム２００に各種要求を送信したり、ネットワーク１０を介してサービス提供システム２００から公開データを受信したり、公開データの信憑性の検証結果をユーザ端末１００に送信したりする。
【００３０】
評価装置側公開データＤＢ３１０は、評価装置側制御部３２０と接続される。評価装置側公開データＤＢ３１０は、例えば、フラッシュメモリなどの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。評価装置側公開データＤＢ３１０は、サービス提供システム２００により公開されて評価装置３００により取得された公開データを記憶する。言い換えると、評価装置側公開データＤＢ３１０は、第１の測定部２２１により第１の頻度にて測定されたサービス品質情報各々を記憶する。
【００３１】
評価装置側監査データＤＢ３１１は、評価装置側制御部３２０と接続される。評価装置側監査データＤＢ３１１は、例えば、フラッシュメモリなどの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。評価装置側監査データＤＢ３１１は、「第２の記憶装置」とも称する。
【００３２】
評価装置側監査データＤＢ３１１は、評価装置側制御部３２０により第２の頻度にて測定されたサービス品質情報各々を記憶する。図３は、第１の実施形態における監査データの一例を示す図である。図３に示す例では、評価装置側監査データＤＢ３１１は、測定時刻に対応付けて、サービスの品質を示す値であるベンチマークスコアをサービス品質情報として記憶する。なお、評価装置側制御部３２０により第２の頻度にて測定されたサービス品質情報各々を「監査データ」とも称する。
【００３３】
ここで、システム側公開データＤＢ２１０や評価装置側公開データＤＢ３１０に記憶される公開データと、評価装置側監査データＤＢ３１１に記憶される監査データとについて更に説明する。監査データは、評価装置３００の制御や指示に基づいて測定される。一方、公開データは、サービス提供システム２００において自主的に測定される。また、図２及び図３に示されるように、監査データのサービス品質情報各々が測定される頻度である第２の頻度は、公開データのサービス品質情報各々が測定される頻度である第１の頻度と比較して小さい。言い換えると、図２及び図３に示されるように、時間当たりのサービス品質情報の数は、公開データの方が監査データと比較して多い。
【００３４】
評価装置側制御部３２０は、評価装置側通信部３０１、評価装置側公開データＤＢ３１０及び評価装置側監査データＤＢ３１１と接続される。評価装置側制御部３２０は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＭＰＵなどである。図１に示す例では、評価装置側制御部３２０は、収集部３２１と、第２の測定部３２２と、評価部３２３とを有する。なお、評価部３２３による処理の詳細な一例については、フローチャートを用いて後述する。
【００３５】
収集部３２１は、サービス提供システム２００から公開データを収集する。例えば、収集部３２１は、サービス提供システム２００に要求することで、システム側公開データＤＢ２１０に記憶されている公開データを収集する。そして、収集部３２１は、収集した公開データを評価装置側公開データＤＢ３１０に格納する。
【００３６】
ここで、収集部３２１は、サービス提供システム２００から公開データを収集する際、既に収集済みのサービス品質情報については収集することなく、未収集のサービス品質情報を選択的に収集しても良い。
【００３７】
第２の測定部３２２は、第１の頻度と比較して少ない頻度である第２の頻度にてサービス品質情報を測定する。例えば、第２の測定部３２２は、サービス提供システム２００により提供されるリソースを用いて、第１の測定部２２１と同様の手法にてサービス品質情報を測定する。例えば、第２の測定部３２２は、評価機関は仮想マシンを１つ、１日１回起動し、第１の測定部２２１により用いられるのと同一のベンチマークを実行させる。言い換えると、この場合、第２の測定部３２２は、２５日間で２５個のサービス品質情報を測定する。
【００３８】
評価部３２３は、公開部２２２により公開された公開データを取得し、第２の測定部３２２により第２の頻度により測定されたサービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。
【００３９】
具体的には、評価部３２３は、評価装置側公開データＤＢ３１０から公開データを取得し、評価装置側監査データＤＢ３１１から監査データを取得し、監査データをもとに公開データの信憑性を検定する。例えば、評価部３２３は、公開データの平均値と監査データの平均値との間に有意の差があるかどうかをウェルチの検定で検出し、検定結果（ｐ値）を取得する。ただし、評価部３２３は、公開データの平均値と監査データの平均値との間に有意の差があるかを検定する場合に限定されるものではなく、分散など他の統計値に有意な差があるかどうかを検定しても良い。
【００４０】
図２及び図３を用いて詳細な一例について説明する。図２に示す例では、公開データの平均値は、「１００．１６」である。また、図３に示す場合、監査データの「９５．４６」である。ここで、図２及び図３に示す公開データと監査データとに基づいてウェルチの検定を行うと、ｐ値は約「０．０２６」となる。これは、仮に公開データが正しくて捏造がないとすると、平均値が乖離した監査データを取得する確率が「２．６％以下」であることを示す。このように、評価部３２３がウェルチの検定を行う場合、評価部３２３により取得されるｐ値の大小に基づいて、公開データの信憑性を評価可能となる。
【００４１】
また、評価部３２３は、評価結果となる信憑性が閾値より低いと評価した場合に、第２の測定部３２２によりサービス品質情報が測定される第２の頻度を上げても良い。図４は、第１の実施形態における評価部が第２の頻度を上げる場合について説明するための図である。図４に示す例では、例えば、閾値より低いと評価した場合に、その後５日間第２の頻度を上げる場合を例に示した。
【００４２】
例えば、評価部３２３は、公開データ又は監査データが更新される度に検定を行い、常に最新の検定結果（ｐ値）をユーザに公開し続ける。ここで、評価部３２３は、公開データが正しい可能性が閾値より低いと判断した場合、例えば、検定結果のｐ値が閾値を下回った場合には、一時的にサービス品質情報が測定される測定頻度を上げて検定精度を向上させても良い。もし公開データが捏造されているならば、サービス品質情報の測定頻度を一時的に上げることで、ｐ値は急激に下がる。もし公開データに何の捏造もなければ、サービス品質情報の測定頻度を一時的に上げることで、検定結果であるｐ値が急回復することが予想され、サービス提供システム２００により提供される公開データの信頼が戻る。また、同様に、公開データが正しい可能性が閾値より高いと判断した場合、例えば、検定結果のｐ値がある閾値を上回った場合には、一時的にサービス品質情報が測定される測定頻度を下げて測定コストを低下させても良い。
【００４３】
また、評価部３２３は、評価結果をユーザに提供する。具体的には、評価部３２３は、評価結果を公開する。例えば、評価部３２３は、ウェルチの検定の結果となるｐ値をユーザ端末１００に提供する。
【００４４】
このように、評価装置３００は、公開データの信憑性を検証するため、サービス提供システム２００上でベンチマークを定期的に実行し、測定データ（監査データ）を得る。そして、評価装置３００は、監査データ取得後、公開データと監査データの統計量に有意な差が存在しないことを仮説検定によって確認し、検定結果をユーザに公開する。具体的には、評価装置３００は、サービス提供システム２００上でベンチマークを定期的に実行し、得られた監査データを評価装置側監査データＤＢ３１１に格納する。また、評価装置３００は、定期的にサービス提供システム２００の公開部２２２にアクセスし、最新の公開データを取得して評価装置側公開データＤＢ３１０に格納する。そして、評価装置３００は、例えば、評価装置側公開データＤＢ３１０及び評価装置側監査データＤＢ３１１に更新がある度に、公開データと監査データとの間で仮想マシンのＣＰＵ速度の平均値に有意な差がないことを仮説検定により確認し、確認結果をユーザに公開する。ただし、測定するサービス品質として「ＣＰＵ速度」を用いる場合に限定されるものではなく、また、有意差をみる統計値として「平均値」を用いる場合に限定されるものではない。
【００４５】
（第１の測定部による処理）
図５は、第１の実施形態における第１の測定部による処理の流れの一例を示すフローチャートである。第１の測定部２２１は、以下に説明する一連の処理を第１の頻度ごとに実行することで、サービス品質情報を第１の頻度にて測定する。
【００４６】
図５に示すように、第１の実施形態におけるサービス提供システム２００では、第１の測定部２２１は、測定タイミングとなると（ステップＳ１０１  Ｙｅｓ）、例えば、サービス提供システム２００に管理者により予め設定されたタイミングとなると、余剰リソースがあるかを判定する（ステップＳ１０２）。ここで、第１の測定部２２１は、余剰リソースがないと判定すると（ステップＳ１０２  Ｎｏ）、サービス品質情報を測定することなく処理を終了する。
【００４７】
一方、第１の測定部２２１は、余剰リソースがあると判定すると（ステップＳ１０２  Ｙｅｓ）、ベンチマークを実行する（ステップＳ１０３）。すなわち、サービス品質情報を測定する。
【００４８】
そして、第１の測定部２２１は、ベンチマークの実行が完了したかを判定し（ステップＳ１０４）、ベンチマークの実行が完了していないと判定した場合には、リソースプールの不足が発生しているかを判定する（ステップＳ１０５）。つまり、第１の測定部２２１は、ベンチマークを実行している間、サービス提供システム２００が新たなサービスをユーザに提供するリソースが不足しているかを判定する。
【００４９】
ここで、第１の測定部２２１は、ベンチマークの実行が完了しておらず（ステップＳ１０４  Ｎｏ）、リソースプールの不足が発生したと判定すると（ステップＳ１０５  Ｙｅｓ）、ベンチマークの実行を中止し（ステップＳ１０６）、ベンチマークの実行に割り当てていたリソースを解放する（ステップＳ１０７）。つまり、第１の測定部２２１は、ベンチマークを実行している間、サービス提供システム２００が新たなサービスをユーザに提供するリソースが不足した場合には、ベンチマークの実行を中止してリソースを解放することで、サービス品質情報の測定により新たなサービスの提供が妨げられることを防止する。言い換えると、ベンチマークの実行によりサービス提供システム２００のリソースプールが圧迫されることはなく、ベンチマークの実行に要する運営者のコストは低く抑えることが可能となる。
【００５０】
また、第１の測定部２２１は、ベンチマークの実行が完了しておらず（ステップＳ１０４  Ｎｏ）、リソースプールの不足が発生していないと判定すると（ステップＳ１０５  Ｎｏ）、ベンチマークの実行が完了したと判定するまで、判定処理を繰り返す。
【００５１】
また、第１の測定部２２１は、ベンチマークの実行が完了したと判定した場合には（ステップＳ１０４  Ｙｅｓ）、システム側公開データＤＢ２１０を更新する（ステップＳ１０８）。つまり、第１の測定部２２１は、新たに測定したサービス品質情報をシステム側公開データＤＢ２１０に格納する。
【００５２】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。
【００５３】
（評価部による処理）
図６は、第１の実施形態における評価部による処理の流れの一例を示すフローチャートである。なお、以下では、運営者による公開データの測定法と評価機関による監査データの測定法との間に何らかの差異が生じ、公開データと監査データの母確率分布にわずかであるが一定の差異が生じることが不可避である場合を例に説明する。
【００５４】
図６に示すように、評価部３２３は、処理タイミングとなると（ステップＳ２０１  Ｙｅｓ）、例えば、公開データや監査データが更新されると、評価部３２３は、公開データと監査データの平均値に差がないかを検定する（ステップＳ２０２）。つまり、評価部３２３は、公開部２２２により公開された公開データを取得し、第２の測定部３２２により第２の頻度にて測定されたサービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。例えば、評価部３２３は、公開データと監査データの平均値に有意の差があるかどうかをウェルチの検定で検出し、検定結果（ｐ値）を取得する。
【００５５】
ここで、評価部３２３は、ｐ値が閾値より小さいかを判定し（ステップＳ２０３）、低いと判定した場合に（ステップＳ２０３  Ｙｅｓ）、測定頻度を一定期間上げるよう第２の測定部３２２に指示する（ステップＳ２０４）。つまり、評価部３２３は、評価結果となる信憑性が閾値より低いと評価した場合に、第２の測定部３２２によりサービス品質情報が測定される第２の頻度を上げる。なお、評価部３２３は、ｐ値が閾値より小さいと判定しなかった場合には（ステップＳ２０３  Ｎｏ）、つまり、評価結果となる信憑性が閾値より高いと評価した場合には、第２の頻度を上げることなく次の処理に進む。
【００５６】
そして、評価部３２３は、ｐ値を公開する（ステップＳ２０５）。つまり、評価部３２３は、評価結果を公開する。
【００５７】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。例えば、ステップＳ２０５を省略しても良い。
【００５８】
（第１の実施形態による効果）
上述したように、第１の実施形態によれば、サービス提供システム２００は、サービスの品質を示すサービス品質情報を第１の頻度にて測定し、第１の頻度にて測定されたサービス品質情報各々である公開データを公開する。また、評価装置３００は、第１の頻度と比較して少ない頻度である第２の頻度にてサービス品質情報を測定し、公開された公開データを取得し、第２の頻度により測定されたサービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。この結果、サービス品質情報を適切に提供可能となる。例えば、信憑性の高いサービス品質情報を適切に利用可能となり、信憑性の高いサービス品質情報を低コストにて利用可能となる。
【００５９】
すなわち、サービス提供システム２００により提供されるサービスは、一般に、そのサービス品質を把握するためには定期的に、かつ、高頻度で品質の測定を行い続けなければならない。以下で、ネットワークを経由して仮想マシンやストレージ等の計算資源をサービスとして提供するＩａａＳシステムを例にとってこの事情を説明する。
【００６０】
通常のコンピュータリソースであれば、購入後にリソースの性能が変化することはほぼないが、ＩａａＳシステムの提供するリソースは、他ユーザと物理リソースを共有しているため、また、基盤となる物理リソースが更改されていくため、時間とともに性能が変化する。このため、ＩａａＳシステムの提供するリソースの性能を知りたい場合、定期的にリソースの性能を測定し続けなければならない。
【００６１】
また、ＩａａＳシステムでは、性能の異なる物理ハードウェアから構成されることがあり、さらに、起動する度にリソースの下層の物理ハードウェアが変化することもある。この結果、ＩａａＳシステムのリソースは利用する度に性能が大きく変化し得るため、リソース性能のばらつきが従来のコンピュータリソースに比べて大きい。このため、ＩａａＳシステムの提供するリソースの性能を知りたい場合、１つのリソースだけでなく、大量のリソース上でベンチマークを実行する必要がある。
【００６２】
ここで、上述したように、第１の実施形態によれば、評価部３２３が、第１の頻度と比較して少ない頻度である第２の頻度にてサービス品質情報を測定し、公開された公開データを取得し、第２の頻度により測定されたサービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。この結果、サービス品質情報を適切に提供可能となる。また、サービス提供システム２００により公開される公開データは、評価装置３００による検定を受けることになり、信憑性が高くなる。また、処理に用いられるコストは、公開データの取得に要する運営者のコストと、監査データの取得に要する評価機関のコストとの和となる。ここで、監査データの取得にあたっては、監査データが公開データの正当性の検定のみに用いられることから、評価装置３００による計測は低頻度で行えば十分であり、監査データの取得に要する評価装置３００におけるコストを抑えることも可能となる。この結果、低コストにて、信憑性の高いデータを公開利用可能となる。また、サービス提供システム２００及び評価装置３００から得た公開データ及び検定結果をもとに、ユーザが自身にとって最適なサービス提供システム２００を市場から選択することが可能となる。
【００６３】
また、第１の実施形態によれば、第１の測定部２２１は、サービス提供システムにおいてサービスの提供に用いられるリソースのうち余剰リソースを用いてサービス品質情報を測定する。この結果、公開データの取得に要するコストを抑えることが可能となる。
【００６４】
また、第１の実施形態によれば、第１の測定部２２１は、サービスの提供に用いられるリソースが不足すると、サービス品質情報の測定に用いられている余剰リソースを開放する。この結果、公開データの取得に要するコストを抑えることが可能となる。また、サービスの提供に支障を来すことなく、サービス品質情報を測定することも可能となる。
【００６５】
また、第１の実施形態によれば、評価部３２３は、評価結果となる信憑性が閾値より低いと評価した場合に、第２の測定部３２２によりサービス品質情報が測定される第２の頻度を上げる。この結果、公開データが正しくない可能性が閾値よりも高い場合に、監査データを測定する頻度を上げて信憑性の精度を上げることで、公開データの信憑性を担保することが可能となる。
【００６６】
また、第１の実施形態によれば、評価部３２３は、公開部２２２により公開された公開データについて、公開データに含まれるサービス品質情報各々により示される品質各々を一括して所定値変更し、変更後の公開データの信憑性を評価する。この結果、何らかの理由にて公開データと監査データとの間に差が出てしまう場合に、信憑性を算出する前に予め許容可能な程度公開データを低下させた上で算出することで、誤検出を防止可能となる。例えば、自社でリソースを割り当てた場合と、クライアントにリソースを割り当てる場合において、割り当てられるリソースが異なる場合には、公開データを捏造していなかったとしても、公開データと監査データとの間に有意なさ生じてしまうことがあり、この場合、信憑性が低いと算出されてしまう。このような場合であっても、予め許容可能な程度公開データを低下させた上で算出することで、誤検出を防止可能となる。
【００６７】
（第２の実施形態）
第２の実施形態では、サービス提供システム２００により提供されるリソースに複数の種類があり、リソースの種類によってサービス品質情報に差が発生する場合について説明する。以下では、第１の実施形態と同様の点については適宜説明を省略する。
【００６８】
なお、以下では、説明の便宜上、サービス提供システム２００が２種類のハードウェアで構成され、仮想マシンの性能がハードウェアの種類に大きく依存する場合について説明する。言い換えると、ハードウェアの種類によって、サービス品質情報に差が発生する場合について説明する。ただし、これに限定されるものではなく、例えば、ハードウェアの種類は２種類に限定されるものではなく、任意の数であって良い。また、例えば、ハードウェアの種類に関係なく、サービス提供システム２００により提供されるリソースに処理能力の異なる複数の種類があっても良い。
【００６９】
図７は、第２の実施形態における公開データの一例を示す図である。また、図８は、第２の実施形態における監査データの一例を示す図である。図７及び図８では、２種類のハードウェアそれぞれに対応するサービス品質情報各々を、図形の形を分けることで示す。図７及び図８に示すように、サービス提供システム２００が２種類のハードウェアで構成されており、公開データ及び監査データにおいて、標本の性能値が２つの帯に分かれる。この結果、公開データ及び監査データの両方において、データの分散値が高く、分布の正規性が著しく損なわれている。このような公開データや監査データを用いて検定を行ったとしても、良好な検定精度は得られない。
【００７０】
そこで、第２の実施形態におけるサービス提供システム２００では、システム側公開データＤＢ２１０は、第１の測定部２２１により測定されたサービス品質情報各々について、サービス品質情報を測定する際に用いられたサービス提供システムのリソースの性能を識別するための識別情報と対応付けて蓄積する。言い換えると、図７に示す公開データをシステム側公開データＤＢ２１０が記憶する場合には、図７に示されるサービス品質情報各々に対応付けて、識別情報を記憶する。なお、システム側公開データＤＢ２１０は、複数のサービス品質情報をグループ化した上で識別情報を対応付けて記憶しても良い。
【００７１】
また、第２の実施形態における第１の測定部２２１は、サービス品質情報をシステム側公開データＤＢ２１０に格納する際、サービス品質情報の測定に用いたリソースを識別する識別情報を対応付けて格納する。なお、第１の測定部２２１は、例えば、サービス提供システム２００において提供される仮想マシンのターミナルから識別情報を確認する。
【００７２】
また、第２の実施形態における評価装置３００では、評価装置側公開データＤＢ３１０は、システム側公開データＤＢ２１０と同様に公開データを記憶する。また、評価装置側監査データＤＢ３１１は、第２の測定部３２２により測定されたサービス品質情報各々について、サービス品質情報を測定する際に用いられたサービス提供システムのリソースの識別情報と対応付けて蓄積する。言い換えると、図８に示す監査データを評価装置側監査データＤＢ３１１が記憶する場合には、図８に示されるサービス品質情報各々に対応付けて、識別情報を記憶する。なお、評価装置側監査データＤＢ３１１は、複数のサービス品質情報をグループ化した上で識別情報を対応付けて記憶しても良い。
【００７３】
第２の実施形態における第２の測定部３２２は、サービス品質情報を評価装置側監査データＤＢ３１１に格納する際、サービス品質情報の測定に用いたリソースを識別する識別情報を対応付けて格納する。また、第２の実施形態における評価部３２３は、公開データと監査データとを識別情報ごとに分類した上で、公開データの信憑性を識別情報ごとに評価する。なお、第２の実施形態における評価部３２３による詳細な処理の流れの一例については、フローチャートを用いて後述する。
【００７４】
（第２の実施形態における評価部による処理）
図９は、第２の実施形態における評価部による処理の流れの一例を示すフローチャートである。なお、図９に示す例では、図５におけるステップＳ２０１、Ｓ２０３及びＳ２０４については実行しない場合を例に説明するが、これに限定されるものではなく、実行しても良い。
【００７５】
図９に示すように、第２の実施形態における評価部３２３は、処理タイミングとなると（ステップＳ３０１  Ｙｅｓ）、公開データ及び監査データが複数種類のハードウェアを含むかを判定する（ステップＳ３０２）。つまり、評価部３２３は、公開データ及び監査データに共通する複数の識別情報が記憶されているかを判定する。
【００７６】
ここで、評価部３２３は、含まれると判定すると（ステップＳ３０２  Ｙｅｓ）、公開データと監査データの標本を下層ハードウェア種別に応じて分類し（ステップＳ３０３）、分類した標本の集合ごとに公開データと監査データを検定する（ステップＳ３０４）。つまり、評価部３２３は、公開データと監査データとを識別情報ごとに分類した上で、公開データの信憑性を識別情報ごとに評価する。例えば、評価部３２３は、公開データと監査データとが複数ハードウェアの標本を含むので、ハードウェア種別に応じて両データの標本を分類し、分類した標本の集合同士で検定を行う。標本の分類は、公開データ及び監査データに含まれている識別情報に基づいて行う。
【００７７】
図１０は、第２の実施形態における公開データを識別情報ごとに分類した場合を示す図である。図１１は、第２の実施形態における監査データを識別情報ごとに分類した場合を示す図である。図１０に示す例では、公開データの上の帯に属するサービス品質情報の集合と、下の帯に属するサービス品質情報の集合とを、それぞれ、「Ｐ１」、「Ｐ２」と記載している。また、図１１に示す例では、監査データの上の帯に属するサービス品質情報の集合と、下の帯に属するサービス品質情報の集合とを、それぞれ、「Ａ１」、「Ａ２」と記載している。この場合、評価部３２３は、「Ｐ１」と「Ａ１」のペア、「Ｐ２」と「Ａ２」のペアそれぞれに対してウェルチの検定を行う。
【００７８】
一方、評価部３２３は、含まれないと判定すると（ステップＳ３０２  Ｎｏ）、図６のステップＳ２０３と同様に、公開データと監査データの平均値に差がないかを検定する（ステップＳ３０５）。
【００７９】
その後、評価部３２３は、各検定のｐ値を公開する（ステップＳ３０６）。例えば、評価部３２３は、得られた２つのｐ値のうち、低い方、高い方、両方、あるいはその平均をユーザに対して公開する。
【００８０】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。
【００８１】
（第２の実施形態による効果）
上述したように、第２の実施形態によれば、サービス提供システム２００は、第１の測定部２２１により測定されたサービス品質情報各々について、サービス品質情報を測定する際に用いられたサービス提供システムのリソースの性能を識別するための識別情報と対応付けて蓄積する。また、評価装置３００は、第２の測定部３２２により測定されたサービス品質情報各々について、サービス品質情報を測定する際に用いられたサービス提供システムのリソースの識別情報と対応付けて蓄積する。また、評価装置３００は、公開データと監査データとを識別情報ごとに分類した上で、公開データの信憑性を識別情報ごとに評価する。この結果、評価精度を向上可能となる。すなわち、例えば、ベンチマークを実行した仮想マシンの下層ハードウェアの種類に応じて標本を分類し、分類した標本の集合同士で検定を行う。こうすることで、データの分散を低く抑え、かつ分布の正規性を向上させることができ、検定の精度を向上可能となる。
【００８２】
（第３の実施形態）
第３の実施形態では、サービス提供システム２００により提供されるリソースの性能が周期性をもって大きく変動する場合について説明する。
【００８３】
以下では、説明の便宜上、サービス提供システム２００により提供されるリソースの性能が、定期的に２つの性能間で変化する場合を例に説明するが、これに限定されるものではない。例えば、サービス提供システム２００により提供されるリソースの性能が不定期に変化しても良い。また、例えば、３つ以上の性能間を変化するようにしても良い。
【００８４】
図１２は、第３の実施形態における公開データの一例を示す図である。また、図１３は、第２の実施形態における監査データの一例を示す図である。図１２及び図１３に示すように、公開データ及び監査データは、周期性をもって変動している。例えば、図１２及び図１３に示す例では、０時から７時の間と、７時から２４時の間において、ベンチマークの性能が異なる場合を例に示した。
【００８５】
図１２及び図１３に示すように、公開データ及び監査データに含まれるサービス品質情報各々には周期性があり、時間軸上における範囲ごとにサービス品質情報各々が２つの帯に分かれる。この結果、公開データ及び監査データの両方において、データの分散値が高く、分布の正規性が著しく損なわれている。このような公開データや監査データを用いて検定を行ったとしても、良好な検定精度は得られない。
【００８６】
このことを踏まえ、以下に詳細に説明するように、第３の実施形態では、測定時刻に応じてサービス品質情報各々を分類し、第２の実施形態と同様に分類したサービス品質情報各々の集合同士で検定を行う。
【００８７】
具体的には、第３の実施形態における評価部３２３は、公開データに含まれるサービス品質情報各々と監査データに含まれるサービス品質情報各々とに時間軸上における共通の周期性がある場合に、公開データの信憑性を周期ごとに評価する。なお、評価部３２３による詳細な処理の一例については、フローチャートを用いて後述する。
【００８８】
（第３の実施形態における評価部による処理）
図１４は、第３の実施形態における評価部による処理の流れの一例を示すフローチャートである。なお、図１４に示す例では、図５におけるステップＳ２０１、Ｓ２０３及びＳ２０４については実行しない場合を例に説明するが、これに限定されるものではなく、実行しても良い。
【００８９】
図１４に示すように、第３の実施形態における評価部３２３は、処理タイミングとなると（ステップＳ４０１  Ｙｅｓ）、公開データ及び監査データに周期性が認められるかを判定する（ステップＳ４０２）。つまり、評価部３２３は、公開データに含まれるサービス品質情報各々と監査データに含まれるサービス品質情報各々とに時間軸上における共通の周期性があるかを判定する。
【００９０】
ここで、評価部３２３は、周期性があると判定すると（ステップＳ４０２  Ｙｅｓ）、公開データと監査データの標本を周期性に応じて分類し（ステップＳ４０３）、分類した標本の集合ごとに公開データと監査データを検定する（ステップＳ４０４）。つまり、評価部３２３は、公開データに含まれるサービス品質情報各々と監査データに含まれるサービス品質情報各々とについて、時間軸上における共通の周期性ごとに分類した上で、公開データの信憑性を周期ごとに評価する。
【００９１】
図１５は、第３の実施形態における公開データを周期性に応じて分類した場合を示す図である。図１６は、第３の実施形態における監査データを周期性に応じて分類した場合を示す図である。図１５に示す例では、公開データのサービス品質情報の集合各々を「Ｐ３」「Ｐ４」「Ｐ５」「Ｐ６」「Ｐ７」「Ｐ８」と記載している。また、図１６に示す例では、監査データのサービス品質情報の集合各々を「Ａ３」「Ａ４」「Ａ５」「Ａ６」「Ａ７」「Ａ８」と記載している。評価部３２３は、「Ｐ３」と「Ａ３」のペア、「Ｐ４」と「Ａ４」のペア、「Ｐ５」と「Ａ５」のペア、「Ａ６」と「Ｐ６」のペア、「Ｐ７」と「Ａ７」のペア、「Ｐ８」と「Ａ８」のペア各々について、ウェルチの検定を行う。各ペアは、時間軸上における同一の時間範囲に対応している。
【００９２】
一方、評価部３２３は、含まれないと判定すると（ステップＳ４０２  Ｎｏ）、図６のステップＳ２０３と同様に、公開データと監査データの平均値に差がないかを検定する（ステップＳ４０５）。
【００９３】
その後、評価部３２３は、各検定のＰ値を公開する（ステップＳ４０６）。例えば、評価部３２３は、得られたＰ値のうち、低い方、高い方、すべて、あるいはその平均をユーザに対して公開する。
【００９４】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。例えば、上記の例では、公開データの「Ｐ３」「Ｐ４」「Ｐ５」「Ｐ６」「Ｐ７」「Ｐ８」各々について、それぞれ、監査データの「Ａ３」「Ａ４」「Ａ５」「Ａ６」「Ａ７」「Ａ８」各々とペアにした上でウェルチの検定を行う場合を例に示したが、これに限定されるものではない。例えば、図１５及び図１６に示される例では、リソースが周期的に２つの性能間で変化している。このことを踏まえ、評価部３２３は、時間軸上における同一の時間範囲における公開データと監査データとを比較することで信憑性を評価するだけでなく、図１５及び図１６に示す例では、公開データの「Ｐ３」「Ｐ５」「Ｐ７」と監査データの「Ａ３」「Ａ５」「Ａ７」とをペアとし、公開データの「Ｐ４」「Ｐ６」「Ｐ８」と監査データの「Ａ４」「Ａ６」「Ａ８」各々とをペアとした上で信憑性を評価しても良い。
【００９５】
（第３の実施形態による効果）
上述したように、第３の実施形態によれば、サービス提供システム２００は、第１の測定部２２１により測定されたサービス品質情報各々を測定時刻と対応付けて蓄積する。また、評価装置３００は、第２の測定部３２２により測定されたサービス品質情報各々を測定時刻と対応付けて蓄積する。また、評価装置３００は、公開データに含まれるサービス品質情報各々と監査データに含まれるサービス品質情報各々とに時間軸上における共通の周期性がある場合に、公開データの信憑性を周期ごとに評価する。この結果、データの分散を低く抑え、かつ分布の正規性を向上させることができ、検定の精度を向上可能となる。
【００９６】
（第４の実施形態）
さて、これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【００９７】
（公表内容）
例えば、上述した実施形態では、評価装置３００が、評価結果を公表する場合を例に示したが、これに限定されるものではない。例えば、評価装置３００は、監査データそのものを公表しても良く、評価結果と監査データとを併せて公開しても良く、評価結果と監査データと公開データとを併せて公開しても良い。
【００９８】
（公開データと監査データ）
また、例えば、評価装置３００は、現時点から所定の期間前までの公開データと監査データとを選択的に用いて評価を行っても良い。すなわち、データの標本数が増えると検定の精度が上がるが、古い標本は情報の鮮度が落ちる。サービス提供システム２００のリソース性能は時間とともに変化するので、現在の正確なリソース性能を検証するために、一定期間の標本のみに着目して検定を行っても良い。例えば、公開データと監査データの標本のうち、直近２ヶ月間のものに限って用いても良い。この結果、現時点におけるサービス提供システム２００を高精度に評価可能となる。
【００９９】
また、第２の実施形態では、識別情報に基づいて公開データと監査データとを分類する場合を例に説明したが、これに限定されるものではない。何らかの事情により運営者が公開データ中の標本についてそのハードウェア種別を公開しない、あるいは、評価機関が仮想マシンのハードウェアタイプを確認できない場合も想定される。
【０１００】
このことを踏まえ、評価部３２３は、公開データに含まれるサービス品質情報各々と監査データに含まれるサービス品質情報各々とをそれぞれ共通する複数の集合に分類可能かを識別し、分類可能であると識別すると、公開データの信憑性を集合ごとに評価しても良い。例えば、評価部３２３は、機械学習などの公知の技術を用いて、両データ中の標本に含まれるハードウェア種別数の推定及び近似的な標本の分類を行うことで公開データと監査データとを分類し、信憑性の評価を行っても良い。この結果、識別情報がなくても適切に評価可能となる。
【０１０１】
（一括変更）
例えば、評価部３２３は、公開部２２２により公開された公開データについて、公開データに含まれるサービス品質情報各々により示される品質各々を一括して所定値変更し、変更後の公開データの信憑性を評価しても良い。
【０１０２】
すなわち、運営者による公開データの測定法と評価機関による監査データの測定法との間に何らかの差異が生じ、公開データと監査データの母確率分布にわずかであるが一定の差異が生じることが不可避である場合がある。例えば、サービス提供システム２００の運営者と、評価装置３００とが同一のベンチマークを実行し、かつ、運営者が公開データに対し何の捏造も行っていないとしても、公開データと監査データとの間に差が発生してしまう場合である。
【０１０３】
より詳細な一例をあげて説明すると、サービス提供システム２００が運用者により指定されて自社にリソースを割り当てる場合と、クライアントにリソースを割り当てる場合との間において、リソースの割り当て方が異なる場合が該当する。この場合、評価装置３００に割り当てられるリソースは、サービス提供システム２００が自社にてサービス品質情報を測定する際に割り当てるリソースと同一とはならず、例えば、１％の差が発生してしまうことが想定される。公開データと監査データの母確率分布にずれがある場合、それがわずかなずれであったとしても、標本数が増えるにつれてｐ値が劇的に小さくなっていく。この結果、公開データの信憑性が低いと評価され、運営者はユーザからの信頼を失うことになる。
【０１０４】
このような場合を想定し、評価部３２３は、予め公開データの全標本に対してそのリソース性能を一定値低下させる処理を行った後、検定処理を行っても良い。ここで、リソース性能を低下させる一定値とは、誤差として許容される範囲内の値となる。例えば、公開データが監査データと比較して１％の誤差が許容される場合には、公開データの全標本に対してリソース性能を予め１％低下させる処理を行った上で検定処理を行う。この結果、公開データと監査データの母確率分布のずれが一定値以内であれば、ｐ値を小さくしないようにすることが可能となる。なお、ここで、システム側公開データＤＢ２１０や評価装置側公開データＤＢ３１０に記憶された公開データについては変更を反映しないようにしても良い。
【０１０５】
図１７は、評価部による処理の流れの一例を示すフローチャートである。なお、以下では、運営者による公開データの測定法と評価機関による監査データの測定法との間に何らかの差異が生じ、公開データと監査データの母確率分布にわずかであるが一定の差異が生じることが不可避である場合を例に説明する。
【０１０６】
図１７に示すように、評価部３２３は、処理タイミングとなると（ステップＳ５０１  Ｙｅｓ）、例えば、公開データや監査データが更新されると、公開データのリソース情報を一定値低下させる（ステップＳ５０２）。例えば、公開データが監査データと比較して１％高い値が生じる場合には、公開データの全標本に対してサービス品質情報により示される品質を予め１％低下させる処理を行う。
【０１０７】
そして、評価部３２３は、公開データと監査データの平均値に差がないかを検定し、ｐ値を公開する（ステップＳ５０３〜Ｓ５０６）。なお、ステップＳ５０３〜Ｓ５０６は、図６におけるステップＳ２０２〜Ｓ２０５と同様であり、説明を省略する。
【０１０８】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。例えば、上述した処理の流れでは、公開データのリソース情報を一定値低下させる場合を例に示したが、これに限定されるものではなく、代わりに監査データのリソース情報を一定値上げてもよく、公開データのリソース情報を一定値低下させるとともに監査データのリソース情報を一定値上げてもよい。
【０１０９】
（システム構成）
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については（例えば、図１〜図１７）、特記する場合を除いて任意に変更することができる。
【０１１０】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【０１１１】
（プログラム）
図１８は、サービス品質情報提供システムによる処理を実行するための情報提供プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図１７に例示するように、コンピュータ３０００は、例えば、メモリ３０１０と、ＣＰＵ３０２０と、ネットワークインタフェース３０７０とを有する。コンピュータ３０００の各部はバス３１００によって接続される。
【０１１２】
メモリ３０１０は、図１８に例示するように、ＲＯＭ３０１１及びＲＡＭ３０１２を含む。ＲＯＭ３０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。
【０１１３】
ここで、図１８に例示するように、ハードディスクドライブ３０８０は、例えば、ＯＳ３０８１、アプリケーションプログラム３０８２、プログラムモジュール３０８３、プログラムデータ３０８４を記憶する。すなわち、開示の技術に係る更新プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュール３０８３として、例えばハードディスクドライブ３０８０に記憶される。具体的には、上記実施形態で説明した評価装置側制御部３２０の各部と同様の情報処理を実行する手順各々が記述されたプログラムモジュールが、ハードディスクドライブ３０８０に記憶される。
【０１１４】
また、情報提供プログラムによる情報処理に用いられるデータは、プログラムデータ３０８４として、例えばハードディスクドライブ３０８０に記憶される。そして、ＣＰＵ３０２０が、ハードディスクドライブ３０８０に記憶されたプログラムモジュール３０８３やプログラムデータ３０８４を必要に応じてＲＡＭ３０１２に読み出し、各種の手順を実行する。
【０１１５】
なお、情報提供プログラムに係るプログラムモジュール３０８３やプログラムデータ３０８４は、ハードディスクドライブ３０８０に記憶される場合に限られない。例えば、プログラムモジュール３０８３やプログラムデータ３０８４は、着脱可能な記憶媒体に記憶されても良い。この場合、ＣＰＵ３０２０は、ディスクドライブなどの着脱可能な記憶媒体を介してデータを読み出す。また、同様に、情報提供プログラムに係るプログラムモジュール３０８３やプログラムデータ３０８４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されても良い。この場合、ＣＰＵ３０２０は、ネットワークインタフェースを介して他のコンピュータにアクセスすることで各種データを読み出す。
【０１１６】
（その他）
なお、本実施形態で説明した情報提供プログラムは、インターネットなどのネットワークを介して配布することができる。また、情報提供プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【０１１７】
１０        ネットワーク
１００      ユーザ端末
２００      サービス提供システム
２０１      システム側通信部
２１０      システム側公開データＤＢ
２２０      システム側制御部
２２１      第１の測定部
２２２      公開部
３００      評価装置
３０１      評価装置側通信部
３１０      評価装置側公開データＤＢ
３１１      評価装置側監査データＤＢ
３２０      評価装置側制御部
３２１      収集部
３２２      第２の測定部
３２３      評価部
【図１】
2014123807.tif 000003
【図２】
2014123807.tif 000004
【図３】
2014123807.tif 000005
【図４】
2014123807.tif 000006
【図５】
2014123807.tif 000007
【図６】
2014123807.tif 000008
【図７】
2014123807.tif 000009
【図８】
2014123807.tif 000010
【図９】
2014123807.tif 000011
【図１０】
2014123807.tif 000012
【図１１】
2014123807.tif 000013
【図１２】
2014123807.tif 000014
【図１３】
2014123807.tif 000015
【図１４】
2014123807.tif 000016
【図１５】
2014123807.tif 000017
【図１６】
2014123807.tif 000018
【図１７】
2014123807.tif 000019
【図１８】
2014123807.tif 000020