(57)【特許請求の範囲】
【請求項１】
ネットワークを介してサービスを提供するサービス提供システムと、前記サービスの品質を評価する評価装置とを備えたサービス品質情報提供システムであって、
前記評価装置は、
前記サービス提供システムが提供するサービスの品質を項目ごとに評価した項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する算出部と、
前記精度が所定の閾値以上である場合、前記分類結果に基づいて他の項目別サービス品質情報に含まれるデータを複数の集合に分類する分類部と、
前記分類部による分類結果の精度を前記関数に基づいて算出し、算出した精度が最大となる分類結果を項目ごとに選択する選択部と、
を有することを特徴とするサービス品質情報の品質属性特定システム。
【請求項２】
前記サービス提供システムは、
前記サービス提供システムが提供するサービスの品質を項目ごとに第１の頻度にて評価した第１の項目別サービス品質情報を測定する第１の測定部と、
前記第１の測定部により第１の項目別サービス品質情報を公開する公開部とを有し、
前記評価装置は、
前記公開部により公開された前記第１の項目別サービス品質情報を取得する取得部と、
前記第１の頻度と比較して少ない頻度である第２の頻度にて前記サービス提供システムが提供するサービスの品質を項目ごとに評価した第２の項目別サービス品質情報を測定する第２の測定部とを更に有し、
前記算出部は、前記第１の項目別サービス品質情報に含まれるデータ又は前記第２の項目別サービス品質情報に含まれるデータの少なくとも一方を複数の集合に分類した分類結果の精度を前記関数に基づいて算出し、
前記分類部は、前記第１の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の前記第１の項目別サービス品質情報に含まれるデータを分類し、前記第２の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の前記第２の項目別サービス品質情報に含まれるデータを分類し、
前記選択部は、前記分類部による分類結果の精度を前記関数に基づいて算出し、算出した精度が最大となる分類結果を、前記第１の項目別サービス品質情報の評価項目ごと又は、前記第２の項目別サービス品質情報の評価項目ごとの少なくとも一方から選択する
ことを特徴とする請求項１に記載のサービス品質情報の品質属性特定システム。
【請求項３】
前記選択部により選択された前記第１の項目別サービス品質情報の分類結果に含まれる集合と、前記第２の項目別サービス品質情報の分類結果に含まれる集合とを比較することで、前記第１の項目別サービス品質情報の信憑性を評価し、評価結果を提供する評価部を更に有することを特徴とする請求項２に記載のサービス品質情報の品質属性特定システム。
【請求項４】
ネットワークを介してサービスを提供するサービス提供システムと、前記サービスの品質を評価する評価装置とを備えたサービス品質情報の品質属性特定システムで実行されるサービス品質情報の品質属性特定方法であって、
前記評価装置が、
前記サービス提供システムが提供するサービスの品質を項目ごとに評価した項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する算出工程と、
前記精度が所定の閾値以上である場合、前記分類結果に基づいて他の項目別サービス品質情報に含まれるデータを複数の集合に分類する分類工程と、
前記分類工程による分類結果の精度を前記関数に基づいて算出し、算出した精度が最大となる分類結果を項目ごとに選択する選択工程と、
を含んだことを特徴とするサービス品質情報の品質属性特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サービス品質情報の品質属性特定システム及びサービス品質情報の品質属性特定方法に関する。
【背景技術】
【０００２】
近年、クラウドコンピューティングに代表されるように、ネットワークを経由してサービスを提供する情報システム（サービス提供システム）の普及が進んでいる。例えば、サービス提供システムには、ネットワークを経由して仮想マシンをユーザに提供するＩａａＳ（Infrastructure  as  a  Service）がある。
【０００３】
また、サービス提供システムにより提供されるサービス品質を示すサービス品質情報を測定する手法がある。例えば、ＩａａＳでは、このサービス品質情報には、ＣＰＵ（Central  Processing  Unit）処理速度、メモリ転送速度及びネットワーク帯域等の項目が含まれる。例えば、サービス提供システムの運営者が、サービス提供システム上にてベンチマークを実行することでサービス品質情報を計測する手法がある。また、例えば、サービスを利用するユーザ自身が、サービス提供システム上にてベンチマークを実行することでサービス品質情報を計測する手法がある。また、例えば、第３の評価機関がベンチマークを実行することでサービス品質情報を測定する手法がある。なお、サービス提供システム２００により公開されるサービス品質情報のことを公開データと呼び、第３の評価機関がベンチマークを実行することで測定するサービス品質情報を監査データと呼ぶ。また、以下では、公開データを取得・公開するシステム運営者を公開者、監査データを取得して検証を行う評価機関・あるいはユーザを監査者と呼ぶ。
【０００４】
また、サービス提供システムのサービス品質は、サービス提供システムの内部構成または他ユーザの利用状況などにより、サービスを利用する度に大きく変化することがある。例えば、ＩａａＳサービスの提供する仮想マシンを利用する場合、仮想マシンの性能は、利用開始時に割り当てられるハードウェアの種類（以下、品質属性と呼ぶ）に応じて性能が異なることが知られている。例えば、品質属性には、ＣＰＵ種別やネットワークアダプタ種別等が含まれる（非特許文献１）。
【０００５】
ここで、公開者が、例えば公開データ用にシステムの品質測定を行うたびに、測定時の品質属性を取得して品質属性を各測定値と対応付けた公開データを公開することで、監査者は、サービス品質情報の測定値を品質属性に応じて特定可能となる。言い換えると、監査者は、品質属性に応じてサービス品質情報の測定値を分類した適切なサービス品質情報を得ることが可能となる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Jorg  Schad  et.  al.,  "Runtime  Measurements  in  the  Cloud:  Observing,  Analyzing,  and  Reducing  Variance",  in  Proceedings  of  the  VLDB  Endowment,  Vol.  3,  No.  1.
【非特許文献２】首藤祐一，波戸邦夫，小林秀承，桑名栄二，  ”インタークラウドにおける性能測定方式“、電子情報通信学会技術研究報告，  Vol.  112，  No.  393，  IN2012-153,  平成２５年１月.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、サービス品質情報の測定値を品質属性に応じて特定することができない場合があるという課題がある。具体的には、品質属性による測定値の分類を行うためには公開データや監査データに品質属性が含まれている必要がある。この一方で、例えば公開者は、方針によってＩａａＳシステムのハードウェア構成を知られることを嫌い、公開データに品質属性を含めない場合がある。また、例えば、品質属性がシステムにより隠蔽され、監査者が品質測定を行う際に観測できない場合がある。
【０００８】
なお、サービス品質情報に品質属性が含まれていなくても、ｋ−ｍｅａｎｓ等に代表される機械学習のクラスタリング手法によって各測定値を品質属性に応じて分類できる場合がある。例えば、品質属性によってサービス品質情報の測定値が大きく異なる場合、サービス提供システムの品質測定で得られる時系列データは、得られる測定値に複数のまとまりが生じるので、サービス品質情報の測定値を品質属性に応じて特定することが可能である。しかしながら、品質属性によってサービス品質情報の測定値に差が小さい場合、正確な分類は難しくなるので、サービス品質情報の測定値を品質属性に応じて特定することができない。
【０００９】
開示の技術は、上述に鑑みてなされたものであって、サービス品質情報の測定値を品質属性に応じて特定することを目的とする。
【課題を解決するための手段】
【００１０】
開示するサービス品質情報の品質属性特定システムは、一つの態様において、ネットワークを介してサービスを提供するサービス提供システムと、サービスの品質を評価する評価装置とを備える。評価装置は、算出部と、分類部と、選択部とを有する。算出部は、サービス提供システムが提供するサービスの品質を項目ごとに評価した項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。分類部は、精度が所定の閾値以上である場合、分類結果に基づいて他の項目別サービス品質情報に含まれるデータを複数の集合に分類する。選択部は、分類部による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を項目ごとに選択する。
【発明の効果】
【００１１】
開示するサービス品質情報提供システムの一つの態様によれば、サービス品質情報の測定値を品質属性に応じて特定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１の実施形態に係るサービス品質情報提供システムの構成の一例を示すブロック図である。
【図２】図２は、第１の実施形態における公開データの一例を示す図である。
【図３】図３は、第１の実施形態における公開データの一例を示す図である。
【図４】図４は、第１の実施形態における監査データの一例を示す図である。
【図５】図５は、第１の実施形態における監査データの一例を示す図である。
【図６】図６は、算出部による処理動作の一例を説明する図である。
【図７】図７は、分類部による処理動作の一例を説明する図である。
【図８】図８は、算出部及び分類部による分類結果の一例を示す図である。
【図９】図９は、選択部による処理動作の一例を説明する図である。
【図１０】図１０は、第１の実施形態における公開データを分類した場合を示す図である。
【図１１】図１１は、第１の実施形態における監査データを分類した場合を示す図である。
【図１２】図１２は、第１の実施形態における第１の測定部による処理の流れの一例を示すフローチャートである。
【図１３】図１３は、第１の実施形態における評価装置側制御部による処理の流れの一例を示すフローチャートである。
【図１４】図１４は、第１の実施形態における分類する処理の流れの一例を示すフローチャートである。
【図１５】図１５は、サービス品質情報提供システムによる処理を実行するためのサービス品質情報の品質属性特定プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
【発明を実施するための形態】
【００１３】
以下に、開示するサービス品質情報の品質属性特定システム及びサービス品質情報の品質属性特定方法の実施形態について、図面に基づいて詳細に説明する。なお、本実施形態により開示する発明が限定されるものではない。各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１４】
（第１の実施形態）
図１は、第１の実施形態に係るサービス品質情報提供システムの構成の一例を示すブロック図である。図１に示す例では、サービス品質情報提供システムは、ユーザ端末１００と、サービス提供システム２００と、評価装置３００とを有する。図１に示す例では、サービス品質情報提供システムは、ユーザ端末１００と、サービス提供システム２００と、評価装置３００とは、それぞれ、任意のネットワーク１０を介して接続される。
【００１５】
ユーザ端末１００は、サービス提供システム２００により提供されるサービスを利用する。例えば、ユーザ端末１００は、サービス提供システム２００により提供されるリソースを利用する。ここで、サービス提供システム２００により提供されるリソースとは、例えば、仮想マシンである。
【００１６】
また、ユーザ端末１００は、サービス提供システム２００により公開される公開データを取得したり、評価装置３００により提供される検定結果を取得したりする。なお、サービス提供システム２００により公開される公開データの詳細や、評価装置３００により提供される検定結果の詳細については、後述するため、説明を省略する。
【００１７】
サービス提供システム２００は、ネットワーク１０を経由してサービスを提供する。例えば、サービス提供システム２００は、ネットワーク１０を介して仮想リソースをユーザ端末１００に提供する。例えば、サービス提供システム２００は、リソースとして仮想マシンを提供する。
【００１８】
また、サービス提供システム２００は、提供するサービスの品質を項目ごとに第１の頻度にて評価した第１の項目別サービス品質情報を測定し、測定した第１の項目別サービス品質情報を公開する。サービス品質情報は、例えば、ベンチマークを実行することで測定される。ここで、サービスの品質には、ＣＰＵ（Central  Processing  Unit）処理速度、メモリ転送速度及びネットワーク帯域等の項目が含まれる。また、以下の説明では、第１の項目別サービス品質情報のことを「公開データ」とも呼ぶ。なお、サービス提供システム２００の詳細については、後述する。
【００１９】
評価装置３００は、サービス提供システム２００が提供するサービスの品質を評価する。例えば、評価装置３００は、第１の頻度と比較して少ない頻度である第２の頻度にてサービス提供システム２００が提供するサービスの品質を項目ごとに評価した第２の項目別サービス品質情報を測定する。なお、以下の説明では、第２の項目別サービス品質情報のことを「監査データ」とも呼ぶ。
【００２０】
また、評価装置３００は、公開された公開データを取得する。そして、評価装置３００は、公開データと、監査データとを比較することで、公開データの信憑性を評価し、評価結果をユーザ端末１００に提供する。なお、評価装置３００の詳細については、後述する。
【００２１】
なお、第１の実施形態では、ユーザ端末１００とは別の端末である評価装置３００が、以下に詳細に説明する一連の処理を実行する場合を例に説明するが、これに限定されるものではない。例えば、ユーザ端末１００と評価装置３００とが同一の端末であっても良い。言い換えると、サービス提供システム２００により提供されるサービスを利用するユーザ端末１００が、以下に詳細に説明する一連の処理を実行することで、公開データの信憑性を検証しても良い。
【００２２】
図１に示すように、サービス提供システム２００は、例えば、システム側通信部２０１と、システム側公開データＤＢ２１０と、システム側制御部２２０とを有する。システム側通信部２０１は、システム側制御部２２０と接続される。システム側通信部２０１は、サービス提供システム２００の通信を制御する。例えば、システム側通信部２０１は、サービス提供システム２００に管理者からの指示や情報を受け付けたり、ネットワーク１０を介してユーザ端末１００や評価装置３００からの指示や情報を受け付けたりすると、受け付けた指示や情報をシステム側制御部２２０に送信する。また、システム側通信部２０１は、システム側制御部２２０から情報を受け付けると、受け付けた情報を管理者に送信したり、ネットワーク１０を介してユーザ端末１００や評価装置３００に送信したりする。なお、システム側通信部２０１によって送受信される指示や情報の詳細については、適宜、関係する各部について説明する際に説明する。
【００２３】
また、第１の実施形態では、サービス提供システム２００により提供されるリソースに複数の種類があり、リソースの種類によって項目別サービス品質情報に差が発生する場合について説明する。なお、以下では、サービス提供システム２００が２種類のハードウェア（例えば、ＣＰＵ１とＣＰＵ２）で構成され、仮想マシンの性能がハードウェアの種類（以下、品質属性とも呼ぶ）に大きく依存する場合について説明する。言い換えると、品質属性によって、項目別サービス品質情報に差が発生する場合について説明する。ここで、品質属性には、ＣＰＵ種別やネットワークアダプタ種別等が含まれる。なお、ハードウェアの種類は２種類に限定されるものではなく、任意の数であってよい。また、項目別サービス品質情報を測定する際に用いられるサービス提供システムのリソースの性能を識別するための識別情報のことを「属性情報」と呼ぶ。
【００２４】
また、第１の実施形態では、サービス提供システム２００は、何らかの事情により運営者が公開データ中の標本についてそのハードウェア種別を公開しない、あるいは、評価機関が仮想マシンのハードウェアタイプを確認できない場合を想定する。
【００２５】
システム側公開データＤＢ２１０は、システム側制御部２２０と接続される。システム側公開データＤＢ２１０は、例えば、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。システム側公開データＤＢ２１０は、システム側制御部２２０により第１の頻度にて測定された第１の項目別サービス品質情報各々を記憶する。
【００２６】
図２及び図３は、第１の実施形態における公開データの一例を示す図である。図２に示す例では、公開データの項目は、ＣＰＵ処理速度であり、図３に示す例では、公開データの項目は、メモリ転送速度である。なお、公開データとは、後述するように、第１の測定部２２１によりサービス提供システム２００が提供するサービスの品質を項目ごとに第１の頻度にて評価した第１の項目別サービス品質情報である。
【００２７】
図２及び図３に示すように、システム側公開データＤＢ２１０は、測定時刻に対応付けて、サービスの品質を示す値であるベンチマークスコアを項目別サービス品質情報として記憶する。図２及び図３に示す例では、ベンチマークスコアは、値が大きければ大きいほどサービス品質が高いことを示し、値が小さければ小さいほどサービス品質が低いことを示す。
【００２８】
また、図２に示す項目別サービス品質情報は、ベンチマークスコアの値が約２０から約４０の間に分布する集合と、ベンチマークスコアの値が約８０から約１２０の間に分布する集合とを含む。図２に示すように、２つの集合を含む場合、ｋ−ｍｅａｎｓ等に代表される機械学習のクラスタリング手法でも、各測定値を品質属性に応じて特定することが可能である。一方、図３に示す項目別サービス品質情報は、ベンチマークスコアの値が約６０から約１２０の間に分布する集合を含む。図３に示すように、実際には２つの集合ではあるが各測定値間の差が小さく見かけ上１つの集合を含む場合、ｋ−ｍｅａｎｓ等に代表される機械学習のクラスタリング手法では、各測定値を品質属性に応じて特定することができない。
【００２９】
システム側制御部２２０は、システム側公開データＤＢ２１０及びシステム側通信部２０１と接続される。システム側制御部２２０は、各種の処理手順などを規定したプログラムを記憶する内部メモリを有し、種々の処理を制御する。システム側制御部２２０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）、ＣＰＵ、ＭＰＵ（Micro  Processing  Unit）などである。図１に示す例では、システム側制御部２２０は、第１の測定部２２１と公開部２２２とを有する。
【００３０】
第１の測定部２２１は、サービスの品質を項目ごとに示す項目別サービス品質情報を第１の頻度にて測定する。第１の測定部２２１は、ＣＰＵ処理速度やメモリ転送速度、ネットワーク帯域など複数の評価項目を想定し、各評価項目について得られる時系列データをＸ１，Ｘ２，・・・，Ｘｎとする。そして、第１の測定部２２１は、測定した項目別サービス品質情報をシステム側公開データＤＢ２１０に格納する。具体的には、第１の測定部２２１は、サービス提供システム２００により提供されるリソースを用いて定期的にベンチマークを実行し、測定結果をシステム側公開データＤＢ２１０に格納する。
【００３１】
例えば、第１の測定部２２１は、サービス提供システム２００により提供される仮想マシンを５つ、第１の頻度として１日４回起動し、ベンチマークを実行する。言い換えると、この場合、第１の測定部２２１は、２５日間で項目別サービス品質情報を各項目につき５００個測定する。
【００３２】
より詳細な一例をあげて説明すると、第１の測定部２２１は、サービス提供システム２００によりリソースとして提供される仮想マシンにベンチマークを実行させることで、仮想マシンのＣＰＵの処理速度やメモリ転送速度、ディスク読書き速度、ネットワーク通信速度などを測定する。
【００３３】
公開部２２２は、第１の測定部２２１により第１の頻度にて測定された項目別サービス品質情報各々である第１の項目別サービス品質情報を公開する。具体的には、公開部２２２は、システム側公開データＤＢ２１０に格納された項目別サービス品質情報各々をユーザ端末１００や評価装置３００に公開する。例えば、公開部２２２は、ユーザ端末１００及び評価装置３００から要求があった場合には、システム側公開データＤＢ２１０に記憶された情報を送信する。なお、以下では、第１の項目別サービス品質情報を「公開データ」と記載する。
【００３４】
このように、サービス提供システム２００では、システム側制御部２２０は、例えば、サービス提供システム２００により提供されるリソースを用いてベンチマークを定期的に実行し、得られた測定データをシステム側公開データＤＢ２１０に格納する。また、システム側制御部２２０では、公開部２２２が、システム側公開データＤＢ２１０の中身を常に公開しており、ユーザ端末１００及び評価装置３００から要求があった場合には、システム側公開データＤＢ２１０に記憶された公開データを送信する。すなわち、例えば、第１の測定部２２１、図２の各点に示されるように、サービス品質の性能値を定期的に測定し、公開部２２２が、図２に示されるような性能値の時系列データそのものを公開する。
【００３５】
図１に戻り、評価装置３００は、例えば、評価装置側通信部３０１と、評価装置側公開データＤＢ３１０と、評価装置側監査データＤＢ３１１と、評価装置側制御部３２０とを有する。評価装置側通信部３０１は、評価装置３００の通信を制御する。例えば、評価装置側通信部３０１は、サービス提供システム２００に各種要求を送信したり、ネットワーク１０を介してサービス提供システム２００から公開データを受信したり、公開データの信憑性の検証結果をユーザ端末１００に送信したりする。
【００３６】
評価装置側公開データＤＢ３１０は、評価装置側制御部３２０と接続される。評価装置側公開データＤＢ３１０は、例えば、フラッシュメモリなどの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。評価装置側公開データＤＢ３１０は、サービス提供システム２００により公開されて評価装置３００により取得された公開データを記憶する。言い換えると、評価装置側公開データＤＢ３１０は、第１の測定部２２１により第１の頻度にて測定された第１の項目別サービス品質情報各々を記憶する。
【００３７】
評価装置側監査データＤＢ３１１は、評価装置側制御部３２０と接続される。評価装置側監査データＤＢ３１１は、例えば、フラッシュメモリなどの半導体メモリ素子、又は、ハードディスクや光ディスクなどである。評価装置側監査データＤＢ３１１は、評価装置側制御部３２０により第２の頻度にて測定された第２の項目別サービス品質情報各々を記憶する。
【００３８】
図４及び図５は、第１の実施形態における監査データの一例を示す図である。図４に示す例では、監査データの項目は、ＣＰＵ処理速度であり、図５に示す例では、監査データの項目は、メモリ転送速度である。図４及び図５に示すように、評価装置側監査データＤＢ３１１は、測定時刻に対応付けて、サービスの品質を示す値であるベンチマークスコアを項目別サービス品質情報として記憶する。なお、評価装置側制御部３２０により第２の頻度にて測定された第２の項目別サービス品質情報各々を「監査データ」とも称する。
【００３９】
ここで、システム側公開データＤＢ２１０や評価装置側公開データＤＢ３１０に記憶される公開データと、評価装置側監査データＤＢ３１１に記憶される監査データとについて更に説明する。監査データは、評価装置３００の制御や指示に基づいて測定される。一方、公開データは、サービス提供システム２００において自主的に測定される。また、図４及び図５に示されるように、監査データの項目別サービス品質情報各々が測定される頻度である第２の頻度は、公開データの項目別サービス品質情報各々が測定される頻度である第１の頻度と比較して小さい。言い換えると、図４及び図５に示されるように、時間当たりの項目別サービス品質情報の数は、公開データの方が監査データと比較して多い。
【００４０】
また、図４に示す項目別サービス品質情報は、ベンチマークスコアの値が約２０から約４０の間に分布する集合と、ベンチマークスコアの値が約８０から約１２０の間に分布する集合とを含む。図４に示すように、２つの集合を含む場合、ｋ−ｍｅａｎｓ等に代表される機械学習のクラスタリング手法でも、各測定値を品質属性に応じて特定することが可能である。一方、図５に示す項目別サービス品質情報は、ベンチマークスコアの値が約６０から約１２０の間に分布する集合を含む。図５に示すように、実際には２つの集合ではあるが各測定値間の差が小さく見かけ上１つの集合を含む場合、ｋ−ｍｅａｎｓ等に代表される機械学習のクラスタリング手法では、各測定値を品質属性に応じて特定することができない。
【００４１】
評価装置側制御部３２０は、評価装置側通信部３０１、評価装置側公開データＤＢ３１０及び評価装置側監査データＤＢ３１１と接続される。評価装置側制御部３２０は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＭＰＵなどである。図１に示す例では、評価装置側制御部３２０は、収集部３２１と、第２の測定部３２２と、算出部３２３と、分類部３２４と、選択部３２５と、評価部３２６とを有する。
【００４２】
収集部３２１は、サービス提供システム２００から公開データを収集する。例えば、収集部３２１は、サービス提供システム２００に要求することで、システム側公開データＤＢ２１０に記憶されている公開データを収集する。そして、収集部３２１は、収集した公開データを評価装置側公開データＤＢ３１０に格納する。
【００４３】
ここで、収集部３２１は、サービス提供システム２００から公開データを収集する際、既に収集済みの第１の項目別サービス品質情報については収集することなく、未収集の第１の項目別サービス品質情報を選択的に収集しても良い。
【００４４】
第２の測定部３２２は、第１の頻度と比較して少ない頻度である第２の頻度にて第２の項目別サービス品質情報を測定する。例えば、第２の測定部３２２は、サービス提供システム２００により提供されるリソースを用いて、第１の測定部２２１と同様の手法にて項目別サービス品質情報を測定する。例えば、第２の測定部３２２は、評価機関は仮想マシンを１つ、１日１回起動し、第１の測定部２２１により用いられるのと同一のベンチマークを実行させる。言い換えると、この場合、第２の測定部３２２は、２５日間で項目別サービス品質情報を各項目につき２５個測定する。
【００４５】
算出部３２３は、サービス提供システム２００が提供するサービスの品質を項目ごとに評価した項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。例えば、算出部３２３は、第１の項目別サービス品質情報に含まれるデータ及び第２の項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。
【００４６】
具体的には、算出部３２３は、評価装置側公開データＤＢ３１０から公開データを取得し、各項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。また、算出部３２３は、評価装置側監査データＤＢ３１１から監査データを取得し、各項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。ここで、データＸｉ（ｉ＝１〜ｎ）を分類したときの分類結果をＣｘｉ（Ｘｉ）で表し、この分類結果の分類精度をＰ（Ｃｘｉ（Ｘｉ））で表す。
【００４７】
図６は、算出部３２３による処理動作の一例を説明する図である。なお、ここでは、第１の項目別サービス品質情報に対する算出部３２３の処理動作を説明するが、第２の項目別サービス品質情報に対する算出部３２３の処理動作も第１の項目別サービス品質情報に対する処理動作と同様である。図６の左側に示す図（以下、左図と記す）は、第１の項目別サービス品質情報である。ここで、Ｘ１は、例えばＣＰＵ処理速度を示すものとし、Ｘ２は、例えばメモリ転送速度を示すものとする。算出部３２３は、例えば、ｋ−ｍｅａｎｓなど既存のクラスタリング手法を用いて、各データＸｉを複数の集合に分類して分類結果を取得する。図６の中央に示す図（以下、中央図と記す）は、算出部３２３により求められた分類結果を示す。一例をあげると、算出部３２３は、データＸ１を分類して分類結果Ｃｘ１（Ｘ１）を取得し、データＸ２を分類して分類結果Ｃｘ２（Ｘ２）を取得する。
【００４８】
続いて、算出部３２３は、ギャップ統計量などの分類精度を評価する既存の関数を用いて、第１の項目別サービス品質情報及び第２の項目別サービス品質情報の分類結果を評価する。図６の右側に示す図（以下、右図と記す）は、分類結果の評価値である分類精度を示す。一例をあげると、算出部３２３は、分類結果Ｃｘ１（Ｘ１）の評価値としてＰ（Ｃｘ１（Ｘ１））を算出し、分類結果Ｃｘ２（Ｘ２）の評価値としてＰ（Ｃｘ２（Ｘ２））を算出する。なお、算出部３２３が分類に用いる関数は、ギャップ統計量に限定されるものではない。また、ギャップ統計量で分類精度を評価する際には、他データの分類精度と比較するために予め全データを正規化しておくことが望ましい。
【００４９】
図１に戻り、分類部３２４は、分類精度が所定の閾値以上である場合、分類結果に基づいて他の項目別サービス品質情報に含まれるデータを複数の集合に分類する。なお、所定の閾値は、ギャップ統計量など用いた関数に応じて決定される。ここで、分類部３２４は、Ｐ（Ｃｘｉ（Ｘｉ））が閾値Ｔｈよりも大きければ、Ｃｘｉ（Ｘｉ）はサービス提供システム２００のなんらかの品質属性に応じた意味のある分類であると判定し、この分類に基づいて他データを分類する。
【００５０】
例えば、分類部３２４は、第１の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の第１の項目別サービス品質情報に含まれるデータを分類する。また、分類部３２４は、第２の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の第２の項目別サービス品質情報に含まれるデータを分類する。
【００５１】
図７は、分類部３２４による処理動作の一例を説明する図である。なお、ここでは、第１の項目別サービス品質情報に対する分類部３２４の処理動作を説明するが、第２の項目別サービス品質情報に対する分類部３２４の処理動作も第１の項目別サービス品質情報に対する処理動作と同様である。図７では、図６に示した分類精度のうち、Ｐ（Ｃｘ１（Ｘ１））及びＰ（Ｃｘ３（Ｘ３））が閾値以上である場合を示す。分類部３２４は、分類精度が閾値以上である分類結果を用いて他の第１の項目別サービス品質情報に含まれるデータを分類する。すなわち、分類部３２４は、Ｘｉ以外の各データＸｊについてＣｘｉ（Ｘｊ）を求める。なお、ここで、データＸｉの分類結果Ｃｘｉ（Ｘｉ）をもとにデータＸｊを分類した際の分類結果をＣｘｉ（Ｘｊ）で表す。
【００５２】
まずここでは、Ｃｘｉ（Ｘｉ）に基づいてデータＸｊを分類する処理について説明する。各品質項目のデータは時系列データである。また、同一の仮想マシンで同一時刻にベンチマークを実行しているので、ある時刻の各品質項目のデータは、全品質項目ともに同一の品質属性を有する。すなわち、任意のｉ，ｊについて、Ｘｉの時刻ｔのデータとＸｊの時刻ｔのデータは、同一の品質属性を有する。なお、品質属性には、例えば、ＣＰＵモデルやネットワークアダプタ等が含まれる。そして、「Ｃｘｉ（Ｘｉ）に基づいてＸｊを分類する」とは、Ｘｊの各時刻のデータの品質属性を、同一時刻のＣｘｉ（Ｘｉ）のデータの品質属性と同一に分類することを指す。例えば、Ｃｘｉ（Ｘｉ）において時刻ｔのデータが品質属性ａと分類されていればＣｘｉ（Ｘｊ）では時刻ｔのデータを品質属性ａと分類する。また、Ｃｘｉ（Ｘｉ）において時刻ｔ‘のデータが品質属性ｂと分類されていれば、Ｃｘｉ（Ｘｊ）では時刻ｔ‘のデータを品質属性ｂと分類する。
【００５３】
図７の左図は、分類部３２４が、分類結果Ｃｘ１（Ｘ１）に基づいて、他の第１の項目別サービス品質情報を分類した分類結果を示し、図７の右図は、分類部３２４が、分類結果Ｃｘ３（Ｘ３）に基づいて、他の第１の項目別サービス品質情報を分類した分類結果を示す。図７の左図に示すように、分類部３２４は、例えば、分類結果Ｃｘ１（Ｘ１）に基づいてＸ２を分類して分類結果Ｃｘ１（Ｘ２）を取得し、分類結果Ｃｘ１（Ｘ１）に基づいてＸ３を分類して分類結果Ｃｘ１（Ｘ３）を取得する。同様に、分類部３２４は、図７の右図に示すように、分類結果Ｃｘ３（Ｘ３）に基づいて他の第１の項目別サービス品質情報を分類した分類結果を取得する。
【００５４】
また、分類部３２４は、Ｐ（Ｃｘｉ（Ｘｉ））が閾値Ｔｈよりも低ければ、Ｃｘｉ（Ｘｉ）は品質属性に応じた意味ある分類とはみなさず、この分類結果に基づいて他データの分類を実行しない。
【００５５】
図８は、算出部３２３及び分類部３２４による分類結果の一例を示す図である。図８では、ＣＰＵ処理速度を示す公開データの分類結果を用いて、メモリ転送速度を示す公開データを分類する一例を説明する。図８中の８ａは、ＣＰＵ処理速度を示す公開データであり、データＸ１を示す。また、図８中の８ｂは、メモリ転送速度を示す公開データであり、データＸ２を示す。
【００５６】
算出部３２３は、ＣＰＵ処理速度を示す公開データ９ａを機会学習で分類することで分類結果８ｃを取得し、分類結果の精度を関数に基づいて算出する。ここで、８ｃにおいて黒丸で示す値は、属性がＣＰＵ１に分類されたことを示し、８ｃにおいて三角で示す値は、属性がＣＰＵ２に分類されたことを示す。
【００５７】
続いて、分類部３２４は、分類結果８ｃの精度が所定の閾値以上である場合、メモリ転送速度を示す公開データ８ｂを分類結果８ｃに基づいて分類し、分類結果８ｄを取得する。ここで、８ｄにおいて黒丸で示す値は、属性がＣＰＵ１に分類されたことを示し、８ｄにおいて三角で示す値は、属性がＣＰＵ２に分類されたことを示す。
【００５８】
図１に戻り、選択部３２５は、分類部３２４による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を項目ごとに選択する。ここで、各データＸｊの分類は、他データに基づく分類が最大ｎ−１個計算される。しかしながら、必ずしもすべての分類がデータＸｊの分類として有用なわけではない。例えば、ＣＰＵ処理速度のデータから得られた分類はＣＰＵ種別という品質属性と対応しており、測定値がＣＰＵ種別に依存するメモリ転送速度のデータの分類には適する。一方、例えば、ネットワーク帯域のデータから得られた分類は、仮にネットワークアダプタという品質属性と対応しているとしても、メモリ転送速度のデータがネットワークアダプタに依存していなければメモリ転送速度の分類には適さない。このようなことから、選択部３２５は、分類部３２４による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を、第１の項目別サービス品質情報の評価項目ごと及び第２の項目別サービス品質情報の評価項目ごとに選択する。なお、選択部３２５は、例えば、ギャップ統計量などの分類精度を評価する既存の関数を用いて、分類部３２４による分類結果の精度を算出する。
【００５９】
図９は、選択部３２５による処理動作の一例を説明する図である。図９の左図は、分類結果Ｃｘ１（Ｘ１）に基づいた分類結果の分類精度を示し、図９の右図は、分類結果Ｃｘ３（Ｘ３）に基づいた分類結果の分類精度を示す。例えば、選択部３２５は、各データＸｊの分類として、分類精度Ｐ（Ｃｘｉ（Ｘｊ））が最大となるＣｘｉ（Ｘｊ）を採用する。なお、ここでｊ＝ｉとなる場合がある。また、図９に示す例では、データＸ１の分類精度の最大値がＰ（Ｃｘ１（Ｘ１））であり、データＸ２の分類精度の最大値がＰ（Ｃｘ１（Ｘ２））である場合を示す。また、図９に示す例では、データＸ３の分類精度の最大値がＰ（Ｃｘ３（Ｘ３））であり、データＸｎの分類精度の最大値がＰ（Ｃｘ１（Ｘｎ））である場合を示す。このような場合、選択部３２５は、データＸ１の分類として、Ｃｘ１（Ｘ１）を選択し、データＸ２の分類として、Ｃｘ１（Ｘ２）を選択する。また、選択部３２５は、データＸ３の分類として、Ｃｘ３（Ｘ３）を選択し、データＸｎの分類として、Ｃｘ１（Ｘｎ）を選択する。このように各データＸｊを分類することで、他データの意味ある分類に基づいて、データＸｊにとって最適な分類を求めることができる。すなわち、選択部３２５は、項目別サービス品質情報の測定値を品質属性に応じて特定することができる。
【００６０】
図１に戻り、評価部３２６は、公開部２２２により公開された公開データと、第２の測定部３２２により第２の頻度により測定された監査データとを比較することで、公開データの信憑性を評価する。ここで、評価部３２６は、例えば、選択部３２５により選択された第１の項目別サービス品質情報の分類結果に含まれる集合と、第２の項目別サービス品質情報の分類結果に含まれる集合とを比較することで、第１の項目別サービス品質情報の信憑性を評価し、評価結果を提供する。
【００６１】
具体的には、評価部３２６は、第１の項目別サービス品質情報の分類結果に含まれる集合の平均値と第２の項目別サービス品質情報の分類結果に含まれる集合の平均値との間に有意の差があるかどうかをウェルチの検定で検出し、検定結果（ｐ値）を取得する。ただし、評価部３２６は、第１の項目別サービス品質情報の分類結果に含まれる集合の平均値と第２の項目別サービス品質情報の分類結果に含まれる集合の平均値との間に有意の差があるかを検定する場合に限定されるものではなく、分散など他の統計値に有意な差があるかどうかを検定しても良い。
【００６２】
図１０及び図１１を用いて評価部３２６による処理動作の一例について説明する。図１０は、第１の実施形態における公開データを分類した場合を示す図である。図１１は、第１の実施形態における監査データを分類した場合を示す図である。図１０に示す例では、第１の項目別サービス品質情報には、ベンチマークスコアの値が約６０から約８０の間に分布する「集合Ａ」と、ベンチマークスコアの値が約８０から約１２０の間に分布する「集合Ｂ」とが含まれる。なお、図１０中、集合Ａを三角形で表し、集合Ｂを黒丸で表す。また、図１１に示す例では、第２の項目別サービス品質情報には、ベンチマークスコアの値が約６０から約８０の間に分布する「集合Ｃ」と、ベンチマークスコアの値が約８０から約１２０の間に分布する「集合Ｄ」とが含まれる。なお、図１１中、集合Ｃを三角形で表し、集合Ｄを黒丸で表す。この場合、評価部３２６は、「集合Ａ」と「集合Ｃ」のペア、「集合Ｂ」と「集合Ｄ」のペアそれぞれに対してウェルチの検定を行う。
【００６３】
また、評価部３２６は、評価結果をユーザに提供する。具体的には、評価部３２６は、評価結果を公開する。例えば、評価部３２６は、ウェルチの検定の結果となるｐ値をユーザ端末１００に提供する。
【００６４】
このように、評価装置３００は、公開データの信憑性を検証するため、サービス提供システム２００上でベンチマークを定期的に実行し、測定データ（監査データ）を得る。そして、評価装置３００は、監査データ取得後、公開データと監査データの統計量に有意な差が存在しないことを仮説検定によって確認し、検定結果をユーザに公開する。具体的には、評価装置３００は、サービス提供システム２００上でベンチマークを定期的に実行し、得られた監査データを評価装置側監査データＤＢ３１１に格納する。また、評価装置３００は、定期的にサービス提供システム２００の公開部２２２にアクセスし、最新の公開データを取得して評価装置側公開データＤＢ３１０に格納する。そして、評価装置３００は、例えば、評価装置側公開データＤＢ３１０及び評価装置側監査データＤＢ３１１に更新がある度に、公開データと監査データとの間で仮想マシンのＣＰＵ速度の平均値に有意な差がないことを仮説検定により確認し、確認結果をユーザに公開する。ただし、測定するサービス品質として「ＣＰＵ速度」を用いる場合に限定されるものではなく、また、有意差をみる統計値として「平均値」を用いる場合に限定されるものではない。
【００６５】
図１２は、第１の実施形態における第１の測定部２２１による処理の流れの一例を示すフローチャートである。第１の測定部２２１は、以下に説明する一連の処理を第１の頻度ごとに実行することで、項目別サービス品質情報を第１の頻度にて測定する。
【００６６】
図１２に示すように、第１の実施形態におけるサービス提供システム２００では、第１の測定部２２１は、測定タイミングとなると（ステップＳ１０１  Ｙｅｓ）、例えば、サービス提供システム２００に管理者により予め設定されたタイミングとなると、ベンチマークを実行する（ステップＳ１０２）。すなわち、項目別サービス品質情報を測定する。
【００６７】
そして、第１の測定部２２１は、システム側公開データＤＢ２１０を更新する（ステップＳ１０３）。つまり、第１の測定部２２１は、新たに測定した項目別サービス品質情報をシステム側公開データＤＢ２１０に格納する。
【００６８】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。
【００６９】
次に、図１３を用いて、評価装置側制御部３２０による処理手順について説明する。図１３は、第１の実施形態における評価装置側制御部３２０による処理の流れの一例を示すフローチャートである。
【００７０】
図１３に示すように、算出部３２３は、処理のタイミングであるか否かを判定する（ステップＳ２０１）。ここで、算出部３２３は、処理のタイミングであると判定した場合（ステップＳ２０１  Ｙｅｓ）、公開データと監査データの標本を分類する処理を実行する（ステップＳ２０２）。なお、公開データと監査データの標本を分類する処理については、図１４を用いて詳述する。一方、算出部３２３は、処理のタイミングであると判定しなかった場合（ステップＳ２０１  Ｎｏ）、ステップＳ２０１の判定処理を繰り返す。
【００７１】
続いて、評価部３２６は、分類した標本の集合ごとに公開データと監査データを検定する（ステップ２０３）。つまり、評価部３２６は、公開データと監査データとを分類された集合ごとに比較して、公開データの信憑性を識別情報ごとに評価する。
【００７２】
その後、評価部３２６は、各検定のｐ値を公開する（ステップＳ２０４）。例えば、評価部３２６は、得られた２つのｐ値のうち、低い方、高い方、両方、あるいはその平均をユーザに対して公開する。
【００７３】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。
【００７４】
次に、図１４を用いて分類する処理の処理手順について説明する。図１４は、第１の実施形態における分類する処理の流れの一例を示すフローチャートである。なお、図１４に示す処理は、図１３のステップＳ２０２の処理に対応する。
【００７５】
図１４に示すように、算出部３２３は、未選択の評価項目の品質情報Ｘｉを選択する（ステップＳ３０１）。続いて、算出部３２３は、機械学習などで品質情報Ｘｉの分類Ｃｘｉ（Ｘｉ）を算出する（ステップＳ３０２）。そして、算出部３２３は、分類結果の分類精度Ｐ（Ｃｘｉ（Ｘｉ））は閾値以上であるか否かを判定する（ステップＳ３０３）。ここで、算出部３２３は、分類精度Ｐ（Ｃｘｉ（Ｘｉ））は閾値以上であると判定しなかった場合（ステップＳ３０３  Ｎｏ）、ステップＳ３０１に移行して未選択の評価項目の品質情報を選択する。
【００７６】
一方、算出部３２３によって分類精度Ｐ（Ｃｘｉ（Ｘｉ））は閾値以上であると判定された場合（ステップＳ３０３  Ｙｅｓ）、分類部３２４は、分類結果Ｃｘｉ（Ｘｉ）に基づいて、他の全評価項目の品質情報Ｘｊ(ｊ＝１，２，・・・，ｎ)を分類する（分類結果をＣｘｉ（Ｘｊ）とする）（ステップＳ３０４）。
【００７７】
また、算出部３２３は、未選択の評価項目の品質情報Ｘｉはあるか否かを判定する（ステップＳ３０５）。ここで、算出部３２３は、未処理の品質情報はあると判定した場合（ステップＳ３０５  Ｙｅｓ）、ステップＳ３０１に移行して未選択の評価項目の品質情報を選択する。一方、算出部３２３によって未処理の品質情報はあると判定されなかった場合（ステップＳ３０５  Ｎｏ）、選択部３２５は、各評価項目の品質情報Ｘｋについて、分類精度が最大となる分類結果Ｃｘｌ（Ｘｋ）を選択する（ステップＳ３０６）。
【００７８】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更しても良い。
【００７９】
上述したように、第１の実施形態によれば、評価装置３００は、公開データと監査データとを集合に分類する。従来の技術では、既存のクラスタリング手法では、ある評価項目の時系列データがある品質属性に依存しているとしても、その依存度が強くなければデータを分類することができなかった。一方、第１の実施形態では、ある評価項目の時系列データＡがある品質属性に弱く依存しているとしても、その品質属性に強く依存している評価項目の時系列データＢが存在すれば、データＢの分類に基づいてデータＡをその品質属性に応じて正確に分類する。これにより、評価装置３００は、属性情報が公開されていない場合でも、項目別サービス品質情報の測定値を品質属性に応じて特定することができる。
【００８０】
また、性能項目のうち、ＣＰＵ処理速度，メモリ転送速度，ディスクＩ／Ｏ性能については、その性能値が仮想マシンに割り当てられるＣＰＵ種別に強く依存する。このため、これらの性能項目の測定値は、ＣＰＵ種別に応じて性能値を分類することで変動係数が大きく減少する。平均値の有意差を検出する検定は、一般にデータの変動係数が小さいほど検定精度が向上する（非特許文献２）。第１の実施形態では、評価装置３００は、公開データと監査データとを集合に分類した上で、公開データの信憑性を集合ごとに評価する。すなわち、第１の実施形態に係る評価装置３００は、データの変動係数が小さくすることができる。こうすることで、第１の実施形態に係る評価装置３００は、データの分散を低く抑え、かつ分布の正規性を向上させることができる。このように、第１の実施形態によれば、検定前にＣＰＵ種別で分類することで検定精度を向上させることができる。
【００８１】
なお、第１の実施形態では、サービス提供システム２００は、何らかの事情により運営者が公開データ中の標本についてそのハードウェア種別を公開しない、あるいは、評価機関が仮想マシンのハードウェアタイプを確認できない場合を説明したがこれに限定されるものではない。例えば、サービス提供システム２００が、ハードウェア種別を公開している場合にも、機械学習を用いて項目別サービス品質情報を分類してもよい。
【００８２】
また、評価項目と品質属性との依存関係が予めわかっている場合は、各測定値を品質属性に応じて分類してもよい。一例として、ＣＰＵ処理速度とメモリ転送速度とを評価項目とする場合を説明する。現在までの性能測定の経験から、これらの測定値は共通して仮想マシンに割り当てられるＣＰＵ種別に強く依存し、その依存度はＣＰＵ処理速度の方が高いことが分かっているものとする。なお、各測定値のＣＰＵ種別は公開されていないものとする。ＣＰＵ処理速度のデータ時系列データは、測定値がＣＰＵ種別に強く依存するために既存のクラスタリング手法で分類が行える。一方、メモリ転送速度の時系列データは、測定値のＣＰＵ種別への依存度がやや弱いために、既存の機械学習のクラスタリング手法で分類を行うと一部の測定値に誤分類が生じる場合がある。このような場合、評価装置３００は、ＣＰＵ処理速度の分類結果を用いて、メモリ転送速度の各測定値を分類するようにしてもよい。
【００８３】
なお、第１の実施形態では、評価装置３００が評価部３２６を有する場合を説明したが、これに限定されるものではない。例えば、評価装置３００は、評価部３２６を有さなくてもよい。また、この場合、評価装置３００は、第１の項目別サービス品質情報又は第２の項目別サービス品質情報のすくなくとも一方について、項目別サービス品質情報の測定値を品質属性に応じて特定するようにしてもよい。
【００８４】
具体的には、算出部３２３は、評価装置側公開データＤＢ３１０から公開データを取得し、第１の項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。続いて、分類部３２４は、第１の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の第１の項目別サービス品質情報に含まれるデータを分類する。そして、選択部３２５は、分類部３２４による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を、第１の項目別サービス品質情報の評価項目ごとに選択する。これにより、評価装置３００は、属性情報が公開されていない場合でも、第１の項目別サービス品質情報の測定値を品質属性に応じて特定することができる。
【００８５】
あるいは、算出部３２３は、評価装置側監査データＤＢ３１１から監査データを取得し、項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。続いて、分類部３２４は、第２の項目別サービス品質情報の分類結果の精度が所定の閾値以上である場合、当該分類結果に基づいて他の第２の項目別サービス品質情報に含まれるデータを分類する。そして、選択部３２５は、分類部３２４による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を、第２の項目別サービス品質情報の評価項目ごとに選択する。これにより、評価装置３００は、属性情報が公開されていない場合でも、第２の項目別サービス品質情報の測定値を品質属性に応じて特定することができる。
【００８６】
また、第１の実施形態によれば、サービス提供システム２００は、サービスの品質を示す項目別サービス品質情報を第１の頻度にて測定し、第１の頻度にて測定された項目別サービス品質情報各々である公開データを公開する。また、評価装置３００は、第１の頻度と比較して少ない頻度である第２の頻度にて項目別サービス品質情報を測定し、公開された公開データを取得し、第２の頻度により測定された項目別サービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。この結果、項目別サービス品質情報を適切に提供可能となる。例えば、信憑性の高い項目別サービス品質情報を適切に利用可能となり、信憑性の高い項目別サービス品質情報を低コストにて利用可能となる。
【００８７】
すなわち、サービス提供システム２００により提供されるサービスは、一般に、そのサービス品質を把握するためには定期的に、かつ、高頻度で品質の測定を行い続けなければならない。以下で、ネットワークを経由して仮想マシンやストレージ等の計算資源をサービスとして提供するＩａａＳシステムを例にとってこの事情を説明する。
【００８８】
通常のコンピュータリソースであれば、購入後にリソースの性能が変化することはほぼないが、ＩａａＳシステムの提供するリソースは、他ユーザと物理リソースを共有しているため、また、基盤となる物理リソースが更改されていくため、時間とともに性能が変化する。このため、ＩａａＳシステムの提供するリソースの性能を知りたい場合、定期的にリソースの性能を測定し続けなければならない。
【００８９】
また、ＩａａＳシステムでは、性能の異なる物理ハードウェアから構成されることがあり、さらに、起動する度にリソースの下層の物理ハードウェアが変化することもある。この結果、ＩａａＳシステムのリソースは利用する度に性能が大きく変化し得るため、リソース性能のばらつきが従来のコンピュータリソースに比べて大きい。このため、ＩａａＳシステムの提供するリソースの性能を知りたい場合、１つのリソースだけでなく、大量のリソース上でベンチマークを実行する必要がある。
【００９０】
ここで、第１の実施形態によれば、評価部３２６が、第１の頻度と比較して少ない頻度である第２の頻度にて項目別サービス品質情報を測定し、公開された公開データを取得し、第２の頻度により測定された項目別サービス品質情報各々である監査データと比較することで、公開データの信憑性を評価する。この結果、項目別サービス品質情報を適切に提供可能となる。また、サービス提供システム２００により公開される公開データは、評価装置３００による検定を受けることになり、信憑性が高くなる。また、処理に用いられるコストは、公開データの取得に要する運営者のコストと、監査データの取得に要する評価機関のコストとの和となる。ここで、監査データの取得にあたっては、監査データが公開データの正当性の検定のみに用いられることから、評価装置３００による計測は低頻度で行えば十分であり、監査データの取得に要する評価装置３００におけるコストを抑えることも可能となる。この結果、低コストにて、信憑性の高いデータを公開利用可能となる。また、サービス提供システム２００及び評価装置３００から得た公開データ及び検定結果をもとに、ユーザが自身にとって最適なサービス提供システム２００を市場から選択することが可能となる。
【００９１】
また、第１の実施形態によれば、第１の測定部２２１は、サービス提供システムにおいてサービスの提供に用いられるリソースのうち余剰リソースを用いて項目別サービス品質情報を測定する。この結果、公開データの取得に要するコストを抑えることが可能となる。
【００９２】
また、第１の実施形態によれば、第１の測定部２２１は、サービスの提供に用いられるリソースが不足すると、項目別サービス品質情報の測定に用いられている余剰リソースを開放する。この結果、公開データの取得に要するコストを抑えることが可能となる。また、サービスの提供に支障を来すことなく、サービス品質情報を測定することも可能となる。
【００９３】
また、第１の実施形態によれば、評価部３２６は、評価結果となる信憑性が閾値より低いと評価した場合に、第２の測定部３２２により項目別サービス品質情報が測定される第２の頻度を上げる。この結果、公開データが正しくない可能性が閾値よりも高い場合に、監査データを測定する頻度を上げて信憑性の精度を上げることで、公開データの信憑性を担保することが可能となる。
【００９４】
なお、算出部３２３と選択部３２５とが分類結果の精度の算出に用いる関数は、同一の関数でもよく、異なる関数でもよい。
【００９５】
（第２の実施形態）
さて、これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、その他の実施形態にて実施されても良い。そこで、以下では、その他の実施形態を示す。
【００９６】
（公表内容）
例えば、上述した実施形態では、評価装置３００が、評価結果を公表する場合を例に示したが、これに限定されるものではない。例えば、評価装置３００は、監査データそのものを公表しても良く、評価結果と監査データとを併せて公開しても良く、評価結果と監査データと公開データとを併せて公開しても良い。
【００９７】
（公開データと監査データ）
また、例えば、評価装置３００は、現時点から所定の期間前までの公開データと監査データとを選択的に用いて評価を行っても良い。すなわち、データの標本数が増えると検定の精度が上がるが、古い標本は情報の鮮度が落ちる。サービス提供システム２００のリソース性能は時間とともに変化するので、現在の正確なリソース性能を検証するために、一定期間の標本のみに着目して検定を行っても良い。例えば、公開データと監査データの標本のうち、直近２ヶ月間のものに限って用いても良い。この結果、現時点におけるサービス提供システム２００を高精度に評価可能となる。
【００９８】
（システム構成）
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については（例えば、図１〜図１４）、特記する場合を除いて任意に変更することができる。
【００９９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【０１００】
（プログラム）
図１５は、サービス品質情報の品質属性特定システムによる処理を実行するためのサービス品質情報の品質属性特定プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図１５に例示するように、コンピュータ３０００は、例えば、メモリ３０１０と、ＣＰＵ３０２０と、ネットワークインタフェース３０７０とを有する。コンピュータ３０００の各部はバス３１００によって接続される。
【０１０１】
メモリ３０１０は、図１５に例示するように、ＲＯＭ３０１１及びＲＡＭ３０１２を含む。ＲＯＭ３０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。
【０１０２】
ここで、図１５に例示するように、ハードディスクドライブ３０８０は、例えば、ＯＳ３０８１、アプリケーションプログラム３０８２、プログラムモジュール３０８３、プログラムデータ３０８４を記憶する。すなわち、開示の技術に係るサービス品質情報の品質属性特定プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュール３０８３として、例えばハードディスクドライブ３０８０に記憶される。具体的には、上記実施形態で説明した評価装置側制御部３２０の各部と同様の情報処理を実行する手順各々が記述されたプログラムモジュールが、ハードディスクドライブ３０８０に記憶される。
【０１０３】
また、サービス品質情報の品質属性特定プログラムによる情報処理に用いられるデータは、プログラムデータ３０８４として、例えばハードディスクドライブ３０８０に記憶される。そして、ＣＰＵ３０２０が、ハードディスクドライブ３０８０に記憶されたプログラムモジュール３０８３やプログラムデータ３０８４を必要に応じてＲＡＭ３０１２に読み出し、各種の手順を実行する。
【０１０４】
なお、サービス品質情報の品質属性特定プログラムに係るプログラムモジュール３０８３やプログラムデータ３０８４は、ハードディスクドライブ３０８０に記憶される場合に限られない。例えば、プログラムモジュール３０８３やプログラムデータ３０８４は、着脱可能な記憶媒体に記憶されても良い。この場合、ＣＰＵ３０２０は、ディスクドライブなどの着脱可能な記憶媒体を介してデータを読み出す。また、同様に、サービス品質情報の品質属性特定プログラムに係るプログラムモジュール３０８３やプログラムデータ３０８４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されても良い。この場合、ＣＰＵ３０２０は、ネットワークインタフェースを介して他のコンピュータにアクセスすることで各種データを読み出す。
【０１０５】
（その他）
なお、本実施形態で説明したサービス品質情報の品質属性特定プログラムは、インターネットなどのネットワークを介して配布することができる。また、サービス品質情報の品質属性特定プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【符号の説明】
【０１０６】
１０        ネットワーク
１００      ユーザ端末
２００      サービス提供システム
２０１      システム側通信部
２１０      システム側公開データＤＢ
２２０      システム側制御部
２２１      第１の測定部
２２２      公開部
３００      評価装置
３０１      評価装置側通信部
３１０      評価装置側公開データＤＢ
３１１      評価装置側監査データＤＢ
３２０      評価装置側制御部
３２１      収集部
３２２      第２の測定部
３２３      算出部
３２４      分類部
３２５      選択部
３２６      評価部
【要約】
【課題】サービス品質情報の測定値を品質属性に応じて特定すること。
【解決手段】本願の開示するサービス品質情報の品質属性特定システムは、サービスの品質を評価する評価装置を備える。評価装置は、算出部と、分類部と、選択部とを有する。算出部は、サービス提供システムが提供するサービスの品質を項目ごとに評価した項目別サービス品質情報に含まれるデータを複数の集合に分類した分類結果の精度を関数に基づいて算出する。分類部は、精度が所定の閾値以上である場合、分類結果に基づいて他の項目別サービス品質情報に含まれるデータを複数の集合に分類する。選択部は、分類部による分類結果の精度を関数に基づいて算出し、算出した精度が最大となる分類結果を項目ごとに選択する。
【選択図】図１【図１】
0005483780.tif 000002
【図２】
0005483780.tif 000003
【図３】
0005483780.tif 000004
【図４】
0005483780.tif 000005
【図５】
0005483780.tif 000006
【図６】
0005483780.tif 000007
【図７】
0005483780.tif 000008
【図８】
0005483780.tif 000009
【図９】
0005483780.tif 000010
【図１０】
0005483780.tif 000011
【図１１】
0005483780.tif 000012
【図１２】
0005483780.tif 000013
【図１３】
0005483780.tif 000014
【図１４】
0005483780.tif 000015
【図１５】
0005483780.tif 000016