(57)【要約】      （修正有）【課題】有意差検定の精度を向上させることができる検定装置、検定方法、および検定プログラムを提供する。【解決手段】検定装置１００は、母集団から抽出された二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出する抽出部１１８と、抽出部１１８により抽出された二つの共通する特徴のそれぞれが、第１確率密度分布と第２確率密度分布とに対して寄与する割合に基づいて、二つの標本について検定を行う検定部１２０とを備える。【選択図】図２
2018081393.tif 000002
【特許請求の範囲】
【請求項１】
母集団から抽出された二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出する抽出部と、
前記抽出部により抽出された前記二つの共通する特徴のそれぞれが、前記第１確率密度分布と前記第２確率密度分布とに対して寄与する割合に基づいて、前記二つの標本について検定を行う検定部と、
を備える検定装置。
【請求項２】
前記検定部は、前記第１確率密度分布における前記二つの共通する特徴のそれぞれの寄与の割合と、前記第２確率密度分布における前記二つの共通する特徴のそれぞれの寄与の割合との差分に基づいて、前記二つの標本について検定を行う、
請求項１に記載の検定装置。
【請求項３】
前記抽出部が、
前記母集団から前回抽出した二つの標本と異なる二つの標本を抽出し、
前記抽出した二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、前記二つの共通する特徴を抽出し、
前記検定部が、
前記抽出部により二つの共通する特徴が抽出される度に、前記差分を導出する、
ことを繰り返し実行し、
前記検定部が、
前記繰り返し導出した差分に基づいて、前記二つの標本について検定を行う、
請求項２に記載の検定装置。
【請求項４】
前記検定部は、
前記差分が所定値以下の場合に、前記二つの標本に有意差がないと評価し、
前記差分が所定値を超える場合に、前記二つの標本に有意差があると評価する、
請求項２または３に記載の検定装置。
【請求項５】
前記二つの共通する特徴は、前記第１確率密度分布および前記第２確率密度分布を含む特徴空間を形成する二つの基底であり、
前記二つの基底は、前記特徴空間において互いに最も遠い位置関係にある、
請求項１から４のうちいずれか１項に記載の検定装置。
【請求項６】
コンピュータが、
母集団から抽出された二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出し、
前記抽出した前記二つの共通する特徴のそれぞれが、前記第１確率密度分布と前記第２確率密度分布とに対して寄与する割合に基づいて、前記二つの標本について検定を行う、
検定方法。
【請求項７】
コンピュータに、
母集団から抽出された二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出させ、
前記抽出させた前記二つの共通する特徴のそれぞれが、前記第１確率密度分布と前記第２確率密度分布とに対して寄与する割合に基づいて、前記二つの標本について検定を行わせる、
検定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検定装置、検定方法、および検定プログラムに関する。
【背景技術】
【０００２】
従来、広告を閲覧した利用者が広告依頼者の期待する所定の行動をとったことを、コンバージョンとして検出する技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、コンバージョンの数などの電子商取引に関連したＫＰＩ（Key Performance Indicator）を母集団とした確率密度分布のデータから二つの評価対象のデータを選び出し、これらの二つのデータの差について有意差検定を行う場合、従来の技術では、二つの評価対象のデータについて有意差が適切に評価されない場合があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、有意差検定の精度を向上させることができる検定装置、検定方法、および検定プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、母集団から抽出された二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出する抽出部と、前記抽出部により抽出された前記二つの共通する特徴のそれぞれが、前記第１確率密度分布と前記第２確率密度分布とに対して寄与する割合に基づいて、前記二つの標本について検定を行う検定部と、を備える検定装置である。
【発明の効果】
【０００７】
本発明の一態様によれば、有意差検定の精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における検定装置１００を含む検定システム１の一例を示す図である。
【図２】実施形態における検定装置１００の構成の一例を示す図である。
【図３】実母集団情報１３２の一例を示す図である。
【図４】制御部１１０による一連の処理の一例を示すフローチャートである。
【図５】第１疑似母集団および第２疑似母集団のそれぞれの確率密度分布の一例を示す図である。
【図６】第１疑似母集団および第２疑似母集団のそれぞれの確率密度分布の他の例を示す図である。
【図７】第１基底Ｆ１および第２基底Ｆ０の一例を示す図である。
【図８】差分αの導出結果の一例を示す図である。
【図９】確率とＫＰＩとの関係の一例を示す図である。
【図１０】情報出力部１０４により出力される画面の一例を示す図である。
【図１１】実施形態の検定装置１００のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、本発明の検定装置、検定方法、および検定プログラムの実施形態について説明する。
【００１０】
［概要］
実施形態の検定装置は、一以上のプロセッサによって実現される。検定装置は、母集団から二つの標本を抽出し、抽出した二つの標本のうち一方の標本における第１確率密度分布と、他方の標本における第２確率密度分布との双方から、二つの共通する特徴を抽出する。そして、検定装置は、抽出した二つの共通する特徴のそれぞれが、第１確率密度分布と第２確率密度分布とに対して寄与する割合に基づいて、二つの標本について検定する。
【００１１】
二つの共通する特徴とは、例えば、第１確率密度分布および第２確率密度分布を含む特徴空間を形成する複数の基底のうち、いずれか二つの基底である。詳細については後述する。
【００１２】
［全体構成］
図１は、実施形態における検定装置１００を含む検定システム１の一例を示す図である。実施形態における検定システム１は、一つ以上の情報収集装置１０と、検定装置１００とを備える。これらの装置は、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。
【００１３】
情報収集装置１０は、例えば、ＫＰＩとして、コンバージョンの成立数や、ＣＶＲ（Conversion Rate）、ウェブサイト内における所定のウェブページのページビュー数、コンテンツのダウンロード数、広告が掲載されたウェブページのアクセス数（インプレッション数）、広告が掲載されたウェブページにおいて広告がクリックされたクリック数、ＣＴＲ（Click Through Rate）などの評価指標値を収集する。本実施形態では説明を簡略化するために、代表的な事例として、ＫＰＩがコンバージョンの成立数である場合について説明する。
【００１４】
本実施形態におけるコンバージョンとは、ショッピングサイトやオークションサイト、フリーマーケットサイトなどのウェブサイト（以下、これらを総括して販売サイトと称する）において販売される商品またはサービス（以下、アイテムと称する）の広告を閲覧したユーザが、広告依頼者（例えば販売サイトの管理者など）の期待する所定の行動をとったこと、と定義される。所定の行動とは、例えば、広告を閲覧したユーザが、販売サイトにおいて販売されるアイテムを購入したり、販売サイトにおいて販売されるアイテムを掲載するウェブページにアクセスしたりすることである。また、広告とは、所謂インターネット広告やオンライン広告、ウェブ広告と呼ばれるものであり、ウェブページ上にバナーやテキスト、動画として表示されたり、メール内に表示されたりする。
【００１５】
例えば、情報収集装置１０は、販売サイトにおいて、ユーザごとにコンバージョンが成立したか否かを判定する。そして、複数の情報収集装置１０−１から１０−ｎのそれぞれは、ユーザごとにコンバージョンの成立数（以下、コンバージョン数と称する）をカウントする。なお、販売サイトは、情報収集装置１０によって提供されるものとして説明するが、他のウェブサーバ装置によって提供されてもよい。
【００１６】
また、情報収集装置１０は、ウェブブラウザを介して販売サイトを提供するウェブサーバ装置の代わりに、アプリケーションサーバ装置であってもよい。アプリケーションサーバ装置は、例えば、販売サイトに相当するアプリケーション（例えばショッピングアプリなど）が起動された端末装置（不図示）と通信を行って、各種情報の受け渡しを行う。これによって、端末装置には、販売サイトと同様のサービスが提供される。この場合、広告は、アプリケーションのプログラムによって端末装置の画面に表示されてよい。以下、説明を簡略化するために、情報収集装置１０が、販売サイトを提供するウェブサーバ装置であるものとして説明する。
【００１７】
例えば、情報収集装置１０は、広告の選択に伴って生成される管理情報の有無に基づいて、ユーザごとにコンバージョンが成立したか否かを判定する。例えば、販売サイト内で広告がクリック操作やタップ操作などで選択されると、情報収集装置１０は、広告を選択した端末装置に管理情報を送信する。管理情報とは、例えば、ウェブブラウザごとに管理されるクッキー（HTTP cookie）またはWeb Storage機能に関する情報である。一方、販売サイト内でアイテムが購入された場合、情報収集装置１０は、アイテムの購入時に利用された端末装置から管理情報を取得する。情報収集装置１０は、取得した管理情報が、広告選択時に生成された管理情報であるのか否かを判定し、これら管理情報が一致する場合に、コンバージョンが成立したと判定する。
【００１８】
情報収集装置１０は、例えば、所定期間（例えば２週間程度）ごとに、各ユーザの成立したコンバージョン数をカウントする。そして、情報収集装置１０は、カウントしたユーザごとのコンバージョン数の解析依頼として、ユーザごとのコンバージョン数に関する情報を、検定装置１００に送信する。
【００１９】
検定装置１００は、情報収集装置１０から解析依頼として受信したユーザごとのコンバージョン数に関する情報に基づいて、種々の解析を行う。本実施形態において、検定装置１００は、情報収集装置１０によってカウントされた、ユーザごとのコンバージョン数を基に、有意差検定を行う。
【００２０】
［検定装置の構成］
図２は、実施形態における検定装置１００の構成の一例を示す図である。図示のように、検定装置１００は、例えば、通信部１０２と、情報出力部１０４と、制御部１１０と、記憶部１３０とを備える。
【００２１】
通信部１０２は、例えば、ＮＩＣ等の通信インターフェースを含む。通信部１０２は、ネットワークＮＷを介して他装置と通信する。例えば、通信部１０２は、情報収集装置１０からユーザごとのコンバージョン数に関する情報を受信する。ユーザごとのコンバージョン数に関する情報は、後述する実母集団情報１３２として記憶部１３０に記憶される。
【００２２】
情報出力部１０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を含み、制御部１１０により出力される情報に基づいて画像を表示する。また、情報出力部１０４は、音声を出力するスピーカなどを含んでいてもよい。
【００２３】
制御部１１０は、例えば、母数推定部１１２と、第１生成部１１４と、第２生成部１１６と、抽出部１１８と、検定部１２０と、出力制御部１２２とを備える。これらの構成要素の一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【００２４】
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０には、ファームウェアやアプリケーションプログラムなどの各種プログラムの他、実母集団情報１３２、第１疑似母集団情報１３４、第２疑似母集団情報１３６などの情報が記憶される。
【００２５】
図３は、実母集団情報１３２の一例を示す図である。図示の例のように、実母集団情報１３２は、個々のユーザを特定可能なユーザ識別情報に対して、ＫＰＩの一つであるコンバージョン数が対応付けられた情報である。ユーザ識別情報は、例えば、コンバージョンの成立可否の判定において参照されたクッキーなどの管理情報である。例えば、実母集団情報１３２には、十数万人から数十万人分のユーザのコンバージョン数が蓄積されている。このような実母集団は、ユーザごとのコンバージョン数を変数とした確率密度分布によって表すことができる。一般的に、購入回数が少ないユーザほどその存在確率は高く、購入回数が多いユーザほど、その存在確率は低くなる傾向がある。従って、ユーザごとのコンバージョン数を変数とした確率密度分布は、非対称性を有する分布となる場合がある。
【００２６】
以下、フローチャートに即して、制御部１１０による一連の処理について説明する。図４は、制御部１１０による一連の処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、通信部１０２によって情報収集装置１０から解析依頼としてコンバージョン数に関する情報が受信されると行われる。
【００２７】
まず、母数推定部１１２は、実母集団情報１３２を参照し、実母集団情報１３２が示すユーザごとのコンバージョン数の集合をある母集団として扱い、この母集団の母数（母集団を示す確率密度分布を特徴づけるパラメータ）を推定する（Ｓ１００）。
【００２８】
例えば、母数推定部１１２は、母数の推定対象である母集団が負の二項分布に従うモデルに近似するものと仮定し、この負の二項分布に基づいて、平均μおよび分散σ２を母数として推定する。このとき、ユーザごとのコンバージョン数は、独立に同一の確率密度分布（この場合、負の二項分布）に従うものとする（独立性が担保されている）。
【００２９】
次に、第１生成部１１４は、母数推定部１１２により推定された平均μおよび分散σ２に基づいて、仮想的な疑似母集団を生成する（Ｓ１０２）。以下、第１生成部１１４により生成される疑似母集団を、第１疑似母集団と称して説明する。第１疑似母集団を示す情報は、第１疑似母集団情報１３４として記憶部１３０に記憶される。
【００３０】
第２生成部１１６は、母数推定部１１２により推定された平均μ、すなわち第１疑似母集団の平均μを増加または減少させたリフト平均μ＃と、母数推定部１１２により推定された分散σ２、すなわち第１疑似母集団の分散σ２とに基づいて、仮想的な疑似母集団を生成する（Ｓ１０４）。以下、第２生成部１１６により生成される疑似母集団を、第２疑似母集団と称して説明する。リフト平均μ＃とは、第１疑似母集団の平均μに、増減率ｎを乗算した平均μを加算した指標である。
【００３１】
例えば、第１疑似母集団の平均μが１．０であり、且つ増減率ｎがプラス１０％である場合、第２疑似母集団の平均μ＃は、１．１μとなる。また、第１疑似母集団の平均μが１．０であり、且つ増減率ｎがマイナス１０％である場合、第２疑似母集団の平均μ＃は、０．９μとなる。第２疑似母集団を示す情報は、第２疑似母集団情報１３６として記憶部１３０に記憶される。
【００３２】
図５は、第１疑似母集団および第２疑似母集団のそれぞれの確率密度分布の一例を示す図である。第１疑似母集団の確率密度分布（以下、第１確率密度分布ＤＡと称する）と、第２疑似母集団の確率密度分布（以下、第２確率密度分布ＤＢと称する）とは、負の二項分布に近似させた母集団の母数を用いて生成されているため、非対称な分布となる。これらの第１確率密度分布ＤＡおよび第２確率密度分布ＤＢは、負の二項分布から求めた平均μおよび分散σ２を基に理論的に生成された確率密度分布であるため、極限を考えた場合、各母集団に含まれるサンプルの数は無限、或いはこれに近い値となってよい（すなわちサンプルサイズを無限大としてよい）。
【００３３】
抽出部１１８は、第１生成部１１４により生成された第１疑似母集団から、サンプル数が互いに異なる複数種類のコントロールバケットを抽出する（Ｓ１０６）。コントロールバケットは、有意差検定に用いる二つのサンプル集合のうち、一方のサンプル集合に相当する。
【００３４】
例えば、抽出部１１８は、１０万サンプル数のコントロールバケットや、５０万サンプル数のコントロールバケット、１００万サンプル数のコントロールバケット、５００万サンプル数のコントロールバケットを抽出する。これらのサンプル数はあくまでも一例であり、例えば、販売サイトを利用するユーザの最大数を基準に任意に変更してよい。例えば、抽出部１１８は、販売サイトを利用するユーザの最大数が１００万人程度である場合、１００万程度のサンプル数から対数的に２倍、３倍とサンプル数を増加させながらコントロールバケットを抽出してよい。より具体的には、抽出部１１８は、コントロールバケットのサンプル数を、ｌｎ（販売サイトの利用者数×ｎ）（ｎは任意の倍率）にするように抽出する。なお、コントロールバケットに含まれるサンプルは、第１疑似母集団から偏りなく抽出されているものとする（不偏性が担保されている）。これによって、コントロールバケットを示す確率密度分布は、抽出元の第１疑似母集団の確率密度分布、すなわち第１確率密度分布ＤＡに従うことになる。
【００３５】
また、抽出部１１８は、第２生成部１１６により生成された第２疑似母集団から、サンプル数が互いに異なる複数種類のテストバケットを抽出する（Ｓ１０８）。テストバケットは、有意差検定に用いる二つのサンプル集合のうち、他方のサンプル集合に相当する。
【００３６】
例えば、抽出部１１８は、抽出したコントロールバケットに含まれるサンプル数と同数のサンプルを含むように、複数種類のテストバケットを抽出する。例えば、抽出部１１８は、１０万サンプル数のテストバケットや、５０万サンプル数のテストバケット、１００万サンプル数のテストバケット、５００万サンプル数のテストバケットを抽出する。なお、テストバケットに含まれるサンプルは、コントロールバケットに含まれるサンプルと同様に、第２疑似母集団から偏りなく抽出されているものとする。これによって、テストバケットを示す確率密度分布は、抽出元の第２疑似母集団の確率密度分布、すなわち第２確率密度分布ＤＢに従うことになる。
【００３７】
なお、上述した第１疑似母集団および第２疑似母集団は、負の二項分布に従うものとしたがこれに限られず、正規分布に従うものとしてもよい。例えば、母数推定部１１２は、母数の推定対象である母集団が正規分布に従うモデルに近似するものと仮定し、この正規分布に基づいて、平均μおよび分散σ２を母数として推定する。これによって、第１確率密度分布および第２確率密度分布は、対称な分布となる。
【００３８】
図６は、第１疑似母集団および第２疑似母集団のそれぞれの確率密度分布の他の例を示す図である。図示のように、第２確率密度分布は、第１確率密度分布の平均μをずらしたリフト平均μ＃をとるため、第１確率密度分布を平行移動させた分布となる。
【００３９】
次に、抽出部１１８は、コントロールバケットの第１確率密度分布ＤＡおよびテストバケットの第２確率密度分布ＤＢから、共通する二つの基底を抽出する（Ｓ１１０）。以下、二つの基底のうち一方を第１基底Ｆ１と称し、他方を第２基底Ｆ０と称して説明する。これらの基底は、第１確率密度分布ＤＡおよび第２確率密度分布ＤＢを含む特徴空間を形成する複数の基底のうち、いずれか二つの基底である。第１確率密度分布ＤＡおよび第２確率密度分布ＤＢは、以下の数式（１）によって表すことができる。
【００４０】
【数１】
2018081393.tif 000003
【００４１】
数式（１）のｐＡは、第１確率密度分布ＤＡにおける共通する第１基底Ｆ１および第２基底Ｆ０の寄与の割合を表している。すなわち、ｐＡは、第１確率密度分布ＤＡにおける第１基底Ｆ１の重みを表し、（１−ｐＡ）は、第１確率密度分布ＤＡにおける第２基底Ｆ０の重みを表している。また、ｐＢは、第２確率密度分布ＤＢにおける共通する第１基底Ｆ１および第２基底Ｆ０の混合の割合を表している。すなわち、ｐＢは、第２確率密度分布ＤＢにおける第１基底Ｆ１の重みを表し、（１−ｐＢ）は、第２確率密度分布ＤＢにおける第２基底Ｆ０の重みを表している。
【００４２】
また、上記の数式（１）は、以下の数式（２）のように変形することができる。
【００４３】
【数２】
2018081393.tif 000004
【００４４】
数式（２）のαは、以下の数式（３）に示すようにｐＢとｐＡとの差分（ｐＢからｐＡを減算した値）を表している。
【００４５】
【数３】
2018081393.tif 000005
【００４６】
例えば、抽出部１１８は、第１確率密度分布ＤＡおよび第２確率密度分布ＤＢを含む特徴空間において、第１基底Ｆ１と第２基底Ｆ０とが互いに最も遠い位置関係にあるという前提のもとで、以下の条件式（４）、（５）を満たしながら、重みｐＡおよび重みｐＢを導出する。
【００４７】
【数４】
2018081393.tif 000006
【００４８】
【数５】
2018081393.tif 000007
【００４９】
上記数式中のパラメータｍおよびＭは、第１確率密度分布ＤＡおよび第２確率密度分布ＤＢの任意のサンプル（確率変数）ｘでの比率の上限および下限を表している。
【００５０】
図７は、第１基底Ｆ１および第２基底Ｆ０の一例を示す図である。図示のように、例えば、第１基底Ｆ１は、負の二項分布と同じ、または類似した分布の一成分であり、第２基底Ｆ０は、正規分布と同じ、または類似した分布の一成分である。
【００５１】
次に、抽出部１１８は、導出した重みｐＡ、ｐＢを基に、これらの重みの差分α（数式（３）参照）を導出する（Ｓ１１２）。
【００５２】
次に、抽出部１１８は、所定回数（例えば１００回程度）に亘って差分αを抽出したか否かを判定する（Ｓ１１４）。所定回数に亘って差分αを抽出していない場合、抽出部１１８は、上述したＳ１０６の処理に戻る。この際、抽出部１１８は、Ｓ１０６の処理として、同じ第１疑似母集団から前回抽出したコントロールバケットと異なるコントロールバケットを抽出する。バケットが異なるとは、例えば、前回疑似母集団からバケットとして抽出したサンプルと異なるサンプルを今回のバケットとして抽出することをいう。また、抽出部１１８は、Ｓ１０８の処理として、同じ第２疑似母集団から前回抽出したテストバケットと異なるテストバケットを抽出する。そして、抽出部１１８は、今回新たに抽出したコントロールバケットの第１確率密度分布ＤＡ´と、テストバケットの第２確率密度分布ＤＢ´から、共通する第１基底Ｆ１および第２基底Ｆ０を抽出する。これによって、重みｐＡ、ｐＢが新たに導出されることで、新たな差分αが導出される。このように、抽出部１１８は、ブートストラップ法と呼ばれる繰り返し処理を行うことで、所定回数分の差分αを抽出する。
【００５３】
図８は、差分αの導出結果の一例を示す図である。図示のように、ブートストラップ法により繰り返される処理回数ごとに、差分αが導出される。また、差分αには、その導出元であるコントロールバケットとテストバケットとの組み合わせが対応付けられている。
【００５４】
抽出部１１８により所定回数に亘って差分αを抽出された場合、検定部１２０は、ｔ検定やカイ二乗検定などの所定の検定を行って、各差分αについて、その差分αの導出に利用したコントロールバケットとテストバケットとの間に有意差があるのかどうかを評価する（Ｓ１１６）。例えば、上述した図８において、差分αが所定値以下（例えば０のとき）である場合、二つのバケット間に有意差がないと評価され、差分αが所定値を超える場合、二つのバケット間に有意差があると評価される。
【００５５】
また、検定部１２０は、検定の結果、差分αが所定値を超え二つのバケット間に有意差があると評価した場合、有意差のある各差分αについて、その導出元のテストバケットの第２確率密度分布ＤＢにおいて、第１基底Ｆ１および第２基底Ｆ０のどちらの方がより重みが大きいのかを評価してよい。例えば、差分αが大きいほど、重みｐＡよりも重みｐＢが大きくなるため、テストバケットの第２確率密度分布ＤＢは、コントロールバケットの第１確率密度分布ＤＡと比べて、より第１基底Ｆ１の寄与の度合が大きいと評価することができる。一方、コントロールバケットの第１確率密度分布ＤＡは、テストバケットの第２確率密度分布ＤＢと比べて、より第２基底Ｆ０の寄与の度合が大きいと評価することができる。言い換えれば、テストバケットは、より第１基底Ｆ１に偏重し、コントロールバケットは、より第２基底Ｆ０に偏重していると評価することができる。
【００５６】
例えば、第１基底Ｆ１がポジティブな状態（事象）を表し、第２基底Ｆ２がネガティブな状態（事象）を表している場合、差分αが大きければコントロールバケットと比べてテストバケットの方が、よりポジティブな状態であると評価することができる。例えば、ポジティブな状態とは、コンバージョン数やダウンロード数、クリック数が多い状態、ＣＶＲやＣＴＲが高い状態であることをいう。言い換えれば、ポジティブな状態とは、広告依頼者などから見て好ましい状態であることをいう。一方、ネガティブな状態とは、これらが少ない、または低いことをいう。
【００５７】
図９は、確率とＫＰＩとの関係の一例を示す図である。図中横軸は、ＫＰＩ値（本実施形態ではコンバージョン数）を表し、縦軸は、各基底に重みを乗算した値、すなわち確率密度分布における各基底に対応した確率を表している。図示のように、例えば、ＫＰＩ値が大きくなるほど、どちらの基底の確率も減少していく。このとき、第１基底Ｆ１に対応する確率については、ＫＰＩが５０００を超えると増加し始め、８０００付近で第２のピークが出現する。ＫＰＩが大きいときに確率が高くなるほどより好ましい状態であるため、第２基底Ｆ０よりも第１基底Ｆ１の方がポジティブな状態であると判断することができる。例えば、上述したように差分αが大きい場合、テストバケットの第２確率密度分布ＤＢは、第２基底Ｆ０よりも第１基底Ｆ１の方が寄与の度合が大きくなるため、コントロールバケットと比べてテストバケットの方がよりポジティブであると評価することができる。
【００５８】
次に、出力制御部１２２は、検定部１２０による検定結果（評価結果）を、例えば、情報出力部１０４に出力させる（Ｓ１１８）。また、出力制御部１２２は、通信部１０２を介して、情報出力部１０４に出力させる情報（例えば画像情報など）を、外部の表示装置などに出力することで、その出力先の表示装置などに検定部１２０による評価結果を出力させてもよい。情報出力部１０４および出力制御部１２２は、「出力部」の一例である。
【００５９】
図１０は、情報出力部１０４により出力される画面の一例を示す図である。図示のように、例えば、情報出力部１０４の画面には、上述した図９に示すようなグラフ図とともに、差分αの値や、有意差の有無、各バケットの状態（ポジティブ／ネガティブ）などの情報が表示される。これによって、解析依頼者（例えば、情報収集装置１０の管理者等）は、例えば、過去の実測された実母集団をコントロールバケットとし、今回実測した実母集団をテストバケットとしたときに、これらのバケットに有意差があるのかどうかを把握することができる。また、有意差があれば、更にその結果がポジティブであるのか（今回の実測期間のデータの方がよりＫＰＩが良好である）といったことを把握することができる。
【００６０】
以上説明した実施形態によれば、実母集団情報１３２が示す実母集団から生成した二つの疑似母集団から、コントロールバケットとテストバケットとを抽出し、抽出した二つのバケットのうち、コントロールバケットにおける第１確率密度分布ＤＡと、テストバケットにおける第２確率密度分布ＤＢとの双方から、二つの共通す基底として、第１基底Ｆ１および第２基底Ｆ０を抽出する抽出部１１８と、抽出部１１８により抽出された第１基底Ｆ１および第２基底Ｆ０のそれぞれが、第１確率密度分布ＤＡと第２確率密度分布ＤＢとに対して寄与する割合、すなわち重みｐＡ、ｐＢに基づいて、コントロールバケットとテストバケットについて有意差検定を行う検定部１２０とを備えることにより、有意差検定の精度を向上させることができる。
【００６１】
例えば、従来の方法として、各バケットの差について有意差検定を行った場合、各バケットが示す確率密度分布の分散が異なっていても（例えば、一方の分布が凝集し他方の分布が拡散している場合）、双方の確率密度分布において平均値が同じであれば有意差なしと評価されてしまう場合がある。これに対して、本実施形態では、各バケットが示す確率密度分布を共通の二つの基底に分け、各確率密度分布における二つの基底の寄与の度合の差について検定するため、上記の例のように分散が異なる確率密度分布においても精度良く有意差検定を行うことができる。
【００６２】
また、上述した実施形態によれば、第１基底Ｆ１と第２基底Ｆ０とが互いに最も遠い位置関係にあるため、各確率密度分布において寄与の度合をはかる際に、どちらの基底により寄与しているのかが判別しやすくなる。この結果、バケットがポジティブな状態であるのかネガティブな状態であるのかを区別しやすくなる。
【００６３】
＜ハードウェア構成＞
上述した実施形態の検定システム１に含まれる複数の装置のうち、少なくとも検定装置１００は、例えば、図１１に示すようなハードウェア構成により実現される。図１１は、実施形態の検定装置１００のハードウェア構成の一例を示す図である。
【００６４】
検定装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＲＡＭ１００−３、ＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの二次記憶装置１００−５、およびドライブ装置１００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−５、またはドライブ装置１００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−３に展開され、ＣＰＵ１００−２によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。
【００６５】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００６６】
１…検定システム、１０…情報収集装置、１００…検定装置、１０２…通信部、１０４…情報出力部、１１０…制御部、１１２…母数推定部、１１４…第１生成部、１１６…第２生成部、１１８…抽出部、１２０…検定部、１２２…出力制御部、１３０…記憶部、１３２…実母集団情報、１３４…第１疑似母集団情報、１３６…第２疑似母集団情報、ＮＷ…ネットワーク
【図１】
2018081393.tif 000008
【図２】
2018081393.tif 000009
【図３】
2018081393.tif 000010
【図４】
2018081393.tif 000011
【図５】
2018081393.tif 000012
【図６】
2018081393.tif 000013
【図７】
2018081393.tif 000014
【図８】
2018081393.tif 000015
【図９】
2018081393.tif 000016
【図１０】
2018081393.tif 000017
【図１１】
2018081393.tif 000018