(57)【要約】  密度関係推定部８１は、入力、その入力に対して実行した第一の操作、および、その第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対して実行する第二の操作との組の密度との関係を推定する。期待結果推定部８２は、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定する。
2018066300.tif 000002
【特許請求の範囲】
【請求項１】
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定部と、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定部とを備えた
ことを特徴とするバリデーションシステム。
【請求項２】
テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する操作データ生成部を備え、
密度関係推定部は、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する
請求項１記載のバリデーションシステム。
【請求項３】
密度関係推定部は、テストデータの特徴の分布がバリデーションデータの特徴の分布と同じ入力を用いて、両密度の関係を推定する
請求項１または請求項２記載のバリデーションシステム。
【請求項４】
密度関係推定部は、バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、テストデータの入力と当該入力に対する第二の操作との組の密度との比を推定する
請求項１から請求項３のうちのいずれか１項に記載のバリデーションシステム。
【請求項５】
期待結果推定部は、入力のサンプルごとに第一の結果と密度比との積を算出し、当該積の総和を第二の結果として算出する
請求項４記載のバリデーションシステム。
【請求項６】
第二の操作は、バリデーションデータの入力に対して第二の結果が最大になるように最適化された解である
請求項１から請求項５のうちのいずれか１項に記載のバリデーションシステム。
【請求項７】
入力は顧客情報であり、第一の操作および第二の操作は顧客に対して行うキャンペーンの内容であり、第一の結果および第二の結果はキャンペーンによる収益である
請求項１から請求項６のうちのいずれか１項に記載のバリデーションシステム。
【請求項８】
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定し、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する
ことを特徴とするバリデーションの実施方法。
【請求項９】
テストデータの特徴を示す入力を操作規則に当て嵌めて、適用する第二の操作を生成し、  生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する
請求項８記載のバリデーションの実施方法。
【請求項１０】
コンピュータに、
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定処理、および、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定処理
を実行させるためのバリデーション用プログラム
【請求項１１】
コンピュータに、
テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する操作データ生成処理を実行させ、
密度関係推定処理で、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定させる
請求項１０記載のバリデーション用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、過去のデータを用いて将来の操作を評価するバリデーションシステム、バリデーションの実施方法およびバリデーション用プログラムに関する。
【背景技術】
【０００２】
一般的なオペレーショナル・リサーチの分野において、業務のオペレーションは、例えば、データ戦略によって最適化が検討される。しかし、そのオペレーションを試行するには、コストやリスクが伴うことから、実際のオペレーションを行う前に、新たなオペレーションにより得られると期待されるＫＰＩ（重要業績評価指標：Key Performance Indicators ）を評価することが重要になる。【０００３】
機械学習の分野においても、予測器（モデル）を実運用する前に、その予測器の性能を評価する同様の問題が存在する。機械学習の分野では、予測モデルの性能を見積もる方法として、過去のデータ（すなわち予測対象の正解の値が既に分かっているデータ）をトレーニングデータとバリデーションデータとに分け、トレーニングデータを用いて学習した予測器を、バリデーションデータを用いて評価することが行われている。【０００４】
このように予測器の性能を評価する方法として、ホールドアウト検証や、交差検証（Cross-validation）が知られている（交差検証については例えば、非特許文献１参照）。過去のデータの分布と将来のデータ（すなわち予測対象の正解の値がわかっていないデータ）の分布が同じであれば、予測器を将来のデータに適用した場合の予測性能を、正しく見積もることができる。【０００５】
また、非特許文献２には、過去のデータ分布が将来のデータ分布と異なる場合に、予測器の予測性能を見積もる方法が記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M.Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions”, Journal of the Royal Statistical Society. Series B (Methodological), Vol.36, No.2, pp.111-147, 1974
【非特許文献２】Masashi Sugiyama et al., ”Direct Importance Estimation with Model Selection and Its Application to Covariate Shift Adaptation”, Advances in Neural Information Processing Systems 20 (NIPS 2007).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
バリデーションでは、学習データとは独立したデータを評価に用いることにより、想定される分布が学習データと評価データとの間で変化しない想定のもと、バイアスのない予測誤差の評価をすることが可能になる。【０００８】
オペレーションの最適化アルゴリズムの事前評価についても、機械学習の分野と同様、非特許文献１に記載された方法のように、既に正解がわかっている過去データを評価用データとして（すなわちバリデーションデータとして）用いて評価することが考えられる。具体的には、最適化アルゴリズムにより生成されたオペレーションの評価を、最適化アルゴリズムの生成に用いていない過去のデータを用いて事前に行う方法である。【０００９】
例えば、過去キャンペーンで対象とした顧客とそのキャンペーンによる効果は取得されているため、過去キャンペーンで対象とした顧客とその結果を入力し、新たなオペレーションをその顧客に適用した場合の効果を出力として、事前評価を行うことが可能である。他にも、過去のデータとして、例えば、オペレーション（キャンペーン）と、その結果（例えば、解約したか否か）のデータなども用いられる。【００１０】
しかし、本願の発明者は、機械学習の評価と同様に過去データを単純にバリデーションデータとして使用してオペレーションを決定するアルゴリズムを評価すると、効果測定に大きなバイアス（本当の効果からのズレ）が生じてしまうことを発見した。このことを、具体例を用いて説明する。【００１１】
図１５は、キャンペーンの効果を評価する方法の一例を示す説明図である。図１５に例示する分布Ｄ１は、過去のキャンペーンで対象としたデータの分布を示しており、いわゆる、バリデーション区間のデータである。また、分布Ｄ２は、最適化後のキャンペーンで対象とするデータの分布を示しており、いわゆる、評価したい区間のデータである。また、図１５に示すように、分布Ｄ１は、過去の平均売上が低い顧客に集中した分布であり、分布Ｄ２は、過去の平均売上が高い顧客に集中した分布であるとする。【００１２】
図１５に例示するように、既存のキャンペーンで行われるオペレーションが変更されると、多くの場合、キャンペーンで対象とするデータの分布も変更される。すなわち、図１５に例示するように、データの分布が異なることにより、オペレーションがずれてしまう、または、オペレーション最適化アルゴリズムの入力がずれてしまう、ということが言える。【００１３】
したがって、過去のキャンペーンで対象としたデータを単純にバリデーションデータとして使用してしまうと、データの分布が異なる結果、効果測定にバイアスが生じてしまうことになる。また、共通部分のデータＤ３のみ評価に使用しようとした場合でも、バリデーションデータとして利用できるデータは一部のデータに限られてしまうため、やはり適切に評価を行うことは困難である。【００１４】
例えば、キャンペーンの効果を、対象とするデータによる売り上げの平均値で算出するとする。最適化後のキャンペーンで想定される効果Ｅ１は、分布Ｄ２の中央付近で算出されるはずだが、共通部分のデータＤ３しか利用できない場合、算出される効果Ｅ２は、データＤ３の中央付近と算出されてしまう。その結果、効果Ｅ１と効果Ｅ２との間でバイアスが生じることになる。【００１５】
また、機械学習のバリデーションを、オペレーションの最適化アルゴリズムの事前評価に対して、単純に適用することが困難な理由を説明する。【００１６】
機械学習のバリデーションについて述べる。機械学習の目的の一つは、損失関数ｌ（ｆ（ｘ），ｙ）を最小化し得る予測器を得ることにある。そして、評価の目的は、将来の（未知の）データセットを予測器に適用した場合にどれだけ小さい値ｌ（ｆ（ｘ），ｙ）を得られるか評価することである。ｐｔｅｓｔ（ｘ，ｙ）を将来のデータにおけるｘ，ｙの確率密度関数とすると、評価の目的は、以下の式１で示す期待値を得ることである。【００１７】
【数１】
2018066300.tif 000003
【００１８】
この評価にバリデーションが用いられる。予測器ｆがデータセット｛ｘｎｔｒａｉｎ，ｙｎｔｒａｉｎ｝（トレーニングセット）で学習された場合、バリデーションでは、トレーニングセットとは独立したサンプル｛ｘｎｖａｌ，ｙｎｖａｌ｝（バリデーションセット）が用いられる。バリデーションデータセットの分布は、テストデータセットの一部の分布と同じであると想定されるため、ｐｖａｌ（ｘ，ｙ）を、トレーニングデータセットにおけるｘ，ｙの確率密度関数としたとき、以下の式２を仮定する。【００１９】
ｐｖａｌ（ｘ，ｙ）＝ｐｔｅｓｔ（ｘ，ｙ）  （式２）【００２０】
この仮定に基づき、バリデーションの考え方として、バリデーションセットの平均を評価に使用する。その平均値は、サンプルサイズＮが無限大に近づくとき、以下の式３に示すように、テストデータの期待値に収束する。以上、機械学習のバリデーションについて述べた。【００２１】
【数２】
2018066300.tif 000004
【００２２】
次に、上述するバリデーションの方法をオペレーションの評価に利用することを考える。オペレーションの評価におけるバリデーションも、過去の結果が分かっているデータを用いる点において機械学習におけるバリデーションと共通する。すなわち、バリデーションデータは、過去の結果が分かっているデータであり、参考にしている過去のデータである。また、オペレーションの評価において用いるテストデータは、これから評価したい期間のデータであり、実際に評価したい区間のデータである。【００２３】
ここから、オペレーションが一定のルールによって決められることを想定し、そのルールに対する評価を行うことを考える。ルールは、サンプルｎの入力ｘｎをもとに、サンプルｎに対して行うオペレーションａｎを決定する。ルールは決定的であっても確率的であってもかまわない。また、ａｎを行った結果（例えば、キャンペーンを行った場合の売り上げ上昇）に相当する変数をｙｎとする。このとき、ルールに従った場合にテスト区間でのｘｎ，ａｎ，ｙｎから決まる損失関数（例えばキャンペーンによる利益）ｌ（ｘｎ，ａｎ，ｙｎ）の期待値がどうなるかを評価したい。【００２４】
オペレーションの評価には、オペレーションデータａｎが必要になるため、バリデーションデータセットを、｛ｘｎ，ｙｎ，ａｎ｝と想定する。仮に、バリデーションデータセットの分布が、テストデータセットと同一であると想定できる場合、上記と同様の方法を用いることは可能である。【００２５】
しかし、このケースでは、多くの場合、オペレーションａｎは、最適化の内容によって変化する。そのため、ｐｔｅｓｔ（ａｎ｜ｘｎ）は、ｐｖａｌ（ａｎ｜ｘｎ）と異なることになる。この分布の違いによって、バリデーションデータセットにおける平均損失関数は、Ｎが無限大に近づいたとしても、テストデータの期待値Ｅ［ｌ（Ｘ，Ｙ，Ａ）］収束しないことになる。【００２６】
本発明は、オペレーションを決定するアルゴリズムの評価をバリデーションデータを用いて行う場合、その評価を理論的にバイアスを発生させないように行うことができるバリデーションシステム、バリデーションの実施方法およびバリデーション用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２７】
本発明によるバリデーションシステムは、入力、その入力に対して実行した第一の操作、および、その第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定部と、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定する期待結果推定部とを備えたことを特徴とする。【００２８】
本発明によるバリデーションの実施方法は、入力、その入力に対して実行した第一の操作、および、その第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対して実行する第二の操作との組の密度との関係を推定し、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定することを特徴とする。【００２９】
本発明によるバリデーション用プログラムは、コンピュータに、入力、その入力に対して実行した第一の操作、および、その第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定処理、および、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定する期待結果推定処理を実行させることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、オペレーションを決定するアルゴリズムの評価をバリデーションデータを用いて行う場合、その評価を理論的にバイアスを発生させないように行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明によるバリデーションシステムの第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態のバリデーションシステムの動作例を示すフローチャートである。
【図３】第１の実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。
【図４】本発明によるバリデーションシステムの第２の実施形態の構成例を示すブロック図である。
【図５】第２の実施形態のバリデーションシステムの動作例を示すフローチャートである。
【図６】第２の実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。
【図７】第３の実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。
【図８】具体例で用いる先月のデータの例を示す説明図である。
【図９】具体例で用いる今月のデータの例を示す説明図である。
【図１０】具体例で用いる今月のデータの例を示す説明図である。
【図１１】先月のデータを用いてバリデーションを行った結果の例を示す説明図である。
【図１２】密度比を算出する例を示す説明図である。
【図１３】密度比を算出する他の例を示す説明図である。
【図１４】本発明によるバリデーションシステムの概要を示すブロック図である。
【図１５】キャンペーンの効果を評価する方法の一例を示す説明図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態を図面を参照して説明する。
以下の説明において、バリデーションデータとは、入力と、入力に対して行った操作（オペレーション）と、その結果が分かっているデータのことを意味する。また、テストデータとは、これから評価したい期間（評価対象期間）で用いられるデータである。
【００３３】
また、以下の説明において、サンプルの特徴を示す入力をｘ、入力に対する操作をａ、その操作により得られた結果をｙで表す。また、バリデーションデータに含まれるサンプルの特徴を示す入力、操作、得られた結果を、それぞれ、ｘｖａｌ、ａｖａｌ、ｙｖａｌと表わし、テストデータの特徴を示す入力、操作を、それぞれ、ｘｔｅｓｔ、ａｔｅｓｔと表わす。なお、個々のサンプルをインデックスｎを付して表わす場合もある。
【００３４】
すなわち、バリデーションデータには、入力ｘｖａｌ、その入力ｘｖａｌに対して実行した操作ａｖａｌ（以下、第一の操作と記すこともある。）、および、その操作ａｖａｌにより得られた結果ｙｖａｌ（以下、第一の結果と記すこともある。）が含まれる。
【００３５】
また、テストデータには、入力ｘｔｅｓｔ、および、その入力ｘｔｅｓｔに対して実行する操作ａｔｅｓｔ（以下、第二の操作と記すこともある。）が含まれる。ただし、テストデータは、入力ｘｔｅｓｔおよび操作ａｔｅｓｔが予め準備されていてもよく、入力ｘｔｅｓｔが準備されている状態から何らかの規則に基づいて入力ｘｔｅｓｔから操作ａｔｅｓｔが生成されてもよい。また、これから評価したい期間の入力ｘｔｅｓｔが存在しない場合、ｘｖａｌが入力ｘｔｅｓｔとして用いられてもよい。
【００３６】
また、以下では、企業が顧客向けに打つ広告の最適性を評価する場合を具体例として適宜説明する。本具体例では、各顧客に向けた広告の内容を最適化することによって売上を改善することを目的とする。例えば、企業内でのデータ分析の結果、新しい広告戦略（例えば、一ヶ月に５０＄以上費やす顧客にだけ広告を打つ）を決定したとする。この場合、新しい広告戦略に基づいて行われる操作によって、売上がどの程度改善するか評価し、結果を得ることが目的になる。
【００３７】
この場合、過去のキャンペーンを打つ際の入力である顧客情報（顧客の特徴）がｘｎｖａｌに対応し、その顧客に対して行った広告履歴（または、広告の有無）がａｎｖａｌに対応し、その広告により得られた結果（売上改善など）がｙｎｖａｌに対応する。これを顧客ｎごとに足し合わせた結果が最終的な期待結果と言える。顧客情報（顧客の特徴）ｘｎの例として、例えば、顧客の月間消費量、注文履歴、商品の購買層情報などが挙げられる。
【００３８】
実施形態１．
第１の実施形態では、入力ｘｔｅｓｔおよび操作ａｔｅｓｔが予め準備されており（すなわち、入力および操作が揃っており）、テストデータの入力の分布と、バリデーションデータの入力の分布が異なる場合について説明する。図１は、本発明によるバリデーションシステムの第１の実施形態の構成例を示すブロック図である。本実施形態のバリデーションシステム１００は、密度関係推定部２０と、期待結果推定部３０とを備えている。
【００３９】
密度関係推定部２０は、バリデーションデータの入力とその入力に対する第一の操作との組｛ｘｖａｌ，ａｖａｌ｝の密度と、テストデータの入力とその入力に対する第二の操作との組｛ｘｔｅｓｔ，ａｔｅｓｔ｝の密度との関係を推定する。
【００４０】
密度関係推定部２０によって推定される両密度の関係を利用することにより、バリデーションデータを用いたアルゴリズムの評価を、理論的にバイアスを発生させないように行うことが可能になる。この両密度の関係の推定方法、および、理由については後述される。
【００４１】
期待結果推定部３０は、バリデーションデータに含まれる第一の結果と、密度関係推定部２０によって推定された関係とに基づいて、テストデータの入力に対して第二の操作を実行することにより得られると期待される結果（以下、第二の結果と記す。）を推定する。
【００４２】
上述するように、バリデーションデータのみを用いた評価方法では、評価結果にバイアスが生じてしまう。一方、本実施形態では、期待結果推定部３０が、密度関係推定部２０によって推定される両密度の関係を利用して、理論的に評価にバイアスを生じさせないように評価結果を推定する。
【００４３】
以下、両密度の関係を推定する方法を具体的に説明する。密度関係推定部２０は、バリデーションデータの入力とその入力に対する第一の操作との組の密度を表わすｐｖａｌ（ａ｜ｘ）ｐｖａｌ（ｘ）と、テストデータの入力とその入力に対する第二の操作との組の密度を表わすｐｔｅｓｔ（ａ｜ｘ）ｐｔｅｓｔ（ｘ）との関係を推定する。具体的には、密度関係推定部２０は、両密度の関係の具体例として、γ（ｘ，ａ）を以下のように定義する。
γ（ｘ，ａ）：＝ｐｔｅｓｔ（ａ｜ｘ）ｐｔｅｓｔ（ｘ）／ｐｖａｌ（ａ｜ｘ）ｐｖａｌ（ｘ）
【００４４】
上記γ（ｘ，ａ）は、バリデーションデータに関する密度と、テストデータに関する密度との比とも言えることから、γ（ｘ，ａ）のことを密度比と呼ぶことができる。密度関係推定部２０は、γ（ｘ，ａ）を、例えば、特許文献２に記載されている方法を用いて推定してもよい。また、γ（ｘ，ａ）を算出する具体的な方法は、例えば、転移学習の分野で多く研究されている。そこで、密度関係推定部２０は、｛ｘｎｖａｌ，ａｎｖａｌ｝および｛ｘｎｔｅｓｔ，ａｎｔｅｓｔ｝を用いる任意の転移学習の方法を利用することによって、γ（ｘ，ａ）を推定してもよい。
【００４５】
期待結果推定部３０は、第一の結果（すなわち、入力ｘｖａｌに操作ａｖａｌを実行して得られた結果ｙｎｖａｌ）と密度比との積を算出し、サンプルｎごとに算出した積の総和を第二の結果（すなわち、期待結果）として算出する。具体的には、期待結果推定部３０は、以下の式７に基づいて、第二の結果を推定する。
【００４６】
【数３】
2018066300.tif 000005
【００４７】
ここで、ある入力ｘｎのサンプルに対して操作ａｎを行った場合の結果は、バリデーションデータもテストデータも変わらないと想定できることから、以下の式４を仮定する。
【００４８】
ｐｔｅｓｔ（ｙｎ｜ｘｎ，ａｎ）＝ｐｖａｌ（ｙｎ｜ｘｎ，ａｎ）    （式４）
【００４９】
一方、操作の分布は、適正化の内容により異なると考えられることから、以下の式５を仮定する。なお、式５において、ｐｔｅｓｔ（ａｎ｜ｘｎ）は、評価したいアルゴリズムに対応し、ｐｖａｌ（ａｎ｜ｘｎ）は、過去の操作戦略に対応する。
【００５０】
ｐｔｅｓｔ（ａｎ｜ｘｎ）≠ｐｖａｌ（ａｎ｜ｘｎ）    （式５）
【００５１】
また、本実施形態では、ｘの分布が異なると想定しているため、以下の式６が成り立つ。
【００５２】
ｐｔｅｓｔ（ｘｎ）≠ｐｖａｌ（ｘｎ）    （式６）
【００５３】
また、操作の評価関数ｌを、ｌ（ｘ，ｙ，ａ）と表すことができる。例えば、評価関数が広告による総収入を表わす場合、ｃを広告のコストとすると、評価関数ｌ（ｘ，ｙ，ａ）＝ｙ−ｃａのように表すことが可能である。したがって、評価の目的は、テストデータの分布ｐｔｅｓｔ（ｘ，ｙ，ａ）に対し、以下の式８で示すような、アルゴリズムの期待値を得ることと言える。すなわち、期待結果推定部３０は、式８に示すような期待結果を推定する。
【００５４】
【数４】
2018066300.tif 000006
【００５５】
ここで、式４および式５の想定により、式８は、以下の式９のように変形可能である。
【００５６】
【数５】
2018066300.tif 000007
【００５７】
式９に示すように、γ（ｘ，ａ）を算出することで、本実施形態で所望する評価値に収束する値を、以下の式１０に示すように算出できる。すなわち、上述する仮定を行うことで、式１０に示すように、バリデーションデータを用いて評価を行う場合でも、その評価を理論的にバイアスを発生させないように行うことができる。
【００５８】
【数６】
2018066300.tif 000008
【００５９】
密度関係推定部２０と、期待結果推定部３０とは、プログラム（バリデーション用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、バリデーションシステム１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、密度関係推定部２０および期待結果推定部３０として動作してもよい。また、密度関係推定部２０と、期待結果推定部３０とは、それぞれが専用のハードウェアで実現されていてもよい。
【００６０】
次に、本実施形態のバリデーションシステムの動作を説明する。図２は、本実施形態のバリデーションシステムの動作例を示すフローチャートである。また、図３は、本実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。
【００６１】
密度関係推定部２０は、第二の操作を含むデータをテストデータとして、両密度の関係を推定する（ステップＳ１２）。具体的には、密度関係推定部２０は、テストデータ｛ｘｎｔｅｓｔ，ａｎｔｅｓｔ｝と、バリデーションデータ｛ｘｎｖａｌ，ａｎｖａｌ｝から、密度比関数γ（ｘ，ａ）を推定する。
【００６２】
そして、期待結果推定部３０は、バリデーションデータに含まれる第一の結果と、密度関係推定部２０により推定された関係とに基づいて、第二の結果を推定する（ステップＳ１３）。期待結果推定部３０は、例えば、上記式７に基づいて、第二の結果を推定する。具体的には、期待結果推定部３０は、密度比関数γ（ｘ，ａ）とバリデーションデータ｛ｘｎｖａｌ，ｙｎｖａｌ，ａｎｖａｌ｝から、期待値ｌハット（ハットは＾）を算出する。
【００６３】
以上のように、本実施形態では、密度関係推定部２０が、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対する第二の操作との組の密度との関係を推定する。そして、期待結果推定部３０が、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定する。
【００６４】
よって、操作（オペレーション）を決定するアルゴリズムの評価をバリデーションデータを用いて行う場合、その評価を理論的にバイアスを発生させないように行うことができる。具体的には、例えば、今までマネージャがヒューリスティックに決定していたキャンペーンも、適切に評価を行ったうえで決定することが可能になる。
【００６５】
他にも、例えば、キャンペーンの内容を決定する複数のアルゴリズムと、キャンペーンを実施する時期の顧客リストおよびその特徴量が存在するような場合、本実施形態のバリデーションシステムを用いることで、各アルゴリズムの評価を適切に行うことが可能になる。
【００６６】
実施形態２．
次に、本発明の第２の実施形態を説明する。第１の実施形態では、入力ｘｔｅｓｔおよび操作ａｔｅｓｔが予め準備されている場合を想定した。一方、本実施形態では、入力ｘｔｅｓｔが準備されている状態からある規則に基づいて入力ｘｔｅｓｔから操作ａｔｅｓｔが生成される場合を想定する。すなわち、本実施形態では、入力ｘｔｅｓｔが準備されている状態で、操作規則を適用した場合を評価することを想定する。
【００６７】
図４は、本発明によるバリデーションシステムの第二の実施形態の構成例を示すブロック図である。本実施形態のバリデーションシステム２００は、操作データ生成部１０と、密度関係推定部２０と、期待結果推定部３０とを備えている。
【００６８】
操作データ生成部１０は、適用する操作の規則に基づいて、テストデータの操作ａｎｔｅｓｔを生成する。具体的には、操作データ生成部１０は、操作規則にテストデータの入力ｘを当て嵌め、適用する第一の操作ａｎｔｅｓｔを生成する。例えば、適用する操作規則をｏｐｔとすると、ａｎｔｅｓｔ＝ｏｐｔ（ｘｎｔｅｓｔ）である。
【００６９】
操作規則は、テストデータの特徴を示す入力に基づいて操作内容を決定できる規則であれば、その内容は任意である。操作規則は、例えば、個々の入力ｘに適用する第一の操作を決定する規則であってもよく、テストデータ全体の入力ｘに対して適用する第一の操作を決定する規則であってもよい。
【００７０】
なお、操作データ生成部１０は、推定される結果が最大になるように第二の操作を決定してもよい。言い換えると、操作データ生成部１０は、テストデータの入力に対して得られる第二の結果が最大（最適解）になるように第二の操作を最適化してもよい。なお、最適化の方法は任意であり、広く知られた方法が用いられる。
【００７１】
なお、密度関係推定部２０および期待結果推定部３０の内容は、第１の実施形態と同様である。
【００７２】
操作データ生成部１０と、密度関係推定部２０と、期待結果推定部３０とは、プログラム（バリデーション用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、バリデーションシステム１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、操作データ生成部１０、密度関係推定部２０および期待結果推定部３０として動作してもよい。また、操作データ生成部１０と、密度関係推定部２０と、期待結果推定部３０とは、それぞれが専用のハードウェアで実現されていてもよい。
【００７３】
次に、本実施形態のバリデーションシステムの動作を説明する。図５は、本実施形態のバリデーションシステムの動作例を示すフローチャートである。また、図６は、本実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。操作データ生成部１０は、テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する（ステップＳ１１）。具体的には、操作データ生成部１０は、操作規則ｏｐｔと、テストデータｘｎｔｅｓｔから、操作規則による結果ａｎｔｅｓｔを含むテストデータ｛ｘｎｔｅｓｔ，ａｎｔｅｓｔ｝を生成する。
【００７４】
以降、密度関係推定部２０が両密度の関係を推定し、期待結果推定部３０が第二の結果を推定する処理は、図２に示すステップＳ１２〜Ｓ１３の処理と同様である。
【００７５】
以上のように、本実施形態では、操作データ生成部１０が、テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する。よって、第１の実施形態の効果に加え、操作規則を定めておくことで、適用する第二の操作を自動的に生成できる。
【００７６】
実施形態３．
次に、本発明の第３の実施形態を説明する。第１の実施形態および第２の実施形態では、これから評価したい期間の入力ｘｔｅｓｔが存在する場合について説明した。本実施形態では、これから評価したい期間の入力ｘｔｅｓｔが存在しない場合について説明する。
【００７７】
本実施形態のバリデーションシステムは、第２の実施形態の構成と同様である。すなわち、操作データ生成部１０は、第２の実施形態と同様、操作規則にテストデータの入力ｘを当て嵌め、適用する第一の操作ａｎｔｅｓｔを生成する。
【００７８】
ただし、評価時には、操作規則が異なることが通常であるため、バリデーションデータの分布とテストデータの分布は結果的に異なることになる。
【００７９】
また、本実施形態で生成された第一の操作は、バリデーションデータの特徴ｘｖａｌの分布と同様の入力に対して決定される操作であることから、第一の操作をａｎｖａｌ，ｏｐｔと記すこともある。すなわち、ａｎｖａｌ，ｏｐｔ＝ｏｐｔ（ｘｎｔｅｓｔ）である。
【００８０】
また、上記実施形態と同様、本実施形態の密度関係推定部２０も、両密度の関係を推定し、期待結果推定部３０は、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果を推定する。
【００８１】
本実施形態においても、上記式４の関係は成り立つと想定できる。一方、本実施形態では、ｘの分布が同様であると想定し、以下の式１１を仮定する。
【００８２】
ｐｔｅｓｔ（ｘｎ）＝ｐｖａｌ（ｘｎ）    （式１１）
【００８３】
また、本実施形態でも、期待結果推定部３０は、上記式８に示すような期待結果を推定する。ここで、式４および式１１の想定により、上記式８は、以下の式１２のように変形可能である。
【００８４】
【数７】
2018066300.tif 000009
【００８５】
第１の実施形態と同様、式１２に示すように、γ´（ｘ，ａ）を算出することで、本実施形態で所望する評価値に収束する値を、以下の式１３に示すように算出できる。
【００８６】
【数８】
2018066300.tif 000010
【００８７】
γ´（ｘ，ａ）は、バリデーションデータの入力とその入力に対する第一の操作との組の密度を表わすｐｖａｌ（ａ｜ｘ）と、テストデータの入力とその入力に対する第二の操作との組の密度を表わすｐｔｅｓｔ（ａ｜ｘ）を含む。そこで、密度関係推定部２０は、両密度の関係として、上述するγ´（ｘ，ａ）を算出する。
【００８８】
密度関係推定部２０は、上述するγ´を、第１の実施形態と同様、特許文献２に記載されている方法を用いて推定してもよい。また、密度関係推定部２０は、｛ｘｎｖａｌ，ａｎｖａｌ｝および｛ｘｎｖａｌ，ａｎｖａｌ，ｏｐｔ｝を用いる任意の転移学習の方法を利用することによって、γ´を推定してもよい。
【００８９】
期待結果推定部３０は、以下の式１４に基づいて、第二の結果を推定する。
【００９０】
【数９】
2018066300.tif 000011
【００９１】
次に、本実施形態のバリデーションシステムの動作を説明する。本実施形態のバリデーションシステムの動作は、第２の実施形態の動作と同様である。図７は、本実施形態のバリデーションシステムの具体的なデータの流れの例を説明する説明図である。操作データ生成部１０は、操作規則ｏｐｔと、バリデーションデータｘｎｖａｌと同様の分布を有するテストデータｘｎｔｅｓｔから、操作規則による結果ａｎｔｅｓｔを含むテストデータ｛ｘｎｖａｌ，ａｎｖａｌ，ｏｐｔ｝を生成する。
【００９２】
密度関係推定部２０は、テストデータ｛ｘｎｖａｌ，ａｎｖａｌ，ｏｐｔ｝と、バリデーションデータ｛ｘｎｖａｌ，ａｎｖａｌ｝から、密度比関数γ´（ｘ，ａ）を推定する。期待結果推定部３０は、密度比関数γ´（ｘ，ａ）とバリデーションデータ｛ｘｎｖａｌ，ｙｎｖａｌ，ａｎｖａｌ｝から、期待値ｌハット（ハットは＾）を算出する。
【００９３】
以上のように、本実施形態では、密度関係推定部２０が、テストデータの特徴の分布がバリデーションデータの特徴の分布と同じ入力を用いて、両密度の関係を推定する。この場合であっても、理論的にバイアスを発生させないように評価することができる
【００９４】
すなわち、特定のテストデータが存在しない一方で、ｘの分布がバリデーションデータと同様である場合についての評価を行いたい場合、本実施形態のバリデーションシステムを利用可能である。
【００９５】
例えば、過去に配信対象者を決定したデータを利用し、同時期に自社のアルゴリズムを採用していた場合の効果の評価や、顧客の性質が変わらない場合における将来の自社のアルゴリズムを採用した場合の効果の評価を行う場合にも、本実施形態のバリデーションシステムを利用することが可能である。
【００９６】
以下、本発明の具体例を説明する。本具体例では、解約防止のためのキャンペーンを事前に評価する場面を想定する。前回までのキャンペーンは、マネージャの勘で解約しそうな顧客に対して行われていたとする。また、次回のキャンペーンは、「利用料が高い順（ここでは、７名とする）にキャンペーンを行う」と決められたものとし、前回のキャンペーンの結果を基に価値を算出するものとする。
【００９７】
図８は、先月のデータの例を示す説明図である。図８には、顧客ＩＤで識別される１２名の顧客の利用料、キャンペーンの有無、キャンペーンによる収益増化が例示されている。図８に例示する利用料は、上述する特徴ｘに対応し、キャンペーンの有無は、上述する操作ａに対応し、収益増加は、上述する結果ｙに対応する。
【００９８】
また、本具体例の前提として、利用料が２００（ｘ＝２００）の顧客にキャンペーンを行った場合（ａ＝１）の平均効果が５０の収益増加（ｙ＝５０）であるものとする。同様に、利用料が１５０の顧客にキャンペーンを行った場合の平均効果が３０の収益増加、利用料が１００の顧客にキャンペーンを行った場合の平均効果が１０の収益増加であるものとする。
【００９９】
まず、第１の具体例を説明する。第１の具体例では、来月の顧客の性質は異なっていると仮定する。図９および図１０は、今月のデータの例を示す説明図である。今月は図９に例示するように利用料ｘの分布が変わっているものとする。そして、今月のキャンペーンは、「利用料が高い順（ここでは、７名とする）にキャンペーンを行う」と決められているため、操作データ生成部１０は、図１０に例示するＡ´からＧ´までの上位７名にキャンペーンを打つと決定する。
【０１００】
ここで、比較のため、まず、密度の関係を算出せずに評価を行う方法を説明する。図１１は、先月のデータを用いてバリデーションを行った結果の例を示す説明図である。先月のデータでは、顧客ＩＤがＡからＧで識別される顧客が、利用料の高い上位７名に相当するため、この７名に対して今月のキャンペーン（新戦略）を行ったと仮定して評価を行う。
【０１０１】
ここで、前回のキャンペーン（実績）と今月のキャンペーン（新戦略）とで、いずれもキャンペーンの対象となった顧客は、Ａ，Ｃ，Ｆ，Ｇである。これらの顧客に対してキャンペーンを行った結果の合計は、５０＋３０＋１１＋１０で算出される。
【０１０２】
なお、結果は、７つ行われる予定のキャンペーンに対し４つのキャンペーンについてしか評価していない。そこで、例えば、平均の効果が等しいとして補正を行う（すなわち、７／４を乗じる）ことが考えられる。このように計算した場合、（５０＋３０＋１１＋１０）×（７／４）＝１７６．６５と算出される。
【０１０３】
一方、本具体例の前提として想定した収益効果によれば、利用料が２００である６人の顧客と、利用料が１５０である１人の顧客にキャンペーンを行っていることから、収益増加は、５０×６＋３０×１＝３３０と算出される。これは、上記結果（１７６．６５）と比較して、バイアスが大きいと言える。
【０１０４】
次に、本実施形態のバリデーションシステムを用いて評価を行う方法を説明する。密度関係推定部２０は、先月のデータ（バリデーションデータに相当）と今月のデータ（すなわち、テストデータに相当）の密度比を推定する。ここでは、密度関係推定部２０は、単純に先月データの密度と今月データの密度の比を計算する。
【０１０５】
図１２は、密度比を算出する例を示す説明図である。例えば、先月の顧客は１２名存在し、利用料が２００（Ｘ＝２００）の顧客のうち、キャンペーンを行った顧客（Ａ＝１）は１名である。そこで、先月密度のうち、Ｘ＝２００、Ａ＝１の密度は、１／１２と算出される。一方、今月の顧客は１２名存在し、利用料が２００（Ｘ＝２００）の顧客のうち、キャンペーンを行う予定の顧客（Ａ＝１）は６名である。そこで、今月密度のうち、Ｘ＝２００、Ａ＝１の密度は、６／１２と算出される。他についても同様である。
【０１０６】
先月密度に対する今月密度の比は、（６／１２）÷（１／１２）＝６と算出される。他についても同様である。このように算出した結果、図８に例示する先月データと、図９に例示する今月データとから、図１２に例示する密度比が推定される。
【０１０７】
なお、本具体例では、Ｘが離散値である場合を例示しているが、Ｘが連続値の場合、密度関係推定部２０は、例えば、特許文献２に記載されているような転移学習の手法を用いて密度の関係を推定すればよい。
【０１０８】
次に、期待結果推定部３０は、推定された密度比と先月データとから期待値を推定する。本具体例では、利用料２００の収益効果は５０であり、密度比は６である。また、利用料１５０の収益効果は３０であり、密度比は１である。一方、利用料１００の収益効果は１０であるが、密度比は０である。そこで、期待結果推定部３０は、期待値を５０×６．＋３０×１．＋（１１＋１０＋９）×０．＝３３０．と算出する。
【０１０９】
これは、本具体例で想定した収益効果によって算出される期待値と等しくなり、バイアスが生じていないことを示している。
【０１１０】
なお、本具体例（および、以下に述べる第２の具体例）では、密度比の関係を用いた場合と用いない場合との間で容易にバイアスが生じすることを説明するため、効果が依存する変数ｘを既知とし、ｘが一次元かつ離散値とした。ただし、本発明で利用されるｘは、一次元かつ離散値に限定されない。ｘは、例えば、多次元の変数であってもよく、連続値であってもよい。
【０１１１】
また、本具体例では、簡単にバイアスが生じることを説明するために、効果が依存する変数Ｘを既知、一次元かつ離散と想定した。そのため、この例の場合、Ｘ＝２００，１５０，１００ごとに、それぞれ効果を推定すれば問題ないとも言える。しかし、Ｘが多次元連続値の場合、効果を測定するためにはさらにモデルを作成しなければならず、モデル化の誤差等が乗ってしまう。そのため、個々のＸについて効果を推定する方法は、実際には適用が難しい。
【０１１２】
次に、第２の具体例を説明する。第２の具体例では、来月の顧客の性質は前回と同じである（すなわち、ｘの分布が変わらない）と仮定する。本具体例の適用場面は、例えば、将来のｘの分布は分かっていないが、ｘの分布が過去データと同じとして見積もる場合に対応する。
【０１１３】
密度関係推定部２０は、先月のデータと、先月のデータに対して新戦略を行っていた場合のデータ（今月データとする。）との密度比を推定する。ここでは、密度関係推定部２０は、単純に、先月データの密度と今月データの密度との比を計算する。
【０１１４】
図１３は、密度比を算出する他の例を示す説明図である。図１３に例示するように、先月密度は、第１の具体例と変わらない。一方、本具体例では、先月データに対して「利用料が高い順（ここでは、７名とする）にキャンペーンを行う」というルールを適用する。この場合、キャンペーンを行う対象は、利用料が２００の顧客２名、利用料が１５０の顧客３名、利用料が１００の顧客２名になる。その結果、図１３に例示する今月密度が算出される。算出された先月密度と今月密度とから図１３に例示する密度比が算出される。
【０１１５】
次に、期待結果推定部３０は、推定された密度比と先月データとから期待値を推定する。本具体例では、利用料２００の収益効果は５０であり、密度比は２である。また、利用料１５０の収益効果は３０であり、密度比は３である。また、利用料１００の収益効果は１０であえい、密度比は２／３である。そこで、期待結果推定部３０は、期待値を５０×２．＋３０×３．＋（１１＋１０＋９）×２／３＝２１０．と算出する。
【０１１６】
次に、本発明の概要を説明する。図１４は、本発明によるバリデーションシステムの概要を示すブロック図である。本発明によるバリデーションシステム８０（例えば、バリデーションシステム１００，２００）は、入力（例えば、ｘｖａｌ）、その入力に対して実行した第一の操作（例えば、ａｖａｌ）、および、その第一の操作により得られた第一の結果（例えば、ｙｖａｌ）を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力（例えば、ｘｔｅｓｔ）とその入力に対して実行する第二の操作（例えば、ａｔｅｓｔ）との組の密度との関係を推定する密度関係推定部８１（例えば、密度関係推定部２０）と、テストデータの入力に対して第二の操作を実行することにより得られると期待される第二の結果（例えば、期待値ｌハット）を、バリデーションデータに含まれる第一の結果と、推定された関係とに基づいて推定する期待結果推定部８２とを備えている。
【０１１７】
そのような構成により、操作（オペレーション）を決定するアルゴリズムの評価をバリデーションデータを用いて行う場合、その評価を理論的にバイアスを発生させないように行うことができる。
【０１１８】
また、バリデーションシステム８０は、テストデータの特徴を示す入力を操作規則（例えば、ｏｐｔ）に当て嵌め、適用する第二の操作を生成する操作データ生成部（例えば、操作データ生成部１０）を備えていてもよい。そして、密度関係推定部８１は、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定してもよい。
【０１１９】
そのような構成によれば、個々のテストデータに対して適用する操作を一意に決定することが可能になる。
【０１２０】
また、密度関係推定部８１は、テストデータの特徴の分布がバリデーションデータの特徴の分布と同じ入力（例えば、ｐｔｅｓｔ（ｘｎ）＝ｐｖａｌ（ｘｎ））を用いて、両密度の関係を推定してもよい。
【０１２１】
そのような構成によれば、同一の分布を有するデータに対する操作の評価を適切に行うことが可能になる。
【０１２２】
具体的には、密度関係推定部８１は、バリデーションデータの入力とその入力に対する第一の操作との組の密度と、テストデータの入力とその入力に対する第二の操作との組の密度との比（例えば、密度比γ，γ´）を推定してもよい。
【０１２３】
このとき、期待結果推定部８２は、入力のサンプルごとに第一の結果と密度比との積を算出し、その積の総和を第二の結果として算出してもよい。
【０１２４】
また、第二の操作は、バリデーションデータの入力に対して第二の結果が最大になるように最適化された解であってもよい。
【０１２５】
具体例として、入力は顧客情報であり、第一の操作および第二の操作は顧客に対して行うキャンペーンの内容であり、第一の結果および第二の結果はキャンペーンによる収益である。
【０１２６】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２７】
（付記１）入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定部と、前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定部とを備えたことを特徴とするバリデーションシステム。
【０１２８】
（付記２）テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する操作データ生成部を備え、密度関係推定部は、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する付記１記載のバリデーションシステム。
【０１２９】
（付記３）密度関係推定部は、テストデータの特徴の分布がバリデーションデータの特徴の分布と同じ入力を用いて、両密度の関係を推定する付記１または付記２記載のバリデーションシステム。
【０１３０】
（付記４）密度関係推定部は、バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、テストデータの入力と当該入力に対する第二の操作との組の密度との比を推定する付記１から付記３のうちのいずれか１つに記載のバリデーションシステム。
【０１３１】
（付記５）期待結果推定部は、入力のサンプルごとに第一の結果と密度比との積を算出し、当該積の総和を第二の結果として算出する付記４記載のバリデーションシステム。
【０１３２】
（付記６）第二の操作は、バリデーションデータの入力に対して第二の結果が最大になるように最適化された解である付記１から付記５のうちのいずれか１つに記載のバリデーションシステム。
【０１３３】
（付記７）入力は顧客情報であり、第一の操作および第二の操作は顧客に対して行うキャンペーンの内容であり、第一の結果および第二の結果はキャンペーンによる収益である付記１から付記６のうちのいずれか１つに記載のバリデーションシステム。
【０１３４】
（付記８）入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定し、前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定することを特徴とするバリデーションの実施方法。
【０１３５】
（付記９）テストデータの特徴を示す入力を操作規則に当て嵌めて、適用する第二の操作を生成し、  生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する付記８記載のバリデーションの実施方法。
【０１３６】
（付記１０）コンピュータに、入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定処理、および、前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定処理を実行させるためのバリデーション用プログラム。
【０１３７】
（付記１１）コンピュータに、テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する操作データ生成処理を実行させ、密度関係推定処理で、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定させる付記１０記載のバリデーション用プログラム。
【０１３８】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１３９】
この出願は、２０１６年１０月７日に出願された日本特許出願２０１６−１９９１０５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１４０】
本発明は、例えば、複数の最適化アルゴリズムの比較や、パラメータのチューニングをするバリデーションシステムに好適に適用される。例えば、解約防止のキャンペーンを最適化する際、最適化によるキャンペーンの収益改善を、実際にコストをかけて実施する前に評価する場合に、本発明のバリデーションシステムを適用可能である。また、本発明のバリデーションシステムを、同社内の操作の比較だけでなく、他社が行った操作との比較にも用いることが可能である。
【符号の説明】
【０１４１】
１０  操作データ生成部
２０  密度関係推定部
３０  期待結果推定部
【図１】
2018066300.tif 000012
【図２】
2018066300.tif 000013
【図３】
2018066300.tif 000014
【図４】
2018066300.tif 000015
【図５】
2018066300.tif 000016
【図６】
2018066300.tif 000017
【図７】
2018066300.tif 000018
【図８】
2018066300.tif 000019
【図９】
2018066300.tif 000020
【図１０】
2018066300.tif 000021
【図１１】
2018066300.tif 000022
【図１２】
2018066300.tif 000023
【図１３】
2018066300.tif 000024
【図１４】
2018066300.tif 000025
【図１５】
2018066300.tif 000026
【手続補正書】
【提出日】平成31年3月12日(2019.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定部と、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定部とを備えた
ことを特徴とするバリデーションシステム。
【請求項２】
テストデータの特徴を示す入力を操作規則に当て嵌め、適用する第二の操作を生成する操作データ生成部を備え、
密度関係推定部は、生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する
請求項１記載のバリデーションシステム。
【請求項３】
密度関係推定部は、テストデータの特徴の分布がバリデーションデータの特徴の分布と同じ入力を用いて、両密度の関係を推定する
請求項１または請求項２記載のバリデーションシステム。
【請求項４】
密度関係推定部は、バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、テストデータの入力と当該入力に対する第二の操作との組の密度との比を推定する
請求項１から請求項３のうちのいずれか１項に記載のバリデーションシステム。
【請求項５】
期待結果推定部は、入力のサンプルごとに第一の結果と密度比との積を算出し、当該積の総和を第二の結果として算出する
請求項４記載のバリデーションシステム。
【請求項６】
第二の操作は、バリデーションデータの入力に対して第二の結果が最大になるように最適化された解である
請求項１から請求項５のうちのいずれか１項に記載のバリデーションシステム。
【請求項７】
入力は顧客情報であり、第一の操作および第二の操作は顧客に対して行うキャンペーンの内容であり、第一の結果および第二の結果はキャンペーンによる収益である
請求項１から請求項６のうちのいずれか１項に記載のバリデーションシステム。
【請求項８】
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定し、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する
ことを特徴とするバリデーションの実施方法。
【請求項９】
テストデータの特徴を示す入力を操作規則に当て嵌めて、適用する第二の操作を生成し、  生成された第二の操作を含むデータをテストデータとして、両密度の関係を推定する
請求項８記載のバリデーションの実施方法。
【請求項１０】
コンピュータに、
入力、当該入力に対して実行した第一の操作、および、当該第一の操作により得られた第一の結果を含むデータをバリデーションデータとし、評価対象期間で用いられるデータをテストデータとする場合、前記バリデーションデータの入力と当該入力に対する第一の操作との組の密度と、前記テストデータの入力と当該入力に対して実行する第二の操作との組の密度との関係を推定する密度関係推定処理、および、
前記テストデータの入力に対して前記第二の操作を実行することにより得られると期待される第二の結果を、前記バリデーションデータに含まれる第一の結果と、前記推定された関係とに基づいて推定する期待結果推定処理
を実行させるためのバリデーション用プログラム。
【国際調査報告】
2018066300.tif 000027
2018066300.tif 000028
2018066300.tif 000029
2018066300.tif 000030