(57)【要約】  評価システム８０は、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部８１を備えている。
2018079366.tif 000002
【特許請求の範囲】
【請求項１】
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部を備えた
ことを特徴とする評価システム。
【請求項２】
評価部は、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、選択されたデータを用いて第一のモデルを推定し、前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
請求項１記載の評価システム。
【請求項３】
評価部は、第一のモデルを複数推定し、推定された第一のモデルを基に計算される各最適解を当該第一のモデルで評価した各第一の評価と、前記各最適解を予測モデルで評価した第二の評価との差分である評価差分の総和の平均を、真のモデルと予測を行うモデルとの評価値のバイアスとして算出する
請求項２記載の評価システム。
【請求項４】
評価部は、第一のモデルを推定するごとに算出される評価差分を並び替えて当該評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値を評価区間として出力する
請求項３記載の評価システム。
【請求項５】
評価部は、予測モデルにノイズを付加した第二のモデルを生成し、前記第二のモデルを基に計算される評価値の最大値と、予測モデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
請求項１記載の評価システム。
【請求項６】
評価部は、予測モデルの生成に用いたデータの少なくとも一部を用いて第三のモデルを推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
請求項１記載の評価システム。
【請求項７】
評価部は、第三のモデルを複数推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される各評価値の最大値の総和の平均との線形和に基づいて、真のモデルに基づく評価を行う
請求項６記載の評価システム。
【請求項８】
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する
ことを特徴とする評価方法。
【請求項９】
ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、
選択されたデータを用いて第一のモデルを推定し、
前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
請求項８記載の評価方法。
【請求項１０】
コンピュータに、
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価処理を実行させる
ための評価用プログラム。
【請求項１１】
コンピュータに
評価処理で、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択させ、選択されたデータを用いて第一のモデルを推定させ、前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出させる
請求項１０記載の評価用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測モデルに基づいて決定された内容を評価する評価システム、評価方法および評価用プログラムに関する。
【背景技術】
【０００２】
一般に、真のモデルは不明であるため、真のモデルから生成されるデータを基に予測モデルを推定することが行われている。予測モデルが推定できれば、そのモデルに基づいて、将来の状態を予測することが可能になり、その状態に基づいて様々な戦略を立てることも可能になる。【０００３】
特許文献１には、商品の発注計画を決定する発注計画決定装置が記載されている。特許文献１記載の発注計画決定装置は、価格ごとの商品の需要を予測し、予測された需要を用いて価格と発注量とを入力とし且つ利益を出力とする目的関数の最適化問題を解くことにより、利益が最大となる商品の価格と発注量の組み合わせを算出する
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１０５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
予測に基づく戦略の一つとして、予測に基づいて最適化した結果の効果を見積もることが挙げられる。具体的には、不明である真のモデルから生成されるデータを基に予測モデルを推定し、推定された予測モデルをもとに最適解を計算する。そして、その最適解を予測モデルを用いて評価することで、その最適解による効果を見積もる。【０００６】
しかし、本発明者は、真のモデルから生成されるデータを基に予測モデルを生成し、その予測モデルをもとに最適解を計算して、その結果を予測モデルで評価すると、実際の評価結果よりも良い方向へのバイアスが生じてしまうことを発見した。【０００７】
例えば、予測結果に基づいて価格を決定する場面では、期待利益を予測モデルに基づいて単純に見積もると、真の利益との間に差が生じてしまうという現象である。特に、この場合には、平均値の観点で、より儲かりがちな期待利益が算出されてしまう。このことを、以下、具体的に説明する。【０００８】
今、Ｍ個の製品が存在するものとし、そのインデックスをｍ∈｛１，…，Ｍ｝で表す。価格ｐ∈ＲＭにおける販売数量ｑ∈ＲＭは、例えば、以下の式１で示すモデルで算出される。【０００９】
【数１】
2018079366.tif 000003
【００１０】
式１において、｛ψｄ：ＲＭ→ＲＭ｝Ｄｄ＝１は、固定された基底関数であり、｛θ＊ｄ｝⊆Ｒは、真の係数である。θ＊＝［θ＊１，…，θ＊ｄ］Ｔ∈ＲＤとし、ψ（ｐ）＝［ψ１（ｐ），…，ψｄ（ｐ）］とすると、総売上は、以下の式２で表される。【００１１】
【数２】
2018079366.tif 000004
【００１２】
式２の期待値をｆ（ｐ，θ＊）とすると、期待値は、例えば、以下の式３で表される。【００１３】
【数３】
2018079366.tif 000005
【００１４】
このとき、ｐ∈Ｐの制約の元、期待される総売上を最大化する問題は、以下の式４で表される。【００１５】
【数４】
2018079366.tif 000006
【００１６】
しかし、実際の状況では、真の係数θ＊を知ることはできない。そのため、一般に、推定値θハット（θに上付き＾）によって、θ＊が置き換えられ、以下の式５で示す最適な戦略が計算される。【００１７】
【数５】
2018079366.tif 000007
【００１８】
θハットがバイアスのない評価器である場合、ｆ（ｐ，θハット）は、全てのｐ∈Ｐについて、ｆ（ｐ，θ＊）のバイアスのない評価器である。そのため、最適値ｆ（ｐ（θハット），θハット）もまた、バイアスのない期待される真の総売上ｆ（ｐ（θハット），θ＊）の評価器とも考えられる。しかし、実際にはそうでなく、以下の式６に示す関係が成り立つ。【００１９】
【数６】
2018079366.tif 000008
【００２０】
式６の意味するところは、たとえθハットにバイアスがなかったとしても、ｆ（ｐ（θハット），θハット）は、バイアスのないｆ（ｐ（θハット），θ＊）の評価器ではないかもしれない、ということである。バイアスのないｆ（ｐ（θハット），θ＊）を構築するためには、以下の式７で示すバイアス項を評価する必要があると言える。【００２１】
【数７】
2018079366.tif 000009
【００２２】
そこで、本発明は、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる評価システム、評価方法および評価用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明による評価システムは、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部を備えたことを特徴とする。【００２４】
本発明による評価方法は、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価することを特徴とする。【００２５】
本発明による評価用プログラムは、コンピュータに、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価処理を実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。
【図面の簡単な説明】
【００２７】
【図１】本発明による評価システムの第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の評価システムの動作例を示すフローチャートである。
【図３】第１の実施形態の変形例における評価システムの動作例を示すフローチャートである。
【図４】第２の実施形態の評価システムの動作例を示すフローチャートである。
【図５】第２の実施形態の評価システムの他の動作例を示すフローチャートである。
【図６】本発明による評価システムの概要を示すブロック図である。
【図７】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００２８】
まず、以下の説明で用いる記号を説明する。θ∈Ｒｐは、パラメータである。Ｚは、実現可能な解決策の集合である。ｆ：Ｚ×Ｒｐ→Ｒは、目的関数である。ｚ（θ）は、目的関数ｆ（ｚ，θ）の最適解であり、
【数８】
2018079366.tif 000010
である。
【００２９】
θ＊は、真の係数であり、θハットは、推定されるパラメータ（ランダム値）である。また、Θは、ｚ（θ）が一意に決定されるθ∈Ｒｐの集合であり、
【数９】
2018079366.tif 000011
である。
【００３０】
次に、本発明における問題設定を説明する。本発明では、推定された最適解に基づく真の目的関数の値ｆ（ｚ（θハット），θ＊）を知りたいものとする。ただし、推定された最適解に基づく推定された目的関数の値ｆ（ｚ（θハット），θハット）は、ｆ（ｚ（θハット），θ＊）の適切な評価器ではない。すなわち、以下の式８に示すようなバイアスを有する。
【００３１】
【数１０】
2018079366.tif 000012
【００３２】
そこで、本発明では、以下の式９を満たすｆ（ｚ（θハット），θ＊）の評価器ρ（θハット）を構築することを目標とする。
【００３３】
【数１１】
2018079366.tif 000013
【００３４】
実施形態１．
まず、本発明の第１の実施形態を説明する。本実施形態では、以下の内容を想定する。まず、本実施形態において、最適解ｚ（θ）は、ほぼ全てのθについて一意に決定されるものとする。例えば、μがＲｐにおけるルベーグ測度の場合、μ（Ｒｐ＼Θ）＝０である。
【００３５】
Ｚは、有限集合であるか、Ｒｄのコンパクト部分集合であるとする。また、
【数１２】
2018079366.tif 000014
は、連続性のある単射である。以上の想定のもと、本発明の実施形態を図面を参照して説明する。
【００３６】
図１は、本発明による評価システムの第１の実施形態の構成例を示すブロック図である。本実施形態の評価システム１００は、入力部１０と、評価部２０と、出力部３０と、記憶部４０とを備えている。
【００３７】
入力部１０は、評価部２０が評価に使用する各種データの入力を受け付ける。記憶部４０は、入力部１０から入力されたデータや、各種パラメータを記憶する。記憶部４０は、例えば、磁気ディスク等により実現される。
【００３８】
評価部２０は、予測に基づいて導出される最適解を、その予測を行う予測モデルで想定する真のモデルに基づいて評価する。
【００３９】
具体的には、評価部２０は、想定される真のモデルθから生成されたデータを用いて、θハットを推定し、推定されたθハットに基づくモデルから再びデータを生成して、θハットハットを推定する。以下、このデータ生成プロセスが繰り返される。すなわち、評価部２０は、バイアスの算出を繰り返すことで、実際のバイアスを見積もる。
【００４０】
本実施形態では、ブートストラップ法を用いて、バイアスなく評価する方法を説明する。また、本実施形態では、評価の具体例として、売上最適化の例を説明する。
【００４１】
例えば、Ｘを価格ベクトルの集合とし、Ｙを売上数量のベクトルの集合とする。そして、価格および売上数量は、Ｘ×Ｙの確率分布Ｆに従うと想定する。値ｘからｙを予測する回帰モデル｛ｒ（・；θ）：Ｘ→Ｙ｜θ∈Θ｝の中から、損失関数ｌ：Ｘ×Ｙ×Ｙに関する最善のモデルは、以下の式１０で与えられる。
【００４２】
【数１３】
2018079366.tif 000015
【００４３】
回帰モデル｛ｒ（・；θ）：Ｘ→Ｙ｜θ∈Θ｝が真のモデルを含み、それがθ＊で表記される場合、所定の想定のもとで上記式１０が成り立つ。しかし、実際の場面では、真の分布Ｆを知ることができないため、θ＊の評価器θハットを計算するために、データによって定義される経験的な分布Ｆハット（Ｆに上付き＾）が通常使用される。この場合、θハットは、以下の式１１のように計算される。
【００４４】
【数１４】
2018079366.tif 000016
【００４５】
例えば、（ｘ，ｙ）〜Ｆが、ｙ〜Ｎ（ｗ＊Ｔｘ，σＩ）で与えられる場合、所定の想定のもとで、以下の式１２が成り立つ。
【００４６】
【数１５】
2018079366.tif 000017
【００４７】
Ｆから生成されるサンプル｛（ｘｊ，ｙｊ）｝Ｎｊ＝１からｗ＊を推定する場合、評価部２０は、以下の式１３に示すｗハット（ｗに上付き＾）を計算する。式１３において、Ｆハットは、｛（ｘｊ，ｙｊ）｝Ｎｊ＝１によって定義される経験的な分布である。
【００４８】
【数１６】
2018079366.tif 000018
【００４９】
また、Ｘ×Ｙの任意の確率分布Ｆ´について以下の式１４に示すＴ（Ｆ´）を定義することにより、評価部２０は、θ＊＝Ｔ（Ｆ）およびθハット＝Ｔ（Ｆハット）を得る。
【００５０】
【数１７】
2018079366.tif 000019
【００５１】
模範的な価格最適化によって獲得される実益は、ｆ（ｚ（Ｔ（Ｆハット）），Ｔ（Ｆ））と表現できる。したがって、知りたいことは、以下の式１５で示す分布である。式１５において、εＮ（Ｆ）は、Ｆから生成される独立したＮ個のサンプルによって与えられた経験的分布の確率分布である。
【００５２】
【数１８】
2018079366.tif 000020
【００５３】
ここで、“Ｆハット〜εＮ（Ｆ）”がＮ→∞のとき、Ｆに向かって収束することに注目する。具体的には、Ｆハットの分布関数は、点ごとにＦの分布関数にほぼ確実に収束する。Ｆは不明なため、上述する式１５の分布を直接推定することは困難である。そこで、上記式１５の分布の代わりに、以下の式１６に示す分布を考慮する。
【００５４】
【数１９】
2018079366.tif 000021
【００５５】
式１６は、以下の式１７のように近似できる。
【００５６】
【数２０】
2018079366.tif 000022
【００５７】
上記式１７に示す分布は、いくつかの正則性条件のもとで、上記式１６に示す分布に収束する。したがって、十分に大きなＮのもとで、以下に示す式１８が期待される。
【００５８】
【数２１】
2018079366.tif 000023
【００５９】
なお、ＴがＦにおいて二次コンパクト微分可能であるとし、全てのｚ∈Ｚにおいて、ｆ（ｚ，θ）がθに関して連続であるとする。この場合、上記式１６に示す分布関数は、Ｆの分布関数に向けて、
【数２２】
2018079366.tif 000024
のオーダで収束する。すなわち、任意のα∈Ｒについて、以下の式１９が成り立つ。
【００６０】
【数２３】
2018079366.tif 000025
【００６１】
そして、ＴがＦにおいて二次コンパクト微分可能であるとし、全てのｚ∈Ｚにおいて、ｆ（ｚ，θ）がθに関して連続であるとした場合、以下の式２０が得られる。
【００６２】
【数２４】
2018079366.tif 000026
【００６３】
なお、確率変数の順序｛Ｘｎ｝の場合、Ｘｎ＝Ｏｐ（ａｎ）は、以下に示す式２１を意味する。
【００６４】
【数２５】
2018079366.tif 000027
【００６５】
出力部３０は、評価結果を出力する。具体的には、出力部３０は、上記式１８の右側の式により算出される評価結果を出力する。
【００６６】
入力部１０と、評価部２０と、出力部３０とは、プログラム（評価用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶部４０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、入力部１０、評価部２０および出力部３０として動作してもよい。
【００６７】
また、入力部１０と、評価部２０と、出力部３０とは、それぞれが専用のハードウェアで実現されていてもよい。また、記憶部４０は、例えば、磁気ディスク等により実現される。
【００６８】
次に、本実施形態の評価システムの動作を説明する。図２は、本実施形態の評価システムの動作例を示すフローチャートである。
【００６９】
まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ１，…，ｘＮ｝と、Ｍ∈｛１，２，…｝を入力する（ステップＳ１１）。ここで、ｊ＝１，…，Ｍについて、ブートストラップ法に基づくＸｊをＸからのＮ個のランダムサンプルであるとする。
【００７０】
評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ１２）。評価部２０は、ＸからＮ個のランダム復元抽出を行い、Ｘｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ１３）。また、同様に、評価部２０は、Ｘｊからθｊハットを計算する（ステップＳ１４）。そして、評価部２０は、以下の式２２に示すｚを計算する（ステップＳ１５）。すなわち、評価部２０は、ｚの計算をＭ回繰り返す。
【００７１】
【数２６】
2018079366.tif 000028
【００７２】
出力部３０は、以下の式２３で示すρを出力する（ステップＳ１６）。
【００７３】
【数２７】
2018079366.tif 000029
【００７４】
なお、図２に例示する動作の理論的保証は、上記の式２０に示されている。
【００７５】
以上のように、本実施形態では、評価部２０が、予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する。よって、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。
【００７６】
具体的には、評価部２０は、上記式２２に示すようなｚｊを算出し、ｆ（ｚｊ，θ０ハット）とｆ（ｚｊ，θｊハット）の差分（具体的には、差分の総和の平均）を、真のモデルと予測モデルとの評価値のバイアスとして算出する。よって、両者の間に生ずるバイアスを理論的に生じさせなくすることが可能になる。
【００７７】
次に、本実施形態の変形例を説明する。本変形例では、出力部３０は、評価値の信頼区間を出力する。Ｇを式１６の分布関数であるとする。このとき、α∈（０，１）について、以下に示す式２４が成り立つ。
【００７８】
【数２８】
2018079366.tif 000030
【００７９】
式１７に示す分布が式１６に示す分布に収束するとの観測のもと、ｆ（ｚ（θハット），θ＊）の評価信頼区間を以下の式２５に示すようにみなすことができる。式２５において、Ｇハット（Ｇに上付き＾）は、式１７における分布関数である。
【００８０】
【数２９】
2018079366.tif 000031
【００８１】
実際、上記に示す式２０は、左側の部分が、
【数３０】
2018079366.tif 000032
のオーダでαに収束することを保証する。これらのことは、図３に示すアルゴリズムに要約できる。図３は、本変形例の評価システムの動作例を示すフローチャートである。
【００８２】
まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ１，…，ｘＮ｝と、Ｍ∈｛１，２，…｝と、α∈（０，１）を入力する（ステップＳ２１）。また、第１の実施形態と同様、ｊ＝１，…，Ｍについて、ＸｊをＸからのＮ個のランダム（ブートストラップ）サンプルであるとする。
【００８３】
評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ２２）。評価部２０は、ＸからＮ個のランダム復元抽出を行い、Ｘｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ２３）。また、評価部２０は、Ｘｊからθｊハットを計算する（ステップＳ２４）。そして、評価部２０は、以下の式２６に示すｚを計算する（ステップＳ２５）。すなわち、評価部２０は、ｚの計算をＭ回繰り返す。
【００８４】
【数３１】
2018079366.tif 000033
【００８５】
次に、評価部２０は、以下のＭ個の値を昇順に並べる（ステップＳ２６）。
【数３２】
2018079366.tif 000034
そして、評価部２０は、ａをｃｅｉｌ（Ｍ（１−α）／２）番目に小さい値とし、ｂをｃｅｉｌ（Ｍ（１−α）／２）番目に大きい値とする（ステップＳ２７）。なお、ｃｅｉｌ（）は、天井関数である。
【００８６】
出力部３０は、ｆ（ｚ（θハット），θ＊）の１００α％の信頼区間［ｌ，ｒ］を出力する（ステップＳ２８）。ｌおよびｒは、以下の式２７で表される。
【００８７】
【数３３】
2018079366.tif 000035
【００８８】
このように、評価部２０が、評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値（ｃｅｉｌ（Ｍ（１−α）／２）番目の最小値および最大値）を評価区間として出力することで、より信頼性の高い評価結果を得ることが可能になる。
【００８９】
実施形態２．
次に、本発明の評価システムの第２の実施形態を説明する。本実施形態では、第１の実施形態の想定に加え、以下の内容を想定する。まず、本実施形態において、ｆ（ｚ，θ）は、θについてのアフィン変換であり、例えば、以下の式２８が成り立つとする。
【００９０】
【数３４】
2018079366.tif 000036
【００９１】
評価器θハットが“θハット〜Ｎ（θ＊，Σ＊）”を満足するようなΣ＊が存在するとし、任意のγ＞１について、“θハットハット〜Ｎ（θ＊，γΣ＊）”（ただし、θハットハットは、θに上付き＾が２つ）を観測可能であるとする。
【００９２】
ここで、θハットが漸近正規性をもつ推定値である場合、例えば、以下の式２９に示すようなＶが存在する。
【００９３】
【数３５】
2018079366.tif 000037
【００９４】
式２９において、Ｎは、サンプル数であり、→ｄは、分布における収束を表わす。そのため、この想定は、漸近的な意味において成り立つ。以上の想定のもと、本発明の実施形態を図面を参照して説明する。なお、本実施形態の評価システムの構成は、第１の実施形態と同様である。
【００９５】
まず、γ≧０について、φ（γ）およびη（γ）を、以下の式３０及び式３１のように定義する。式３０および式３１において、δ〜Ｎ（０，Σ＊）である。本実施形態の目的は、η（１）を推定することである。
【００９６】
【数３６】
2018079366.tif 000038
【００９７】
ここで、全てのγ＞０について、φ（γ）は微分可能であり、その導関数φ´（γ）は、以下の式３２を満たす。
【００９８】
【数３７】
2018079366.tif 000039
【００９９】
上記式３２より、あるランダムサンプルθハット〜Ｎ（θ＊，Σ＊）が得られ、さらに、θｈハット〜Ｎ（θ＊，（１＋ｈ）２Σ２）が得られた場合、以下に示す式３３の値が、η（１）の評価器である。
【０１００】
【数３８】
2018079366.tif 000040
【０１０１】
ここで、θハット〜Ｎ（θ＊，Σ＊）とし、θｈハット〜Ｎ（θ＊，（１＋ｈ）２Σ＊）とする。このとき、以下の式３４が成り立つ。
【０１０２】
【数３９】
2018079366.tif 000041
【０１０３】
以下、２種類の状況を想定する。第１の想定（ノイズ付加法）として、あるランダムサンプルθハット〜Ｎ（θ＊，Σ＊）が得られるとする。もしΣ＊が既知である場合、Ｎ（０，Σ＊）からδをサンプリングし、
【数４０】
2018079366.tif 000042
を構築することによって、評価部２０は、Ｎ（０，（１＋ｈ）２Σ）に従うθｈハットを得ることができる。
【０１０４】
以下、第１の想定に基づいてρを算出する動作を説明する。図４は、本実施形態において、第１の想定をした場合における評価システムの動作例を示すフローチャートである。
【０１０５】
まず、入力部１０は、０より大きいθハット、Σハット（Σに上付き＾）およびｈ、並びにＭ∈｛１，２，…｝を入力する（ステップＳ３１）。評価部２０は、Ｎ（０，Σハット）から独立にδ１，…，δＭを生成する（ステップＳ３２）。そして、評価部２０は、以下の式３５に示すｆを計算する（ステップＳ３３）。すなわち、評価部２０は、ｆの計算をＭ回繰り返す。
【０１０６】
【数４１】
2018079366.tif 000043
【０１０７】
出力部３０は、以下の式３６で示すρを出力する（ステップＳ３４）。
【０１０８】
【数４２】
2018079366.tif 000044
【０１０９】
以上に示すように、評価部２０が、予測モデルにノイズを付加したモデルを生成し、そのモデルを基に計算される評価値の平均を真のモデルと予測モデルとの評価値のバイアスとして算出する。このような構成によっても、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。
【０１１０】
次に、第２の想定を説明する。第２の想定（リサンプリングに基づく方法）として、θハットが、Ｎ個のサンプルから計算される最尤推定（ＭＬＥ：maximum likelihood estimation ）であるとする。θ１ハットが、[Ｎ／（１＋ｈ）２Σ]個のサンプルから計算されるＭＬＥであるとする。このとき、θハットおよびθｈハットは、それぞれ漸近的に、Ｎ（θ＊，Ｉ（θ＊）−１／Ｎ）およびＮ（θ＊，（１＋ｈ）２Ｉ（θ＊）−１／Ｎ）に向かっていく。
【０１１１】
以下、第２の想定に基づいてρを算出する動作を説明する。図５は、本実施形態において、第２の想定をした場合における評価システムの動作例を示すフローチャートである。
【０１１２】
まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ１，…，ｘＮ｝、ｈ（＞０）およびＭ∈｛１，２，…｝を入力する（ステップＳ４１）。ここで、ｊ＝１，…，Ｍについて、Ｘｊを、Ｘからの[Ｎ／（１＋ｈ）２]個のランダムサンプルであるとする。
【０１１３】
評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ４２）。評価部２０は、Ｘから[Ｎ／（１＋ｈ）２]個のランダム抽出を行い、Ｘｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ４３）。また、評価部２０は、Ｘｊからθｊハットを計算する（ステップＳ４４）。そして、評価部２０は、以下の式３７に示すｆを計算する（ステップＳ４５）。すなわち、評価部２０は、ｆの計算をＭ回繰り返す。
【０１１４】
【数４３】
2018079366.tif 000045
【０１１５】
出力部３０は、以下の式３８で示すρを出力する（ステップＳ４６）。
【０１１６】
【数４４】
2018079366.tif 000046
【０１１７】
以上に示すように、評価部２０が、θハットを基に計算される評価値の最大値とθｊハットを基に計算される評価値の最大値（具体的には最大値の総和の平均）との線形和に基づいて、真のモデルに基づく評価を行う。このような構成によっても、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。
【０１１８】
次に、本発明の概要を説明する。図６は、本発明による評価システムの概要を示すブロック図である。本発明による評価システム８０（例えば、評価システム１００）は、真のモデル（例えば、θ＊）から生成されたデータを用いて推定される予測モデル（例えば、θハット）が存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアス（例えば、上記式８に示すバイアス）を考慮して評価する評価部８１（例えば、評価部２０）を備えている。
【０１１９】
そのような構成により、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。
【０１２０】
すなわち、本発明では、真のモデルから生成されるデータを基に予測モデルを生成し、その予測モデルをもとに最適解を計算して、その結果を予測モデルで評価したときにバイアスが生じることという事象を、上記式６に示すような抽象的なモデルにしたうえで、評価部８１が最適解を評価する。したがって、予測モデルで評価される最適解と真のモデルで評価される最適解との間のバイアスを理論的に生じさせなくすることが可能になる。
【０１２１】
また、評価部８１は、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、選択されたデータを用いて第一のモデル（例えば、θｊハット）を推定し、第一のモデルを基に計算される最適解をその第一のモデルで評価した第一の評価（例えば、ｆ（ｚｊ，θｊハット））と、最適解を予測モデルで評価した第二の評価（例えば、ｆ（ｚｊ，θ０ハット））との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出してもよい。
【０１２２】
また、評価部８１は、第一のモデルを複数推定し、推定された第一のモデルを基に計算される各最適解をその第一のモデルで評価した各第一の評価と、各最適解を予測モデルで評価した第二の評価との差分である評価差分の総和の平均を、真のモデルと予測を行うモデルとの評価値のバイアスとして算出してもよい。
【０１２３】
また、評価部８１は、第一のモデルを推定するごとに算出される評価差分を並び替えてその評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値を評価区間として出力してもよい。
【０１２４】
また、評価部８１は、予測モデルにノイズを付加した第二のモデル（例えば、第２の実施形態の第１の想定におけるθｈハット）を生成し、第二のモデルを基に計算される評価値の最大値と、予測モデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行ってもよい。
【０１２５】
また、評価部８１は、予測モデルの生成に用いたデータの少なくとも一部を用いて第三のモデル（例えば、第２の実施形態の第２の想定におけるθｊハット）を推定し、予測モデルを基に計算される評価値の最大値と、第三のモデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行ってもよい。
【０１２６】
このとき、評価部８１は、第三のモデルを複数推定し、予測モデルを基に計算される評価値の最大値と、第三のモデルを基に計算される各評価値の最大値の総和の平均との線形和に基づいて、真のモデルに基づく評価を行ってもよい。
【０１２７】
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備えている。
【０１２８】
上述のモデル推定装置は、それぞれコンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（評価用プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
【０１２９】
なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
【０１３０】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１３１】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１３２】
この出願は、２０１６年１０月２８日に出願された日本特許出願２０１６−２１１４３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１３３】
１０  入力部
２０  評価部
３０  出力部
【図１】
2018079366.tif 000047
【図２】
2018079366.tif 000048
【図３】
2018079366.tif 000049
【図４】
2018079366.tif 000050
【図５】
2018079366.tif 000051
【図６】
2018079366.tif 000052
【図７】
2018079366.tif 000053
【手続補正書】
【提出日】平成31年4月18日(2019.4.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部を備えた
ことを特徴とする評価システム。
【請求項２】
評価部は、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、選択されたデータを用いて第一のモデルを推定し、前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
請求項１記載の評価システム。
【請求項３】
評価部は、第一のモデルを複数推定し、推定された第一のモデルを基に計算される各最適解を当該第一のモデルで評価した各第一の評価と、前記各最適解を予測モデルで評価した第二の評価との差分である評価差分の総和の平均を、真のモデルと予測を行うモデルとの評価値のバイアスとして算出する
請求項２記載の評価システム。
【請求項４】
評価部は、第一のモデルを推定するごとに算出される評価差分を並び替えて当該評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値を評価区間として出力する
請求項３記載の評価システム。
【請求項５】
評価部は、予測モデルにノイズを付加した第二のモデルを生成し、前記第二のモデルを基に計算される評価値の最大値と、予測モデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
請求項１記載の評価システム。
【請求項６】
評価部は、予測モデルの生成に用いたデータの少なくとも一部を用いて第三のモデルを推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
請求項１記載の評価システム。
【請求項７】
評価部は、第三のモデルを複数推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される各評価値の最大値の総和の平均との線形和に基づいて、真のモデルに基づく評価を行う
請求項６記載の評価システム。
【請求項８】
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する
ことを特徴とする評価方法。
【請求項９】
ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、
選択されたデータを用いて第一のモデルを推定し、
前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
請求項８記載の評価方法。
【請求項１０】
コンピュータに、
真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価処理を実行させる
ための評価用プログラム。
【国際調査報告】
2018079366.tif 000054
2018079366.tif 000055
2018079366.tif 000056