(57)【要約】      （修正有）【課題】状態遷移する複数の対象から得られる累積報酬のリスクを最小化する確率的施策を求める。【解決手段】エージェントが状態遷移する遷移確率と、それぞれの状態について、それぞれが共に当該状態である前記複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータとを記憶している。そして、それぞれの状態のエージェントに対しそれぞれの行動を取る行動確率を定めた施策の入力を受け付ける。そして、複数のエージェントから今期以降に得られる累積報酬の確率分布を示すパラメータを、来期以降に得られる累積報酬の確率分布を示すパラメータに基づき求める漸化式を生成し、当該漸化式において今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布のパラメータが同一値に収束するとした方程式を解析的に解いて、確率分布のパラメータを算出する。【選択図】図１
2008040522.tif 000002
【特許請求の範囲】
【請求項１】
複数のエージェントに対し複数の行動を順次取った結果として得られる累積報酬の確率分布を算出するシステムであって、
エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶している確率記憶部と、
前記複数の状態のそれぞれについて、それぞれが共に当該状態である前記複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶しているパラメータ記憶部と、
前記複数の状態のそれぞれに対応付けて、当該状態のエージェントに対しそれぞれの行動を取る行動確率を定めた施策を取得する施策取得部と、
前記複数のエージェントから今期以降に得られる累積報酬の確率分布を示すパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、今期の行動によって得られる報酬の確率分布のパラメータおよび来期の状態から来期以降に得られる累積報酬の確率分布を示すパラメータに基づく値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式を生成し、当該漸化式において今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布のパラメータが同一値に収束するとみなした方程式を解くことにより、当該パラメータを算出する第１算出部と、
算出した前記パラメータを、累積報酬の確率分布を示す情報として出力する出力部と
を備えるシステム。
【請求項２】
前記パラメータ記憶部は、前記複数のエージェントから得られる報酬の合計が正規分布に従う場合において、報酬の平均値および分散値を、報酬の確率分布を示す前記パラメータとして記憶しており、
前記第１算出部は、
前記複数のエージェントから今期以降に得られる累積報酬の平均値を、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬の平均値に割引率を乗じて今期の行動によって得られる報酬の平均値を加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬の平均値を算出する平均値算出部と、
前記複数のエージェントから今期以降に得られる累積報酬の分散値を、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬の分散値に割引率の２乗を乗じて今期の行動によって得られる報酬の分散値を加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬の分散値を算出する分散値算出部と
を有する請求項１に記載のシステム。
【請求項３】
前記パラメータ記憶部は、前記複数のエージェントから得られる報酬の合計が正規分布に従う場合において、報酬の平均値、分散値、および、それぞれの前記エージェントから得られる報酬が他のそれぞれのエージェントから得られる報酬と相関する程度を示す相関指標値とを記憶し、
前記第１算出部は、
前記複数のエージェントから今期以降に得られる累積報酬の平均値を、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬の平均値に割引率を乗じて今期の行動によって得られる報酬の平均値を加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬の平均値を算出する平均値算出部と、
前記複数のエージェントから今期以降に得られる累積報酬のスケールパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬のスケールパラメータに割引率を前記相関指標値の逆数で累乗した値を乗じて今期の行動によって得られる報酬のスケールパラメータを加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬のスケールパラメータを算出するスケールパラメータ算出部と
を有する請求項２に記載のシステム。
【請求項４】
前記パラメータ記憶部は、前記複数のエージェントから得られる報酬の確率分布が安定分布に従う場合において、安定分布において報酬が大きな領域における確率密度の減衰の程度を示す特性指数と、安定分布における分布の非対称性を示す歪度と、安定分布の位置パラメータと、安定分布のスケールパラメータとを記憶し、
前記第１算出部は、
前記複数のエージェントから今期以降に得られる累積報酬の確率分布の歪度を、今期の行動の前記行動確率および来期の状態への前記遷移確率により、今期の行動によって得られる報酬の確率分布の歪度およびスケールパラメータ並びに来期の状態から来期以降に得られる累積報酬の確率分布の歪度およびスケールパラメータに基づく値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬の確率分布の歪度を算出する歪度算出部と、
前記複数のエージェントから今期以降に得られる累積報酬の位置パラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬の位置パラメータに割引率を乗じて今期の行動によって得られる報酬の位置パラメータを加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬の位置パラメータを算出する位置パラメータ算出部と、
前記複数のエージェントから今期以降に得られる累積報酬のスケールパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、来期の状態から来期以降に得られる累積報酬のスケールパラメータに割引率を特性指数の値で累乗した値を乗じて今期の行動によって得られる報酬のスケールパラメータを加えた値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式に基づき、今期以降の累積報酬のスケールパラメータを算出するスケールパラメータ算出部と
を有する請求項１に記載のシステム。
【請求項５】
前記複数の状態のそれぞれについて、当該状態を初期状態とする前記複数のエージェントから得られるべき報酬の確率分布における位置パラメータを取得する位置パラメータ取得部を更に備え、
前記施策取得部は、前記複数の状態のそれぞれについて、当該状態を初期状態とする前記複数のエージェントから得られる累積報酬の確率分布の位置パラメータを、取得した前記位置パラメータに一致させる施策のうち１つを生成し、初期施策として取得し、
前記第１算出部は、前記初期施策に従って行動した結果として前記複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出し、
当該システムは、
前記複数の状態のそれぞれについて、エージェントに対し取り得るそれぞれの行動の行動確率を変数とし、当該行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータが、前記第１算出部によって算出された位置パラメータに一致する制約の下、来期以降の累積報酬の確率分布におけるスケールパラメータが前記第１算出部によって算出されたスケールパラメータに一致することを前提に当該スケールパラメータの値に基づき今期以降の累積報酬の確率分布におけるスケールパラメータを算出する目的関数の値を最小化する線形計画問題を解くことにより、それぞれの行動確率を定める施策を算出する第２算出部と、
前記第１算出部により算出されたスケールパラメータと前記第２算出部により算出されたスケールパラメータとが予め定められた範囲内の値に収束したことを条件に、前記第２算出部により算出された施策を出力し、収束していないことを条件に、前記第２算出部により算出された施策を前記初期施策に代えて前記第１算出部に与え、当該施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを算出させる収束判定部と
を更に備える請求項１に記載のシステム。
【請求項６】
前記確率記憶部に記憶された前記遷移確率、および、前記パラメータ記憶部に記憶された前記パラメータに基づいて、前記複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータの最大値および最小値を算出する位置パラメータ範囲算出部をさらに備え、
前記位置パラメータ取得部は、算出された前記最小値から前記最大値までの範囲内の値の入力を受け付け、当該範囲外の値の入力を受け付けない
請求項５に記載のシステム。
【請求項７】
前記第２算出部は、行動に要する費用を当該行動の行動確率で重み付けして各行動について合計した値が予め定められた基準の予算以下であることを更に制約に加えて、前記線形計画問題を解く
請求項５に記載のシステム。
【請求項８】
それぞれが異なる状態を初期状態として取りうる前記複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータを取得する位置パラメータ取得部を更に備え、
前記施策取得部は、前記複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータを、取得した前記位置パラメータと一致させる施策のうち１つを生成し、初期施策として取得し、
前記第１算出部は、前記初期施策に従って行動した結果として前記複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出し、
当該システムは、
前記複数の状態のそれぞれについて、エージェントに対し取り得るそれぞれの行動の行動確率を変数とし、それぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータを、当該状態を初期状態とするエージェントの数で重み付けして合計した値が、前記第１算出部によって算出された位置パラメータに一致する制約の下、来期以降の累積報酬の確率分布におけるスケールパラメータが前記第１算出部によって算出されたスケールパラメータに一致することを前提に当該スケールパラメータの値に基づきそれぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる今期以降の累積報酬の確率分布におけるスケールパラメータを求め、当該状態を初期状態とするエージェントの数で重み付けして合計する目的関数の値を最小化する線形計画問題を解くことにより、それぞれの行動確率を定める施策を算出する第２算出部と、
前記第１算出部により算出されたスケールパラメータと前記第２算出部により算出されたスケールパラメータとが予め定められた範囲内の値に収束したことを条件に、前記第２算出部により算出された施策を出力し、収束していないことを条件に、前記第２算出部により算出された施策を前記初期施策に代えて前記第１算出部に与え、当該施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを算出させる収束判定部と
を更に備える請求項１に記載のシステム。
【請求項９】
位置パラメータを取得する毎に、位置パラメータを示す座標軸とリスク指標値を示す座標軸とからなる平面上において、取得した前記位置パラメータ、および、収束した前記スケールパラメータに基づくリスク指標値によって表される座標値に点を順次描画し、描画された点と点との間を補完することにより曲線を描画して表示する表示制御部を更に備え、
前記出力部は、表示された曲線上の座標値が利用者により指定されたことに応じ、当該座標値によって表される位置パラメータおよびリスク指標の組を、当該位置パラメータおよび当該リスク指標によって示される確率分布の累積報酬を得るために前記第２算出部により算出された施策に対応付けて出力する
請求項５に記載のシステム。
【請求項１０】
複数のエージェントに対し複数の行動を順次取った結果として得られる累積報酬の確率分布を算出する方法であって、
エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶するステップと、
前記複数の状態のそれぞれについて、それぞれが共に当該状態である前記複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶するステップと、
前記複数の状態のそれぞれに対応付けて、当該状態のエージェントに対しそれぞれの行動を取る行動確率を定めた施策を取得するステップと、
前記複数のエージェントから今期以降に得られる累積報酬の確率分布を示すパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、今期の行動によって得られる報酬の確率分布のパラメータおよび来期の状態から来期以降に得られる累積報酬の確率分布を示すパラメータに基づく値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式を生成し、当該漸化式において今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布のパラメータが同一値に収束するとみなした方程式を解くことにより、当該パラメータを算出するステップと、
算出した前記パラメータを、累積報酬の確率分布を示す情報として出力するステップと
を備える方法。
【請求項１１】
複数のエージェントに対し複数の行動を順次取った結果として得られる累積報酬の確率分布を算出するシステムとして、情報処理装置を機能させるプログラムであって、
前記情報処理装置を、
エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶している確率記憶部と、
前記複数の状態のそれぞれについて、それぞれが共に当該状態である前記複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶しているパラメータ記憶部と、
前記複数の状態のそれぞれに対応付けて、当該状態のエージェントに対しそれぞれの行動を取る行動確率を定めた施策を取得する施策取得部と、
前記複数のエージェントから今期以降に得られる累積報酬の確率分布を示すパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、今期の行動によって得られる報酬の確率分布のパラメータおよび来期の状態から来期以降に得られる累積報酬の確率分布を示すパラメータに基づく値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式を生成し、当該漸化式において今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布のパラメータが同一値に収束するとみなした方程式を解くことにより、当該パラメータを算出する第１算出部と、
算出した前記パラメータを、累積報酬の確率分布を示す情報として出力する出力部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リスクを抑えて報酬を最大化するための施策を決定するシステムに関する。特に、本発明は、施策の実行により状態遷移する対象に対し、将来の累積報酬が最大化するように施策を決定するシステムに関する。
【背景技術】
【０００２】
従来、ポートフォリオ理論についての研究が進められている（非特許文献１を参照。）。ポートフォリオ理論は、株式や債券などリターンにリスクが伴う商品が複数存在する状況下で、それぞれの商品の運用割合を決定するための理論である。即ち例えば、利用者が期待値として所望のリターンを得たい場合に、ポートフォリオ理論を応用すれば、そのリターンを得るためにリスクを最小化する運用割合を決定することができる。また、従来、マルコフ決定過程についての研究が進められている（非特許文献２から８を参照。）。マルコフ決定過程問題は、状態遷移し得る対象に対し、所定の規則に従って複数回の行動を取った場合に、その対象から得られる累積の収益を算出する問題である。マルコフ決定過程問題の既存解法によれば、行動を定める施策を与えると、累積の収益の期待値を算出することができる。
【０００３】
【非特許文献１】H. Markowitz, "Portfolio Selection," Journal of Finance, vol. 7, pp. 77-91,  Mar. 1952.
【非特許文献２】G. Tirenni, A. Labbi, A.Elisseeff, and C. Berrospi,  "Efficient allocation of marketing resources using dynamic programming," in Proceedings of the SIAM International Conference on Data Mining, 2005.
【非特許文献３】J. A. Filar, L. C. M. Kallenberg, and H. Lee, "Variance-penalized markov decision processes," Mathematics of Operations Research, vol. 14, pp. 147-161, 1989.
【非特許文献４】D. J. White, "Mean, variance, and probabilistic criteria in finite Markov decision processes: A review," Journal of Optimization Theory and Applications, vol. 56, no. 1, pp. 1-29, 1988.
【非特許文献５】R. Munos and A. W. Moore, "Variable Resolution Discretization for High-Accuracy Solutions of Optimal Control Problems," in Proceedings of the International Joint Conference on Artificial Intelligence, 1999, pp. 1348-1355.
【非特許文献６】R. Neuneier,  "Enhancing Q-learning for Optimal Asset Allocation," in Advances in Neural Information Processing Systems, 1998, vol. 10, pp. 936-942.
【非特許文献７】H. Kawai,  "A variance minimization problem for a Markov decision process," European Journal of Operational Research, vol. 31, pp. 140-145, 1987.
【非特許文献８】M. L. Puterman, Markov Decision Process, John Wiley and Sons, 1994.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
多数のエージェント（たとえば顧客）がいる環境で、各エージェントに対しどの様な施策（マーケティング・キャンペーンなど）を打つべきかを決定しようとする場合、短期的な報酬を最大化する施策は長期的に最適とは限らない。施策はエージェントの状態変化をもたらすからである。また、エージェントのもたらす報酬は一定でなく確率変数としてモデル化するのが妥当である。したがって、報酬の期待値を最大化したのでは大きなリスクを伴う危険性がある。実際には、リターンとリスクの双方の観点から最適な施策を決めるのが望ましい。
【０００５】
このような課題に対し、多数の施策のそれぞれについてその施策によって得られる累積報酬のリスクを算出し、算出した中でリスクを最小とする施策を最適施策として決定する手法も考えられる。しかしながら、従来、ある施策から所定の期待値を得ようとした結果として発生するリスクを算出するためには、計算に長時間を要するシミュレーションが必要であった。更に、施策は対象となるエージェントの状態毎に異なり、また、施策は決定的でなく確率的でもよいとすると、シミュレーションの回数が爆発的に増加して現実的な時間で完了しないことが想定される。
【０００６】
同様の課題を解決するために、顧客の状態変化はマルコフモデルとしてモデル化でき、リターンとリスクを考慮した施策決定はポートフォリオ理論が応用できるとも考えられる。しかしながら、従来、マルコフ決定過程問題とポートフォリオ理論とを組み合わせた技術は充分に研究されていない。例えば、従来、マルコフモデルとしてモデル化された対象から所定の報酬を得るためにリスクを軽減する技術が提案されている（非特許文献２から６を参照。）。しかしながら、非特許文献２の技術では、リスクをある程度軽減できる場合もあるが、特定の状況において極端にリスクが高くなってしまう場合があった。また、非特許文献３から６の技術では、極端な高いリスクを回避することはできるものの、求めることができるのは、ある状態のエージェントに対して取る行動を一意に定める施策（以下、決定的施策）であって、ある状態のエージェントに対する行動を複数の行動の候補の中から所定の確率で選択させる施策（以下、確率的施策）ではなかった。
【０００７】
これに対し、非特許文献７の技術では、１人のエージェントから得られる定常状態における１期あたりの報酬のリスクを最小化する確率的施策を求めることができる。しかしながら、この技術では、定常状態のみに着目した報酬に伴うリスクのみを最小化しており、定常状態にいたるまでの途中段階も含めた累積報酬に伴うリスクを最小化していない。このため問題設定が現実に解決すべき課題とは異なっており妥当でない。また、マーケティングの施策を決定する場合等の、現実の課題においては、複数のエージェントが互いに相関を持ちながら状態遷移する場合があり、エージェントを１人に限定するのは適切ではない。
【０００８】
そこで本発明は、上記の課題を解決することのできるシステム、方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明においては、行動に応じ状態遷移する複数のエージェントに対し、複数の行動を順次取った結果として得られる累積報酬の確率分布を算出するシステムであって、エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶している確率記憶部と、前記複数の状態のそれぞれについて、それぞれが共に当該状態である前記複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶しているパラメータ記憶部と、前記複数の状態のそれぞれに対応付けて、当該状態のエージェントに対しそれぞれの行動を取る行動確率を定めた施策の入力を受け付ける施策取得部と、前記複数のエージェントから今期以降に得られる累積報酬の確率分布を示すパラメータを、今期の行動の前記行動確率および来期の状態への前記遷移確率により、今期の行動によって得られる報酬の確率分布のパラメータおよび来期の状態から来期以降に得られる累積報酬の確率分布を示すパラメータに基づく値を重み付けして、それぞれの行動および来期の状態について合計して算出する漸化式を生成し、当該漸化式において今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布のパラメータが同一値に収束するとみなした方程式を解くことにより、当該パラメータを算出する第１算出部と、算出した前記パラメータを、累積報酬の確率分布を示す情報として出力する出力部とを備えるシステム。当該システムとしてコンピュータを機能させるプログラム、および、当該システムによって確率分布を算出する方法を提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１０】
本発明によれば、状態遷移する複数の対象から得られる累積報酬のリスクを最小化する確率的施策を求めることができる。
【発明を実施するための最良の形態】
【００１１】
以下、発明を実施するための最良の形態（以下、実施形態と称す）を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、情報システム１０の全体構成を示す。情報システム１０は、確率記憶部２０と、パラメータ記憶部３０と、施策決定システム４０とを有する。確率記憶部２０は、エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶している。エージェントとは、例えば、マーケティングの対象となる消費者であり、行動とは、例えば、それらの消費者に対して行うマーケティングの行動である。また、状態とは、消費者の行動特性を示し、例えば消費者の変化し得る属性などである。たとえば、マーケティングにおいては、１ヶ月の消費額がある範囲の金額である顧客セグメントに属することが状態１であり、１ヶ月の消費額が他の範囲の金額である他の顧客セグメントに属することが状態２などとなる。即ち、状態遷移とは、たとえば、ある消費者に対し割引やキャンペーンなどの行動をとった結果としてその消費者が他の顧客セグメントに属することとなることをいう。
【００１３】
パラメータ記憶部３０は、これら複数の状態のそれぞれについて、それぞれが共に当該状態である複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶している。報酬とは、例えば売上や利益の額をいう。上述のマーケティングにおいて、たとえば、報酬とは、ある状態である複数の消費者に対しあるキャンペーンを行った結果として当該複数の消費者から得られる売上の大きさである。そして、報酬の確率分布を示すパラメータとは、例えば確率分布が正規分布に従う場合の平均値および分散値などである。これら確率記憶部２０またはパラメータ記憶部３０に記憶されたデータは、過去のマーケティングの履歴などの情報を分析することによって予め生成されたものであってよい。
【００１４】
施策決定システム４０は、これら複数のエージェントに対し複数の行動を順次取った結果として得られる累積報酬について、複数の期待値を予め選択する。そして、施策決定システム４０は、これらそれぞれの期待値に対してリスクを最小化するための行動を定める施策を決定する。施策決定システム４０は、期待値とリスク指標とを示す座標軸によって構成される平面上に、期待値とその累積報酬を得るための最小リスク指標とを示す点を描画し、それぞれの点を結ぶことによって効率的フロンティア曲線６０を描画して利用者に表示する。利用者は、効率的フロンティア曲線６０上の点の中から、所望の期待値とリスク指標とを選択する。施策決定システム４０は、選択された期待値を得るための施策を、リスクを最小化するための最適施策７０として利用者に出力する。
【００１５】
このように、本実施形態に係る情報システム１０は、エージェントの状態遷移確率や１回の行動に対する報酬などのデータが予め与えられた場合に、複数のエージェントから所望の累積報酬を得るためにリスクを最小化する最適な施策を出力することを目的とする。
【００１６】
図２は、確率記憶部２０のデータ構造の一例を示す。確率記憶部２０は、エージェントが採り得る複数の状態のそれぞれについて、当該状態のエージェントに対しそれぞれの行動を取った場合にそれぞれの状態に遷移する遷移確率を記憶している。エージェントの状態を変数ｓによって表し、具体的には、状態はｓ１、ｓ２、…、ｓmなどとする。また、エージェントが採り得る状態の集合をＳとする。即ち、ｓ∈Ｓである。また、取り得る行動を変数ａによって表し、具体的には、行動はａ１、ａ２、…ａｎなどとする。また、取り得る行動の集合をＡとする。即ちａ∈Ａである。そして、確率記憶部２０は、遷移元の状態と行動との組（ｓ，ａ）と、遷移先の状態ｓとの組合せ毎に、その遷移確率を記憶する。例えば、状態ｓ１のエージェントに対し行動ａ１を取った結果状態ｓ１のまま状態遷移しない確率は２５％であり、状態ｓ２に遷移する確率は４０％である。以降の説明において、この遷移確率をｐｓ´｜ｓ，ａと表記する。但し、この表記においてｓは遷移元の状態を示し、ａは行動を示し、ｓ´は遷移先の状態を示すものとする。
【００１７】
図３は、パラメータ記憶部３０のデータ構造の一例を示す。パラメータ記憶部３０は、これら複数の状態のそれぞれについて、それぞれが共に当該状態である複数のエージェントに対しそれぞれの行動を取った結果それぞれの状態に遷移した場合に得られる報酬の確率分布を示すパラメータを記憶している。図３には、確率分布を定めるパラメータの一例として報酬の平均値を示す。パラメータ記憶部３０は、遷移元の状態と行動との組（ｓ，ａ）と、遷移先の状態ｓとの組合せ毎に、その遷移元の状態からその遷移先の状態に遷移した結果として得られる報酬の平均値を記憶している。
【００１８】
一例として、エージェントが１０，０００人の場合、１０，０００人の全てがある状態ｓ１にあるとしたときに、それら全てのエージェントに対して行動ａ１を取った結果それら全てのエージェントの状態が状態ｓ２に遷移した場合に得られる報酬の平均値は＄２．１０である。ここでいう平均値とは、確率分布のパラメータとしての平均値であり、上記と同一条件で複数回行動ａ１を取った結果得られる報酬の平均値をいう。なお、報酬の分布によっては平均値のみでは確率分布が定められないので、パラメータ記憶部３０は、図３と同様の表を分散値やその他のパラメータのそれぞれについて更に記憶する。その他のパラメータとは、例えば、安定分布における特性指数や歪度などである。これらのパラメータを記憶するためのデータ構造は、データの内容が平均値に代えてその他のパラメータとなることのほか、図３と略同一であるので説明を省略する。
【００１９】
以降の説明において、状態ｓのエージェントに対し行動ａを取った結果状態ｓ´に遷移した結果として得られる報酬をｒｓ´｜ｓ，ａと表記する。また、その確率分布をＰ（ｒｓ´｜ｓ，ａ）と表記し、その平均値または位置パラメータをμｓ´｜ｓ，ａと表記する。
【００２０】
図４は、最適施策７０の一例を示す。最適施策７０は、それぞれの状態のエージェントについてそれぞれの行動をとるべき行動確率を定める。例えば図４中で、状態ｓ１の行と行動ａ１の列との交差部分の確率値２０％が、状態ｓ１のエージェントについて行動ａ１を取る行動確率である。利用者は、状態ｓ１のエージェントが１００人の場合、そのうち２０人に対し行動ａ１を取ってもよいし、その１００人のエージェントのそれぞれについて、２０％の確率で行動ａ１を取ってもよい。この最適施策７０に従って行動することにより、所望の期待値に対するリスクを最小化することができる。
以降の説明において、状態ｓのエージェントに対し行動ａを取る行動確率を定めた施策をπｓ、ａと表記する。また、全ての状態ｓ∈Ｓおよび行動ａ∈Ａに対するπｓ，ａのπの値をまとめてπ={πｓ，ａ; ｓ∈Ｓ, ａ∈Ａ}と表記する。
【００２１】
続いて、これらの遷移確率およびパラメータに基づき、施策決定システム４０が最適施策を求める処理機能の詳細を説明する。説明に先立って、まず累積報酬の期待値を定義する。累積報酬は、全てのエージェントから今期および今期以降の将来に渡って得られる報酬の合計である。なお、今期とは、順次経過する複数の期間のうち、いま求めようとする最適施策を実行開始する期間をいい、来期とは、今期の次の期間をいう。現実の課題において、同一の金額であっても早く得られる報酬の方が価値が高いので、将来の報酬については割引率を乗じて価値を低く評価するものとする。具体的には、ある施策πについて期間0から期間（Ｔ−１）までの累積報酬の期待値は以下の式（１）のように表される。
【数１】
2008040522.tif 000003
但し、γは割引率を示し０より大きく１より小さい値をとる。ｒｔはこの施策πによって得られる期間ｔにおける報酬を示し、Ｅπ［ｒｔ］はその期待値を示す。
【００２２】
図５は、施策決定システム４０の機能構成を示す。施策決定システム４０は、位置パラメータ範囲算出部４００と、位置パラメータ取得部４１０と、施策取得部４２０と、第１算出部４３０と、第２算出部４４０と、収束判定部４５０と、出力部４６０と、表示制御部４７０とを有する。位置パラメータ範囲算出部４００は、確率記憶部２０に記憶された遷移確率、および、パラメータ記憶部３０に記憶されたパラメータに基づいて、複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータの最大値および最小値を算出する。算出処理の詳細については後述するが、来期以降に得られる累積報酬の位置パラメータと、今期の報酬の位置パラメータとに基づき、今期以降に得られる累積報酬の位置パラメータの最小値（または最大値）求める漸化式を生成し、バリュー・イテレーションによりその値の収束値を求めることによって実現される。
【００２３】
以下、位置パラメータをどのように定めるかによって処理が異なるため、それぞれについて説明する。
エージェントは、既に述べたように、状態ｓ１からｓｍを採り得る。そして、エージェントから得られる報酬は、遷移元の状態によって異なっている。したがって、例え同一の施策に従って行動しても、初期状態が異なるエージェントから得られる累積報酬は異なる。このため、累積報酬の位置パラメータは、初期状態毎に定めたい場合がある。これは、マーケティングの例では、顧客セグメントの種類が少なく、そのそれぞれから得たい報酬を顧客セグメント毎にきめ細かく定めたい場合に有効である。一方で、様々な状態を初期状態とする複数のエージェントから得られる総報酬額の確率分布の位置パラメータを定めたい場合がある。これは、マーケティングの例では、顧客セグメントの種類が多くてそのそれぞれから得たい報酬を定めるのは困難な場合に有効である。以下、これらのそれぞれの場合について説明する。
【００２４】
（１）それぞれの初期状態について位置パラメータを定める場合
位置パラメータ取得部４１０は、複数の状態のそれぞれについて、位置パラメータ範囲算出部４００によって算出された最小値から最大値までの範囲内の値を、当該状態を初期状態とする複数のエージェントから得られるべき報酬の確率分布を示す位置パラメータとして取得する。位置パラメータ取得部４１０は、位置パラメータの指定の入力を利用者から受け付けてもよいし、当該最小値から最大値までの値の中から所定の規則に従って複数の値を取得してもよい。
【００２５】
施策取得部４２０は、複数の状態のそれぞれについて、当該状態を初期状態とする複数のエージェントから得られる累積報酬の確率分布の位置パラメータを、取得した位置パラメータに一致させる施策のうち１つを生成し、その施策を初期施策として取得する。この初期施策は、位置パラメータを与えられた値と一致させれば充分であり、リスクを最小化するものであるかどうかは問わない。第１算出部４３０は、それぞれの状態について、当該状態を初期状態とする複数のエージェントから初期施策に従って行動した結果として得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出する。これらのパラメータの算出方法については後述する。
【００２６】
第２算出部４４０は、複数の状態のそれぞれについて、エージェントに対し取り得るそれぞれの行動の行動確率を変数とし、第１算出部４３０によって算出されたスケールパラメータに基づき累積報酬の確率分布のスケールパラメータを求める目的関数の値を最小化する線形計画問題を解くことにより、それぞれの行動確率を定める施策を算出する。この線形計画問題は、それぞれの行動の行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータが、第１算出部４３０によって算出された位置パラメータに一致することを制約とする。また、同一状態に対するそれぞれの行動確率の和が１であり、それぞれの行動確率が０以上であることを制約とする。
【００２７】
収束判定部４５０は、第１算出部４３０により算出されたスケールパラメータと第２算出部４４０により算出されたスケールパラメータとが予め定められた範囲内の値に収束したことを条件に、第２算出部４４０により算出された施策を出力部４６０に対し出力し、収束していないことを条件に、第２算出部４４０により算出された施策を初期施策に代えて第１算出部４３０に与える。この結果、第１算出部４３０は、与えられたこの施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを更に算出する。
【００２８】
出力部４６０は、収束したスケールパラメータとはじめに取得した位置パラメータとを利用者に対し出力する。出力部４６０は、また、収束したスケールパラメータおよび取得した位置パラメータに基づいてリスク指標値、例えばバリューアットリスクなどを算出して出力してもよい。さらに、出力部４６０は、複数の位置パラメータが取得された場合に、それぞれの位置パラメータおよび対応するスケールパラメータを表示制御部４７０に出力する。
【００２９】
表示制御部４７０は、出力部４６０から入力を受けた位置パラメータおよびスケールパラメータに基づき効率的フロンティア曲線を描画し、利用者に出力する。即ちたとえば、表示制御部４７０は、位置パラメータ取得部４１０によって位置パラメータが取得される毎に、位置パラメータを示す座標軸、および、リスク指標値を示す座標軸とからなる平面上において、当該位置パラメータ、および、当該位置パラメータに対応して第２算出部４４０により算出されて収束判定部４５０によって収束が判定されたスケールパラメータに基づくリスク指標値によって表される座標値に点を描画する。そして、表示制御部４７０は、描画された点と点との間を補完することにより曲線を描画して表示する。
【００３０】
この場合、出力部４６０は、表示された曲線上の座標値の指定を利用者から受け付けてもよい。座標値の指定に応じ、出力部４６０は、当該座標値によって表される位置パラメータおよびリスク指標の組を、当該位置パラメータおよび当該リスク指標によって示される確率分布の累積報酬を得るために第２算出部４４０により算出された施策に対応付けて出力する。このように、利用者は、単に指定した位置パラメータに対応する最適施策を得るだけでなく、曲線上に表された様々な位置パラメータの中から所望の報酬額を任意に選択して、それに対応する施策を得ることができる。
【００３１】
（２）全ての初期状態についての総報酬の位置パラメータを定める場合
位置パラメータ取得部４１０は、それぞれが異なる状態を初期状態として取り得る複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータを取得する。この位置パラメータは、それぞれの状態を初期状態とするエージェントから得られる報酬の確率分布の位置パラメータの最小値に、当該状態を初期状態とするエージェントの割合として予め与えられた値によって重み付けした合計以上の値であることが望ましい。また、この位置パラメータは、それぞれの状態を初期状態とするエージェントから得られる報酬の確率分布の位置パラメータの最大値に、当該状態を初期状態とするエージェントの割合として予め与えられた値によって重み付けした合計以下の値であることが望ましい。
【００３２】
施策取得部４２０は、複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータを、取得した位置パラメータと一致させる施策のうち１つを生成し、初期施策として取得する。この初期施策は、位置パラメータを与えられた値と一致させれば充分であり、リスクを最小化するものであるかどうかは問わない。第１算出部４３０は、初期施策に従って行動した結果として複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出する。
【００３３】
第２算出部４４０は、複数の状態のそれぞれについて、エージェントに対して取り得るそれぞれの行動の行動確率を変数とし、第１算出部４３０によって算出されたスケールパラメータに基づきそれぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる累積報酬の確率分布のスケールパラメータを、当該状態を初期状態とするエージェントの数で重み付けして合計する目的関数の値を最小化する線形計画問題を解くことにより、それぞれの行動確率を定める施策を算出する。この線形計画問題は、それぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータを、当該状態を初期状態とするエージェントの数で重み付けして合計した値が、第１算出部４３０によって算出された位置パラメータに一致する制約を有する。また、同一状態に対する行動確率の合計が１となり、それぞれの行動確率が０以上となる制約を有する。
【００３４】
収束判定部４５０は、第１算出部４３０により算出されたスケールパラメータと第２算出部４４０により算出されたスケールパラメータとが予め定められた範囲内の値に収束したことを条件に、第２算出部４４０により算出された施策を出力する。一方で、収束判定部４５０は、収束していないことを条件に、第２算出部４４０により算出された施策を初期施策に代えて第１算出部４３０に与える。これにより、第１算出部４３０は、この施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを更に算出する。
なお、出力部４６０および表示制御部４７０の機能は（１）で説明したものと同様である。処理内容は（１）の場合と一部異なるが詳細についてはフローチャートを参照して後に説明する。
【００３５】
図６は、第１算出部４３０の機能構成を示す。第１算出部４３０は、第１ユニット５００と、第２ユニット５３０と、第３ユニット５７０とを有する。第１ユニット５００は、平均値算出部５１０と、分散値算出部５２０とを有する。第１ユニット５００は、複数のエージェントのそれぞれから確率的に得られる報酬額が独立に定まり、かつ同一状態にある複数のエージェントから１期間に得られる総報酬が正規分布に従う場合において、与えられた施策（例えば初期施策）に対して累積報酬の確率分布を定める平均値および分散値を算出することを目的とする。この場合、全員が状態ｓにいたときに行動ａを取った上で全員が状態ｓ´に移動した場合に得られる報酬の確率分布は以下の式（２）のように表される。
【数２】
2008040522.tif 000004
但し、σｓ´｜ｓ，ａは標準偏差である。また、状態ｓからの合計報酬は、互いに独立な無数のエージェントによる微小報酬の合計となり、中心極限定理が適用できる。
【００３６】
１期間毎の報酬が正規分布に従う場合には、累積報酬Ｒｓ（π）も正規分布に従うため、累積報酬Ｒｓ（π）は以下の式（３）のように表される。
【数３】
2008040522.tif 000005
ただし、Ｍｓ（π）は平均値を表し、Ｓｓ（π）は標準偏差を表す。これらのパラメータは全ての状態ｓ∈Ｓおよび行動ａ∈Ａに対する施策πｓ，ａが決まることで初めて決定される。したがってπ={πｓ，ａ; ｓ∈Ｓ, ａ∈Ａ}の関数であるため、・ｓ（π）と表記する。
【００３７】
この平均値Ｍｓ（π）は、複数のエージェント全体から今期以降に得られる累積報酬の平均値を表す。そして、平均値（あるいは期待値）は線形性を有するから、この平均値は、今期の報酬の平均値と来期以降に得られる累積報酬の平均値とを合計する漸化式として表される。具体的には、この漸化式は、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、来期の状態ｓ´から来期以降に得られる累積報酬の平均値に割引率ｒを乗じて今期の行動によって得られる報酬の平均値μｓ´｜ｓ，ａを加えた値を重み付けして、それぞれの行動ａ（∈Ａ）および来期の状態ｓ´（∈Ｓ）について合計することで、今期以降の累積報酬の平均値を求める式となる。
【００３８】
この漸化式において、今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布の平均値が同一値に収束するとみなすと、累積報酬の平均値Ｍｓ（π）についての、状態の数｜Ｓ｜元の連立方程式が生成され、これはベルマン方程式となる。この方程式を式（４）に示す。
【数４】
2008040522.tif 000006
平均値算出部５１０は、この方程式を解くことにより、累積報酬の平均値Ｍｓ（π）を初期状態ｓ毎に算出する。
【００３９】
また、標準偏差Ｓｓ（π）は、複数のエージェント全体から今期以降に得られる累積報酬の標準偏差を表す。そして、この標準偏差の２乗である分散値は、今期の報酬の分散値と来期以降に得られる累積報酬の分散値とに基づく計算をする漸化式として表される。具体的には、この漸化式は、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、来期の状態ｓ´から来期以降に得られる累積報酬の分散値に割引率ｒの２乗を乗じて今期の行動によって得られる報酬の分散値σ２ｓ´｜ｓ，ａを加えた値を重み付けして、それぞれの行動ａ（∈Ａ）および来期の状態ｓ´（∈Ｓ）について合計することで、今期以降の累積報酬の分散値を求める式となる。
【００４０】
この漸化式において、今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布の分散値が同一値に収束するとみなすと、累積報酬の分散値Ｓ２ｓ（π）についての、状態の数｜Ｓ｜元の連立方程式が生成され、これはベルマン方程式となる。この方程式を式（５）に示す。
【数５】
2008040522.tif 000007
分散値算出部５２０は、この方程式を解くことにより、累積報酬の分散値Ｓ２ｓ（π）を初期状態ｓ毎に算出する。算出結果は第２算出部４４０に出力される。
【００４１】
第２ユニット５３０は、歪度算出部５４０と、位置パラメータ算出部５５０と、スケールパラメータ算出部５６０とを有する。第２ユニット５３０は、複数のエージェントのそれぞれから確率的に得られる報酬額が独立に定まり、かつ同一状態にある複数のエージェントから１期間に得られる総報酬が安定分布に従う場合において、与えられた施策（例えば初期施策）に対して累積報酬の確率分布を定める平均値および分散値を算出することを目的とする。報酬の分布を正規分布から安定分布に拡張することで、ヘビー・テイル性を有する分布を取り扱うことができる。ヘビー・テイル性を有する分布とは、正規分布よりも裾野が厚く、分散値が有限値とならない分布をいう。これにより、株価の暴落や連鎖倒産に対する貸し倒れ額など、考慮しなければならない現実的な課題を解決することができる。
この場合、全員が状態ｓにいたときに行動ａを取った上で全員が状態ｓ´に移動した場合に得られる報酬の確率分布は以下の式（６）のように表される。
【数６】
2008040522.tif 000008
【００４２】
αｓ´｜ｓ，ａは安定分布の特性指数であり、報酬が大きな領域における確率密度の減衰の程度を示す。βｓ´｜ｓ，ａは歪度であり、分布の非対称性を示す。μｓ´｜ｓ，ａは正規分布における期待値・平均値に対応し、安定分布の場合は期待値が定まらない場合があるので位置パラメータと呼ぶ。σｓ´｜ｓ，ａはスケール・パラメータである。なおα＝２の場合には分散値が有限となり安定分布は正規分布に一致する。また、１＜α≦２の場合には期待値が存在し、位置パラメータは期待値を示す。同一状態にある複数のエージェントからの合計報酬は、互いに独立な無数のエージェントによる微小報酬の合計となり、拡張された中心極限定理が適用できる。即ち、全てのｓ、ｓ´、ａに関しαｓ´｜ｓ，ａが同一と仮定すると（この値を単にαと表記する）、累積報酬は安定分布に従う。この仮定の下、累積報酬Ｒｓ（π）は、以下の式（７）によって表される。
【数７】
2008040522.tif 000009
ここで、Βｓ（π）は歪度を示し、Ｍｓ（π）は位置パラメータを示し、Ｓｓ（π）はスケールパラメータを示す。
【００４３】
この歪度Βｓ（π）は、今期の報酬の確率分布を示す歪度と、来期以降の報酬の確率分布を示す歪度とに基づく漸化式によって表される。具体的には、この漸化式は、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、今期の行動によって得られる報酬の確率分布の歪度βｓ´｜ｓ，ａおよびスケールパラメータのα乗σαｓ´｜ｓ，ａ並びに来期の状態ｓ´から来期以降に得られる累積報酬の確率分布の歪度およびスケールパラメータに基づく値を重み付けして、それぞれの行動ａおよび来期の状態ｓ´について合計することで、今期以降の累積報酬の確率分布の歪度Βｓ（π）を算出する式となる。
【００４４】
この漸化式において、今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布の歪度が同一値に収束するとみなすと、累積報酬の確率分布の歪度Βｓ（π）についての、状態の数｜Ｓ｜元の連立方程式が生成され、これはベルマン方程式となる。この方程式を式（８）に示す。
【数８】
2008040522.tif 000010
ただし、スケールパラメータは後述する式（１０）に示す方程式を解くことで算出されるものとする。歪度算出部５４０は、式（８）を解くことにより、今期以降の累積報酬の確率分布の歪度であるΒｓ（π）を算出できる。
【００４５】
また、位置パラメータＭｓ（π）は、今期の報酬の確率分布を示す位置パラメータと、来期以降の報酬の確率分布を示す位置パラメータとに基づく漸化式によって表される。具体的には、この漸化式は、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、来期の状態から来期以降に得られる累積報酬の位置パラメータに割引率ｒを乗じて今期の行動によって得られる報酬の位置パラメータμｓ´｜ｓ，ａを加えた値を重み付けして、それぞれの行動ａおよび来期の状態ｓ´について合計することで、今期以降の累積報酬の確率分布の位置パラメータＭｓ（π）を算出する式となる。
【００４６】
この漸化式において、今期以降と来期以降とで初期状態が同一ならば累積報酬の確率分布の位置パラメータが同一値に収束するとみなすと、累積報酬の確率分布の位置パラメータＭｓ（π）についての、状態の数｜Ｓ｜元の連立方程式が生成され、これはベルマン方程式と成る。この方程式を式（９）に示す。
【数９】
2008040522.tif 000011
位置パラメータ算出部５５０は、式（９）を解くことにより、今期以降の累積報酬の確率分布の位置パラメータであるＭｓ（π）を算出できる。
【００４７】
同様に、スケールパラメータのα乗Ｓｓα（π）は、今期の報酬の確率分布を示すスケールパラメータのα乗と、来期以降の報酬の確率分布を示すスケールパラメータのα乗とに基づく漸化式によって表される。具体的には、この漸化式は、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、来期の状態から来期以降に得られる累積報酬のスケールパラメータのα乗に割引率γのα乗を乗じて今期の行動によって得られる報酬のスケールパラメータのα乗σαｓ´｜ｓ，ａを加えた値を重み付けして、それぞれの行動ａおよび来期の状態ｓ´について合計することで、今期以降の累積報酬の確率分布のスケールパラメータのα乗Ｓｓα（π）を算出する式となる。この方程式を式（１０）に示す。
【数１０】
2008040522.tif 000012
スケールパラメータ算出部５６０は、式（１０）を解くことにより、今期以降の累積報酬の確率分布のスケールパラメータであるＳｓα（π）を算出できる。
【００４８】
第３ユニット５７０は、平均値算出部５８０と、スケールパラメータ算出部５９０とを有する。第３ユニット５７０は、複数のエージェントのそれぞれから確率的に得られる報酬額に相関があり、かつ同一状態にある複数のエージェントから１期間に得られる総報酬が正規分布に従う場合において、与えられた施策（例えば初期施策）に対して累積報酬の確率分布を定める平均値および分散値を算出することを目的とする。１期間毎の報酬が正規分布に従うため、独立で相関がない場合と同様に、全員が状態ｓにいたときに行動ａを取った上で全員が状態ｓ´に移動した場合に得られる報酬は式（１１）のようにモデル化できる。
【数１１】
2008040522.tif 000013
【００４９】
同一状態にある複数のエージェントは互いに相関するため、同一状態にある複数のエージェントから得られる合計報酬は、互いに相関をもった無数のエージェントによる微小報酬の合計となる。この場合には、中心極限定理をそのまま適用することができない。
このような相互に相関するエージェントから得られる合計報酬の分布をモデル化するべく、まず、互いに相関する確率変数Ｘ１，Ｘ２，…，Ｘｎの和が従う確率分布がどの様になるかを考える。その１つのモデル化として次のような式（１２）を用いることができる。
【数１２】
2008040522.tif 000014
【００５０】
Ｈは、それぞれのエージェントから得られる報酬が他のそれぞれのエージェントから得られる報酬と相関と相関する程度を示す相関指標値であり、これをハースト指数と呼ぶ。Ｈ＝１／２は報酬額が互いに独立の場合を示し、中心極限定理が適用される状況と一致する。逆に極端な場合には、Ｘｉの挙動に他の全てのＸｊ（ｉ≠ｊ）が連動する状況が想定できる。それぞれの確率変数は何れも単独では同一の平均と分散であるから、これは結局「Ｘ２、Ｘ３、…、Ｘｎのそれぞれが常にＸ１に等しい」という状況である。このときはＨ＝１となる。つまり、Ｘ１の標準偏差のｎ倍が合計値にもそのまま現れる。逆相関の場合も含めてＨの定義域は０＜Ｈ≦１となる。
【００５１】
このモデルを応用する。つまり、状態ｓにｎｓ個のエージェントがいるとした場合に、施策πｓ，ａを行うｎｓ・πｓ，ａ個のエージェントの中で来期の状態がｓ´のものの合計報酬に関する分布が、ハースト指数Ｈｓ´｜ｓ，ａの依存性を持っていると考える。全てのｓ´、ａに関しＨｓ´｜ｓ，ａが等しい場合には（この値をＨｓとする）、分布の形は比較的容易となり、施策πｓを行ったときの１期間あたりの報酬ｒｓ´｜ｓ，πｓは、以下の式（１３）のように表される。
【数１３】
2008040522.tif 000015
【００５２】
これは、分散σ２ｓ´｜ｓ，ａの代わりに標準偏差をＨｓ−１乗したσ１／Ｈｓｓ´｜ｓ，ａ
の領域で加法性が成り立つことを意味する。式（１３）を前提に累積報酬Ｒｓ（π）の性質を知る必要があるが、時間発展を考慮する場合の着眼点は２つある。以下にそれらを示す。
１．異なる状態ｓ１，ｓ２のもたらす報酬間に相関があるかどうか。つまり、状態ｓ１のエージェントから高い報酬が得られるときには状態ｓ２のエージェントからも高い報酬が得られ、状態ｓ１のエージェントから低い報酬が得られるときには状態ｓ２のエージェントからも低い報酬が得られる、といった相関が見られるかどうか。
２．ｔ期とｔ＋１期の報酬は独立か、それとも連動しているか。つまり、同一の現状態であってもｔ期の報酬が高い場合にはｔ＋１期の報酬が高く、ｔ期の報酬が低い場合にはｔ＋１期の報酬も低いという状況が存在するかどうかである。
これらの着眼点に基づく相関は、マーケティングなどの分野においてはどちらも存在することが確かめられている。例えば、全ての状態に対し影響するようなグローバルな現象が生じ、それが状態の定義において考慮されていない場合には、上記１に示す相関が存在する。また、季節的な変動や上昇・下降トレンドがあり、それらが状態の定義において考慮されていない場合には、上記２に示す相関が存在する。
【００５３】
Ｈｓは、同一期において状態ｓに所属するエージェント同士の相関を示すハースト指数である。これが全ての状態ｓに関してＨｓ＝Ｈであるとする。この条件下で更に、このハースト指数Ｈが上記１、２に関する連動性を示すハースト指数と同一である場合には、以下の式（１４）に示すベルマン方程式を導くことができる。
【数１４】
2008040522.tif 000016
【００５４】
即ちこの方程式は、今期以降に得られる累積報酬のスケールパラメータＳ１／Ｈｓ（πｓ）を、今期の行動によって得られる報酬のスケールパラメータσ１／Ｈｓ´｜ｓ，ａと、来期以降に得られる累積報酬のスケールパラメータとに基づいて算出する漸化式において、今期以降と来期以降とで累積報酬のスケールパラメータが同一値に収束するとみなすことにより生成される。そしてこの漸化式は、具体的には、今期の行動の行動確率πｓ，ａおよび来期の状態への遷移確率ｐｓ´｜ｓ，ａにより、来期の状態から来期以降に得られる累積報酬のスケールパラメータに割引率ｒをハースト指数Ｈの逆数で累乗した値を乗じて今期の行動によって得られる報酬のスケールパラメータσ１／Ｈｓ´｜ｓ，ａを加えた値を重み付けして、それぞれの行動ａおよび来期の状態ｓ´について合計することで、今期以降の累積報酬の確率分布のスケールパラメータＳ１／Ｈｓ（π）を算出する式となる。
【００５５】
スケールパラメータ算出部５９０は、この式（１４）を解くことにより、今期以降の累積報酬の確率分布のスケールパラメータであるＳ１／Ｈｓ（π）を算出することができる。なお、平均値算出部５８０による平均値の算出処理は、平均値算出部５１０による算出処理と同一であるから説明を省略する。
以上、図６を参照して説明したように、本実施形態に係る施策決定システム４０によれば、与えられた施策に対し累積報酬の確率分布を定めるパラメータを解析的に算出できる。これにより、様々な施策に対して繰返しパラメータを算出した場合であっても、計算に要する時間を少なくすることができる。
【００５６】
図７は、効率的フロンティア曲線６０の一例を示す。表示制御部４７０は、複数の位置パラメータのそれぞれについて、位置パラメータとそれに対応して算出したスケールパラメータに基づくリスク指標値とによって表される座標に点を描画する。そして、描画した点と点とをスプライン補完などで結んだ曲線が効率的フロンティア曲線６０となる。図７には、各エージェントから得られる報酬に相関がある場合において、ハースト指数の値を変化させた３つの場合について効率的フロンティア曲線を示す。詳細には、図の横軸は期待値を示し、縦軸はバリュー・アット・リスクを示し、ハースト指数が０．５の場合、０．５５６の場合、および、０．６６７の場合の３つの場合について効率的フロンティア曲線を図示する。
【００５７】
即ちたとえば、Ｈ＝０．６６７について、効率的フロンティア曲線６０上の点を選択すれば、何れの点を選択した場合であっても所定の期待値を得るためにリスクを最小化する施策を得ることができる。
このように、本実施形態における情報システム１０によれば、遷移確率や１期間の報酬の分布などが与えられると、その環境下でリスクを最小化する施策を求めて、それら施策の集合をフロンティア曲線として表示することができる。これにより、利用者が自己のリスク許容度に応じて利益を最大化する施策を選択できるようになるなど、施策決定の柔軟性を高めることができる。
【００５８】
以下、図８から図９を参照しながら、更に詳細な処理について説明する。
図８は、施策決定システム４０によって最適施策が決定される処理のフローチャートを示す。位置パラメータ範囲算出部４００は、確率記憶部２０に記憶された遷移確率、および、パラメータ記憶部３０に記憶されたパラメータに基づいて、複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータの最大値および最小値を算出する（Ｓ８００）。この算出処理を式（１５）に示す。
【数１５】
2008040522.tif 000017
位置パラメータ範囲算出部４００は、式（１５）に基づくバリュー・イテレーションによる収束値を位置パラメータの最小値として算出する。また、位置パラメータ範囲算出部４００は、式（１５）における「ｍｉｎ」を「ｍａｘ」に換えた式に基づくバリュー・イテレーションによる収束値を位置パラメータの最大値として算出する。なお、各変数の定義は上述の通りである。
【００５９】
以下、図４の場合分けと同様、位置パラメータの与え方に応じて異なる処理となるから、場合を分けて説明する。
【００６０】
（１）それぞれの初期状態について位置パラメータを定める場合
位置パラメータ取得部４１０は、複数の状態のそれぞれについて、位置パラメータ範囲算出部４００によって算出された最小値から最大値までの範囲内の値を、当該状態を初期状態とする複数のエージェントから得られるべき報酬の確率分布を示す位置パラメータとして取得する（Ｓ８１０）。取得する位置パラメータをＭｓｏｂｊとし、その最小値をＭｓｍｉｎとし、その最大値をＭｓｍａｘとすると、以下の式（１６）が満たされる。
【数１６】
2008040522.tif 000018
効率的フロンティア曲線を効率的に描画するため、位置パラメータ取得部４１０は、複数の位置パラメータとして、この範囲の中の所定の数の値を、差分値を均等として順次取得することが望ましい。
【００６１】
次に、施策取得部４２０は、複数の状態のそれぞれについて、当該状態を初期状態とする複数のエージェントから得られる累積報酬の確率分布の位置パラメータを、取得した位置パラメータに一致させる施策のうち１つを生成し、その施策を初期施策として取得する（Ｓ８２０）。この初期施策は、位置パラメータを与えられた値と一致させれば充分であり、リスクを最小化するものであるかどうかは問わない。具体的には、例えば、施策取得部４２０は、以下の式（１７）に示す制約を有し、所定の目的関数を有する線形計画問題を解くことにより、初期施策π（０）ｓ，ａを求めることができる。
【数１７】
2008040522.tif 000019
【００６２】
次に、第１算出部４３０は、それぞれの状態について、当該状態を初期状態とする複数のエージェントから初期施策に従って行動した結果として得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出する（Ｓ８３０）。これは、１期間における報酬の確率分布に応じ、図６において説明した第１ユニット５００、第２ユニット５３０または第３ユニット５７０によって算出される。次に、第２算出部４４０は、複数の状態のそれぞれについて、エージェントに対し取り得るそれぞれの行動の行動確率を変数とし、来期以降の累積報酬の確率分布におけるスケールパラメータが第１算出部４３０によって算出されたスケールパラメータに一致することを前提に当該スケールパラメータの値および当該変数に基づいて今期以降のスケールパラメータを求める目的関数の値を最小化する線形計画問題を解くことにより、それぞれの行動確率を定める施策を算出する（Ｓ８４０）。この線形計画問題は、それぞれの行動の行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータが、第１算出部４３０によって算出された位置パラメータに一致することを制約とする。また、同一状態に対するそれぞれの行動確率の和が１であり、それぞれの行動確率が０以上であることが制約となる。
【００６３】
具体的には、第２算出部４４０は、まず、式（１８）および式（１９）の値を求める。
【数１８】
2008040522.tif 000020
【数１９】
2008040522.tif 000021
【００６４】
そして、これらの式の値を用いて、線形計画問題の目的関数は式（２０）のように表される。また、線形計画問題の制約は式（２１）のように表される。
【数２０】
2008040522.tif 000022
【数２１】
2008040522.tif 000023
この目的関数は、来期以降の累積報酬の確率分布におけるスケールパラメータを固定、つまり、来期以降の行動確率は、前回に第２算出部４４０で算出された施策（初回の場合は初期施策）によって定められることを前提としている。そして、この目的関数は、今期の行動確率のみを変数である行動確率で置換えた場合に得られる新たな累積報酬の確率分布におけるスケールパラメータを算出している。
【００６５】
なお、第２算出部４４０が最小化する目的関数の値は必ずしも論理的に最小値である必要は無い。例えば、第２算出部４４０は、この目的関数の値を最小化する方向で改善していくことにより、即ち、前回に第２算出部４４０によって算出されたスケールパラメータよりも小さい値を求めることにより、結果としてスケールパラメータを最小値の近傍に収束させればよい。
また、この線形計画問題は、行動に要する費用を当該行動の行動確率で重み付けして各行動について合計した値が予め定められた基準の予算（Ｃｓ）以下であることを更に制約としてもよい。この制約は式（２２）として表される。
【数２２】
2008040522.tif 000024
これにより、リスクを最小化するために費やすことのできる費用の制約を定めることができ、より現実の課題に即した解を得ることができる。
【００６６】
収束判定部４５０は、第１算出部４３０により算出されたスケールパラメータと第２算出部４４０により算出されたスケールパラメータとが予め定められた範囲内の値に収束したかを判定する（Ｓ８５０）。収束したことを条件に（Ｓ８５０）、第２算出部４４０により算出された施策を出力部４６０に対し出力する。この際、第２算出部４４０は、算出されたスケールパラメータとそれに対応する位置パラメータとは、後にフロンティア曲線の描画に用いるため別途記録しておく。
【００６７】
一方、収束判定部４５０は、収束していないことを条件に（Ｓ８５０：ＮＯ）、第２算出部４４０により算出された施策を、前回に第２算出部４４０によって算出された施策（初回の場合には初期施策）に代えて第１算出部４３０に与える。この結果、第１算出部４３０は、与えられたこの施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを更に算出する（Ｓ８３０）。また、式（２０）および式（１９）に示す目的関数において来期以降の累積報酬の前提としていた施策は、今回に第２算出部４４０によって算出された施策に置換えられ、新たな線形計画問題が生成され、当該新たな線形計画問題が第２算出部４４０によって解かれることとなる（Ｓ８４０）。
以上のＳ８３０からＳ８５０までの処理の繰返しにより、スケールパラメータが収束するまで施策π（１）ｓ，ａ、π（２）ｓ，ａ、…、π（ｎ）ｓ，ａが順次算出される。スケールパラメータが収束したとき、そのスケールパラメータはリスクを最小化する施策によって得られる報酬のスケールパラメータとなる。
【００６８】
スケールパラメータが収束すると（Ｓ８５０：ＹＥＳ）、続いて、位置パラメータ範囲算出部４００は、位置パラメータの値が取り得る範囲内において取得するべき位置パラメータが残っているかを判断する（Ｓ８６０）。残っていれば（Ｓ８６０：ＮＯ）、位置パラメータ範囲算出部４００は、Ｓ８１０に処理を戻して次の位置パラメータを取得し、それに対応する最適施策を算出する。一方で、残っていなければ（Ｓ８６０：ＹＥＳ）、表示制御部４７０は、効率的フロンティア曲線を描画して利用者に表示する（Ｓ８７０）。この効率的フロンティア曲線は、エージェントの初期状態毎に描画される。
【００６９】
出力部４６０は、表示された曲線上の座標値が利用者により指定されたことに応じ、当該座標値によって表される位置パラメータおよびリスク指標の組を、当該位置パラメータおよび当該リスク指標によって示される確率分布の累積報酬を得るために第２算出部４４０によって算出された施策に対応付けて出力する（Ｓ８８０）。施策は、Ｓ８５０において収束が判定される毎に記録されたものであってもよいし、曲線上の座標値が指定されたことに応じて算出されるものであってもよい。例えば、出力部４６０は、利用者により指定された座標値が示す位置パラメータを位置パラメータ取得部４１０に与えて取得させることにより、Ｓ８１０からＳ８５０までの処理を再度行わせ、スケールパラメータが収束した時点の施策を出力してもよい。
【００７０】
以上が、それぞれの初期状態について位置パラメータを定める（１）の場合の処理である。これにより、利用者は、例えば顧客セグメント（即ち初期状態）毎に最適施策を決定することができる。
続いて、全ての初期状態についての総報酬の位置パラメータを定める場合について説明する。
【００７１】
（２）全ての初期状態についての総報酬の位置パラメータを定める場合
位置パラメータ取得部４１０は、それぞれが異なる状態を初期状態として取り得る複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータの取得する（Ｓ８１０）。この位置パラメータＭｏｂｊは以下の式（２３）によって表される。ただし、ｗｓを、初期状態を状態ｓとするエージェントの割合とする。ｗｓは、例えばマーケティング等の例における顧客の人数であってよい。
【数２３】
2008040522.tif 000025
【００７２】
また、この位置パラメータは、それぞれの状態を初期状態とするエージェントから得られる報酬の確率分布の位置パラメータの最小値に、当該状態を初期状態とするエージェントの割合として予め与えられた値によって重み付けした合計以上の値であることが望ましい。また、この位置パラメータは、それぞれの状態を初期状態とするエージェントから得られる報酬の確率分布の位置パラメータの最大値に、当該状態を初期状態とするエージェントの割合として予め与えられた値によって重み付けした合計以下の値であることが望ましい。即ち、この位置パラメータＭｏｂｊの範囲は以下の式（２４）によって表される。
【数２４】
2008040522.tif 000026
【００７３】
施策取得部４２０は、複数のエージェントから得られる累積報酬の合計の確率分布を示す位置パラメータを、取得した位置パラメータと一致させる施策のうち１つを生成し、初期施策として取得する（Ｓ８２０）。この初期施策は、位置パラメータを与えられた値と一致させれば充分であり、リスクを最小化するものであるかどうかは問わない。例えば、施策取得部４２０は、まず、それぞれの状態ｓについて、その状態を初期状態とする場合の累積報酬の確率分布の位置パラメータが採りうる範囲内の値であって、それぞれの値を重みｗｓで重み付けして合計すると位置パラメータＭｏｂｊとなるＭｓｔｍｐを生成する。例えば、施策取得部４２０は、以下の式（２５）によってＭｓｔｍｐを算出することができる。
【数２５】
2008040522.tif 000027
【００７４】
そして、施策取得部４２０は、以下の式（２６）に示す制約を満たす初期施策π（０）ｓ，ａを状態ｓ毎に求める。これは、式（２６）に示す制約を有する線形計画問題を解くことによって実現される。
【数２６】
2008040522.tif 000028
次に、第１算出部４３０は、初期施策に従って行動した結果として複数のエージェントから得られる累積報酬の確率分布を示す位置パラメータおよびスケールパラメータを算出する（Ｓ８３０）。第２算出部４４０は、施策を算出するべために、まず、Ｓ８３０において算出されたパラメータに基づき式（２７）および式（２８）の値を算出する。
【数２７】
2008040522.tif 000029
【数２８】
2008040522.tif 000030
【００７５】
そして、第２算出部４４０は、エージェントに対して取り得るそれぞれの行動の行動確率を変数とし、複数の状態のそれぞれを初期状態とするエージェントから得られる総報酬の確率分布におけるスケールパラメータを求める目的関数の値を最小化する線形計画問題を解く。そしてこの目的関数は、複数の状態のそれぞれについて、来期以降の累積報酬の確率分布におけるスケールパラメータが第１算出部４３０によって算出されたスケールパラメータに一致することを前提に当該スケールパラメータの値に基づきそれぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる今期以降の累積報酬の確率分布のスケールパラメータを求め、当該状態を初期状態とするエージェントの数で重み付けして合計する関数である。この結果、第２算出部４４０は、目的関数の値を最小化するそれぞれの行動確率を定める施策を算出することができる。詳細には、この線形計画問題の目的関数は式（２９）によって表される。
【数２９】
2008040522.tif 000031
【００７６】
この目的関数は、来期以降の累積報酬の確率分布におけるスケールパラメータを固定、つまり、来期以降の行動確率は、前回に第２算出部４４０で算出された施策（初回の場合は初期施策）によって定められることを前提としている。そして、この目的関数は、今期の行動確率のみを変数である行動確率で置換えた場合に得られる新たな累積報酬の確率分布におけるスケールパラメータを算出している。
また、この線形計画問題は、それぞれの状態を初期状態として当該行動確率に従って行動した結果として得られる累積報酬の確率分布の位置パラメータを、当該状態を初期状態とするエージェントの数で重み付けして合計した値が、第１算出部４３０によって算出された位置パラメータに一致する制約を有する。また、同一状態に対する行動確率の合計が１となり、それぞれの行動確率が０以上となる制約を有する。これらの制約は式（３０）によって表される。
【数３０】
2008040522.tif 000032
【００７７】
また、この線形計画問題は、行動に要する費用を当該行動の行動確率およびそれぞれの状態を初期状態とするエージェントの割合で重み付けして、それぞれの状態および行動の組合せについて合計した値が、予め定められた基準の予算Ｃｔｏｔａｌ以下であることを更に制約として有していてもよい。この制約は以下の式（３１）として表される。
【数３１】
2008040522.tif 000033
【００７８】
収束判定部４５０は、第１算出部４３０により算出されたスケールパラメータと第２算出部４４０により算出されたスケールパラメータとが予め定められた範囲内の値に収束したかを判定する（Ｓ８５０）。収束判定部４５０は、収束していないことを条件に（Ｓ８５０：ＮＯ）、第２算出部４４０により算出された施策を第２算出部４４０により前回に算出された施策（初回の場合には初期施策）に代えて第１算出部４３０に与える。これにより、第１算出部４３０は、この施策に従い行動した結果として得られる累積報酬の確率分布の位置パラメータおよびスケールパラメータを更に算出する（Ｓ８３０）。また、式（２９）および式（２８）に示す目的関数おいて来期以降の累積報酬の前提としていた施策は、今回に第２算出部４４０によって算出された施策に置換えられ、新たな線形計画問題が生成され、当該新たな線形計画問題が第２算出部４４０によって解かれることとなる（Ｓ８４０）。
【００７９】
一方、スケールパラメータが収束したことを条件に（Ｓ８５０：ＹＥＳ）、収束判定部４５０は、収束したスケールパラメータおよびそれに対応する位置パラメータを、Ｓ８４０において算出された施策に対応付けて別途記憶する。続いて、位置パラメータ範囲算出部４００は、位置パラメータの値が取り得る範囲内において取得するべき位置パラメータが残っているかを判断する（Ｓ８６０）。残っていれば（Ｓ８６０：ＮＯ）、位置パラメータ範囲算出部４００は、Ｓ８１０に処理を戻して次の位置パラメータを取得し、それに対応する最適施策を算出する。一方で、残っていなければ（Ｓ８６０：ＹＥＳ）、表示制御部４７０は、効率的フロンティア曲線を描画して利用者に表示する（Ｓ８７０）。この効率的フロンティア曲線は、上記（１）の場合とは異なり１つのみが描画される。
【００８０】
出力部４６０は、表示された曲線上の座標値が利用者により指定されたことに応じ、当該座標値によって表される位置パラメータおよびリスク指標の組を、当該位置パラメータおよび当該リスク指標によって示される確率分布の累積報酬を得るために第２算出部４４０によって算出された施策に対応付けて出力する（Ｓ８８０）。施策は、Ｓ８５０において収束が判定される毎に記録されたものであることが望ましい。Ｓ８３０からＳ８５０までに示した計算手順については、リスクを最小化することは保証されるものの、Ｓ８１０において取得された位置パラメータが、Ｓ８４０において算出された施策によってもたらされる報酬の確率分布の位置パラメータと必ずしも一致しないからである。
【００８１】
以上が、様々な初期状態を有するエージェントから得られる総報酬について位置パラメータを定める（２）の場合の処理である。これにより、利用者は、顧客セグメントが多いため個々に位置パラメータを定めるのが困難な場合であっても、報酬額全体とリスクとの関係を最適とする施策を決定することができる。
【００８２】
図９は、Ｓ８３０における処理の詳細を示すフローチャートである。図９で対象とするのは、複数のエージェントから１期間に得られる報酬の合計について、（Ａ）分散が有限（即ち正規分布）でありエージェント同士が独立の場合、（Ｂ）分散が無限大でもよいがエージェント同士が独立の場合、（Ｃ）分散が有限でありエージェント同士がハースト指数に従って相関を有する場合について、施策からスケールパラメータを求める処理である。以下、それぞれについて述べる。
【００８３】
第１算出部４３０は、複数のエージェントから１期間に得られる報酬の分散値が有限かを判断する（Ｓ９００）。分散値が有限の場合は（Ｓ９００：ＹＥＳ）、第１算出部４３０は、それぞれのエージェントから得られる報酬の報酬額が独立かを判断する（Ｓ９１０）。報酬額が独立の場合（Ｓ９１０：ＹＥＳ）、第１算出部４３０は、第１ユニット５００によって累積報酬の確率分布の平均値および分散値を算出させる（Ｓ９２０）。この算出処理は、上述の式（４）および式（５）の連立方程式を解くことによって実現される。これらの方程式は式（３２）として表される。即ち、第１ユニット５００は、式（３２）に示すＭについての方程式と、Ｓについての方程式とを、ＬＵ分解法やガウスの消去法などの既存の数値解法によって解くことにより、累積報酬の確率分布を定めるパラメータを算出することができる。
【数３２】
2008040522.tif 000034
【００８４】
但し、式（３３）に示すように、Ｍ、Ｓ２、μ、およびσは、状態の数｜Ｓ｜次のベクトルであり、Ｐは｜Ｓ｜×｜Ｓ｜の行列である。
【数３３】
2008040522.tif 000035
【００８５】
一方、分散が有限でなくともよい場合には（Ｓ９００：ＮＯ）、第１算出部４３０は、第２ユニット５３０によって累積報酬の確率分布を定めるパラメータを算出させる（Ｓ９３０）。この算出処理は、上述の式（９）および式（１０）に示す方程式を解くことによって実現される。これらの方程式は以下の式（３４）として表される。即ち、第２ユニット５３０は、式（３４）に示すＭについての方程式と、Ｓについての方程式とを、ＬＵ分解法やガウスの消去法などの既存の数値解法によって解くことにより、累積報酬の確率分布を定める位置パラメータおよびスケールパラメータを算出することができる。
【数３４】
2008040522.tif 000036
但し、式（３５）に示すように、Ｍ、Ｓ２、μ、およびσは、状態の数｜Ｓ｜次のベクトルであり、Ｐは｜Ｓ｜×｜Ｓ｜の行列である。
【数３５】
2008040522.tif 000037
【００８６】
また、第２ユニット５３０は、以下の式（３６）に示す方程式を解くことによって、歪度ΒとスケールパラメータＳとの積を算出する。但し、各変数の定義は式（３７）に定める。
【数３６】
2008040522.tif 000038
【数３７】
2008040522.tif 000039
【００８７】
そして、第２ユニット５３０は、式（３８）を計算することによって歪度Βを算出することができる。
【数３８】
2008040522.tif 000040
【００８８】
一方、エージェント同士に相関がある場合には（Ｓ９１０：ＮＯ）、第１算出部４３０は、第３ユニット５７０によって累積報酬の確率分布を定めるパラメータを算出させる（Ｓ９４０）。この算出処理は、上記の式（４）と式（１４）との連立方程式を解くことによって実現される。これらの方程式は式（３９）として表される。即ち、第３ユニット５７０は、式（３９）に示すＭについての方程式と、Ｓについての方程式とを、ＬＵ分解法やガウスの消去法などの既存の数値解法によって解くことにより、累積報酬の確率分布を定めるパラメータを算出することができる。
【数３９】
2008040522.tif 000041
【００８９】
但し、式（４０）に示すように、Ｍ、Ｓ２、μ、およびσは、状態の数｜Ｓ｜次のベクトルであり、Ｐは｜Ｓ｜×｜Ｓ｜の行列である。
【数４０】
2008040522.tif 000042
【００９０】
図１０は、情報システム１０として機能する情報処理装置６００のハードウェア構成の一例を示す。情報処理装置６００は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、及びグラフィックコントローラ１０７５を有するＣＰＵ周辺部と、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する入出力部と、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスクドライブ１０５０、及び入出力チップ１０７０を有するレガシー入出力部とを備える。
【００９１】
ホストコントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１０００及びグラフィックコントローラ１０７５とを接続する。ＣＰＵ１０００は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【００９２】
入出力コントローラ１０８４は、ホストコントローラ１０８２と、比較的高速な入出力装置である通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェイス１０３０は、ネットワークを介して外部の装置と通信する。ハードディスクドライブ１０４０は、情報処理装置６００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０又はハードディスクドライブ１０４０に提供する。
【００９３】
また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスクドライブ１０５０や入出力チップ１０７０等の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、情報処理装置６００の起動時にＣＰＵ１０００が実行するブートプログラムや、情報処理装置６００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、入出力チップ１０７０を介してＲＡＭ１０２０またはハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、フレキシブルディスク１０９０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
【００９４】
情報処理装置６００に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、入出力チップ１０７０及び/又は入出力コントローラ１０８４を介して、記録媒体から読み出され情報処理装置６００にインストールされて実行される。プログラムが情報処理装置６００等に働きかけて行わせる動作は、図１から図９において説明した情報システム１０における動作と同一であるから、説明を省略する。
【００９５】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを情報処理装置６００に提供してもよい。
【００９６】
以上、本実施形態に係る情報システム１０によれば、複数のエージェントに対する最適な施策を求めることができるので、マーケティングなどの現実の課題に対し適切な解を与えることができる。また、期待するリターンのみならずリスクや予算を充分に考慮した施策を求めることができ、現実の課題への適用を容易とすることができる。また、決定的施策ではなく確率的施策を求めることができるので、同一状態に対し取り得る行動を混在させることができる。これにより、より最適な施策を求めることを可能とすることができる。また、それぞれのエージェントが独立の場合のみならず相関を持って行動する場合も考慮し、より現実に即した課題について施策を決定できる。
【００９７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００９８】
【図１】図１は、情報システム１０の全体構成を示す。
【図２】図２は、確率記憶部２０のデータ構造の一例を示す。
【図３】図３は、パラメータ記憶部３０のデータ構造の一例を示す。
【図４】図４は、最適施策７０の一例を示す。
【図５】図５は、施策決定システム４０の機能構成を示す。
【図６】図６は、第１算出部４３０の機能構成を示す。
【図７】図７は、効率的フロンティア曲線６０の一例を示す。
【図８】図８は、施策決定システム４０によって最適施策が決定される処理のフローチャートを示す。
【図９】図９は、Ｓ８３０における処理の詳細を示すフローチャートである。
【図１０】図１０は、施策決定システム４０として機能する情報処理装置６００のハードウェア構成の一例を示す。
【符号の説明】
【００９９】
１０  情報システム
２０  確率記憶部
３０  パラメータ記憶部
４０  施策決定システム
６０  効率的フロンティア曲線
７０  最適施策
４００  位置パラメータ範囲算出部
４１０  位置パラメータ取得部
４２０  施策取得部
４３０  第１算出部
４４０  第２算出部
４５０  収束判定部
４６０  出力部
４７０  表示制御部
５００  第１ユニット
５１０  平均値算出部
５２０  分散値算出部
５３０  第２ユニット
５４０  歪度算出部
５５０  位置パラメータ算出部
５６０  スケールパラメータ算出部
５７０  第３ユニット
５８０  平均値算出部
５９０  スケールパラメータ算出部
６００  情報処理装置
【図１】
2008040522.tif 000043
【図２】
2008040522.tif 000044
【図３】
2008040522.tif 000045
【図４】
2008040522.tif 000046
【図５】
2008040522.tif 000047
【図６】
2008040522.tif 000048
【図７】
2008040522.tif 000049
【図８】
2008040522.tif 000050
【図９】
2008040522.tif 000051
【図１０】
2008040522.tif 000052