コンピュータの処理により、反復的リスク指標を計算する方法であって、前記コンピュータのメモリ上で、モンテカルロ法に基づくマルコフ決定過程により、状態をもつ複数の一連のデータを順次生成するステップと、前記生成されたデータを、生成されたのと逆順を辿って、目下のデータの状態から遷移可能な複数の状態のリスク指標に基づき、バリューアットリスクまたは超過確率を用いて、該目下のデータのリスク指標を計算するステップと、前記リスク指標を計算するステップを開始のデータまで遡って実行するステップを有する、反復的リスク指標を計算する方法。前記リスク指標を計算するステップが、目下のデータの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項1に記載の方法。前記リスク指標を計算するステップが、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項1に記載の方法。前記コンピュータに、請求項1乃至請求項3の方法を実行させるプログラム。コンピュータの処理により、反復的リスク指標を最小にするアクションを計算する方法であって、前記コンピュータのメモリ上で、所定の状態から、可能なアクションと、該状態から遷移可能な状態の組み合わせのデータを生成する判断後ステップと、前記生成された状態の組み合わせのデータから、各々の組み合わせに関連付けられたバリューの値に基づき、状態の組み合わせのデータを選択するステップと、前記選択された状態の組み合わせのデータから、モンテカルロ法に基づくマルコフ決定過程により、状態を生成する判断前ステップと、前記判断前ステップと前記判断後ステップとを反復することにより、状態のデータの列を生成するステップと、前記生成された状態を、生成されたのと逆順を辿って、目下の前記判断前状態から遷移可能な複数の状態のリスク指標に基づき、バリューアットリスクまたは超過確率を用いて、1つ前の前記判断後の状態のリスク指標を計算するステップと、前記生成された状態を、生成されたのと逆順を辿って、目下の前記判断後の状態における最小バリューの状態のバリューを、1つ前の前記判断前の状態に設定するステップを有する、アクションの決定方法。前記リスク指標を計算するステップが、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項5に記載の方法。前記リスク指標を計算するステップが、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項5に記載の方法。前記各々の組み合わせに関連付けられたバリューの値に基づき、状態の組み合わせを選択するステップが、その状態の訪問頻度に対する単調減少関数となる評価関数を用いる、請求項5に記載の方法。コンピュータの処理により、反復的リスク指標を計算するシステムであって、前記コンピュータのメモリ上で、モンテカルロ法に基づくマルコフ決定過程により、状態をもつ一連の複数のオブジェクトを順次生成する手段と、前記生成されたオブジェクトを、生成されたのと逆順を辿って、目下のオブジェクトの状態から遷移可能な複数の状態のリスク指標に基づき、バリューアットリスクまたは超過確率を用いて、該目下のオブジェクトのリスク指標を計算する手段と、前記リスク指標を計算する手段を、開始のオブジェクトまで遡って実行させる手段を有する、反復的リスク指標を計算するシステム。前記リスク指標を計算する手段が、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項9に記載のシステム。前記リスク指標を計算する手段が、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項9に記載のシステム。前記コンピュータに、請求項5乃至請求項11の方法を実行させるプログラム。コンピュータの処理により、反復的リスク指標を最小にするアクションを計算するシステムであって、前記コンピュータのメモリ上で、所定の状態から、可能なアクションと、該状態から遷移可能な状態の組み合わせのデータを生成する判断後手段と、前記生成された状態の組み合わせのデータから、各々の組み合わせのデータに関連付けられたバリューの値に基づき、状態の組み合わせのデータを選択する手段と、前記選択された状態の組み合わせのデータから、モンテカルロ法に基づくマルコフ決定過程により、状態を生成する判断前手段と、前記判断前手段と前記判断後手段とを反復することにより、状態の列を生成する手段と、前記生成された状態を、生成されたのと逆順を辿って、目下の前記判断前状態から遷移可能な複数の状態のリスク指標に基づき、バリューアットリスクまたは超過確率を用いて、1つ前の前記判断後の状態のリスク指標を計算する手段と、前記生成された状態を、生成されたのと逆順を辿って、目下の前記判断後の状態における最小バリューの状態のバリューを、1つ前の前記判断前の状態に設定する手段を有する、アクションの決定システム。前記リスク指標を計算する手段が、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項13に記載のシステム。前記リスク指標を計算する手段が、目下のオブジェクトの状態から遷移可能な複数の状態のバリューをvi、遷移確率をpiとしたとき、下記の数式を用いてリスク指標を計算する、請求項13に記載のシステム。前記各々の組み合わせに関連付けられたバリューの値に基づき、状態の組み合わせを選択する手段が、その状態の訪問頻度に対する単調減少関数となる評価関数を用いる、請求項13に記載のシステム。従って、本発明の目的は、マルコフ過程において、モンテカルロ法を用いて反復的リスク指標を高速に計算する手法を提供することにある。この発明の他の目的は、厳密に最適化できない規模のマルコフ決定過程において、上記反復的リスク指標を高速に計算する手法を適用して、反復的リスク指標を最小にするアクションを近似的に決定する手法を提供することにある。本発明の第1の側面では、コンピュータの処理によって、マルコフ過程に基づき、順次、サンプリングにより状態の列S1S2Snが生成される。次に、生成された順序と逆の順序SnS2S1で、各状態の反復的リスク指標の仮の値VVVが更新される。このとき、各状態Siの値、Vは、その状態から1回の遷移で到達可能な状態Si1Si1Si1への遷移確率pSi、及び遷移先の値Vから定義される、確率変数のリスク指標特に、バリューアットリスクや超過確率またはそれらを部分的に用いて計算されるの値に応じて更新される。以上の処理を所定の間反復することによって、反復的リスク指標の近似値が得られる。なお、この後、反復的リスク指標の仮の値を、単に値とも、あるいは、Valueとも呼ぶことがある。本発明の第2の側面では、上記リスク指標を近似的に計算する手法を用いて、特定の状態において反復リスク指標を最小にするアクションを近似的に決定する手法が提供される。この手法は、上記第1の側面の手法において、判断前状態と、判断後状態が交互にあらわれるように状態が生成される。判断後状態の反復的リスク指標の仮の値は、上記第1の側面の手法の場合と同様に、次に到達可能な判断前状態の値を用いて計算され、判断前状態の反復的リスク指標の仮の値は、次に到達可能な判断後状態の反復的リスク指標の仮の値の最小値を用いて更新される。そして、反復の結果、反復リスク指標を最小にするアクションの列が選択される。この発明によれば、厳密に計算すると非常に時間がかかる反復的リスク指標を、モンテカルロ法のような確率的手法によって近似的に高速に得る手法が提供される。さらに、上記反復的リスク指標を近似的に高速に得る手法を用いて、反復リスク指標を最小にするアクションの列を高速に与える手法が提供される。以下、図面に基づき、この発明の実施例を説明する。特に断わらない限り、同一の参照番号は、図面を通して、同一の対象を指すものとする。尚、以下で説明するのは、本発明の一実施形態であり、この発明を、この実施例で説明する内容に限定する意図はないことを理解されたい。図1を参照すると、本発明の一実施例に係るシステム構成及び処理を実現するためのコンピュータハードウェアのブロック図が示されている。図1において、システムパス102には、CPU104と、主記憶RAM106と、ハードディスクドライブHDD108と、キーボード110と、マウス112と、ディスプレイ114が接続されている。CPU104は、好適には、32ビットまたは64ビットのアーキテクチャに基づくものであり、例えば、インテル社のPentium商標4、Core2Duo、Xeon、AMD社のAthlon商標などを使用することができる。主記憶106は、好適には、4GB以上の容量をもつものである。ハードディスクドライブ108は、大量のデータを格納できるように、例えば、500GB以上の容量をもつものであることが望ましい。ハードディスクドライブ108には、個々に図示しないが、オペレーティングシステムが、予め格納されている。オペレーティングシステムは、Linux、マイクロソフト社のWindowsXP、Windows7、アップルコンピュータのMacOS商標などの、CPU104に適合する任意のものでよい。ハードディスクドライブ108はさらに、マルコフ決定過程の確率計算のためのデータやパラメータ、及び本発明の処理のための処理ルーチンなどが格納されている。これらのパラメータや処理ルーチンの詳細は、図2を参照して後で説明する。キーボード110及びマウス112は、オペレーティングシステムまたは、ハードディスクドライブ108から主記憶106にロードされ、ディスプレイ114に表示されたプログラム図示しないを起動したり、文字を打ち込んだりするために使用される。ディスプレイ114は、好適には液晶ディスプレイであり、例えば、XGA1024×768の解像度、またはUXGA1600×1200の解像度などの任意の解像度のものを使用することができる。ディスプレイ114は、図示しないが、本発明の処理を開始するための操作ウインドウや、リスク、あるいは選択されたアクションの計算結果等を表示するために使用される。次に、図2の機能ブロック図を参照して、本発明の、特に反復的リスク指標を近似的に計算する処理を実行するための処理ルーチンについて説明する。これらの処理ルーチンはC、C、Javaなどの既存のプログラム言語で予め作成されて、実行可能な形式でハードディスクドライブ108に保存され、オペレーティングシステムの動作で主記憶106にロードされて実行される。この発明の処理は、これに限定される訳ではないが、この実施例では、所定の所持金をもって、各期に投資する株を選択する処理として説明する。そのシナリオとしては、所定の額の所持金から始めて、各期に投資する株を選択するものとする。このとき状態は、所持金、投資している株、時間の組で与えられる。アクションの候補は株の種類だけあり、各期において、アクションの候補は株の種類だけあり、どの株に投資するかを決定する。各状態でアクションをとった結果のリターンは、対応する株のその期間のリターンの予測値によって決定される。メインルーチン202は、本発明の全体の動作を統合するためのプログラムであり、図示しないが、ディスプレイ114に操作ウインドウを表示したり、ユーザの操作を受け付けて処理を開始したりする機能を有する。パラメータ204は、様々な株価の推移を示すマルコフ決定過程の確率計算のためのパラメータやデータ、等を含む。SAMPLEPOLICYルーチン206は、モンテカルロ法に従い、発生した乱数により所定の確率で状態を生成する処理を行うルーチンである。UPDATEVALUEルーチン208は、直接遷移可能な状態の集合を参照して、リスク指標を計算するルーチンである。出力ルーチン210は、計算された結果のリスクの値を出力するルーチンであり、計算結果は必要に応じて、ディスプレイ114に表示される。次に、図3のフローチャートを参照して、本発明の反復的リスク指標を近似的に計算する処理について説明する。この処理は例えば、ディスプレイ114に表示されているウィンドウ画面のメニューを、オペレータがキーボード110またはマウス112で操作することによって開始される。以下説明する処理に先立って、この実施例では、状態を格納するための一連のデータオブジェクトが予め主記憶106にロードされているものとする。このデータオブジェクトは例えば、C、またはJavaのクラスのインスタンスである。このようなデータオブジェクトを模式的に図示すると、図8に示すとおりである。すなわち、図8では、一連のデータオブジェクト802、804、806及び808が示されている。ステップ302で、メインルーチン202は、状態をあらわす変数sに、その初期値を、パラメータ204からセットする。ここでは、図8に示す最初のデータオブジェクトである、データオブジェクト802の属性値である変数sにセットされる。状態は、例えば、所持金、投資している株、時間の組で与えられるものとする。メインルーチン202は、ステップ304で、状態sをスタックにpushする。このようにスタックにpushするのは、後でpopして、状態をバックトラックするためである。次にステップ306で、メインルーチン202は、sを引数として、SAMPLEPOLICYにより、SAMPLEPOLICYルーチン206を呼び出す。図4は、SAMPLEPOLICYルーチン206の処理の詳細を示す。図4において、SAMPLEPOLICYルーチン206は、ステップ402で、i1nについて、iが確率piで生起するように乱数を生成する。そして、生起した乱数をmとする。ここで、確率piとは、マルコフ過程の文脈で、状態sから状態siに遷移する確率である。図5は、sからの、状態si毎の遷移確率を示す。このような対応の情報は、異なるs毎に、パラメータ204として、予め用意されている。SAMPLEPOLICYルーチン206は、ステップ404で、乱数mに対応する状態smを出力して、戻る。図3のステップ306に戻って、このようにして戻された値smがsに代入され、これは、図8では、データオブジェクト804の状態S2に遷移したということである。ステップ308で、メインルーチン202は、ステップ308で、状態sをスタックにpushする。そしてステップ310でメインルーチン202は、前進サンプリングが停止かどうか判断する。ここで、前進サンプリングを停止する基準は例えば、状態を所定の段数生成したかどうかである。ここで段数とは、図8の例では、状態802が第1段、状態804が第2段、状態806が第3段、状態808が第4段などである。あるいは、前進サンプリングを停止する基準は、処理を開始して所定の時間が経過したかどうかでもよい。メインルーチン202が前進サンプリングを停止する基準がまだ満たされていないと判断すると、ステップ306に戻って、SAMPLEPOLICYルーチン206の呼び出しを行う。一方、ステップ310で、メインルーチン202が、前進サンプリングを停止する基準を満たしたと判断すると、ステップ312に進み、メインルーチン202は、スタックから状態sの値をpopする。そして、メインルーチン202は、ステップ314で、UPDATEVALUEにより、UPDATEVALUEルーチン208を呼び出す。図6は、UPDATEVALUEルーチン208の処理の詳細を示す。ステップ602は定義ブロックであり、s1s2snをsから直接遷移可能な状態の集合とする。ここで、nは、sから直接遷移可能な状態の数である。図8の模式的な例で説明すると、参照番号804cで示されている、状態S2から直接遷移可能な状態とは、状態806a、状態806b、及び状態806cである。そして、i1nについて、sからsiへの遷移確率をpiとし、siのValueをviとする。この対応は、図7に示されている。図7において、状態と、sからの到達確率のフィールドは、予めパラメータ204に格納されている値に基づくが、Valueのフィールドは、初期的にはゼロを格納するようにしてもよい。すると、計算によって順次、値が格納されていく。あるいは、状態における所持金を、Valueの初期値としてもよい。この発明の目的のためには、その他の初期値の与え方も可能であることを理解されたい。UPDATEVALUEルーチン208は、ステップ604で、i1nについて、値viを確率piでとるような確率変数Xのαバリューアットリスクを下記の式により計算して、計算結果をVαとする。尚ここで、Vαの代わりに、下記の式で超過確率を計算してもよい。UPDATEVALUEルーチン208は、ステップ606で、Vαまたは超過確率を用いて、Xのリスク指標vを計算する。この計算は例えば、vEXXVαによって行われる。あるいは、下記の、一部超過確率を用いた式でリスク指標vを計算してもよい。この式で、Iは、に書かれる式が真なら1、偽なら0を返す関数である。UPDATEVALUEルーチン208は、ステップ608で、こうして計算されたvを、状態sに対応するValueとして、格納する。図8の例で説明すると、例えば、状態806a、状態806b及び状態806cに基づき計算されたリスク指標vが、状態S2に関連づけて格納される。図3のフローチャートの処理に戻って、UPDATEVALUEを呼び出したステップ314の後、ステップ316で、メインルーチン202は、スタックが空かどうか判断する。そうでなければ、ステップ312に戻る。もしステップ316で、メインルーチン202が、スタックが空であると判断すると、メインルーチン202は、ステップ318で、停止条件を満たすかどうか判断する。ここで停止条件とは、これには限定されないが、図3のフローチャートで示す処理を開始してから所定の時間が経過したか、ステップ302からステップ318までのループが所定回数回ったか、あるいは、最終的に、図8でS1で示す開始点のところのリスク指標の計算値が、ステップ302からステップ318までのループにおける、一回前のループで計算した値に比べて、ある閾値以下しか変化していないことのどれかである。メインルーチン202が、ステップ318で、停止条件を満たしていないと判断すると、処理はステップ302に戻り、図8における最初の状態S1から、計算が再開される。但しこのとき、前回まで計算されたリスク指標の値図7のフィールドValueで示す値は維持されており、従って、最初はほとんど0であった途中のリスク指標の値も、ステップ302からステップ318までのループを繰り返すうちに次第に非ゼロの値で埋まってくる。こうして、メインルーチン202が、ステップ318で、停止条件を満たしていると判断すると、処理は終了し、図8における最初の状態S1に対応するリスク指標の値が、出力ルーチン210によって出力される。次に、図9の機能ブロック図を参照して、本発明の、特定の状態において反復リスク指標を最小にするアクションを近似的に決定する処理を実行するための処理ルーチンについて説明する。これらの処理ルーチンもC、C、Javaなどの既存のプログラム言語で予め作成されて、実行可能な形式でハードディスクドライブ108に保存され、オペレーティングシステムの動作で主記憶106にロードされて実行される。この反復リスク指標を最小にするアクションを近似的に決定する処理は、図2に示す反復リスク指標を近似的に計算するルーチンを利用するので、いくつか共通する処理ルーチンもあるが、ここでは改めて別の参照番号を付すことにする。この実施例でも、所定の所持金をもって、各期に投資する株を選択する処理として説明する。そのシナリオとしては、所定の額の所持金から始めて、各期に投資する株を選択するものとする。このとき状態は、所持金、投資している株、時間の組で与えられる。アクションの候補は株の種類だけあり、各期において、アクションの候補は株の種類だけあり、どの株に投資するかを決定する。各状態でアクションをとった結果のリターンは、対応する株のその期間のリターンの予測値によって決定される。メインルーチン902は、本発明の全体の動作を統合するためのプログラムであり、図示しないが、ディスプレイ114に操作ウインドウを表示したり、ユーザの操作を受け付けて処理を開始したりする機能を有する。パラメータ904は、様々な株価の推移を示すマルコフ決定過程の確率計算のためのパラメータやデータ、等を含む。SAMPLEPOLICYルーチン906は、モンテカルロ法に従い、発生した乱数により所定の確率で状態を生成する処理を行うルーチンであり、図2のSAMPLEPOLICYルーチン206と同一でよい。EXPLORATIONPOLICYルーチン908は、判断後状態を選択するルーチンである。UPDATEVALUEルーチン910は、直接遷移可能な状態の集合を参照して、リスク指標を計算するルーチンであり、図2のUPDATEVALUEルーチン208と同一でよい。UPDATEVALUEMINルーチン912は、直接遷移可能な状態の集合のうちの最小のValueを返すルーチンである。出力ルーチン914は、計算された結果のアクションの列を出力するルーチンであり、計算結果は必要に応じて、ディスプレイ114に表示される。次に、図10のフローチャートを参照して、本発明の反復リスク指標を最小にするアクションを近似的に決定する処理について説明する。この処理は例えば、ディスプレイ114に表示されているウィンドウ画面のメニューを、オペレータがキーボード110またはマウス112で操作することによって開始される。以下説明する処理に先立って、この実施例では、状態を格納するための一連のデータオブジェクトが予め主記憶106にロードされているものとする。このデータオブジェクトは例えば、C、またはJavaのクラスのインスタンスである。このようなデータオブジェクトを模式的に図示すると、図15に示すとおりである。すなわち、図15では、一連のデータオブジェクト1502、1504、1506、1508、1510、1512、1514及び1516が示されている。この実施例では、判断前状態と、判断後状態という2つの状態が使用される。図15では、データオブジェクト1502、1506、1510及び1514が判断前状態に対応し、データオブジェクト1504、1508、1512、及び1516が判断後状態に対応する。ステップ1002で、メインルーチン902は、状態をあらわす変数sに、その初期値を、保持されているパラメータ204からセットする。ここでは、図15に示す最初のデータオブジェクトである、判断前状態に対応するデータオブジェクト1502の属性値である変数sにセットされる。状態は、例えば、所持金、投資している株、時間の組で与えられるものとする。メインルーチン902は、ステップ1004で、状態sをスタックにpushする。このようにスタックにpushするのは、後でpopして、状態をバックトラックするためである。メインルーチン902は、ステップ1006で、状態sを引数として、EXPLORATIONPOLICYにより、EXPLORATIONPOLICYルーチン908を呼び出す。図11は、EXPLORATIONPOLICYルーチン908の詳細を示す。定義ステップ1102にあるように、EXPLORATIONPOLICYルーチン908は、a1a2anを、状態sで取りうるアクションの集合とし、i1nについて、sでaiをとった時の判断後状態をsiとし、siのvalueをvi、siの訪問数をciとする。ここでValueとは、図7に関連して説明したものと同じである。また、siの訪問数をciとする。ここで訪問数をciを記録するのは、訪問数が多い判断後状態をなるべく避けて、偏りが少ないアクションの列を選択するためである。このような、判断後状態と、Valueと、カウンタの対応の例が、図12に示されている。EXPLORATIONPOLICYルーチン908は、ステップ1104で、関数fを最小にするiを求める。関数fは、これには限定されないが、例えば、f≡vα06のような式である。すなわち、vに対して単調増加で、cに対して単調減少になっていることが要件である。ここで、αとβは正の定数で、任意に設定できるパラメータである。EXPLORATIONPOLICYルーチン908は、ステップ1104で、求まったiをiと置き、ステップ1106で、cici1と増分して、ステップ1108でsiを出力する。siを出力するということは、図15を参照することにより、一層よく理解できる。すなわち、判断前状態1502から、可能な異なるアクションに従い、判断後状態1504a、1504b及び1504cが取りうるが、特にステップ1104の計算に従い、ここでは、判断後状態1504cが選択される。図10のステップ1006に戻って、ステップ1006でEXPLORATIONPOLICYルーチン908が完了して、sが出力されると、メインルーチン902は、ステップ1008で、sをスタックにpushする。次にステップ1010で、メインルーチン902は、sを引数として、SAMPLEPOLICYにより、SAMPLEPOLICYルーチン906を呼び出す。SAMPLEPOLICYルーチン906は、SAMPLEPOLICYルーチン206と同様に、モンテカルロ法とマルコフ決定過程の組み合わせで、遷移可能な状態の1つを選ぶ処理を行うが、その処理内容は、図4のフローチャートで説明したのと同様なので、ここでは説明を省略する。このような状態の選択は、図15では、判断後状態1504における状態1504cから、判断前状態1506の状態1506bを選択することに対応する。SAMPLEPOLICYルーチン906によってステップ1010で、sからsが選ばれると、メインルーチン902は、ステップ1012で、sをスタックにpushする。次にメインルーチン902は、ステップ1014で、前進サンプリングが停止かどうか判断する。ここで、前進サンプリングを停止する基準は例えば、状態を所定の段数生成したかどうかである。あるいは、前進サンプリングを停止する基準は、処理を開始して所定の時間が経過したかどうかでもよい。まだ前進サンプリングを停止する基準に達していなければ、メインルーチン902は、ステップ1006に戻って、EXPLORATIONPOLICYルーチン908を呼び出す。一方、ステップ1014で、メインルーチン902が前進サンプリングを停止する基準に達したと判断すると、ステップ1016に進んで、スタックから状態sをpopする。メインルーチン902は次に、popされた状態sを以って、UPDATEVALUEMINにより、UPDATEVALUEMINルーチン912を呼び出す。そこで次に、図13のフローチャートを参照して、UPDATEVALUEMINルーチン912の処理について説明する。図13において、ステップ1302は、定義ステップである。ステップ1302において、s1s2snを、sから直接到達可能な判断後状態とする。そして、i1nについて、siのvalueを、viとする。図14は、判断後状態と、Valueの対応を示す図である。次のステップ1302では、UPDATEVALUEMINルーチン912は、vminiviにより、i1nについて、viの最小値をvとおく、そして、こうして算出されたvは、ステップ1306で、sのvalueの値として格納される。このことを図15の例で示すと、popされた状態sが、判断前状態における状態1514cであるとすると、状態1514cからみた、取りうるアクションは、アクション1516a、アクション1516b、及びアクション1516cであり、アクション1516a、アクション1516b、及びアクション1516cに関連付けられたvalueのうち最小のvalueがアクション1516cに関連付けられたvalueであるとすると、そのvalueが、状態1514cに格納される。図10のフローチャートに戻って、メインルーチン902は、ステップ1020で、スタックが空かどうか判断する。もしスタックが空であるなら、メインルーチン902は、ステップ1026で、停止条件を満たすかどうか判断する。ここで停止条件とは、図10のフローチャートで示す処理を開始してから所定の時間が経過したか、ステップ1002からステップ1014までのループが所定回数回ったか、あるいは、最終的に、図15でS1で示す開始点のところのvalue値が、ステップ1002からステップ1014までのループにおける、一回前のループで計算した値に比べて、ある閾値以下しか変化していないことのどれかである。そして、メインルーチン902は、停止条件を満たすと判断したなら、処理を停止し、そうでないなら、ステップ1002に戻って、処理を最初のステップから再開する。このとき、状態にセットされたvalueの値は前のループのままであり、次の計算に利用される。ステップ1020に戻って、メインルーチン902が、スタックが空でないと判断したなら、メインルーチン902は、ステップ1022でスタックから状態sをpopする。そして、ステップ1024で、UPDATEVALUEにより、UPDATEVALUEルーチン910を呼び出してsのValueを更新する。UPDATEVALUEルーチン910の処理は実質的に、UPDATEVALUEルーチン208の処理と同様であり、その詳細は図6のフローチャートで示すとおりである。図15の例では、判断前状態の状態1514a、状態1514b、及び状態1514cから、判断後状態1512bのValueが計算される。メインルーチン902は、ステップ1024の後、ステップ1016に戻る。この結果、アクション1504c、アクション1508a、アクション1512b、アクションアクション1516cというアクションの列が得られ、メインルーチン902は、出力ルーチン914により、各々の判断前状態について、その判断前状態から直接遷移可能な判断後状態のうち最も小さなValueを持つ判断後状態に関係付けられたアクションaを出力する。その結果は、好適にはディスプレイ114に表示し、あるいは、ファイルに書き出される。以上、本発明の実施例を、所定の所持金をもって、各期に投資する株を選択する処理する適用例について説明してきたが、これには限定されず、時系列に従い順次、確率的にリスクの計算を行うことを伴う意思決定処理に適用可能である。また、本発明は、コンピュータの特定のハードウェア及びソフトウェアのプラットフォームに限定されず、任意のプラットフォームで実施可能であることを理解されたい。