少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置で実行する方法であって、状態空間の一部である部分空間を特定する工程と、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける工程と、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する工程と、算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する工程とを含む方法。T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける請求項1に記載の方法。t番目の部分空間における一又は複数の状態の価値及びコストの期待値の平均値を算出する請求項1又は2に記載の方法。T個の部分空間それぞれに対して価値変数を算出し、マルコフ決定過程を最適化する請求項1乃至3のいずれか一項に記載の方法。少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置であって、状態空間の一部である部分空間を特定する部分空間特定部と、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける選択受付部と、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する確率コスト算出部と、算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する再帰算出部とを備える装置。T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける請求項5に記載の装置。t番目の部分空間における一又は複数の状態の価値及びコストの期待値の平均値を算出する請求項5又は6に記載の装置。T個の部分空間それぞれに対して価値変数を算出し、マルコフ決定過程を最適化する請求項5乃至7のいずれか一項に記載の装置。少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置で実行することが可能なコンピュータプログラムであって、前記装置を、状態空間の一部である部分空間を特定する部分空間特定手段、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける選択受付手段、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する確率コスト算出手段、及び算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する再帰算出手段として機能させるコンピュータプログラム。しかし、価値反復ValueIteration、施策反復PolicyIteration、線形計画等の方法では、解くことが可能な問題の規模が極めて限定的であり、一般的な問題に適用することは困難であるという問題点があった。また、非特許文献2に開示されている特殊な構造を利用する方法であっても、逆行列を算出する処理が煩雑であり、適用することが可能な問題の規模に制約があるという問題点もあった。本発明は斯かる事情に鑑みてなされたものであり、マルコフ決定過程が周期性を有する場合に、既存の計算方法よりも効率的に最適施策を決定する方法、装置及びコンピュータプログラムを提供することを目的とする。上記目的を達成するために第1発明に係る方法は、少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置で実行する方法であって、状態空間の一部である部分空間を特定する工程と、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける工程と、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する工程と、算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する工程とを含む。また、第2発明に係る方法は、第1発明において、T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける。また、第3発明に係る方法は、第1又は第2発明において、t番目の部分空間における一又は複数の状態の価値及びコストの期待値の平均値を算出する。また、第4発明に係る方法は、第1乃至第3発明のいずれか1つにおいて、T個の部分空間それぞれに対して価値変数を算出し、マルコフ決定過程を最適化する。次に、上記目的を達成するために第5発明に係る装置は、少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置であって、状態空間の一部である部分空間を特定する部分空間特定部と、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける選択受付部と、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する確率コスト算出部と、算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する再帰算出部とを備える。また、第6発明に係る装置は、第5発明において、T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける。また、第7発明に係る装置は、第5又は第6発明において、t番目の部分空間における一又は複数の状態の価値及びコストの期待値の平均値を算出する。また、第8発明に係る装置は、第5乃至第7発明のいずれか1つにおいて、T個の部分空間それぞれに対して価値変数を算出し、マルコフ決定過程を最適化する。次に、上記目的を達成するために第9発明に係るコンピュータプログラムは、少なくとも一の状態を有するTTは自然数個の部分空間が周期構造を有するマルコフ決定過程を用いて最適施策を決定する装置で実行することが可能なコンピュータプログラムであって、前記装置を、状態空間の一部である部分空間を特定する部分空間特定手段、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付ける選択受付手段、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する確率コスト算出手段、及び算出した確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する再帰算出手段として機能させる。本発明によれば、マルコフ決定過程が周期性を有する場合には、最適施策を求めることが可能な問題の規模を拡大することができ、従来の価値反復ValueIteration、施策反復PolicyIteration、リニアプログラミング等の方法では解くことができない問題であっても、最適施策を求めることが可能となる。以下、本発明の実施の形態に係る、周期性を有するマルコフ決定過程を用いて、演算処理負荷を軽減しつつ平均コストが最小となる最適施策を決定する装置について、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態を通じて同じ要素には同一の符号を付している。以下の実施の形態では、コンピュータシステムにコンピュータプログラムを導入した情報処理装置について説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータプログラムとして実施することができる。したがって、本発明は、周期性を有するマルコフ決定過程に対して演算処理負荷を軽減し平均コストが最小となる最適施策を決定する装置というハードウェアとしての実施の形態、ソフトウェアとしての実施の形態、又はソトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータプログラムは、ハードディスク、DVD、CD、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。本発明の実施の形態によれば、マルコフ決定過程が周期性を有する場合には、最適施策を求めることが可能な問題の規模を拡大することができ、従来の価値反復ValueIteration、施策反復PolicyIteration、線形計画等の方法では解くことができない問題であっても、最適施策を求めることが可能となる。なお、マルコフ決定過程が周期性を有するとは、状態空間をTTは自然数個の部分空間に分割することができ、どの施策を用いた場合であっても、ttは自然数、t≦T番目の部分空間からはt1番目の部分空間にしか空間遷移しないことを意味している。ただし、T1番目の部分空間は1番目の部分空間を意味するものとする。この場合、マルコフ決定過程は、長さTの周期を有すると定義し、t番目の部分空間は、時点tにおける状態空間と言い換えることもできる。図1は、本発明の実施の形態に係る情報処理装置の構成を模式的に示すブロック図である。本発明の実施の形態に係る情報処理装置1は、少なくともCPU中央演算装置11、メモリ12、記憶装置13、I/Oインタフェース14、ビデオインタフェース15、可搬型ディスクドライブ16、通信インタフェース17及び上述したハードウェアを接続する内部バス18で構成されている。CPU11は、内部バス18を介して情報処理装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置13に記憶されたコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ12は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。記憶装置13は、内蔵される固定型記憶装置ハードディスク、ROM等で構成されている。記憶装置13に記憶されたコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD-ROM等の可搬型記録媒体90から、可搬型ディスクドライブ16によりダウンロードされ、実行時には記憶装置13からメモリ12へ展開して実行される。もちろん、通信インタフェース17を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。通信インタフェース17は内部バス18に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。I/Oインタフェース14は、キーボード21、マウス22等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース15は、CRTディスプレイ、液晶ディスプレイ等の表示装置23と接続され、所定の画像を表示する。図2は、本発明の実施の形態に係る情報処理装置1の機能ブロック図である。図2において、情報処理装置1の部分空間特定部201は、状態空間の一部であるTTは自然数個の部分空間を特定する。式1は、ttは自然数、t≦T番目の部分空間部分空間tを用いて表した、マルコフ決定過程が周期性を有する場合の、従来の方法の施策評価で解く連立方程式である。式1において、ベクトルctt=1、、Tは、T個の部分空間のうち部分空間tの各状態のコストを表しており、ベクトルctの第i成分は、部分空間tのi番目の状態のコストを示している。また、行列Ptt1t=1、Tは、部分空間tの各状態から部分空間t1の各状態への遷移確率を示している。行列Ptt1の第i、j成分は、部分空間tのi番目の状態にいる場合に、次に遷移する状態が部分空間t1のj番目の状態である確率を表している。なお、行列PTT1は行列PT1と定義している。gは、ゲインを示す変数である。ここで、ゲインとは、当該施策においてマルコフ決定過程の1ステップ当たりで平均して得ることができる利得を表す。ベクトルhtt=1、、Tは、部分空間tの各状態のバイアスを表す変数を示している。バイアスは各状態について定義され、ある状態からのバイアスとは、十分に大きいステップ数Nにおいて、その状態からNステップで得ることができる利得と平均的な状態からNステップで得ることができる利得gNとの差を表す。ベクトルhをT個のベクトルh1、h2、、hTで構成されたベクトルと定義した場合、ベクトルhが求める解であるときには、ベクトルht×ベクトル1ベクトル1は全ての成分が1であるベクトルも解となる。連立方程式式1を解くことは、変数gとベクトルhを求めることになる。選択受付部202は、特定された部分空間のうち、t番目の部分空間の選択を受け付ける。本実施の形態では、T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける。説明を簡単にするために、以下の説明ではt=1である場合を例に説明する。確率コスト算出部203は、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する確率とコストの期待値とを算出する。式2は、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態jに遷移する確率をi、j成分に含む行列Qを示している。式2では、一の状態から次の状態へと遷移する遷移確率行列Pを順次掛け合わせた行列Qを定義している。次に、式3では、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbを定義している。そして、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態jに遷移する確率をi、j成分に含む行列Q式2、及び選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbを用いて、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を、式4に示す連立方程式の解として求める。式4において、行列Iは単位行列を、ベクトル1は全ての成分が1であるベクトルを、それぞれ示している。そして、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を求めることができ、再帰算出部204は、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1で定まる確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する。具体的にはt=1であるので、次はベクトルhtt=Tを算出し、以下順次再帰的に算出する。すなわち、まず部分空間tt=Tの各状態のバイアスを表す変数であるベクトルhtt=Tを求めることができ、以下式5に示すように、順次再帰的にベクトルhtt=T-1、ベクトルhtt=T-2、、ベクトルhtt=2を求めることができる。式5において、ベクトル1は、全ての成分が1であるベクトルを示す。式1に示すように、逆行列を計算してベクトルhtt=1、、Tを直接求めるのではなく、まず最も状態数が少ない部分空間tについてベクトルhtを算出し、そこから再帰的に他の部分空間についてのベクトルhtを算出する。したがって、演算処理負荷を大幅に軽減することが可能となる。図3は、本発明の実施の形態に係る情報処理装置1のCPU11の処理手順を示すフローチャートである。図3において、情報処理装置1のCPU11は、状態空間の一部であるTTは自然数個の部分空間を特定するステップS301。CPU11は、特定された部分空間のうち、ttは自然数、t≦T番目の部分空間の選択を受け付けるステップS302。本実施の形態では、T個の部分空間のうちt番目の部分空間として、最も状態数が少ない部分空間の選択を受け付ける。CPU11は、選択を受け付けたt番目の部分空間における一又は複数の状態から一周期後のt番目の部分空間における一又は複数の状態に到達する遷移確率行列Qを算出するステップS303。CPU11は、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態jに遷移するまでのコストの期待値を第i成分に含むベクトルbを算出するステップS304。そして、CPU11は、算出した行列Q、及びベクトルbを用いて、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を算出するステップS305。CPU11は、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtを用いて、部分空間t-1の各状態のバイアスを表す変数であるベクトルht1を算出するステップS306。なお、t=1の場合は、ベクトルht1はベクトルh0=ベクトルhTを算出する。周期性を有するからである。CPU11は、ベクトルht1t=1を算出したか否かを判断するステップS307。ベクトルht1まで算出した時点で一周期分のすべての部分空間について再帰的にベクトルhを算出したことになるからである。CPU11が、ベクトルht1を算出していないと判断した場合ステップS307:NO、CPU11は、ベクトルhの引数tを‘1’デクリメントしステップS308、処理をステップS306へ戻して、上述した処理を繰り返す。CPU11が、ベクトルht1を算出したと判断した場合ステップS307:YES、CPU11は、処理を終了する。なお、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbを定義する場合、将来的に発生するコストを割り引いても良い。すなわち、上述した式3に割引率λ0<λ<1を、状態遷移に応じて乗算すれば良い。式6に、将来的に発生するコストを割り引く場合の、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbの定義を示す。この場合、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態jに遷移する確率をi、j成分に含む行列Q式2、及び選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbを用いて、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を、式7に示す連立方程式の解として求める。式7において、行列Iは単位行列を示している。そして、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を求めることができ、再帰算出部204は、ゲインを示す変数g、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1で定まる確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する。具体的にはt=1であるので、次はベクトルhtt=Tを算出し、以下順次再帰的に算出する。すなわち、まず部分空間tt=Tの各状態のバイアスを表す変数であるベクトルhtt=Tを求めることができ、以下式8に示すように、順次再帰的にベクトルhtt=T-1、ベクトルhtt=T-2、、ベクトルhtt=2を求めることができる。式8では式5とは異なり、ゲインgを用いない。これは、将来的に発生するコストを事前に割り引いているので、ゲインgは0ゼロと考えても良いからである。以上のように本実施の形態によれば、マルコフ決定過程が周期性を有する場合には、最適施策を求めることが可能な問題の規模を拡大することができ、従来の価値反復ValueIteration、施策反復PolicyIteration、リニアプログラミング等の方法では解くことができない問題であっても、最適施策を求めることが可能となる。なお、上述した実施の形態では、ゲインgをマルコフ決定過程の1状態遷移当たりの平均利得として求めており、すべての状態に対してゲインが一意に定まると仮定している。しかし、現実の問題では、ゲインが状態ごとに異なる場合も想定される。この場合、ゲインgも、部分空間tごとのベクトル値として算出される。つまり、TTは自然数個の部分空間それぞれに対する価値変数としてゲインベクトルgを算出し、マルコフ決定過程を最適化しても良い。したがって、選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態jに遷移する確率をi、j成分に含む行列Q式2、及び選択を受け付けた部分空間t番目の部分空間の状態iから、選択を受け付けた部分空間外の状態への遷移を経て、選択を受け付けた部分空間の状態のいずれかに遷移するまでのコストの期待値を第i成分に含むベクトルbを用いて、ゲインを示す変数ベクトルgrt=1、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を、式9に示す連立方程式の解として求める。式9において、行列Iは単位行列を示している。そして、ゲインを示す変数ベクトルgtt=1、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1を求めることができ、再帰算出部204は、ゲインを示す変数ベクトルgtt=1、部分空間tの各状態のバイアスを表す変数であるベクトルhtt=1で定まる確率とコストの期待値とに基づいて、t-1番目の部分空間から順に価値とコストの期待値とを再帰的に算出する。具体的にはt=1であるので、次はベクトルgtt=Tを算出し、以下順次再帰的に算出する。すなわち、まず部分空間tt=Tのゲインベクトルgtt=Tを求めることができ、ゲインベクトルgtt=Tを用いて、ベクトルhtt=Tを算出する。以下式10に示すように、順次再帰的にゲインベクトルgtt=T-1とベクトルhtt=T-1とを算出し、ゲインベクトルgtt=T-2とベクトルhtt=T-2とを算出し、以下順次ゲインベクトルgtとベクトルhtとを一対として、再帰的に算出することができる。従来の価値反復ValueIteration、施策反復PolicyIteration、線形計画等の方法では解くことができない規模の問題に対して、上述した演算方法を適用した結果を図4に示す。図4は、本発明の実施の形態に係る情報処理装置1で、マルコフ決定過程を用いて最適施策を求めた場合の演算処理時間を比較した表である。図4では、解くべき問題の規模を、状態数と状態アクションペア数との積で示している。いわゆる汎用的な最適化エンジンであるCPLEXを使用する場合、問題4までが限界であり、問題5以上の規模となると解くことができない。周知の技術である施策反復PolicyIterationを適用した場合、規模が大きくなっても問題を解くことはできる。しかし、問題7では、20078秒と5時間近い演算処理時間を要し、実際に施策を決定する時間としては長すぎる。しかし、本実施の形態に係る方法を適用した場合、最も規模が大きい問題7でも3分強で最適施策を決定することができる。そして、問題の規模が大きくなるほど、演算処理の高速化効果は高まることがわかる。したがって、本実施の形態に係る方法は、マルコフ決定過程が周期性を有する場合には、問題の規模が大きくなるほど演算処理負荷を大きく軽減することができ、適用することが可能な問題の規模を拡大することが可能となる。上述した本実施の形態に係る、マルコフ決定過程が周期性を有する場合に、既存の計算方法よりも効率的に最適施策を決定する方法は、電力会社における発電計画にも適用することができる。例えば、発電計画として、次の30分間に発電する発電量を15分前に決定し、3分ごとの蓄電池の充放電量を決定することを想定する。この場合、は30分/3分=10の周期Tを有することになる。また、状態空間は、時刻tにおける状態を部分空間とするように分割され、時刻tの部分空間からは時刻t1の部分空間にしか遷移しない。ここで状態は、時間t、予定発電量と使用電力量との差x、蓄電量y、設定済み発電ターゲット量zにより定義されるものとする。時刻tは、1、2、、Tのいずれかであり、xは周期T内の時刻0から時刻tまでの発電予定量と使用電力実績量との差を、yは蓄電池の蓄電量を、zはt=5で決定された発電予定量と次の30分間の使用電力予測量との差を、それぞれ意味することになる。上記モデルにマルコフ決定過程を用いることで、各状態について最適なアクション、例えば次の3分間の充放電量と、t=5の時には次の30分間に発電する電力量を決定することができる。なお、式1における行列Ptt1は、時点tの状態から時点t1の状態への遷移確率を要素に含む行列を、ベクトルctは、時点tの各状態のコストを、それぞれ示す。本モデルにおけるコストとは、例えばアクションが充電である場合には、充電効率が1より小さいことによる次の3分間の電力損失に相当するコストを、あるいはt=Tである場合、充電による電力損失コストに加えて、発電予定量と使用電力実績の差に応じて発生するコストを、それぞれ意味する。発電予定量と使用電力実績の差に応じて発生するコストとは、例えば追加の電力を購入するコスト、余剰電力が生じたことによるペナルティー等である。なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば、上述した実施の形態では、t番目の部分空間における一又は複数の状態の価値及びコストの期待値を算出しているが、それぞれ平均値を算出して代表値としても良い。