強化学習
強化学習にファジィ推論を導入することで、連続空間におけるファジィルール(英語版)で状態-行動価値関数を近似することが可能になる。ファジィルールの IF - THEN 形式は、自然言語に近い形式で結果を表現するのに適している。ファジィルール補間によるファジィ強化学習(fuzzy reinforcement learning、FRL)への拡張により、サイズが縮小されたスパース・ファジィ・ルールベースを使用して、基本ルール(最も重要な状態-行動価値)に重点を置くことができるようになった。
モンテカルロ法(Monte Carlo methods)は、方策反復法を模倣したアルゴリズムに使用することができる。方策反復法は、方策の評価(policy evaluation)と方策の改善(policy improvement)という2つの段階から構成される。モンテカルロ法は、方策評価段階で使用される。この段階での目標は、定常的で決定論的な方策 π {\displaystyle \pi } が与えられたとき、すべての状態-行動ペア ( s , a ) {\displaystyle (s,a)} に対する関数値 Q π ( s , a ) {\displaystyle Q^{\pi }(s,a)} (またはその適切な近似)を計算することである。ここでは簡単にするために、MDPは有限であり、行動価値を収容するのに十分なメモリがあり、問題は偶発的(英: episodic)で、各出来事の後にランダムな初期状態から新しい出来事が始まると仮定する。そして、与えられた状態-行動ペア ( s , a ) {\displaystyle (s,a)} の価値の推定値は、 ( s , a ) {\displaystyle (s,a)} からサンプリングされた収益を時間経過とともに平均化することによって計算することができる。