強化学習には巧妙な探索機構が不可欠であり、推定された確率分布を参照せず、ランダムに行動を選択すればその性能は低下する。（小規模な）有限MDPについては、比較的よく理解されている。しかし、状態数に応じてうまくスケールする（あるいは状態空間が無限の問題でも対応する）アルゴリズムがないため、単純な探索方法が最も実用的となる。
制御学習アルゴリズム.
たとえ探索の問題を無視して、状態が観測可能であっても（以下は仮定）、過去の経験を使用して、どの行動がより高い累積報酬につながるかを見つけ出すという問題が残される。
最適性の基準.
方策.
状態価値関数.
総当たり法.
この場合の問題の一つは、方策数が増大する、あるいは無限大になる可能性である。また、収益の分散が大きい場合、各方策の収益を正確に推定するために多くのサンプルが必要になることもある。
価値関数法.
これらの方法はマルコフ決定過程の理論に基づいており、最適性は前述したよりも強い意味で定義されている。方策は、どのような初期状態からでも最大の期待収益を達成する場合、最適であると呼ばれる（つまり、この定義において初期分布は何の役割も果たさない）。繰り返すが、最適方策は常に定常方策の中から見出すことができる。
となる。
モンテカルロ法.
この手法の問題を次にあげる。
以降の小節では、それぞれの問題についてさらに議論する。
時間差分法.
関数近似法.
直接方策探索.
方策探索法は、ロボット工学の文脈でも使用されている。多くの方策探索法は、局所探索に基づいているため、局所最適に陥ることがある。
モデルベース・アルゴリズム.
モデルの使用には価値関数を更新する以外の方法もある。たとえば、では、モデルを用いて挙動を直接更新する。
理論.
ほとんどのアルゴリズムの漸近的挙動と有限標本挙動の両方がよく理解されている。（探索問題に対処する）優れたオンライン性能が証明されたアルゴリズムも知られている。
インクリメンタルアルゴリズムについては、漸近的収束の問題が解決された。時間差分に基づくアルゴリズムでは、従来よりも広い条件の下で収束するようになった（たとえば、任意の滑らかな関数近似と併用する場合）。
研究.
研究テーマを次に列挙する。 
強化学習アルゴリズムの比較.
連想強化学習.
深層強化学習.
敵対的深層強化学習.
ファジィ強化学習.