強化学習
状態の現在値が3で、状態遷移が値を4だけ減らそうと試みた場合、その遷移は許可されない。
あるエージェントの性能を、最適に行動している別のエージェントの性能と比較すると、その差からリグレット(英語版)(regret、後悔)という概念が生じる。最適な行動に近づくために、たとえ即時報酬は負であっても、エージェントはその行動の長期的な結果(すなわち将来の収益の最大化)について考えなければならない。
したがって、強化学習は、長期的な報酬と短期的な報酬のトレードオフを伴う問題に特に適している。強化学習は、ロボット制御(英語版)、エレベーターのスケジューリング、電気通信、バックギャモン、チェッカー、囲碁(AlphaGo)など、さまざまな問題への応用に成功している。
強化学習を強力なものにしている2つの要素として、性能を最適化するためのサンプルの使用と、大規模な環境に対処するための関数近似の使用があげられる。この2つの重要な要素により、強化学習は次のような状況下で、大規模環境に適用することができる。
環境のモデルはわかっているが、解析解(英語版)が得られない。
環境のシミュレーションモデルだけが与えられている(シミュレーションに基づく最適化(英語版)の対象)。
環境に関する情報を収集する唯一の方法は、環境と対話することである。
これらの問題のうち、最初の2つは計画問題であり(何らかの形のモデルが利用可能であるため)、最後の1つは真の学習問題であると考えることができる。ただし、強化学習はどちらの計画問題も機械学習問題に変換する。