エンドツーエンドの強化学習
2013年頃から、Google DeepMindはビデオゲーム とAlphaGoゲーム( AlphaGo ) で印象的な学習結果を示した。彼らは、深層畳み込みニューラルネットワークを使用し、それは画像認識の面で優れた結果を示した。彼らは入力として、ほとんど生のRGBピクセル(84x84)の4フレームを使用した。ネットワークはRLに基づいてトレーニングされ、ゲームスコアの変化の兆候を表す報酬を用いた。全部で49のゲームが、最小限の事前知識を持つ同一のネットワークアーキテクチャとQ学習を使用して学習されたが、それはほとんどのゲームにおいて競合する方法よりも優れた結果を示し、プロの人間のゲームテスターに匹敵するか、あるいは勝るレベルで実行された 。これはDeep-Qネットワーク(DQN)と呼ばれることもある。 AlphaGoでは、深層ニューラルネットワークは強化学習だけでなく、教師あり学習とモンテカルロ木検索によっても訓練される。