エンドツーエンドの強化学習
このアプローチはTD-Gammon (1992) で始まった。 バックギャモンでは、セルフプレイ中のゲーム状況の評価は、階層型ニューラルネットワークを用いたTD( λ {\displaystyle \lambda } )を通じて学習された。ボード上の特定の場所に置かれた特定の色のピースを示すために4つの入力が使用され、入力信号は合計198となった。組み込まれた知識はゼロであったため、ネットワークはゲームのプレイを中級レベルで学んだ。
柴田は1997年にこのフレームワークの使用を開始した 。彼らは、連続運動タスクにQ学習とActor-Criticを採用し 、メモリを要するタスクにリカレントニューラルネットワークを用いた。彼らはこのフレームワークを実際のロボットタスクに適用した 。彼らはさまざまな機能の学習を示した。