时序差分学习 时序差分学习英語Temporal difference learningTD learning是一类无模型强化学习方法的统称这种方法强调通过从当前价值函数的估值中自举的方式进行学习这一方法需要像蒙特卡罗方法那样对环境进行取样并根据当前估值对价值函数进行更新宛如动态规划算法 和蒙特卡罗法所不同的是时序差分学习可以在最终结果出来前对其参数进行不断地调整使其预测更为准确而蒙特卡罗法只能在最终结果产生后进行调整这是一种自举式的算法具体的例子如下 假設你需要預測星期六的天氣並且手頭上正好有相關的模型按照一般的方法你只有到星期六才能根據結果對你的模型進行調整然而當到了星期五時你應該對星期六的天氣有很好的判斷因此在星期六到來之前你就能夠調整你的模型以預測星期六的天氣 时序差分学习与动物学领域中的动物认知存在一定的关联